미국과 중국이 앞서가는 AI 경쟁에서, 프랑스 기업이 1조 개짜리 모델을 들고 나왔어요. 게다가 이달 말에는 누구나 내려받을 수 있게 풀겠다고 해요.
프랑스 AI 기업 미스트랄 AI는 10월 6일(현지시간) 새 모델 Mistral Large 4를 공개했어요. 1조 개의 매개변수(parameter)를 가졌지만 전문가 혼합(MoE) 구조라 한 번에 쓰는 매개변수는 490억 개예요. 글과 이미지를 함께 다루고, 유럽에 있는 자체 데이터센터의 엔비디아 GPU 3,800개로 처음부터 학습했어요. 지금은 미스트랄 API로 미리보기만 열려 있고, 오픈 웨이트(open weights) 공개는 이달 말로 예고됐어요. 그 전에 보안 전문가들과 레드팀(red-teaming) 점검을 진행한다고 밝혔어요.
- 발표 주체: 미스트랄 AI (공식 블로그)
- 규모: 전체 매개변수 1조 개, 한 번에 쓰는 매개변수 490억 개
- 가격(API): 입력 100만 토큰당 1.36달러, 출력 100만 토큰당 4.18달러
- 가중치 공개: 10월 말 예정
- 지원 언어: 160개 이상
‘매개변수(parameter)’가 많으면 뭐가 좋은가요?
“1조 개의 매개변수(parameter)를 가졌지만 전문가 혼합(MoE) 구조라 한 번에 쓰는 매개변수는 490억 개예요.”
매개변수는 AI가 학습하면서 조정해 둔 숫자들이에요. 사람이 공부하며 머릿속에 쌓은 요령과 감각을 숫자로 바꿔 저장해 둔 것이라고 보면 돼요. 이 숫자가 많을수록 더 많은 지식과 패턴을 담을 수 있지만, 그만큼 돌리는 데 드는 컴퓨터 자원도 커져요. 이번 모델은 이런 숫자를 1조 개나 담고 있어, 미스트랄은 ‘Le Chonk’라는 별칭까지 붙였어요.
‘전문가 혼합(MoE)’은 어떻게 일하나요?
“1조 개의 매개변수(parameter)를 가졌지만 전문가 혼합(MoE) 구조라 한 번에 쓰는 매개변수는 490억 개예요.”
전문가 혼합(Mixture of Experts)은 모델 안을 여러 ‘전문가’ 묶음으로 나누고, 질문마다 필요한 몇 개만 불러 쓰는 방식이에요. 큰 종합병원에 의사가 수백 명 있어도, 환자 한 명은 증상에 맞는 몇 명만 만나는 것과 비슷해요. 그래서 전체 지식은 1조 개만큼 갖추면서, 실제 계산은 490억 개만큼만 해서 속도와 비용을 아껴요. 미스트랄은 이 모델을 질문에 바로 답하는 방식과 깊이 생각한 뒤 답하는 방식을 모두 갖춘 MoE라고 소개했어요.
‘오픈 웨이트(open weights)’는 오픈소스와 다른가요?
“지금은 미스트랄 API로 미리보기만 열려 있고, 오픈 웨이트(open weights) 공개는 이달 말로 예고됐어요.”
웨이트(가중치)는 앞에서 말한 학습된 숫자, 즉 매개변수 값을 담은 파일이에요. 이걸 공개하면 누구나 내려받아 자기 컴퓨터나 회사 서버에서 모델을 돌릴 수 있어요. 요리로 치면 완성된 소스를 통째로 나눠 주는 것으로, 소스를 어떻게 만들었는지 적은 레시피(학습 데이터와 과정)까지 다 공개하는 오픈소스와는 범위가 달라요. 미스트랄은 이번 발표에서 라이선스 조건은 따로 밝히지 않았어요.
‘레드팀(red-teaming)’은 왜 공개 전에 할까요?
“그 전에 보안 전문가들과 레드팀(red-teaming) 점검을 진행한다고 밝혔어요.”
레드팀은 일부러 공격자 역할을 맡아 약점을 찾아내는 점검이에요. 은행이 금고를 열기 전에 전문 도둑 역할을 고용해 뚫어 보게 하는 것과 비슷해요. 가중치는 한번 풀리면 되돌릴 수 없어서, TechCrunch에 따르면 미스트랄은 오용을 막을 수 있도록 신뢰할 수 있는 파트너·정부와 먼저 협력하겠다고 했어요.
그래서 우리에게는?
오픈 웨이트 모델이 강해질수록 기업과 공공기관은 데이터를 외부에 보내지 않고 자체 서버에서 고성능 AI를 쓸 선택지가 넓어져요. 미국 폐쇄형 모델과 중국 공개형 모델 사이에서 유럽산 대안이 생긴다는 점도 의미가 있어 보여요. 다만 아직 미리보기 단계인 만큼, 이달 말 실제로 가중치가 어떤 라이선스로 풀리는지가 다음 관전 포인트예요.
출처
- Introducing Mistral Large 4: Le chonk — Mistral AI
- Mistral’s new 1T model aims to leapfrog closed and open rivals — TechCrunch
답글 남기기