4월 18일 (현지 시간) 메타는 8B와 70B의 사전 훈련 및 명령 미세 조정 버전을 제공하는 최신 오픈 소스 대형 모델 Llama 3를 발표했다.
메타의 공식 소개에 따르면 Llama 3는 두 개의 맞춤형 24K GPU 클러스터에서 15T 이상의 데이터를 기반으로 훈련하고 있다. 이는 Llama 2보다 데이터 세트가 7배, 코드가 4배 더 크며 Llama 3는 8K 컨텍스트 길이를 지원해 Llama 2 용량의 2배에 달한다.또한 Meta는 Llama 3 두 버전과 Google Gemma, Google Gemini, Mistral, Anthropic의 Claude 3 등 경쟁사의 매개변수를 비교합니다.
메타 CEO 저커버그는 메타 AI가 메타 산하 주요 제품인 왓츠앱, 인스타그램, 페이스북, 메신저 상단의 검색창에 통합되고 메타.ai 웹사이트를 만들어 더 쉽게 사용할 수 있도록 할 것이라고 설명했다.
메타의 수석 과학자 Yann LeCun은 앞으로 몇 달 동안 Llama가 더 많은 버전을 계속 출시 할 것이며 Llama 3의 연구 논문도 곧 출시 될 것이라고 말했다.엔비디아의 수석 과학자 짐 팬은 앞으로 발표될 수 있는 Llama 3-400B 이상의 버전이 일종의'분수령'이 될 것이며, 오픈 소스 커뮤니티는 GPT-4급 모델을 사용할 수 있을 것이라고 생각한다.