오픈 소스 대형 모델인 LLAMA 2가 출시된 지 거의 1년 만에 메타의 차세대 대형 모델인 LLAMA 3가 출시된다.
4월 9일 런던에서 열린 한 행사에서 메타는 다음 달 안에 LLAMA 3를 처음 발표할 계획이라고 확인했다.이 모델에는 여러 가지 기능이 있는 버전이 있을 것이라고 한다.
그러나 Meta는 LLaMA 3의 매개 변수 규모를 공개하지 않았습니다."시간이 지남에 따라 LlaMA에 의해 구동되는 메타 AI를 세계에서 가장 유용한 조수로 만드는 것이 목표입니다."라고 메타 인공지능 연구 부사장 Joelle Pineau는 말했다.이 목표를 달성하려면 아직 해야 할 일이 상당히 많다.
과학기술 외신 The Information이 4월 8일 발표한 보도에 따르면 GPT-4를 표시하는 큰 모델로서 LLAMA 3의 대규모 버전 참가 수량은 1400억을 넘을 수 있으며 가장 큰 LLAMA 2 버전의 매개 변수량은 700억이다.LLaMA 3는 텍스트와 그림을 동시에 이해하고 생성하는 다중 모드 처리를 지원합니다.
특히 LLaMA 3는 메타가 유지해 온 오픈 소스 노선을 이어갈 예정이다.현재 오픈 소스 모델계의 경쟁은 점점 더 치열해지고 있으며, 오픈 소스 대형 모델도 점점 더 강해지고 있다.지금까지 구글, 머스크 계열의 xAI, Mistral AI, Stability AI 등을 포함한 많은 회사들이 오픈 소스의 큰 모델을 발표했다.
오픈 소스 모델계의'짐꾼'인 메타의 AI 인프라에 대한 투입도 만만치 않다. 현재 마이크로소프트만이 이에 준하는 컴퓨팅 능력 비축을 보유하고 있다.메타가 발표한 한 기술블로그에 따르면 2024년말까지 이 회사는 3만 5000개의 엔비디아 H100 GPU를 더 구매하게 되는데 기타 GPU를 포함하면 그 계산력은 근 600000개의 H100에 해당한다.
바로 다음 달!LlaMA 3 등장 예정
매개변수 수 또는 1400억
4월 9일 런던에서 열린 한 행사에서 메타는 다음 달 안에 LLAMA 3를 처음 발표할 계획이라고 확인했다.닉 클렉 메타 글로벌 담당 사장은 "다음 달, 심지어 아주 짧은 기간에 새로운 차세대 기반 모델 키트인 LLAMA 3를 출시하고 싶다"고 말했다.
Clegg의 표현에서 볼 때, LLaMA 3는 여러 가지 다른 기능의 버전을 가질 것입니다."올해 안에 서로 다른 기능과 공통성을 가진 일련의 모델을 발표할 것이며, 곧 출시될 것이다."
아울러 메타의 최고제품책임자인 크리스 콕스는 메타가 LLAMA 3로 메타의 여러 제품을 지원할 계획이라고 덧붙였다.
특히 LLaMA 3는 메타가 유지해 온 오픈 소스 노선을 이어갈 예정이다.
OpenAI가 고수하는 폐원 노선과 큰 매개변수 LLM과 달리 메타는 처음부터 오픈 소스 정책과 소형화 LLM을 선택했다.
2023 년 2 월 Meta는 GPT 시리즈 모델과 마찬가지로 Transformer 인프라에 구축된 자체 회귀 언어 모델인 LLAMA 대형 모델을 공식 홈페이지에 공개했습니다.
LLaMA는 70억, 130억, 330억, 650억이라는 4가지 매개변수 규모를 포함하며 LLM의 소형화 및 서민화 연구를 추진하기 위한 것이다.이에 비해 GPT-3는 최대 1750억 파라미터 규모다.메타는 당시 논문에서 크기가 10배 이상 작음에도 LLAMA(130억 매개변수)가 GPT-3보다 우수한 성능을 보였다고 정리했다.
일반적으로 작은 모델은 비용이 더 적게 들고 실행이 더 빠르며 미세 조정이 더 쉽습니다.메타의 CEO 저커버그가 이전 재무제보 전화 회의에서 말했듯이, 오픈 소스 모델은 일반적으로 더 안전하고 효율적이며, 더 비용 효율적으로 운영되며, 그들은 끊임없이 커뮤니티의 검토와 개발을 받고 있다.
저커버그는 오픈 소스 문제에 대해 외신 더 버지와의 인터뷰에서"가장 큰 도전 중 하나는 당신이 만든 것이 정말 가치가 있다면 결국 매우 집중적이고 편협해질 것이라고 생각하는 경향이 있다.더 개방적으로 만들면 기회와 가치 불평등이 가져올 수 있는 많은 문제를 해결할 수 있다.따라서 전체 오픈 소스 비전의 중요한 부분"이라고 말했다.
이 외에도 소형 모델은 개발자들이 모바일 기기에서 AI 소프트웨어를 개발하는 데 편리하며, 이는 LLAMA 시리즈 모델이 오픈 소스부터 개발자들의 많은 관심을 받는 이유이기도 하다.현재 Github의 많은 모델은 LLaMA 시리즈 모델을 기반으로 개발되었습니다.
메타는 작년 7 월까지 LLAMA 2를 출시했습니다.당시 메타도 작은 모델을 선발하는 전략을 썼다.메타는 700억 매개변수의 LLAMA 2 대규모 버전을 발표하기 전에 130억 매개변수와 70억 매개변수의 소형 버전을 먼저 선보였다.
그러나 관련 테스트에 따르면 LLaMA 2는 친구에게 악행을 저지르는 방법이나 자동차 엔진을"죽이는 방법"과 같은 논란이 적은 질문에 대한 답변을 거부했다.최근 몇 달 동안 Meta는 LLaMA 3가 논란의 여지가있는 질문에 더 개방적이고 정확하게 대답하도록 노력해 왔습니다.
메타는 LLAMA 3의 매개변수 규모를 밝히지 않았지만 The Information의 보도를 보면 GPT-4를 표시하는 큰 모델로서 LLAMA 3의 대규모 버전 매개변수 양은 최대 버전인 LLAMA 2에 비해 두 배 향상된 1400억 명을 넘을 것으로 알려졌다.
전체 오픈 소스 모델계에서 경쟁은 점점 더 치열해지고 있으며, 오픈 소스 대형 모델도 점점 더 강력하게 진화하고 있다.
올해 2월 구글은 지난해 고수했던 대형 모델 폐원 전략을 이례적으로 바꿔 오픈 소스 대형 모델 젬마를 선보였다.3월, 머스크도 산하 xAI 회사의 Grok-1 모델을 오픈소스했다.Gemma 및 Grok-1의 성능 테스트 문서에 따르면 수학, 추론, 코드 등 여러 벤치마크 테스트에서 동일한 규모의 LLAMA 2 모델을 능가하는 성능을 제공합니다.
지금까지 구글, xAI, Mistral AI, DataBricks, StabilityAI 등을 포함한 여러 기술 회사들이 오픈 소스의 큰 모델을 발표했다.업계 관계자는 앞서 매일경제신문 기자와의 인터뷰에서"개원이 대세다. 메타가 이런 추세를 선도하고 있다고 생각한다. 다음은 미스트럴 AI, 허깅페이스 등 규모가 작은 회사"라고 말했다.
광권 AGI: 100억 달러의 칩 사재기
연말 계산력은 약 60만 개의 H100에 상당할 것이다
오픈 소스 모델계의'짐꾼'인 메타의 AI 인프라 투입도 만만치 않다.
실제로 메타는 지난달 자신이 보유한 계산력 자원과 AI 인프라 배치를 위한 세부 사항과 로드맵을 보여주는 기술 블로그를 발표한 바 있다.이 회사는 모든 사람이 널리 사용하고 혜택을 받을 수 있도록 개방적이고 책임 있는 범용 인공지능 (AGI) 을 구축하는 것이 장기적인 비전이라고 밝혔다.
메타는 블로그에"2024년 말까지 350000개의 엔비디아 H100 GPU를 포함한 (AI) 인프라 건설을 계속 확대하는 것이 목표이며, 이는 제품 포트폴리오의 일부이며, 기타를 포함하면 거의 600000개의 H100에 해당하는 계산력"이라고 썼다. 현재 마이크로소프트만 이에 준하는 계산력 비축을 보유한 것으로 알려졌다.아마존에서 제시한 가격으로 계산하면 H100 칩 한 개에 약 3만 달러, H100 350000개의 가격은 105억 달러 (약 760억 원) 다.
이 문서에서 Meta는 또한 24576 개의 엔비디아 H100 GPU로 구성된 LLaMA 3를 훈련하는 데 사용되는 클러스터의 세부 사항을 밝혔다.
시장 추적 회사 인 Omdia가 작년에 발표 한 보고서에 따르면 Meta와 Microsoft는 엔비디아 H100 GPU의 최대 구매자입니다.이에 따르면 이들 두 회사는 2023년 각각 최대 1만5000개의 H100 GPU를 구매해 구글, 아마존, 오라클 등 과학기술회사가 구매한 H100 GPU 수의 3배 이상을 사들인 것으로 추산된다.
앞서 설명한 문서에서 메타도 "메타는 인공지능 소프트웨어와 하드웨어의 개방형 혁신에 항상 전념하고 있다.우리는 오픈 소스 하드웨어와 소프트웨어가 업계의 대규모 문제 해결을 돕는 귀중한 도구가 될 것이라고 믿는다"고 말했다.
특히 AI에 대한 투입으로 저커버그는 포브스가 최근 발표한 2024(38회) 전 세계 억만장자 순위에서 4위를 차지했고 순자산가치는 1천770억 달러로 저커버그가 기록한 이래 최고 순위이기도 하다.달러로 계산하면 저커버그의 순자산가치는 지난 한해동안 가장 많이 증가되여 도합 1126억딸라가 증가되여 증가폭이 174.8% 였다.