"과학창업판일보" 7월 24일발 소식 (기자 장양양): 저커버그는 큰 모형의 개원을 끝까지 진행했다.
오늘 새벽, Meta는 8B, 70B, 405B 세 가지 버전을 포함하는 차세대 오픈 소스 대형 모델 Llama 3.1 시리즈를 공식 발표했으며 최대 컨텍스트는 128k로 향상되었습니다.
메타 창업자 저커버그는 동시에 홈페이지에 글을 올려 자신의 모델을 강력하게 대변했다.그는 현재 대부분의 선도적인 기술 회사와 과학 연구는 오픈 소스 소프트웨어 위에 세워져 있으며, 오픈 소스는 AI가 전진하는 방향이며, 메타는 오픈 소스 AI 업계의 표준이 되는 목표를 향해 매진하고 있다고 말했다.
과학기술계에서 개원과 폐원에 관한 분쟁이 유래가 깊다는 점을 강조해야 한다.비판자들은 오픈 소스가 기술 독창성의 결핍을 감추고 실질적인 혁신이 아니라 오픈 소스 모델을 간단하게 조정할 뿐이라고 생각한다.바이두의 창시자 리언굉은 심지어 개원대모형은 학술연구, 교수분야 등 특정장면에서 존재할 가치가 있지만 대다수 응용장면에는 적용되지 않는다고 표시했다.지지자들은 성숙한 오픈 소스 아키텍처를 기반으로 맞춤형 개선을 진행하는 것은 기술 발전의 일상적인 상태이며, 기술의 빠른 혁신과 진보를 추진할 수 있다고 생각한다.
큰 모형 분야에서는 개원과 폐원 큰 모형의 우열 비교도 종종 발생한다.지금까지 오픈 소스 모델은 기능과 성능 면에서 대부분 폐쇄형 모델에 뒤처져 있었다.그러나 Llama 3.1이 발표됨에 따라 큰 모델은 오픈 소스와 폐쇄 소스가 새로운 격투를 맞이할 것이다.
메타가 제공하는 벤치마크 데이터에 따르면 Llama 3.1은 4050 억 개의 매개 변수를 가지고 있으며 최근 몇 년 동안 가장 큰 규모의 큰 언어 모델 중 하나입니다.이 모델은 15조 개의 Tokens, 1만 6천 개의 H100 GPU를 기반으로 훈련되고 있으며, 이는 Meta가 이 규격의 모델로 훈련한 최초의 Llama 모델이기도 하다.메타에 따르면 Llama 3.1은 상식, 조종 가능성, 수학, 도구 사용, 다국어 번역 등 첨단 기능에서 GPT-4o와 Claude3.5Sonnet 등 최고급 폐원 대형 모델을 표시하기에 충분하다.
Llama 3.1은 이제 Meta 공식 홈페이지와 Hugging Face에서 다운로드할 수 있습니다.최신 데이터에 따르면 모든 Llama 버전의 총 다운로드 수는 3 억 회를 초과했습니다.
이날 같은 시각 엔비디아도 Llama 3.1의 강력한 어시스트를 위한 콤보 트레이닝 서비스를 선보였다.
"과학창업판일보" 기자가 엔비디아측으로부터 알아본데 따르면 엔비디아는 정식으로 새로운 NVIDIA AI Foundry 서비스와 NVIDIA NIM 추리마이크로서비스를 내놓았다.NVIDIA AI Foundry는 NVIDIA와 퍼블릭 클라우드가 공동으로 설계한 NVIDIA DGX Cloud AI 플랫폼으로 기업에 대량의 계산력 자원을 제공할 수 있다.
NVIDIA AI Foundry, NVIDIA NIM 패키지 Llama 3.1 시리즈 오픈 소스 모델을 함께 사용하면 기업은 특정 분야의 업계 용례에 대한 사용자 정의"슈퍼 모델"을 만들 수 있습니다.또한 기업은 Llama 3.1 405B 및 NVIDIA Nemotron Reward 모델에서 생성된 자체 데이터와 합성 데이터를 사용하여 이러한 슈퍼모델을 훈련할 수 있습니다.
엔비디아의 황인훈 창업자 겸 최고경영자 (CEO) 는 메타의 Llama 3.1 오픈 소스 모델은 글로벌 기업이 생성식 AI를 채택할 수 있는 중요한 순간이 도래했음을 상징한다고 말했다.Llama 3.1은 각 기업과 업계가 선진적인 생성식 AI 응용을 창설하는 물결을 일으킬 것이다.NVIDIA AI Foundry는 Llama 3.1을 전 과정에 통합했으며 기업이 사용자 정의 Llama 슈퍼 모델을 구축하고 배포하는 데 도움을 줄 수 있습니다.