오픈 소스 대형 모델 트랙은 메가톤급 신제품을 맞이했다.
2월 21일 (현지 시각) 구글은 개발자와 연구자들이 책임감 있게 인공지능을 구축할 수 있도록 돕기 위한 새로운 오픈 소스 대언어 모델 (LLM)'젬마'를 공식 출시한다고 밝혔다.
소개에 따르면 젬마 대형 모델은 구글에서 규모가 가장 크고 능력이 가장 강한 인공지능 모델인 제미니와 기술과 인프라를 공유하고 있다."지미니의 영감을 받아 구글 딥마인드는 구글의 다른 팀과 협력하여 젬마를 개발했으며 라틴어로'보석'이라는 뜻의 젬마로 이름을 붙였다."
그러나 Gemma는 Gemini보다 경량화됩니다.이와 동시에 Gemma는 여전히 무료로 사용되고있으며 그 모형가중치도 함께 원천을 열고 상업용을 허용하고있다.
구글은 젬마 2B(20억 매개변수)와 젬마 7B(70억 매개변수) 등 총 두 가지 가중치 규모의 모델을 발표했다.각 규모에는 사전 훈련 및 명령 미세 조정 버전이 있으며 규모에 관계없이 모든 조직이 상업 및 배포를 책임감 있게 수행할 수 있습니다.
구글이 젬마를 발표한 같은 날, 한창 기세드높은 칩제조업체 엔비디아도 이미 구글과 협력을 달성하여 젬마모형이 그 칩에서 순조롭게 운행되도록 확보했다고 선포했다.엔비디아는 또 산하 챗봇 소프트웨어인 챗위드 RTX도 곧 젬마를 지원할 것이라고 밝혔다.
특히 구글은 젬마가 핵심 기준에서 더 큰 모델을 월등하게 깔아뭉갤 수 있다고 강조했다.더욱 인상적인 것은 Google Gemma가 노트북에서 작동한다는 것입니다.
Gemini는 오늘날 우리가 널리 사용하고 있는 가장 크고 강력한 AI 모델이라고 구글 측은 밝혔다.Gemma 2B 및 7B는 다른 오픈 모델에 비해 동급 최고의 성능을 제공합니다.젬마 모델은 개발자 노트북이나 데스크탑 컴퓨터에서 직접 실행할 수 있습니다."Gemma는 중요한 기준에서 더 큰 모델을 넘어 안전하고 책임 있는 출력의 엄격한 기준을 준수한다는 점에 주목할 필요가 있습니다."
구글은 오픈 소스 모델과 함께 젬마의 성능, 데이터 세트 구성, 모델링 방법에 대한 상세한 정보를 담은 기술 보고서도 공개했다.연구자들은 기술 보고서에서 젬마가 지원하는 어휘표의 크기가 256K에 이른다는 것을 발견했는데, 이는 영어 이외의 다른 언어에 더 좋고 더 빠른 지원을 제공할 수 있다는 것을 의미한다.
젬마와 메타사가 발표한 Llama 2의 매개변수 비교, 구글 홈페이지
젬마도 유명 오픈 소스 모델 라이브러리인 허깅페이스와 허깅챗에 가장 먼저 오픈했다.오픈한 지 얼마 되지 않아 HuggingFace의'대언어 모델 차트'에서 Gemma 2B와 7B 모델이 나란히 정상에 올랐다.
AI 업계 전문가이자 딥러닝 프레임워크인 Keras의 저자인 Franois Chollet은 이에 대해 최강 오픈 소스 대형 모델의 위치가 이제 바뀌었다고 말했다.
젬마의 경쟁사인 엘라마3도 출시를 앞두고 있다.1월 19일, 메타의 공동 설립자이자 CEO 저커버그는 메타가 Llama 3를 훈련시키고 있으며 책임 있는 방식으로 계속 오픈소스를 시작할 것이라고 발표했다.