OpenAI가 전례없이 궐기할 때 구글은 의연히 절체절명의 반격전을 벌렸다.
12월 6일 (현지 시간) 구글은 규모가 가장 크고 기능이 가장 강력한 새로운 대형 언어 모델 Gemini, 가장 강력한 TPU (장량 처리 단위) 시스템"Cloud TPU v5p"및 구글 클라우드에서 온 인공지능 슈퍼컴퓨터를 출시한다고 발표했다.v5p는 올해 초 전면 출시된 Cloud TPU v5e의 업데이트 버전으로 구글은 v4 TPU보다 속도가 훨씬 빠르다고 약속했다.
특히 MMLU(대규모 멀티태스킹 언어 이해) 테스트에서는 제미니 울트라가 90.0%의 높은 점수를 받아 처음으로 인간 전문가를 앞질렀다.
Gemini의 다양한 기능
12월 7일 계면뉴스의 보도에 따르면 Gemini 1.0은 구글이 1년 동안 준비한 GPT4의 진정한 경쟁품이며 현재 구글이 내놓을 수 있는 기능이 가장 강하고 가장 유연한 큰 모델이다. 여기에는 Gemini Ultra, Gemini Pro, Gemini Nano 등 세 가지 다른 키트가 포함된다.
그중 Ultra는 능력이 가장 강하고 복잡도가 가장 높으며 가장 어려운 다중모태임무를 처리할수 있다.프로는 멀티태스킹까지 확장할 수 있는 모델로 약하다;나노는 휴대전화 끝에서 작동할 수 있는 모델이다.이는 Gemini의 터치 범위가 매우 넓어 데이터 센터로 내려가거나 모바일 장치 쪽으로 올라갈 수 있다는 것을 보여줍니다.
Gemini 모델은 대량의 데이터 훈련을 통해 텍스트, 이미지, 오디오 등의 내용을 잘 식별하고 이해할 수 있으며 복잡한 주제와 관련된 질문에 대답할 수 있습니다.그래서 수학과 물리 등 복잡한 학과를 설명하는 추리 임무에 뛰어나다.
Gemini는 Python, Java, C++ 및 Go와 같은 주요 코드를 생성하고 이해할 수 있습니다.Gemini Ultra는 인코딩 작업의 성능을 평가하는 중요한 업계 표준인 HumanEval을 포함한 여러 인코딩 벤치마크에서 뛰어난 성과를 거두었습니다.
구글은 또한 Gemini 모델을 기반으로 전문적인 코드 모델인 AlphaCode 2를 개발했다.알파코드 2는 이전 세대에 비해 성능이 최소 50% 이상 향상됐다.
Gemini의 다중 모드 기능은 시각적 이해, 텍스트 생성 등에 매우 강력한 기능을 제공합니다.예를 들어 수십만 자의 소설에서 중요한 관점을 정리하고 200쪽짜리 금융보고서에서 가장 가치 있는 내용을 찾아내는 식이다.이는 금융, 과학기술, 의료의 과학연구와 업무일군들에게 있어서 큰 도움이 된다.
공개된 프레젠테이션 비디오에서 산다르 피차이는 비디오, 이미지에 대한 Gemini의 비범한 인식 능력을 보여주었습니다.비디오에서 Gemini는 매우 자유롭게 이미지, 오디오, 비디오 각 모드 간의 변환을 통해 놀라운 잠금 해제 응용 장면과 제품 형태의 잠재력을 보여줍니다.
구글 프레젠테이션 영상
구글이 공개한 시연 동영상 결과만 보면 시중에 나와 있는 기존 모든 다중모드 대형 모델과 Gemini의 성능 표현은 메타가 5월 오픈소스로 6개의 모드에 걸친 AI 모델인 ImageBind와 GPT-4를 포함해 세대 차이가 있다.
구글
1년 전 인공지능 개발기관 오픈AI가 챗봇 챗GPT를 발표하자 현재 인공지능 열풍 뒤에 있는 대부분의 기반 기술을 만든 구글은 당황해 내부'적색경보'(red code)를 발령하기도 했다.1년 일주일 뒤 구글은 반격할 준비가 된 것 같다.
펑파이에 따르면 구글 딥마인드 최고경영자이자 Gemini 팀 대표인 데미스 하사비스 (Demis Hassabis) 는 발표회에서 GPT-4와 Gemini의 대비에 대해 정면으로 언급했다."우리는 시스템을 매우 철저하게 분석하고 벤치마킹했다. 구글은 광범위한 전체 테스트 (예: 멀티태스킹 언어 이해 벤치마킹) 에서 두 모델의 파이썬 코드 생성 능력을 비교하기 위해 32개의 완벽한 벤치마킹을 실행했다."하사비스는 약간 미소를 지으며"32개 기준 중 30개에서 우리가 크게 앞서고 있다고 생각한다"고 말했다.
출시일부터 Gemini는 Bard 및 Pixel 8 Pro 스마트폰에 적용되기 시작할 수 있으며 크롬, 검색 및 광고 등을 포함한 구글 서비스의 다른 제품과 곧 통합될 것입니다.
현재 구글은 구글 클라우드를 통해 Gemini를 고객에게 라이선스하여 자체 앱에서 사용할 수 있도록 할 계획이다.12월 13일부터 개발자와 기업 고객은 구글 AI 스튜디오 또는 구글 클라우드 버텍스 AI의 Gemini API(애플리케이션 프로그래밍 인터페이스)를 통해 Gemini Pro에 액세스할 수 있으며, 안드로이드 개발자는 Gemini Nano를 사용하여 구축을 완료할 수 있다.
소개에 따르면 Gemini Ultra는 MMLU (대규모 멀티태스킹 언어 이해) 에서 인간 전문가를 능가하는 최초의 모델이다. 이 모델은 수학, 물리, 역사, 법률, 의학, 윤리학 등 57개 과목을 종합적으로 사용하여 세계 지식과 문제 해결 능력을 테스트한다. 구글은 한 블로그 글에서 복잡한 주제 중의 미세한 차이와 추리를 이해할 수 있다고 밝혔다.
반면 CNBC에 따르면 구글 임원들은 기자회견에서 Gemini Pro가 GPT-3.5보다 나은 모습을 보였다고 밝혔지만 GPT-4와 비교하면 어떠냐는 질문은 피했다.Bard Advanced에 대한 구글의 액세스 유료화 계획에 대해 Bard 사장 인 Sissie Hsiao는 구글이 좋은 경험을 만드는 데 집중하고 있으며 아직 관련 수익에 대한 세부 사항은 없다고 말했다.
구글 최강 TPU와 AI 슈퍼컴퓨터
새로운 모델과 함께 새로운 버전의 TPU 칩 TPU v5p도 선보여 대언어 모델 훈련과 관련된 시간 투입을 줄이기 위한 것이다.TPU는 구글이 신경망을 위해 설계한 전용 칩으로, 기계 학습 모델의 훈련과 추정 속도를 높일 수 있도록 최적화돼 2016년부터 1세대 TPU를 출시하기 시작했다.
구글에 따르면 TPU v4에 비해 부동 소수점 연산 성능은 2배, 고대역폭 메모리는 3배 향상됐다.구글의 600GB/s 칩 간 상호 연결을 사용하면 8천960개의 v5p 가속기를 하나의 Pod(일반적으로 여러 개의 칩이 포함된 클러스터나 모듈을 의미)에 결합시켜 모델을 더 빠르거나 더 정밀하게 훈련할 수 있다.참고로 이 값은 TPU v5e보다 35배, TPU v4보다 두 배 이상 큽니다.
구글에 따르면 TPU v5p는 지금까지 가장 강력하며 459 teraFLOPS (초당 459 조 부동 소수점 연산 가능) 의 bfloat16 (16 비트 부동 소수점 형식) 성능이나 918 teraOPS (초당 918 조 정수 연산 가능) 의 Int8 (8 비트 정수 실행) 성능, 95GB의 고대역폭 메모리를 지원하며 2.76 TBs의 데이터 전송 속도를 지원한다.
구글은 이 모든 것이 TPU v5p가 TPU v4보다 GPT-3 (1750억 매개변수) 와 같은 큰 언어 모델을 훈련하는 것이 TPU v4보다 2.8배 빠른 대형 언어 모델을 훈련할 수 있다는 것을 의미한다고 밝혔다.
구글은 새 하드웨어 외에도'인공지능 슈퍼컴퓨터'라는 개념을 도입했다.구글 클라우드는 이를 오픈 소프트웨어, 성능 최적화 하드웨어, 기계 학습 프레임워크, 유연한 소비 모델을 갖춘 통합 시스템을 포함한 슈퍼 컴퓨팅 아키텍처로 묘사했다.
구글 컴퓨팅 및 기계 학습 인프라 부문 부사장 마크 로마이어 (Mark Lohmeyer) 는 블로그 글에서 다음과 같이 설명했다."전통적인 접근 방식은 일반적으로 까다로운 인공지능 워크로드를 단편적인 구성 요소 수준 향상을 통해 해결하는데, 이는 비효율과 병목 현상을 초래할 수 있다.""이에 비해 인공지능 슈퍼컴퓨터는 인공지능 훈련, 조정 및 서비스의 효율과 생산력을 향상시키기 위해 시스템 수준 협동 설계를 사용한다."이 합병은 각 부분을 단독으로 보는 것보다 생산력과 효율을 높인다는 것으로 이해할 수 있다.즉, 슈퍼컴퓨터는 성능 저하를 초래할 수 있는 모든 변수 (하드웨어 또는 소프트웨어) 를 제어하고 최적화하는 시스템입니다.
