거대 기술 기업인 구글의 새로운 대형 모델 제미니가 하룻밤 사이에 폭발적으로 인기를 끌면서 시장의 주목을 받고 있지만, 구글이 제미니의 홍보 자료에서 과대 선전한 의혹이 있다는 분석이 나온다.
12월 6일 (현지 시간) 구글은'최대, 최강, 가장 통용되는'새로운 대형 언어 모델 Gemini를 출시한다고 밝혔다.Gemini는 Google Pixel 8 Pro 스마트폰과 챗봇 Bard에 적용된 휴대 전화에서 직접 작동하는 최초의 큰 모델이 될 것입니다.Gemini는 AI(인공지능)의 신예 거물인 OpenAI 산하 최신 대형 모델인 GPT-4에 대한 직접적인 대응으로 간주되며, 한때 챗봇 ChatGPT로 수동적인 상태였던 구글이 마침내 정식으로 트랙으로 복귀했음을 상징한다.
구글에 따르면 Gemini는 MMLU(대규모 멀티태스킹 언어 이해)에서 90.0%의 점수를 받아 MMLU 테스트에서 인간 전문가를 능가한 최초의 모델이다.Gemini에는 GPT-3.5보다 성능이 우수한 GPT-4의 경쟁사로 포지셔닝된 Gemini Ultra, 특정 작업 및 모바일 장치에 사용되는 Gemini Pro의 세 가지 다른 규모의 모델이 포함될 것입니다.
강력한 성능으로 Gemini는 하룻밤 사이에 대박을 터뜨려 월가의 관심을 끌었다.12월 7일 구글의 모회사 알파벳 (Nasdaq: GOOG) 의 주가는 5.31% 오른 136.93달러로 올해 8월 29일 이후 가장 좋은 하루를 맞아 시가총액이 1조7200억 달러에 달했다.
뱅크오브아메리카의 애널리스트는 6일 구글의 AI 능력에 대한 우려로 알파벳이 올해 어느 정도 압력을 받고 있으며,'좋은 브랜드 이미지를 가진 경쟁력 있는 모델'은 더 많은 소비자들이 구글 검색을 사용할 수 있도록 끌어들일 수 있다고 지적했다.또한 클라우드 서비스 판매에 긍정적인 영향을 끼쳤다."데이터에 따르면 구글은 일류, 복제 불가능한 AI 능력을 가지고 있으며, 이는 2024년 상반기에 회사의 주식 추세에 긍정적인 영향을 미칠 수 있다."
JP모건의 애널리스트는 6일 보고서에서 시장이 이날 Gemini에 뚜렷한 반응을 보이지 않았음에도 불구하고'이 주요 기술 전환'에서의 구글의 진전을 볼 수 있는 것은 매우'고무적'이라고 썼다.그러나 JP모건체이스도"검색 분야의 통화화 경로에 불확실성이 있다"며"앞으로 약간의 저항을 가져올 수 있다"고 지적했다.
7일 보고서에서 JP모건의 애널리스트는 "아직은 그 발전 초기이지만 Gemini의 출시는 생성형 AI가 광범위하게 상업화되고 널리 퍼진 이듬해 구글이 중대한 혁신을 했음을 상징한다"고 썼다.
현재로서는 구글이 전체 사업, 특히 가장 중요한 검색 사업에서 Gemini를 어떻게 상업화할 것인가가 월가의 주목을 받고 있는 점이다.현재 구글은 이달 말 구글 클라우드를 통해 Gemini를 고객에게 라이선스하고 향후 몇 달 동안 구글 서비스의 다른 제품과 통합할 계획이지만 후속 사업화 전략은 아직 발표하지 않았다.
웰스 파고 (Wells Fargo) 의 애널리스트는"Gemini의 출시는"구글이 AI 분야에서 도대체 어디로 가야 하는가"에 대한 논쟁을 잠재우기에 충분할 것이지만, 관건은 구글이 Gemini를 어떻게 이용하여 영리를 얻느냐에 있다."간단히 말해서, 나는 구글이 그들이 여전히 약간의 경쟁력을 가지고 있다는 것을 증명했다고 생각한다."
KeyBanc의 애널리스트도 Gemini는 구글의 올해 많은 AI 발표의'정점'이지만 AI가 구글의 실적 성장과 수익성에 긍정적인 영향을 미치려면 시간이 필요하다며"Gemini는 여전히 검색 등 핵심 제품에 진입하기 위해 노력하고 있기 때문에 그 영향을 참을성 있게 관찰할 것을 제안한다"고 말했다."
월가의 전반적인 전망과는 달리 과학기술 분야에서는 게미니가'과대 선전'의혹이 있을 수 있다는 목소리가 나온다.
Gemini가 6 일 출시 된 지 얼마 되지 않아 한 네티즌은 홍보 자료 중 일부 부적절한 점을 지적했다.예를 들어 구글이 Gemini의 MMLU가 GPT-4보다 높은 점수를 받았다고 했을 때 GPT-4의 점수는 86.4% 로 나타났지만 구글이 발표한 60페이지 분량의 기술 보고서에 따르면 Gemini Ultra의 MMLU 테스트 결과에는 "cot@32""라는 작은 단어 메모는 사고 체인 힌트 기술을 사용하고 32 번 시도했으며 그 중에서 가장 좋은 결과를 선택했음을 나타냅니다."반면 대조적인 GPT-4는 제시어 없는 기교가 5개의 예시를 주는데, 이 기준에서 Gemini Ultra의 테스트 결과는 사실 83.7% 로 GPT-4의 86.4% 보다 낮았다.
같은 용도로 사용하는 경우cot@32방법은 Gemini Ultra보다 성적이 낮지만 GPT-4의 득점률은 87.29% 에 달했다.
Gemini와 GPT의 다양한 조건에서의 MMLU 테스트 점수 비교.출처: 구글
구글 딥마인드의 수석 과학자 제프 딘 (Jeff Dean) 이 응답한 것처럼 이 작법은 두 가지 다른 방법 간의 비교를 보여주기 위한 것일 뿐 Gemini 테스트 동영상에 대한 의혹은 더욱 반박하기 어려워 보인다.
Gemini를 출시한 후 Google은 Gemini가 그림을 인식하고 다양한 언어로 설명하도록 하고, Gemini가 지도를 이용하여 지적 문답을 설계하도록 하며, Gemini와 컵 게임과 추리 작은 게임을 하는 등 6분 분량의 프레젠테이션 동영상을 발표했다.전반 과정에서 Gemini는 반응속도가 아주 빠르고 또 음성주파수와 그림을 생성하여 대답을 보조하고 일부 구어화 나아가서는 유머러스한 표현을 써서 사람들의 눈을 크게 뜨게 한다고 할수 있다.
그러나 곧 한 네티즌은 동영상의 첫머리에 있는 문자 면책 성명에서 문제를 발견하고 동영상에서 보여준 것은 실시간으로 녹화된 것이 아니라 편집된 것임을 암시했을 가능성이 있다고 주장했다.이어 구글은 한 블로그 글에서 다중모드적 인터렉션 과정을 설명했고, 기본적으로 정적 그림과 여러 단락의 제시어를 조합해야만 시연 동영상의 효과를 얻을 수 있다는 것을 간접적으로 인정했다.
예를 들어, 기사에서 구글은 비디오에서 가위바위보 제스처에 대한 빠른 반응과 달리 Gemini에게 이 세 가지 제스처를 동시에 보여주고 이것이 게임이라고 제시해야만 Gemini가 가위바위보 게임의 결론을 내릴 수 있다고 인정했다.홈페이지 캡처
이는 구글이 동영상에서 암시하는 것과는 완전히 다르다고 할 수 있다. 동영상으로 볼 때 Gemini는 실시간으로 주변 세계를 관찰하고 반응할 수 있으며, 사용자는 Gemini와 원활한 음성 대화를 할 수 있기 때문이다.이단 몰리크 (Ethan Mollick) 와튼 경영대학원 교수도 X 플랫폼에서 정적 그림과 다단 제시어를 사용한다면 ChatGPT Plus를 통해 Gemini의 표현을 충분히 복제할 수 있다는 시연을 했다.
이산 몰리크는 ChatGPT Plus에 구글 프레젠테이션 동영상의 여러 장의 스크린샷을 동시에 보여주었고, ChatGPT Plus도 비슷한 답을 줄 수 있었다.
의혹이 불거지자 구글 딥마인드 제품 부사장 일라이 콜린스 (Eli Collins) 는 외신에"동영상 속 오리 그리기 시연 (오리를 그린 간필화, Gemini는 모든 단계에 대해 정확한 해석을 할 수 있다) 은 확실히 연구 수준의 기능"이라며"적어도 아직 구글의 실제 제품에는 나타나지 않았다"고 답했다.
구글 딥마인드 리서치 및 딥러닝 책임자 부사장 오리올 비니알스 (Oriol Vinyals) 도 X(옛 트위터) 플랫폼에 장문의 글을 올렸다.팀은 "동영상 속 모든 사용자 힌트와 출력은 사실적이며 간결함을 위해 단축했을 뿐"이라며 이 영상을 어떻게 만들었는지 설명했다. 위니아르스는 또 "이 영상은 게미니를 사용해 구축한 다중모드적 사용자 경험이 어떤 모습인지 보여준다. 개발자들을 격려하기 위해 그렇게 했다"고 밝혔다.
그러나 비니야르스의 대응은 더 많은 논란을 불러일으켰다.한 네티즌은 "개발자를 격려하려면 왜 진실한 내용을 발표하지 않느냐. 단축된 사용자 힌트는'진실'이 아니다"라며 "진정성도 없고 오도성도 있다"고 평했다.
한 구글 직원은 외신에 이 동영상이"실제에 맞지 않는 화면"을 묘사했다고 생각한다고 밝혔다.어떤 직원은 이런 과장된 프레젠테이션에 놀라지 않았다. 왜냐하면 직원들은 이미 회사가 제품에 대해 어느 정도 과장된 마케팅을 하는 것에 익숙해졌기 때문이다."나는 대부분의 큰 언어 모델 기술을 사용한 직원들이 (프레젠테이션에서의) 이 모든 것을 보류해야 한다는 것을 알고 있다고 생각한다."
외신들은 구글이"방대한 관료 시스템과 각급 제품 매니저들이 지금까지 OpenAI처럼 민첩하게 제품을 출시할 수 없게 했다"고 보고 있다.AI 전환의 영향에 대응하고 있는 사회 입장에서 나쁜 일은 아니다.그러나 구글의 최근 이런 신속한 추진에 대해서는 어느 정도 유보적인 태도를 유지해야 한다.