4월 16일, 바이두의 창시자이며 리사장 겸 최고경영자인 리언굉은 Create 2024 바이두 AI 개발자대회에서 바이두가 지난 한해동안 실천해낸, AI 원생응용을 개발하는 구체적인 사고방식과 도구를 공유했다.그는 "대언어 모델 자체가 직접적으로 가치를 창출하는 것은 아니다. 큰 모델을 기반으로 개발된 AI 애플리케이션이야말로 실제 시장 수요를 충족시킬 수 있다"며 "오늘 제가 여러분과 공유하고 싶은 것은 큰 모델을 기반으로 AI 네이티브 애플리케이션을 개발하기 위한 구체적인 아이디어와 도구들이다. 지난 1년간의 실천에 따라 수많은 구덩이를 밟고 비싼 학비를 내고 바꿔온 것"이라고 강조했다.
구체적인 도구와 사고방식으로 볼 때 리언굉은 주로 세가지 내용을 공유했다. 첫째는 MoE이다.미래의 대형 AI 네이티브 응용은 기본적으로 모두 MoE의 것이다. 여기서 말하는 MoE는 일반적인 학술 개념이 아니라 크기 모델의 혼용이며, 하나의 모델에 의존하지 않고 모든 문제를 해결한다.
두 번째는 작은 모델입니다.작은 모형은 추리원가가 낮고 응답속도가 빠르며 일부 특정장면에서 정밀조정을 거친 작은 모형은 그 사용효과가 큰 모형에 필적할수 있다.이것이 바로 ERNIE Speed, ERNIE Lite, ERNIE Tiny의 세 가지 경량 모델을 발표한 이유입니다.우리는 큰 모형을 통해 하나의 기초모형을 압축증류한 다음 다시 데이터로 훈련한다. 이는 처음부터 작은 모형을 훈련하는 것보다 효과가 훨씬 좋다. 오픈 소스 모형에 기초하여 훈련하는 모형보다 효과가 더 좋고 속도가 더 빠르며 원가가 더 낮다.
셋째는 지능체이다.지능체는 현재 매우 뜨거운 화제이다. 지능체의 능력이 향상됨에 따라 끊임없이 대량의 AI 원생 응용을 탄생시킬 것이다.이해, 계획, 반성 및 진화를 포함한 지능체 메커니즘은 기계가 사람처럼 사고하고 행동하며 복잡한 임무를 자율적으로 완수하고 환경에서 지속적으로 학습하며 자기 반복과 자기 진화를 실현할 수 있도록 한다.일부 복잡한 시스템에서 우리는 또 부동한 지능체가 상호작용하고 서로 협력하여 더욱 높은 품질로 임무를 완수할수 있다.이러한 지능체 능력은 우리가 이미 개발하여 개발자에게 전면적으로 개방하였다.