기자가 5월 21일 알리 클라우드로부터 입수한 소식에 따르면 통의천문 GPT-4급 주력모델 Qwen-Long, API 입력가격은 0.02원/천tokens에서 0.0005원/천tokens로 97% 하락했다.이는 1위안으로 200만 토큰스를 살 수 있다는 뜻으로'신화자전'5권의 문자량에 해당한다.이 모델은 최대 1천만 tokens의 긴 텍스트 입력을 지원하며, 가격 인하 후 GPT-4 가격의 약 1/400이다.
21일 열린 우한 AI 지령자 정상회의 현장에서 알리 클라우드 인텔리전스그룹 선임 부총재인 류웨이광 공공클라우드사업부 회장은"중국 1위 클라우드 컴퓨팅 회사인 알리 클라우드가 이번에 대형 모델 추리 가격을 대폭 낮춘 것은 AI 응용의 폭발을 가속화하려는 것"이라며"앞으로 대형 모델 API의 호출량이 수천만 배로 늘어날 것으로 예상한다"고 말했다.
류웨이광은"전 세계 최저가를 뚫고 AI 폭발을 가속화한다"는 말로 이번 알리퉁의 천문의 새로운 변화를 표현했다.
가격 인하는 모두 9가지 상업화 및 오픈 소스 시리즈 모델을 커버한다
알아본데 따르면 이번 통의천문가격인하는 도합 9개의 상업화 및 오픈소스 계렬모형을 망라하는데 여기에는 Qwen-Long, Qwen-Max, Qwen1.5-72B 등이 포함된다.그 중 통의천문 주력 모델인 Qwen-Long은 컨텍스트 길이가 최고 천만 위안에 달하고 API 입력 가격은 0.02위안/천tokens에서 0.0005위안/천tokens로 97% 하락한다.방금 발표된 플래그십 모델인 Qwen-Max는 권위 있는 벤치마크인 OpenCompass에서 GPT-4-Turbo와 성능이 비슷해 API 입력 가격이 0.04원/천tokens로 67% 하락했다.
그 중 주력 모델인 Qwen-Long 성능은 GPT-4 레벨에 맞추어 있으며, 초장 컨텍스트 장면을 처리할 수 있으며, 중국어, 영어 등 다양한 언어 입력을 지원하며, 최대 1000만 tokens (약 1500만 자 또는 1만 5000페이지 문서) 의 초장 컨텍스트 대화를 지원한다.알리 클라우드 백련 플랫폼과 함께 동시에 오픈된 문서 서비스는 word, pdf, markdown, epub, mobi 등 다양한 문서 형식의 해석과 대화를 지원할 수 있다.
공용 클라우드 + API는 기업이 큰 모델을 사용하는 주류 방식이 될 것이다
대형 모델의 성능이 점차 향상됨에 따라 AI 응용 혁신은 밀집 탐색기에 접어들고 있지만, 추리 원가가 너무 높은 것은 여전히 대형 모델의 규모화 응용을 제약하는 관건적인 요소이다.
민영화 배치와 달리 클라우드 기반 호출은 큰 모델의'원가 절감과 효율 증대'에 더 큰 공간을 제공한다.일반적으로 사유화 배치 오픈 소스 모델은 자체 클러스터를 구축해야 하며, 하드웨어 구매, 소프트웨어 배치, 네트워크 비용, 전기 요금 및 하드웨어 감가상각, 인력 등 다중 비용 요소를 고려해야 하며, 만약 계산 자원의 유휴 또는 과적 등 상황이 발생하면 추가 원가를 지불해야 한다;클라우드에서 대형 모델 API를 호출하면 실제로 사용과 필요에 따라 사용할 수 있습니다.
류웨이광은"전 세계 최저가를 뚫고 AI 폭발을 가속화한다"는 말로 이번 알리퉁의 천문의 새로운 변화를 표현했다.
그는 오픈 소스 모델이든 상업화 모델이든 공공 클라우드 + API는 기업이 큰 모델을 사용하는 주류 방식이 될 것이며, 주로 세 가지 이유가 있다고 말했다.
첫째, 공용 클라우드의 기술 보너스와 규모 효과는 막대한 비용과 성능 우위를 가져옵니다.알리 클라우드는 모델 자체와 AI 인프라 두 가지 측면에서 끊임없이 최적화되어 극한의 추리 비용과 성능을 추구할 수 있다.알리 클라우드는 자체 개발한 이기종 칩 상호 연결, 고성능 네트워크 HPN7.0, 고성능 스토리지 CPFS, 인공지능 플랫폼 PAI 등 핵심 기술과 제품을 기반으로 극도로 탄력적인 AI 계산력 스케줄링 시스템을 구축하고 백련 분산 추리 가속 엔진과 결합하여 모델 추리 원가를 대폭 압축하고 모델 추리 속도를 가속화했다.
같은 오픈 소스 모델이라도 공용 클라우드에서의 호출 가격은 민영화 배치보다 훨씬 낮다는 것이다.Qwen-72B 오픈 소스 모델을 사용하고 월 1억 tokens 용량을 사용하는 것을 예로 들면, 알리 클라우드 백련에서 API를 직접 호출하는 것은 월 600위안에 불과하며, 민영화 배치의 원가는 월 평균 1만 위안을 초과한다.
둘째, 클라우드에서 다중 모델 호출을 더욱 편리하게 하고 기업급 데이터 안전 보장을 제공한다.알리 클라우드는 각 기업에 전용 VPC 환경을 제공하여 컴퓨팅 격리, 저장 격리, 네트워크 격리, 데이터 암호화를 실현하여 데이터 안전을 충분히 보장할 수 있다.현재 알리 클라우드는 10여 가지 대형 모델 안전 관련 국제 국내 기술 표준의 제정을 주도하거나 깊이 참여하고 있다.
셋째, 클라우드 제조업체의 천연적인 개방성은 개발자에게 가장 풍부한 모델과 도구사슬을 제공할수 있다.알리 클라우드 백련 플랫폼에는 퉁이, 바이촨, ChatGLM, Llama 시리즈 등 수백 개의 국내외 양질의 모델이 집결되어 있으며, 내장된 대형 모델 커스터마이징과 응용 개발 도구 사슬은 개발자가 편리하게 서로 다른 모델을 테스트하고 비교할 수 있으며, 전속 대형 모델을 개발하고 RAG 등 응용을 쉽게 구축할 수 있다.모델 선택, 모델 조정, 응용에서 대외 서비스에 이르기까지 원스톱으로 해결한다.
최신 데이터에 따르면, 통의대모델은 알리 클라우드 서비스 기업을 통해 이미 9만 개를 넘어섰고, 스파이크 서비스 기업을 통해 220만 개를 넘어섰으며, 이미 PC, 휴대폰, 자동차, 항공, 천문, 광업, 교육, 의료, 음식, 게임, 문려 등 분야에서 착지하여 응용되었다.
5월 9일, 좁쌀산하의 인공지능조수"소애동창생"은 이미 아리운통의대모형과 합작을 달성하여 사진생성, 사진리해 등 면에서의 다모태AI생성능력을 강화하고 좁쌀자동차, 휴대폰 등 여러가지 설비에 착지했다.이밖에 미니블로그, 중안보험, 퍼펙트월드게임 등 기업들도 통의대모형에 접속하여 대형모형을 소셜미디어, 보험, 게임 등 분야에 응용한다고 선포했다.