"에지 컴퓨팅과 기계 시각 기술은 이미 상당히 성숙되어 있으며, 앞으로 더 많은 관심과 자원을 대언어 모델과 AI의 개발과 응용에 투입할 수 있을 것이다.AI 모델은 점차 클라우드에서 에지로 이동할 수 있다.우리는 거대한 혁신의 물결이 준비되고 있다는 것을 예견할 수 있다.현재 시장에는 이미 많은 성숙한 해결방안이 나타났으며 우리는 이 전환의 관건적인 시각에 처해있다.»2024 인텔 네트워크 및 에지 컴퓨팅 산업 컨퍼런스 기간 동안 인텔의 수석 부사장 겸 네트워크 및 에지 사업부 사장인 사친 카티는 차이연합뉴스 기자와의 인터뷰에서 이렇게 말했다.
최근 차이연합뉴스 기자가 업계 여러 방면에서 알아본데 따르면 계산력, 변두리추리능력, 원가를 종합적으로 고려할 때 인공지능의 변두리분야에서의 침투는 관건적인 추세로 될것이며 여러 거두들이 이 코스에 진입하고 적지 않은 성숙된 해결방안이 용솟음치고 변두리AI가 한창 발전하고있으며 2030년 전 세계 변두리시장규모는 천억딸라의 규모에 달할것이다.
에지 AI를 겨냥한 성숙한 솔루션 출시
차이연합뉴스 기자가 최근 인텔 측으로부터 알아본데 따르면 올해 상반기 인텔 중국지역 변두리단업무는 동기대비 성장을 유지했으며 회사는 이 추세가 유지될것이라고 예측했다.변두리 AI는 줄곧 인텔의 지난 다년간의 관심중점으로서 배치분야는 소매, 의약, 물류, 농업, 교통, 제조업 등과 관련된다.
사친 카티 (Sachin Katti) 는 차이연합뉴스 기자에게"지금 우리가 말하는 에지 AI는 사실 이미 에지의 기계 시각에서 점차 예를 들면 큰 언어 모델, 에지 응용 및 생성식 AI 등으로 진전되고 있기 때문에 인텔은 끊임없이 관련 능력을 제공하여 에지 끝에서의 생성식 AI 및 큰 언어 모델의 배치를 가속화해야 한다.우리는 이미 하드웨어 공급에만 국한된 것이 아니라 응용 계층, 소프트웨어 및 고객 서비스 지원 등 여러 차원으로 확장됐다"고 말했다.
(재련사 기자 찍음)
올해 MWC 기간 동안 인텔 측은 에지에 9만여 개의 실제 배치를 완료했다고 밝혔다.Sachin Katti는 컨퍼런스에서 인텔이 개방형, 모듈식, 통합 플랫폼을 핵심으로 하는 방법으로 에지 Al 솔루션의 배포를 가속화할 것이라고 밝혔다."하드웨어 측면에서는 Llama 2, Llama 3 등 많은 모델이 로컬에서 실행될 수 있는 충분한 메모리가 있는 GPU와 NPU 솔루션을 제공할 것입니다."생태면에서 지금까지 인텔네트워크와 변두리사업부는 중국에서 이미 500여개 OEM/ODM과 150여개 ISV와 협력관계를 맺었다.
실제로 인텔뿐만 아니라 AMD, 엔비디아, 퀄컴 등 거물, 윈톈리페이 (688343.SH), 중커창다 (300496.SZ), 궈커웨이 (300672.SZ) 등 A주 상장사들은 모두 변두리를 겨냥해 움직였다.
이와 동시에 재련사 기자는 대전시구역에서 로보트 (300024.SZ), 심신복 (300454.SZ), 디지털시보 (300079.SZ), 중과창달 등 A주 제조업체들이 모두 각자의 변두리 AI 성과를 과시한데 주의를 돌렸다.
차이연합뉴스 기자는 전시구역에서 모델 훈련 과정에서 자동화 수단을 통해 데이터 표시를 한 사례에 주목했다.부스 직원은 기자에게 인텔 코어 프로세서, 인텔 리셴 독립 그래픽 카드 ARC770을 기반으로 한 CNN 에지 훈련 방안은 비주얼 대형 모델을 이용하여 사진 자동 마크업과 MLFlow 기반 모델 자동 재훈련을 실현했다고 말했다."원래 훈련 모델은 알고리즘 회사를 찾아야 한다. 표기는 모두 사람이 완성해야 한다. 지금은 기계를 사용하여 표기할 수 있다. 훈련 원가, 인력 원가가 모두 크게 낮아졌다. 현재 업계에서는 서서히 이런 훈련 방안이 나타나고 있다."
이번에 인텔이 최근 만든 3D 가상 수지인'소영'도 전시됐다.부스 관계자는"샤오잉"도 마찬가지로 코어 프로세서, ARC770 그래픽 카드를 기반으로 제작되었으며, 에지 엔드에 완전히 배치되었으며, 현지에 큰 언어 모델과 RAG 기술을 통합했다고 말했다.영업점 고객센터, 백화점 구매 안내, 박물관 안내원 등의 역할을 소화할 수 있는 것으로 알려졌다.
AI Agent 징후가 이미 변두리에 배치된 동인은 무엇입니까?
업계 발전의 시각에서 인텔은 AIGC 및 대언어 모델 발전에 대해 3단계를 요약했다: 1단계는 AI 보조 시대 (Age of AI Co-Pilots), 2단계는 AI 조수 시대 (Age of AI Agents), 3단계는 완전 기능 AI 시대 (Age of AI Functions) 이다.
"중국에서 볼 때, 우리의 혁신 속도는 매우 빠르다. 많은 AI 에이전트의 기능은 현재 이미 발전 조짐을 보았을 것이다. AI 에이전트와 관련된 사례는 실제로 우리 곁에서 이미 서서히 나타나고 있다."인텔 중국 지역 네트워크 및 변두리 사업부 최고 기술 책임자, 인텔 수석 수석 AI 엔지니어 장우는 차이연합뉴스 기자에게 이렇게 말했다.
그는 예를 들어 통신 기업의 네트워크 보안 및 네트워크 운영 제품은 이미 큰 모델을 기반으로 네트워크 로그 파일을 분석하여 네트워크 관리자가 적시에 분석 결과에 따라 조치를 취할 수 있도록 할 수 있다고 말했다.Sachin Katti는 앞으로 1~2년 안에 더 많은 AI Agent가 나타날 것으로 예상된다고 밝혔다.
인텔 임원은 대회에서 중국의 생성식 인공지능 시장 규모가 올해 33억 달러에 달할 것으로 예상된다고 언급했다.가트너에 따르면 2026년까지 전 세계 기업의 80% 가 생성형 AI를 사용하고 전 세계 에지 배포의 50% 가 AI를 포함할 것으로 예상된다.STL Partners 보고서에 따르면 2030년 전 세계 에지 서비스 시장 규모는 4450억 달러에 달할 것이며, 이 중 AI가 가장 큰 에지 워크로드이다.
변두리 AI 시장이 지속적으로 뜨거워지고 있는데, 기업이 변두리 측면에 배치하도록 구동하는 실제 원인은 어디에 있는가?
"첫째, 데이터의 보안, 안심하고 데이터를 클라우드에 두는 것이 더 합리적입니까.둘째, 에지 데이터의 양이 점점 커짐에 따라 전체 전송 대역폭이 문제입니다. 비록 국내에서 전체 인프라 전송 대역폭 건설이 세계에서 가장 앞서고 있지만, 대량의 데이터가 에지에서 생성될 때 여전히 네트워크 폭풍을 일으킬 수 있습니다. 우리는 여전히 네트워크 관리와 데이터 전송 전략을 더욱 최적화해야 합니다.셋째, 실시간성, 많은 것들이 에지 엔터프라이즈 마케팅 및 인텔 네트워크 마케팅 회사의 에지 마케팅 담당 부사장만 할 수 있습니다."
Sachin Katti는 차이연합뉴스 기자에게 현재 AI는 주로 클라우드에서 작동하고 있지만 에지 장치가 로컬에서 대량의 데이터를 생성함에 따라 모든 데이터를 클라우드로 전송하는 비용이 상당히 비싸졌다고 말했다."일부 공장은 파라미터 양이 조 단위에 달할 수 있기 때문에 초대형 업종급 대형 모델을 훈련하는 비용을 감당할 수 없을 수도 있다.그래서 그들은 종종 중간 규모의 모델을 훈련하고 자체 데이터와 결합하여 맞춤형 조정을 한다"고 말했다.
차이롄보 기자가 알아본데 따르면 현재 대형모형훈련, 추리, 호출, 배치는 모두 클라우드에서 완성되였고 계산력 (클러스터) 규모, 네트워크안정성, 에너지효률 등 방면에 대해 모두 극히 높은 요구를 제기했으며 대형모형이 경쟁착지단계에 진입함에 따라 모든 분석처리를 현지에서 완성할것을 요구했다.
장우는"에지의 특징은 파편화다.사용자마다 계산력, 성능에 대한 요구가 다르고, 어떤 성능은 매우 높기 때문에 반드시 클러스터가 있어야 하고, 어떤 성능은 몇 개의 작은 장치를 통해 탑재할 수 있을 정도로 경간이 매우 크다.에지는 종종 최종적으로 배치되는 것은 업무이지 하나의 기술 방안을 추구하는 것이 아니다"라고 말했다.
