アップルGPTはポケットにあるのか？これはもっと早く現実になるかもしれない。
アップルの人工知能（AI）研究者はこのほど、iPhoneやその他のメモリが限られているアップルのデバイスに大型言語モデル（LLM）を導入できる革新的な「フラッシュメモリ利用」技術について、印刷本サイトarXivに論文を発表した。これはほぼ大きな突破だ。
メモリの制約
ChatGPT、ClaudeなどのLLMベースのチャットロボットは、データとメモリに非常に依存しており、同時に処理する必要があるデータ量は非常に大きく、実行するために大量のメモリが必要になることが多い。
そのため、LLMを実行することはDRAM（一般的にメモリ）の容量が限られているiPhoneなどのデバイスにとって課題です。
通常、データ標準を演算する方法は、フラッシュメモリ中のデータをDRAMにロードし、DRAM中でデータ推論を行うことです。
性能レベルの高いDRAMはデータ処理の速度を数百万倍に向上させることができるが、その弊害は容量にある。DRAM上での実行は、実行可能な最大モデルサイズを大きく制限します。
この問題を解決するため、アップルの研究者は、大容量フラッシュメモリ（flash memory）を使用して人工知能モデルのデータを格納し、必要に応じてDRAMメモリにデータを呼び出して処理する新技術を開発した。
フラッシュメモリにAIを格納する
「フラッシュ中のLLM：有限メモリ下の高効率大型言語モデル推論」と題する新しい研究論文で、著者は、モバイルデバイス中のフラッシュメモリは従来のLLMを実行するためのメモリよりも豊富であると指摘した。
この方法は容量制限を巧みに回避している。改論文では、データ転送を最小限に抑え、フラッシュメモリの処理能力を最大限に高めるための2つの重要な技術を提案した：
1つは「ウィンドウ化（windowing）」技術と呼ばれ、回収方法に相当する。AIモデルは毎回新しいデータをロードする必要はなく、処理されたデータを再使用する。これにより、メモリを取得し続ける必要がなくなり、プロセスがよりスムーズになります。
2つ目は「行列バンドル（Row-Column Bundling）」技術です。この技術は、フラッシュメモリのデータ特徴に対してデータブロックにアクセスする順序を設定することにより、フラッシュメモリからデータをより効率的に読み込むことができ、人工知能の理解と言語生成の能力を速めることができる。
この論文によると、これらの方法の組み合わせにより、人工知能モデルの動作容量はiPhoneの使用可能なメモリの2倍に達した。これは、この方法の下で、CPUにおける推論速度は従来のロード方式より4-5倍向上し、GPUにおける推論速度は驚くべき20-25倍向上したことを意味する。
同論文の著者は、「この突破は資源の限られた環境の中で先進的なLLMを配置するために特に重要であり、それによってその適用性と可用性を拡大した」と書いている。
アップルのAI戦略
人工知能効率の突破は、より先進的なSiri機能、リアルタイム言語翻訳、複雑な人工知能駆動の撮影、拡張現実機能など、未来のiPhoneに新たな可能性を開いた。
論文の新技術は、iPhoneがデバイス上で複雑な人工知能アシスタントやチャットロボットを動作させるための基礎も築いており、アップルはすでにこの分野の技術を開発しているという。
アップルの生成型人工知能に関する作業は、最終的には音声アシスタントのSiriに統合される可能性があります。アップルは今年2月の人工知能サミットで、社員に大型言語モデルの仕事を紹介した。メディアによると、アップルは人工知能と深く統合されたスマート版Siriの発売を目指しているという。
アップルができるだけ多くのアップルアプリに人工知能を追加する計画だという噂もある。
このほか、アップルはOpenAIのGPT-4モデルに対抗するために2000億個のパラメータで動作する独自の生成式人工知能モデル「Ajax」を開発していると報じられている。
内部で「Apple GPT」と呼ばれるAjaxは、アップル全体の機械学習開発を統一することを目的としており、アップルが人工知能をアップルの生態系により深く組み込むためのより広範な戦略を示している。
最新の報告によると、Ajaxは初期のChatGPT 3.5よりも強いと考えられている。しかし、2023年9月にOpenAIが発売した新モデルGPT-4はAjaxの能力を超えている可能性がある。
果物チェーンアナリストのJeff Pu氏は、アップルが2024年末ごろにiPhoneとiPadに何らかの生成式人工知能機能を発売する予定で、iOS 18にはこの機能が含まれると指摘している。Pu氏はまた、アップルが2023年に数百台の人工知能サーバーを構築し、2024年にはさらに多くなると述べた。