5月2日に報じられたところによると、現在ほとんどのAIチャットボットは処理のためにクラウド接続を必要とし、ローカルで実行できるものでさえ非常に高い構成要件が求められています。では、インターネット接続を必要としない軽量チャットボットは存在するのでしょうか？

GitHubでMLC LLMと呼ばれる新しいオープンソースプロジェクトが立ち上げられました。インターネット接続なしで完全にローカルで実行でき、統合グラフィックを搭載した古いコンピューターやApple iPhoneでも実行できます。

MLC LLMプロジェクトの説明には、次のように記載されています。「MLC LLMは、あらゆる言語モデルを異なるハードウェアバックエンドとローカルアプリケーションの組み合わせにローカルに展開できるユニバーサルソリューションです。また、誰もが自身のユースケースに合わせてモデルのパフォーマンスをさらに最適化できる高性能フレームワークも含まれています。すべてはサーバーサポートなしでローカルで実行され、モバイルフォンやラップトップのローカルGPUによって高速化されます。私たちの使命は、誰もが自分のデバイス上でローカルにAIモデルを開発、最適化、展開できるようにすることです。」

▲ MLC LLMプロジェクトの公式デモ

IT HomeがGitHubページを検索したところ、このプロジェクトの開発者はカーネギーメロン大学のCatalystプロジェクト、SAMPL機械学習研究グループ、ワシントン大学、上海交通大学、OctoMLなどから来ていることが判明しました。また、Web LLMというプロジェクトも運営しています。

▲MLCは機械学習コンパイルの略です

MLC LLMは、MetaのLLaMAをベースにした軽量LLMであるVicuna-7B-V1.1を使用しています。パフォーマンスはGPT3.5やGPT4ほど高くありませんが、サイズ面で優位性があります。

現在、MLC LLM は Windows、Linux、macOS、iOS プラットフォームで利用可能ですが、Android 用のバージョンはまだありません。

海外メディアtomshardwareのテストによると、RAM 6GBのApple iPhone 14 Pro MaxとiPhone 12 Pro Maxは、インストールサイズ3GBでMLC LLMを正常に実行しました。しかし、RAM 4GBのApple iPhone 11 Pro MaxではMLC LLMを実行できませんでした。

▲画像出典：tomshardware

さらに、ThinkPad X1 Carbon（第6世代）もMLC LLMの実行に成功しました。このノートパソコンはi7-8550Uプロセッサーを搭載し、専用グラフィックカードは搭載されていませんが、Intel UHD 620 GPUを搭載しています。MLC LLMはPCプラットフォーム上でコマンドラインから実行する必要があります。海外メディアによるテストでは、応答時間が約30秒と遅く、連続会話がほとんどできないなど、平凡なパフォーマンスが示されました。今後のバージョンで改善されることを期待します。

▲画像出典：tomshardware

MLC LLMのGitHubページ: ここをクリックしてご覧ください