DUICUO

現在の場所： ホーム > 記事 > LLM を実行するための 7 つの優れたオープンソース WebUI

LLM を実行するための 7 つの優れたオープンソース WebUI

大規模なAIモデルをビジネスプロセスに統合したり、企業のカスタマーサービスを自動化したり、強力な個人学習ツールを作成したりする場合でも、データセキュリティ、柔軟性、そして利用と開発のためのより制御可能な基盤を考慮する必要があるでしょう。価値のある選択肢の一つは、大規模モデル（LLM）をプライベート化し、ユーザーフレンドリーなLLM WebUIシステムを構築することです。

以下では、優れたオープンソース LLM WebUI システムを 7 つお勧めします。

1.WebUI（Ollama WebUI）を開く

オープンウェブUI

星の数: 45.7K

開発言語: Python、TypeScript、Script

Open WebUIは、完全なオフライン操作向けに設計された、スケーラブルで機能豊富、そしてユーザーフレンドリーなWeb UIです。OllamaやOpenAIを含む、様々なLLMランタイムコンテナやAPIをサポートしています。

特徴：

  • 直感的なインターフェース: ChatGPT にインスパイアされたユーザーフレンドリーなチャット
  • レスポンシブ デザイン: デスクトップとモバイルでスムーズなパフォーマンスを実現します。
  • 簡単なインストール: Docker/Kubernetesを使用して簡単にインストールできます
  • テーマのカスタマイズ：パーソナライズと複数のテーマ
  • ハイライト: コードの読みやすさを向上
  • MarkdownとLaTeXのサポート：包括的な書式設定オプション
  • ローカルRAG統合: #コマンドを使用してチャットドキュメントにアクセスします
  • RAG 埋め込みモデルのサポート: 埋め込みモデルを選択 (Ollama/OpenAI)
  • Webブラウジング: # コマンドを使用してWebサイトを統合する
  • プリセットのヒント: クイックアクセスには / コマンドを使用します
  • RLHF 注記: 手動でフィードバックされたメッセージを評価する
  • 会話タグ: 簡単に参照できるようにチャットを分類します。
  • モデル管理: モデルのダウンロード、削除、更新
  • GGUFファイルのアップロード: GGUFファイルからOllamモデルを作成する
  • マルチモデルサポート: モデルを切り替えて異なる応答を取得します
  • マルチモードサポート：画像インタラクションを含む
  • モデルファイルジェネレーター: カスタムロールとプロキシ
  • マルチモデル対話：複数のモデルを同時に活用する
  • 共同チャット: @ コマンド モデルを使用して会話をグループ化する
  • ローカル チャット共有: ユーザー間でチャット リンクを共有します。
  • 再生チャット履歴: 過去のすべてのやり取りにアクセス
  • チャットアーカイブのインポート/エクスポート: チャットデータを整理して転送します
  • 音声入力: 音声入力を自動的に送信します
  • 設定可能なTTSエンドポイント:カスタムテキスト読み上げ
  • 高度なパラメータ制御: 温度を調整すると、システムがプロンプトを表示します。
  • 画像生成の統合: ネイティブ API と DALL-E オプション
  • OpenAI APIは複数のAPIをサポート：柔軟な統合
  • APIキー生成: OpenAIライブラリの使用を簡素化
  • 外部 Ollam サーバー接続: リモート インスタンスへの接続
  • Ollama 負荷分散: リクエストを分散して信頼性を向上
  • マルチユーザー管理: ユーザー監視用の管理パネル。
  • Webhook統合：新規登録のリアルタイム通知
  • モデルホワイトリスト: ユーザーのアクセス制御
  • 信頼できるメール認証：強化されたセキュリティレイヤー
  • RBAC: ロールベースの制限付きアクセス制御
  • バックエンドリバースプロキシ: 安全なバックエンド通信
  • 多言語サポート：i18n国際化
  • 継続的なアップデート: 定期的な新機能と改善

2. テキスト生成WebUI

https://github.com/oobabooga/テキスト生成WebUI

星の数: 40.5K

プログラミング言語: Python

これは、大規模言語モデルの Web レイヤー用の Grado ベースの Web UI です。

製品の特徴:

  • Transformers、llama.cpp、ExLlamaV2、TensorRT-LLM、AutoGPTQ、AutoAWQ、HQQ、AQLMare など、単一の UI と API 内で複数のテキスト生成バックエンドをサポートします。
  • OpenAI の API と互換性があります。
  • 自動書式設定の提案には Jinja2 テンプレートを使用します。
  • チャット モードには、instruction、chat-instruct、chat の 3 つがあり、chat-instruct には自動補完テンプレートがあります。
  • 「チャット履歴」メニューで会話をすばやく切り替えることができます。
  • チャット ラウンドに限定されず、デフォルトのノートブック タブで自由形式のテキストを生成します。
  • 複雑なテキスト生成制御をサポートするために、複数のサンプリング パラメーターと生成オプションがあります。
  • 再起動せずに UI 内のさまざまなモデルを簡単に切り替えることができます。
  • シンプルな LoRA 微調整ツール。
  • これは別の installer_files ディレクトリにインストールされ、システム環境に影響を与えません。
  • 拡張機能のサポートも利用可能で、多くの組み込み拡張機能やユーザーが作成した拡張機能が提供されています。

3. LLM関連

https://github.com/Mintplex-Labs/anything-llm

星の数: 26.5K

開発言語: JavaScript

AnythingLLMは、大規模言語モデル（LLM）との会話中に、ユーザーが自身のドキュメントやコンテンツをコンテキストデータとして参照できる、汎用性の高いフルスタックAIアプリケーションです。使いやすさを重視して設計されており、高度に構成可能なマルチユーザー環境を提供します。ユーザーは、商用またはオープンソースのLLMの統合、ベクターデータベースの選択、アクセス権限の管理などを選択できます。

アプリケーションは、ドキュメントを「ワークスペース」に整理します。ワークスペースは、異なるスレッド間のコンテキストの分離を維持するコンテナー化された単位です。

ワークスペースではドキュメントを共有できるだけでなく、重要な会話のための独立したコンテキストを維持することもできます。AnythingLLMはMac、Windows、Linuxのデスクトップシステムで動作し、ローカルまたはリモートでの実行をサポートしているため、カスタムのプライベートChatGPTを構築するための強力なツールとなります。

製品の特徴:

  • AIエージェントの定義をサポート
  • 複数のモデルをサポートします (クローズドおよびオープンソースの LLM を含む)。
  • マルチユーザーインスタンスとDockerバージョンをサポート
  • ワークスペース内にエージェントをインストールできます (Web ページの閲覧、コードの実行など)。
  • ウェブサイトへの埋め込みに適したチャット コンポーネントを提供します。
  • 複数のドキュメント タイプ (PDF、TXT、DOCX など) をサポートします
  • シンプルなチャット ユーザー インターフェイス、ドラッグ アンド ドロップ機能、明確な使用ガイドライン。
  • 100% クラウド展開をサポートします。
  • すべての一般的なクローズドソースおよびオープンソース LLM プロバイダーとインターフェースできます。
  • 他のチャット インターフェースと比較して、非常に大きなドキュメントを管理するために使用できます。
  • カスタム統合用のAPIを提供します

4. リブレチャット

https://github.com/danny-avila/LibreChat

星の数: 18.9K

開発言語: TypeScript、JavaScript

LibreChat は、独自のサーバー上で実行され、ChatGPT のプライベートな代替として使用できます。

製品の特徴:

  • ダーク モード、ストリーミング、最新のアップデートなど、ChatGPT と互換性のある UI をサポートします。
  • インテリジェントな選択: Anthropic (Claude)、AWS Bedrock、OpenAI、Azure OpenAI、BingAI、ChatGPT、Google Vertex AI、プラグイン、アシスタント API (Azure Assistant を含む)。
  • どちらも、Groq、Ollama、Cohere、Mistral AI、Apple MLX、koboldcpp、OpenRouter、together.ai、Perplexity、ShuttleAI などのリモートおよびローカル AI サービスと互換性があります。
  • 生成 UI、コード成果物: チャット内で React、HTML コード、および Mermaid チャートを作成します。
  • カスタムプリセットを作成、保存、共有する
  • チャットでAIエンドポイントとプリセットを切り替える
  • ダイアログ ブランチを使用して、メッセージを編集、再送信、続行します。
  • 高度なコンテキスト制御のためのセッション
  • マルチモーダル チャット: OpenAI Assistant API 経由で利用可能。OpenAI 以外のエージェントは現在開発中。Claude 3、GPT-4 (gpt-4o および gpt-4o-mini を含む)、および Gemini Vision ソフトウェアを使用した画像のアップロードと分析。カスタム エンドポイント、OpenAI、Azure、Anthropic、および Google を使用したファイル チャット。ファイル、コード インタープリター、ツール、および API 操作を備えた高度なエージェント。
  • 多言語ユーザーインターフェース: 英語、中国語、ドイツ語、スペイン語、フランス語、イタリア語、ポーランド語、ブラジルポルトガル語、ロシア語、日本語、スウェーデン語、韓国語、ベトナム語、繁体字中国語、アラビア語、トルコ語、オランダ語、アラビア語
  • カスタマイズ可能なドロップダウン インターフェイス: 上級ユーザーと初心者に適しています。
  • 安全なアクセスを確保するため、メールを確認してください。
  • 音声からテキスト、テキストから音声への通信を可能にする魔法のハンズフリー チャット: オーディオを自動的に送信および再生します。OpenAI、Azure OpenAI、Elevenlabs をサポートします。
  • LibreChat、ChatGPT、Chatbot UI から会話をインポートする
  • 会話をスクリーンショット、Markdown、テキスト、または JSON としてエクスポートします。
  • すべてのメッセージ/会話を検索
  • DALL-E-3 を使用した Web アクセスや画像生成などのプラグイン。
  • 監査およびトークン支出ツールを使用したマルチユーザーの安全な認証
  • プロキシ、リバース プロキシ、Docker、および多くのデプロイメント オプションを構成します。完全にオンプレミスで使用するか、クラウドにデプロイします。

5. ウェブLLM

https://github.com/mlc-ai/web-llm

星の数: 13.6K

プログラミング言語: TypeScript

WebLLMは、ハードウェアアクセラレーションを介して言語モデル推論をWebブラウザ上で直接実行する、高性能なブラウザ内LLM推論エンジンです。サーバーを介さずにブラウザ内で実行され、WebGPUによって高速化されます。WebLLMはOpenAI APIと完全な互換性があります。つまり、ストリーミング、JSONスキーマ、関数呼び出しなどの機能を備えた、あらゆるローカルオープンソースモデルで同じOpenAI APIを利用できます。

製品の特徴:

  • ブラウザ内推論: WebLLM は、ハードウェア アクセラレーションに WebGPU を活用し、サーバー側の処理なしで Web ブラウザ内で直接強力な LLM 操作を可能にする、高性能なブラウザ内言語モデル推論エンジンです。
  • OpenAI API 互換性: OpenAI API を使用してアプリケーションを WebLLM とシームレスに統合し、ストリーミング、JSON モード、ログレベル制御、シーディングなどの機能を提供します。
  • 構造化JSON生成：WebLLMは、モデルライブラリのWebAssemblyセクションに実装された最先端のJSONスキーマ構造化生成をサポートしており、最適なパフォーマンスを実現します。HuggingFaceのWebLLM JSON Playgroundを調べて、カスタムJSONスキーマを使用してJSON出力を生成してみてください。
  • 広範なモデルサポート：WebLLMは、Llama 3、Phi 3、Gemma、Mistral、Qwenなど、幅広いネイティブ大規模モデルをサポートしており、様々なAIタスクに対応する汎用ツールとなっています。モデルを選択すると、サポートされているモデルの完全なリストが表示されます。
  • カスタム モデルの統合: MLC 形式でカスタム モデルを簡単に統合および展開できるため、WebLLM を特定のニーズやシナリオに合わせてカスタマイズでき、モデル展開の柔軟性が向上します。
  • プラグ アンド プレイ統合: UI コンポーネントを接続するための包括的な例とモジュール設計により、NPM や Yarn などのパッケージ マネージャーを使用するか、CDN 経由で直接、WebLLM をプロジェクトに簡単に統合できます。
  • ストリーミングとリアルタイムのインタラクション: ストリーミング チャットの完了をサポートし、リアルタイムの出力生成を可能にし、チャットボットや仮想アシスタントなどのインタラクティブ アプリケーションを強化します。
  • Web ワーカーとサービス ワーカーをサポート: 計算を別のワーカー スレッドまたはサービス ワーカー スレッドにオフロードすることで、UI パフォーマンスを最適化し、モデルのライフサイクルを効果的に管理します。
  • Chrome 拡張機能のサポート: WebLLM を使用してカスタム Chrome 拡張機能で Web ブラウザの機能を拡張し、基本的な拡張機能と高度な拡張機能を構築する例を提供します。

6. オープンLLM

https://github.com/bentoml/OpenLLM

星の数: 10K

プログラミング言語: Python

OpenLLMは、Llama、Qwen、Phiといったオープンソースの大規模言語モデル（LLM）をクラウド上で実行できるツールであり、OpenAIのAPIにも対応しています。Docker、Kubernetes、BentoCloudを用いた簡素化されたモデルデプロイをサポートします。

OpenLLMは様々なモデルをサポートし、チャットUIを内蔵したユーザーフレンドリーなインターフェースを提供します。また、BentoMLとの統合により、エンタープライズグレードのAI推論とデプロイメントを実現できます。さらに、ユーザーはリポジトリにモデルを提供したり、独自のインフラストラクチャにカスタムモデルをデプロイしたりすることも可能です。

インストールするには次のコマンドを使用します。

 pip install openllm # or pip3 install openllm openllm hello

7. LoLLM

https://github.com/ParisNeo/lollms-webui

星の数: 4.3K

開発言語: JavaScript/Vue、Python

LoLLMS WebUI（Lord of Large Language Multimodal Systems）は、ライティング、コーディング、画像生成、音楽作曲など、様々なタスクタイプに対応するAIモデルへのアクセスを提供する多機能オールインワンプラットフォームです。500以上のエキスパートモデルと、様々な分野にわたる2,500以上のファインチューニングされたモデルをサポートしています。

ユーザーは、コーディング支援、医療アドバイス、法的ガイダンス、クリエイティブなストーリー、エンターテイメントなど、特定のニーズに合わせてカスタマイズされたモデルを選択できます。

このプラットフォームは使いやすさを重視して設計されており、ライトモードとダークモードの両方を備えたユーザーフレンドリーなインターフェースを提供しています。LoLLMSは、メールの強化、コードのデバッグ、問題のトラブルシューティングに使用できるほか、笑いボット、クリエイティブストーリージェネレーター、パーソナライズされた音楽生成などの楽しい機能も提供しています。

生産性ツールとエンターテイメントを 1 つのインターフェースに統合し、さまざまなプロフェッショナルのニーズを満たす多用途のツールを実現します。

製品の特徴:

  • タスクに適したモデルとパーソナライズ構成を選択します。
  • 電子メール、論文、コードのデバッグ、思考の整理などを強化します。
  • 検索、データ整理、画像生成、音楽生成などのさまざまな機能を探索します。
  • ライト/ダーク モード オプションを備えた使いやすいユーザー インターフェイス。
  • GitHubリポジトリとの統合により簡単にアクセス可能
  • カスタマイズ可能なウィザード情報
  • 生成された回答は、親指で上/下評価されます。
  • メールのコピー、編集、削除
  • 議論のためのローカルデータベースストレージ
  • 複数のディスカッションを検索、エクスポート、削除します。
  • 安定した拡散に基づく画像/ビデオ生成をサポート
  • musicgenに基づく音楽生成をサポート
  • 複数世代のピアツーピア ネットワークは、Lollms ノードと Petal を通じてサポートされます。
  • Docker、conda、および手動の仮想環境セットアップをサポートします。
  • バックエンドとしてLM Studioをサポート
  • バックエンドとしてOllamをサポートする
  • バックエンドとしてVLLMをサポート
  • タスクに基づいて対応するモデルへの迅速なルーティングをサポートします。
ラベル

関連するおすすめ記事

ランダムにおすすめされた記事

人気のタグ