A/Bテストとは、簡単に言えば、同じ目標に対してAとBという2つのプランを作成することです。一方のユーザーグループにはプランAを使用し、もう一方のグループにはプランBを使用します。ユーザー行動を記録し、コンバージョン率、登録率、その他の主要な指標が高いプランを優先します。A/Bテストは、データを収集しながらユーザーエクスペリエンスを慎重に調整できるため、ToCアプリケーションにとって非常に重要です。このアプローチにより、アプリケーションの特定の要素がユーザー行動に影響を与える理由をより深く理解できます。

A/Bテストは、本質的にはグループ間の個別実験です。かつては、A/Bテストの実施には技術コストとリソースコストが比較的高かったものの、専門的な可視化ツールの登場により、A/Bテストはアプリケーション最適化における一般的な手法としてますます普及しています。

この記事では、優れたオープンソースおよび無料の A/B テストおよび機能タグ付けツールをいくつか推奨します。

1. グロースブック

GitHub (5.4K+ スター)

https://github.com/growthbook/growthbook

GrowthBookは、無料のオープンソースA/Bテストプラットフォームです。マルチユーザー、プロジェクト管理、タスク管理をサポートしています。

GrowthBook は、PostgreSQL、MySQL、MariaDB、BigQuery、Amazon Redshift、DataBrick、MS SQL Server、さらには Google Analytics などのデータベースからのデータを処理できます。

機能的特徴:

• ユーザーフレンドリーなレスポンシブインターフェース
• 高度なターゲット位置決め、段階的な展開、実験機能を備えた機能マーカー
• React、JavaScript、PHP、Ruby、Python、Go、Android、iOS などの SDK をサポートしています。
• 強力な A/B テスト分析と高度な統計機能 (CUPED、ベイジアン、SRM チェックなど)
• 既存のデータ スタックをサポートします: BigQuery、Mixpanel、Redshift、Google Analytics など。
• A/B テストの結果を、ブラウザ、国/地域、その他のカスタム属性ごとに詳しく表示できます。
• レポートを小さなメモとしてエクスポートできます。
• スクリーンショットと GitHub Flavor Markdown を使用してすべてを文書化します。
• 統合を構築するための Webhook と REST API を提供します。
• Docker と Docker Compose を使用した簡単なインストールをサポートします。

数分でインストールできます:

 git clone https://github.com/growthbook/growthbook.git cd growthbook docker-compose up -d

ブラウザで http://localhost:3000 を開いてログインします。

2. ポストホッグ

GitHub (16,000以上のスター)

https://github.com/PostHog/posthog

PostHogは、製品分析、セッションログ、機能タグ付け、A/Bテストなどの機能を提供します。イベントの手動指定または自動キャプチャをサポートし、迅速なセットアップを実現します。また、データ分析のための可視化ツールとSQL機能も提供します。

機能的特徴:

• 自動イベントキャプチャ
• データ分析のためのSQL
• セッション再生、コンソールリスニング、ネットワーク監視
• 自動パフォーマンス分析のためのA/Bテスト
• 安全機能の展開の機能的兆候
• カスタマイズ可能なユーザーアンケート
• PostHog CDP は、外部サービス接続データフロー管理に使用されます。
• イベント分析
• ユーザーとグループの追跡
• データの視覚化: チャート、ファネル、パス、ダッシュボード
• ユーザーにSQL Accessのカスタマイズされた視覚化を提供します
• ユーザーの行動を視覚化するためのヒートマップを提供します
• テストロールアウト管理のための機能フラグ
• A/Bテストと多変量テスト
• 相関分析
• アンケートを通じて質的なユーザーフィードバックが収集されました。
• PostHog CDPを使用したデータのインポート/エクスポート
• さまざまなプラットフォーム向けのライブラリ
• データウェアハウスの互換性

3. フラガー

GitHub (4.7K+ スター)

https://github.com/fluxcd/flagger

Flagger は、Kubernetes アプリケーション用の増分配信ツールであり、増分トラフィック移行、メトリック測定、一貫性テストを通じて新しいソフトウェア リリースのリスクを軽減します。

さまざまなデプロイメント戦略を提供し、Kubernetes イングレス コントローラー、サービス メッシュ、監視ソリューションと統合できます。

機能的特徴:

• Kubernetes アプリケーションの段階的な配信
• ルート段階的転送
• 測定
• 一貫性テスト
• さまざまな展開戦略
• Kubernetes Ingressコントローラとの統合
• サービスメッシュとの統合
• 監視ソリューションとの統合
• カナリアデプロイメント（重み付けトラフィック）
• A/Bテスト（ヘッダーとCookieのルーティング）
• ブルー/グリーンデプロイメント（トラフィックスイッチ）
• Webhook（受け入れ/負荷テスト）

4. 分割

GitHub (2.7K)

https://github.com/splitrb/split

Split は、Rails や Sinatra などの Rack ベースのアプリケーションと互換性のある Rack ベースの A/B テスト フレームワークです。

これは、Vanity RailsのA/BテストプラグインであるAbingoと、ResqueのRedis利用からインスピレーションを得ています。Splitはカスタマイズ性とスケーラビリティを考慮して設計されています。

5. フラガー

GitHub (2.3K スター)

https://github.com/openflagr/flagr

Flagrは、機能フラグ、A/Bテスト、動的設定などの機能を提供します。また、影響度を監視し、フラグの管理と評価のための明確なSwagger REST APIを提供します。Go言語で開発されたオープンソースプロジェクトです。

6. フィーチャーハブ

https://github.com/featurehub-io/featurehub

CubureHub は、機能フラグ、A/B テスト、リモート構成などの機能を提供し、ソフトウェア チームが機能を管理するのに役立つプラットフォームです。

プライベートデプロイメントとクラウドベースのSaaSサービスの両方をサポートします。プラットフォームは、PockureHubアプリケーションを管理するためのヘッドレスAPIと、各種SDKの機能ステータスを取得するためのSDK APIを提供します。

機能的特徴:

• 無料のオープンソース版
• ユーザー、機能、機能リクエスト、アプリケーション、環境は無制限です。
• 機能フラグ、A/B テスト、実験、分析をサポートします。
• 実験タイプの選択: 関数フラグ、数値、文字列、またはリモート構成
• セグメンテーションとポジショニング戦略をサポートします (例: パーセンテージ表示、国/地域、デバイス、プラットフォーム、バージョン、カスタム属性)。
• 分析システムと統合できます (Google Analytics をサポート)。
• 機能制御用の使いやすいコンソールまたはヘッドレス API。
• 環境別に要素を表示および並べ替える
• 制御された機能のステータスを更新するために使用される「スマートロック」。
• アプリケーション、環境、ユーザーの管理機能
• 独自のインフラストラクチャ (セルフホスト) で実行するか、完全に管理された SaaS オプションを使用するかを選択します。
• 外部認証をサポート（Google、Microsoft、GitHub、Keycloak、Universal OAuth2、Okta、SAML/SSO）
• 異なるチーム/グループのアクセス制御レベル
• 複数のポートフォリオ（組織部門）をサポート
• クラウドネイティブの Docker コンテナと完全な Kubernetes Helm チャートを簡単にセットアップ
• CI/CD パイプライン統合のための CockureHub API
• 機能アップデートのサポート
• API経由でテスト自動化と統合
• 関数フラグ、数値、文字列、JSON 構造 (リモート構成) をサポートします。
• 付属の機能ステータスの分析を通じてイベントを記録できます。
• 多数のドキュメントとチュートリアルを提供します

サポートされている SDK:

• JS
• ノード.js
• 固体
• 反応する
• 行く
• フラッター
• 迅速
• アンドロイド
• ダーツ
• パイソン
• ルビー
• ジャワ
• C#

7. フィーチャーバイザー

https://github.com/featurevisor/featurevisor

Realvisor は、機能フラグ、実験、リモート構成を管理するための開発者中心のソリューションです。

ワークフローには、Git リポジトリの要素の管理、CI/CD パイプラインのトリガーによるファイルの生成と CDN へのアップロード、アプリケーション内の SDK を使用してこれらのファイルを取得および評価することが含まれます。

機能的特徴:

• 機能記号: クラシックオン/オフスイッチ
• 実験: A/Bテストと多変量テスト
• セグメンテーション: 特定のユーザーグループの再利用条件
• 段階的な展開: 大規模なリリースを避けるため、展開は 0% から 100% まで段階的に進めます。
• 構成変数: 各関数のリモート構成名前空間にキーと値のペアを保存します。
• 一貫したバケット化戦略: 同じユーザーがデバイス/セッション間で同じ変更を受け取ることを保証します。
• 複数の環境: ステージとプロダクションを超えて、お客様のニーズを満たします。
• タグの追加: 肥大化を避けるため、アプリケーションに関連する機能のみを読み込みます。
• 実験の追跡: お気に入りの分析ツールを使用して実験のアクティブ化を追跡します

サポートされている SDK:

• JavaScript
• 反応応答
• Vue.js

8. スイッチフィーチャー

https://github.com/switchfeat-com/switchfeat

SwitchFeatは、機能フラグとA/Bテストを管理するためのオープンソースのセルフホスト型プラットフォームです。テストデータが管理されたネットワーク上に維持されることを保証します。様々な条件やユーザーセグメントに基づいて、特定の機能コードを有効化または無効化できます。

9. プロクター

https://github.com/indeedeng/proctor

Proctor は Indeed が Java ベースで開発した A/B テスト フレームワークであり、データ駆動型の製品設計を採用しています。

データ モデル、クライアント仕様、クライアント ローダー、マトリックス ビルダー、Java コード ジェネレーターで構成されており、コードの展開を必要とせずに複数のアプリケーション間で一貫したテストとグループ割り当ての調整をサポートします。

機能的特徴:

• 複数のアプリケーションにわたる一貫したテスト
• コードをデプロイせずにグループ割り当てを調整する
• ルールベースのグループ割り当て
• 人間が読めるテスト形式
• テストチームに内部テストを強制
• A/Bテスト用のJavaコードの生成

10.トゥウィーク

https://github.com/Soluto/tweek

Tweek は、新しいコードを展開することなくアプリケーションとシステムの動作をカスタマイズできるオープンソースの機能管理ソリューションです。

主な機能には、機能の切り替え、段階的なリリース、多変量実験、A/B テストなどがあります。

機能的特徴:

• 機能切り替え、段階的リリース
• 多変量実験、A/Bテスト
• ユーザーフレンドリーなインターフェースを備えた組み込みエディタ
• 階層構造
• ユーザー/グループの高度な配置
• 特徴間の類似性
• カスタマイズ可能なスキーマ/ドメインモデル
• 監査
• コンテキストを保存するための統合ストレージ
• コンテナフレンドリー
• 統合されたOAuthサポート
• プラグ可能なストレージバックエンド
• 構成情報を取得するためのシンプルな RESTful API。
• スケーラブル
• ウェブフック