オープンソースで無料のデータ分析および視覚化ツール11選

ビッグデータや人工知能（AI）プロジェクトに携わる技術者にとって、特定のデータツールを習得することはプロジェクトの成功に不可欠です。この記事では、データのクリーニングから可視化まで、作業効率を向上させる優れたオープンソースのデータ分析・可視化ツールをいくつかご紹介します。

1. Apache スーパーセット

https://github.com/apache/superset

Apache Supersetは、プログラミングの知識を必要とせずにインタラクティブなダッシュボードを作成できるオープンソースのデータマイニングおよび可視化プラットフォームです。このプラットフォームは、さまざまなデータソースをサポートし、豊富な可視化コンポーネントを提供し、カスタムダッシュボードと共有ダッシュボードの作成を可能にします。

機能面では、このプラットフォームは様々なデータベースとデータウェアハウスを統合し、強力なSQLエディタを提供しています。セキュリティ面では、ロールベースのアクセス制御と認証を提供しています。スケーラビリティ面では、カスタム機能の追加が可能で、大規模で活発なオープンソースコミュニティも存在します。

2. メタベース

https://github.com/metabase/metabase

Metabaseは、ユーザーフレンドリーなインターフェース、強力なデータ可視化機能、インタラクティブなダッシュボードを備えたオープンソースのビジネスインテリジェンスツールです。様々なデータソースとの統合、リアルタイムクエリ、自動レポート作成機能を備えています。

Metabaseは、データ探索・検出ツールも提供し、ロールベースのアクセス制御によってセキュリティを確保します。プライベートに導入できるため、プロジェクトに柔軟なソリューションを提供します。

3. オープンリファイン

https://github.com/OpenRefine/OpenRefine

OpenRefineはJavaベースのデータ管理・分析ツールです。ユーザーはWebインターフェースを介してデータ処理、可視化、機能拡張を行うことができます。

OpenRefine の主な機能には、マイニング、クラスタリング、調整、無制限の元に戻す/やり直し、プライバシー、Wiki などがあります。

4. 洞察

https://github.com/mariusandra/insights

Insights は、PostgreSQL データベースを視覚的に探索するためのツールであり、グラフ生成に大きな利点があります。

PostgreSQL 接続をサポートし、データベースを自動的に検出して検出し、複数のデータベースへの接続を許可し、スキーマの編集とカスタム SQL フィールドの追加を可能にします。

また、データマイニング、フィルター、時間ベースのグラフ、キーボードナビゲーション、保存されたビュー、固定フィールドなどの機能も提供します。

次のようにインストールします。

 npm install -g insightsinsights initinsights startbr br

5. 留任

https://github.com/retentioneering/retentioneering-tools

Retentioneering は、クリックストリーム、ユーザージャーニー、イベントログの変更を分析するために主に使用される Python ライブラリで、ファネル分析以上のものを生成し、ユーザー行動をより広範かつ深く理解します。

リテンションエンジニアリングを使用して、ユーザーの行動を調査し、ユーザーをセグメント化し、ユーザーが期待されるアクションを実行したり製品から離れたりする原因について仮説を立てます。

リテンションアリングは、クリックストリームデータを用いて行動セグメントを構築し、コンバージョン率、リテンション、収益に影響を与えるユーザー行動におけるイベントやパターンを浮き彫りにします。リテンションアリングライブラリは、データアナリスト、マーケティングアナリスト、プロダクトオーナー、マネージャー、そして製品品質の向上に携わるすべての方のために特別に開発されました。

Cyberter環境の一部であるRetentioneeringは、pandas、NetworkX、scikit-learnライブラリの機能を拡張し、シーケンシャルイベントデータをより効率的に処理します。Retentioneering最適化ツールはインタラクティブで、分析研究向けにカスタマイズされているため、Pythonに精通していない方でも使用できます。わずか数行のコードで、データ処理、ユーザー行動マップの探索、そして可視化が可能です。

6. フライフィッシュ

FlyFishは、データ可視化とコーディングのためのプラットフォームです。ドラッグ＆ドロップ機能を使って、データモデルをシンプルかつ迅速に作成し、完全なデータ可視化ソリューションを迅速に生成できます。

機能は次のとおりです:

プロジェクト管理: プロジェクトは特定のビジネス要件シナリオを表し、複数のアプリケーションとコンポーネントの集合です。
アプリケーション開発: 単一ページまたは複数ページのルーティングアプリケーションを含む大画面アプリケーションの開発をサポートします。
コンポーネント開発：コンポーネントはプロジェクト基盤の最小単位です。コンポーネントを作成・開発することで、最終的なダッシュボードのビジュアル表示が組み立てられます。
テンプレートライブラリ: 完成したアプリケーション/コンポーネントを対応するテンプレートライブラリにアップロードし、既存のテンプレートを基に新しいプロジェクトをすばやく作成できます。
データソース管理: MySQL や HTTP などの複数のデータベースに接続して対応するデータソースを生成し、プロジェクトの作成時にコンポーネントから呼び出すことができます。
データクエリ：データテーブルに基づくSQLクエリをサポートし、データソース内の特定のデータを正確に特定し、カプセル化して保存します。また、クエリされたデータを再結合して、コンポーネントで直接使用することもできます。

7.AKシェア

https://github.com/akfamily/akshare

AKShareは、金融データ取得プロセスを簡素化するために設計された、金融データ用のオープンソースPythonインターフェースライブラリです。Python（64ビット）3.8以降が必要です。

8. アルクシオ

https://github.com/Alluxio/alluxio

Alluxio（旧称Tachyon）は、コンピューティングアプリケーションを様々なストレージシステムに接続する仮想分散ストレージシステムです。カリフォルニア大学バークレー校の研究プロジェクトとして誕生し、現在では多くの大手企業でペタバイト規模のデータ管理に利用され、3,000ノードを超える導入をサポートしています。

9. フライト

https://github.com/flyteorg/flyte

Flyteは、本番環境レベルのデータおよびMLパイプラインの構築を支援するオープンソースのデータオーケストレーターです。スケーラビリティと再現性を重視して構築されており、基盤プラットフォームとしてKubernetesを活用しています。Flyteを利用することで、ユーザーチームはPython SDKを使用してパイプラインを構築し、クラウド環境とオンプレミス環境にシームレスにデプロイすることで、分散処理と効率的なリソース活用を実現できます。

このプラットフォームは、Pythonをはじめとするあらゆる言語でのコード記述をサポートする強力な型エンジンを備えています。さらに、Flyteはローカルまたはリモートのクラスター上でモデルを実行する機能も提供しており、高いスケーラビリティと容易なデプロイメントを実現します。

10. ダンフォ

https://github.com/javascriptdata/danfojs

Danfoは、Pandasライブラリに着想を得たJavaScriptパッケージで、リレーショナルデータやラベル付きデータを簡単かつ直感的に操作できるように設計されています。TensorFlow.jsをサポートし、欠損データの処理、DataFrameへの可変サイズの列の挿入/削除、オブジェクトの自動的かつ明示的な配置などを提供します。

特徴：

Tensorflow.js テンソルの高速処理をサポート
失われたデータ（NaN として表される）の処理は簡単です。
サイズの可変性: DataFrame に列を挿入/削除できます。
自動および明示的なアライメント
強力で柔軟なグループ化機能
配列、JSON、リスト、オブジェクト、またはテンソルを DataFrame オブジェクトに簡単に変換できます。
タグベースのスマートスライス、ファンシーインデックス、クエリ
データセットの直感的なマージと結合
フラットファイル (CSV、JSON、Excel) からデータをロードするための強力な I/O ツール。
インタラクティブな描画のための強力で柔軟性があり直感的な API。
時系列特有の機能: 日付範囲の生成と日付と時刻の属性
OneHotEncoders、LabelEncoders、StandardScaler、MinMaxScaler などの強力なデータ前処理機能。

11. 初級

https://github.com/elementary-data/elementary

Elementary は、データおよび分析エンジニア向けに設計された、dbt ネイティブのデータ観測ソリューションです。分単位までの即時可視化を提供し、データの問題を迅速に検出し、実用的なアラートを送信し、潜在的な影響と根本原因を包括的に把握することを可能にします。Elementary は、革新的なオープンソースソフトウェアパッケージと高水準の管理プラットフォームという2つの主要製品に重点を置いています。

主な特徴:

異常検出テストには、データ品質メトリックの収集と、ローカルデータベーステスト (DBT) テストの一環としての異常の検出が含まれます。
自動モニター、鮮度、量、パターンの問題を検出するためのすぐに使用できるクラウドモニター。
エンドツーエンドのデータリネージにより、最新のテスト結果を含む豊富なデータを取得し、データの問題の影響と根本原因を分析できます。Elementary Cloudは、列レベルのリネージとBI統合を提供します。
データ品質ダッシュボードは、すべてのデータとテスト結果を監視するための単一のインターフェースを提供します。
モデルのパフォーマンス - モデルとジョブの実行結果とパフォーマンスを時間の経過とともに監視します。
基本的な構成は dbt コードで管理されます。
アラート: カスタムチャネルや所有者タグなどの実用的なアラートを送信します。
データカタログを使用すると、説明、列、データセットのヘルスステータスなどのデータセット情報を参照できます。
DBT アーティファクトをアップロードし、メタデータと実行結果の一部を保存して、DBT を実行します。

DUICUO