デジタル時代において、データは最も貴重な資産の一つとなっています。データは、政府、企業、そして様々な組織のあらゆるプロセスを支え、意思決定やインテリジェントサービスに役立っています。ビッグデータには大きな用途がありますが、特にデータへの理解が不十分な場合、大きなリスクが潜んでいる可能性があります。どのような情報が保存されているのか、どのように活用すべきなのか、ジャンクデータや忘れ去られた高品質なデータが含まれているのか、さらにはデータセキュリティ上の問題があるのか​​さえも、把握できない可能性があります。

したがって、データを効果的に管理する必要があります。

データガバナンスとは何ですか?

データガバナンスとは、組織全体のデータ管理ポリシー、標準、プロセスを定義・実装することで、データの正確性、一貫性、セキュリティ、コンプライアンスを確保する管理フレームワークです。データの作成から保存、利用、破棄に至るまで、データのライフサイクル全体を網羅し、データ価値の最大化、データリスクの軽減、そしてビジネス上の意思決定と業務の有効性向上を目指します。

データガバナンス関連の概念

データ ガバナンス プラットフォームを紹介する前に、データ ガバナンスに関連するいくつかの概念について学習しましょう。

データガバナンス関連の概念は、データ管理、データ品質、データのプライバシー、セキュリティなど、複数の領域を網羅しています。以下に、一般的な概念をいくつか挙げます。

• データレイクとは、大量の生データを、通常はネイティブ形式で保存し、後で分析するためのシステムまたはリポジトリです。データレイクは、構造化データ、半構造化データ、非構造化データの保存と処理をサポートします。
• データウェアハウスは、複数のソースからデータを統合し、通常はクレンジングと変換を施して一元管理された場所に保存することで、企業の分析やレポート作成のニーズに対応します。データウェアハウスは、構造化データの長期保存と最適化されたクエリパフォーマンスに重点を置いています。
• データディスカバリとは、データを識別、閲覧、分析するプロセスです。通常、様々なソースからデータを収集し、整理してユーザーに提示することで、ユーザーが有用なパターン、傾向、または洞察を発見できるようにします。データディスカバリツールには、ユーザーがデータをより直感的に理解できるように、強力な視覚化機能が搭載されていることがよくあります。
• メタデータ管理: データのソース、使用方法、形式などの情報を含む、データを説明するデータ、つまりメタデータを管理します。
• データカタログは、データ資産に関するメタデータを整理・管理するための一元的なリポジトリです。これらの資産に関する説明情報を提供することで、ユーザーは必要なデータを容易に見つけ、理解することができます。データカタログには通常、データのソース、場所、形式、使用方法、データ品質情報などの情報が含まれ、データの分類、タグ付け、検索機能をサポートします。データカタログの目的は、データの発見可能性と使いやすさを向上させ、組織がデータリソースをより効率的に管理・活用できるようにすることです。
• データ品質: データの正確性、一貫性、完全性、適時性を確保するプロセス。
• データリネージ：データのライフサイクル全体、つまり発生源から最終的な宛先までのデータの流れと変化を表します。データリネージ図は、データの起源、伝送経路、変換プロセス、そしてこれらのプロセスにおける責任の所在を理解するのに役立ちます。
• データクリーニング（またはデータクレンジング）とは、データセットから誤り、重複、不完全、または不整合のあるデータを特定、修復、または削除するプロセスです。データクリーニングは、データ品質を確保するための重要なステップです。
• データガバナンスフレームワーク：データガバナンスフレームワークとは、データガバナンスを定義および実装するために用いられる構造モデルです。通常、ポリシー、プロセス、役割と責任、そして組織内のデータ管理プラクティスの一貫性、制御性、そして有効性を確保するための技術ツールが含まれます。
• データ ガバナンス戦略: データ ガバナンス戦略とは、組織のデータ ガバナンス目標を達成するための全体的な計画であり、具体的な目標、方法、実装手順が含まれます。
• データセキュリティ分類は、データの機密性と価値に基づいてデータを異なるセキュリティレベルに分類し、適切な保護対策を決定します。例えば、データは公開、社内使用、機密、高度機密に分類できます。
• データアクセス管理：誰がどのデータにアクセスでき、どのようなアクションを実行できるかを管理します。アクセス制御とロール管理を通じて、データアクセス管理はデータのセキュリティとコンプライアンスを確保します。
• データ ガバナンス ツールキット: メタデータ管理ツール、データ品質管理ツール、データ リネージ ツール、データ カタログ作成ツールなど、データ ガバナンス アクティビティをサポートするための一連のツールとテクノロジが含まれています。
• データプライバシー影響評価（DPIA）：個人データを処理する前に実施される評価であり、データ処理活動によるデータプライバシーへの潜在的なリスクを特定し、軽減することを目的として実施されます。DPIAは通常、コンプライアンス要件、特にGDPRなどの規制に関連する要件に基づいて実施されます。
• データ主権管理: データ主権に関連する法律とポリシーを管理し、データの処理と保管が所在する国または地域の法的要件に準拠していることを確認します。
• マスター データ管理 (MDM): コア ビジネス エンティティ (顧客、製品、サプライヤーなど) のマスター データを集中管理し、データの一貫性と正確性を確保します。
• データ アーキテクチャ: 組織内でデータがどのように構造化され、整理されるかを設計および実装します。
• データ ライフサイクル管理 (DLM): 作成、保存、使用から破棄まで、データのライフサイクル全体を管理するためのプロセスと戦略。
• データ プライバシー: 個人データを不正なアクセスや処理から保護するための慣行と法的要件。
• データ セキュリティ: 不正なアクセス、開示、変更、破壊からデータを保護する対策とテクノロジ。
• データ主権: データは、データが所在する国または地域の法律およびポリシーの対象となります。
• データ ガバナンス委員会: 組織内のデータ ガバナンスの取り組みを監督および指導する責任を負う部門横断的なチーム。
• データ ガバナンス ポリシー: 組織内のデータ ガバナンスのガイドラインとフレームワークを提供する正式な文書。
• データ分類: 適切な管理および保護対策を開発するために、機密性や重要性などの要素に基づいてデータを分類します。
• データの所有権: 特定のデータ資産の責任を負う部門または個人を明確に定義します。
• データ標準: データの一貫性と相互運用性を確保するためのルールとガイドライン。
• データ ガバナンス ツール: Informatica や Collibra など、データ ガバナンスの実装と管理をサポートするソフトウェア ツールとプラットフォーム。

データ ガバナンスの構成要素は何ですか?

システムの観点から見ると、データ ガバナンスには、あらゆる知識領域における組織のデータ管理ニーズを満たす 10 個の主要コンポーネントがあります。

（1）人

データガバナンスの専門家、データ管理者、そしてその他の主要なビジネスおよびIT担当者は、データガバナンス・イニシアチブの中核を担います。彼らは、企業のデータガバナンス要件を確実に満たすためのワークフローを確立・開発します。

（２）データ戦略

データガバナンスチームは、組織のエンタープライズデータ戦略の策定と実装ロードマップにおいて重要な役割を果たします。データ戦略とは、組織の大まかなデータニーズを概説し、それらのニーズが確実に満たされるようにするための経営文書です。エンタープライズデータ戦略の策定は、組織のデータ管理における重要なステップです。

（3）データフロー

データガバナンス計画には、主要なデータ管理プロセスの確立が必要です。これには、データ問題の追跡または解決、データ品質の監視、データ共有、データリネージの追跡、影響分析、データ品質テストなどが含まれます。

（4）データポリシー

データ戦略とは、データに関する期待と期待される成果を概説した、1つ以上のステートメントからなる高レベルのセットであり、企業全体のデータプラクティスに影響を与え、それを導きます。データガバナンス計画は、データ管理のためのデータガバナンス戦略を確立します。ポリシーには、アウトバウンドデータ共有、規制遵守などが含まれます。

（５）基準と規則

データ標準は、データポリシーへの準拠を確保するためのフレームワークと方法論を提供します。データルールは、データ標準への準拠を確保するための行動をガイドまたは制約し、それによってデータポリシーへの準拠を実現します。

（6）データセキュリティ

データセキュリティとは、デジタルデータ（データベース内のデータなど）を、許可されたユーザーと許可されていないユーザーによる破壊的な力や不正な操作から保護することです。これらの不正なユーザー活動とは、スパイ活動、サイバー攻撃、データ侵害などを指します。

（7）コミュニケーション

データガバナンスに関するコミュニケーションには、データガバナンスチームの活動を理解する必要がある協会関係者との、書面、口頭、電子媒体によるあらゆるやり取りが含まれます。あらゆるコミュニケーションの目的、目標、ツールを含むコミュニケーション計画は、ガバナンス計画の策定当初から組み込む必要があります。この計画では、ガバナンスとマネジメントの課題と成功事例をステークホルダーや組織の他のメンバーに伝える方法を明確にします。コミュニケーション計画では、適切なビジネスケースを明確化し、その成果を実証します。

（8）社会化

データガバナンスの社会化は、あらゆるガバナンス・イニシアチブにおいて極めて重要な活動です。データガバナンスの社会化イニシアチブとは、データガバナンス活動を組織の戦略、社内文化、階層構造、そしてプロセスに統合する取り組みです。このイニシアチブは、組織文化と行動基準に合わせてカスタマイズされるため、組織固有のものです。

（9）経営指標とKPI

データガバナンス・イニシアチブのビジネス全体への影響を監視・測定するためのビジネス指標と主要業績評価指標（KPI）を確立することは、その成功にとって不可欠です。指標とKPIは測定可能で、経時的に追跡可能であり、毎年同じ方法で測定できるものでなければなりません。

（10）技術サポート

データ ガバナンス計画を実装するには、プロセスを自動化するためのフレームワークやツールなど、さまざまな技術サポートが必要です。

データガバナンスの主要要素

主要な技術機能の観点から見ると、データ ガバナンスの主要な要素は次のとおりです。

• データ カタログ: 組織内のメタデータを一元的に保存し、ユーザーが必要なデータをすばやく見つけて理解できるようにすることで、データ管理の効率性を向上させ、冗長性を削減し、適切なアクセス制御を確保します。
• データ品質: 信頼性の高いデータ主導の意思決定をサポートするためにデータの正確性、整合性、最新性を確保することは、データ ガバナンスの中核要素です。
• データ分類: データの機密性と価値に応じてデータを分類すると、適切なセキュリティ対策の適用が容易になり、リスクが軽減され、データの品質と保護が確保されます。
• データ セキュリティ: アクセス制御を通じて機密データを保護し、不正アクセスを防止し、データ セキュリティと規制遵守を確保し、顧客の信頼を高めます。
• データ権利とアクセスの監査: 効果的なデータ アクセス監査により、不正アクセスを識別して防止し、データの誤用リスクを軽減し、コンプライアンスを確保します。
• データ系統: データのソースとフローを追跡することで、データの品質が保証され、コンプライアンスと信頼性がサポートされ、監査とデバッグの作業負荷が軽減されます。
• データ検出: チームがデータ資産をすばやく見つけて活用できるようにし、コラボレーションとイノベーションを促進し、データの重複を回避し、データ利用効率を向上させます。
• データの共有とコラボレーション: 社内チームと社外チーム間でデータを安全に交換し、機密情報の使用を制御し、データ主導のイノベーションとコンプライアンスをサポートします。

オープンソースのデータガバナンスツール

オープンソース分野でよく知られているデータ ガバナンス ツールにはどのようなものがありますか?

1.オープンメタデータ

https://github.com/open-metadata/OpenMetadata

開発言語: TypeScript、Java、Python

OpenMetadataは、データの検出、観測、ガバナンスのための統合メタデータプラットフォームです。中央メタデータリポジトリ、詳細な列レベルの継承、そしてシームレスなチームコラボレーションを基盤としています。オープンなメタデータ標準とAPIを基盤とするOpenMetadataは、様々なデータサービスへのコネクタとエンドツーエンドのメタデータ管理をサポートし、データ資産の価値を最大限に引き出します。

OpenMetadata は主に 4 つのコンポーネントで構成されています。

• メタデータスキーマ：共通の抽象化と型に基づいたメタデータのコア定義と語彙。様々なユースケースやドメインに合わせて、カスタム拡張機能と属性もサポートされています。
• メタデータ ストア: メタデータ グラフを保存および管理し、データ資産、ユーザー生成メタデータ、およびツールを統一された方法で接続するための中央リポジトリ。
• メタデータAPI：メタデータスキーマ上に構築された、メタデータを生成および使用するためのインターフェースです。ユーザーインターフェース、ツール、システム、サービスとメタデータストアとのシームレスな統合をサポートします。
• インジェスチョンフレームワーク：様々なソースやツールからメタデータをメタデータストアに取り込むためのプラグイン可能なフレームワークです。データウェアハウス、データベース、ダッシュボードサービス、メッセージングサービス、パイプラインサービスなど、約75種類のコネクタをサポートしています。

全体的なアーキテクチャは次の図に示されています。

OpenMetadata の主な機能は次のとおりです。

• データ検出：キーワード検索、データ関連付け、高度なクエリなど、様々な戦略を用いて、すべてのデータ資産を一元的に検索・探索できます。テーブル、トピック、ダッシュボード、パイプライン、サービス全体にわたって検索できます。
• データコラボレーション：データ資産について、他のユーザーやチームとコミュニケーション、調整、コラボレーションを行うことができます。イベント通知の受信、アラートの送信、通知の追加、タスクの作成、セッションスレッドの使用が可能です。
• データ品質とアナライザー：コーディングなしで品質を測定・監視し、データの信頼性を構築します。データ品質テストを定義・実行し、テストスイートにグループ化して、インタラクティブなダッシュボードで結果を確認できます。強力なコラボレーションを通じて、データ品質を組織全体で共有責任にすることができます。
• データガバナンス：組織全体にデータポリシーと標準を実装します。データドメインとデータ製品を定義し、オーナーとステークホルダーを割り当て、タグと用語を使用してデータ資産を分類できます。強力な自動化機能により、データの自動分類が実現します。
• データインサイトとKPI：レポート機能とプラットフォーム分析機能を活用して、組織のデータのパフォーマンスを把握できます。データインサイトは、すべての主要指標を単一の画面で表示し、最適なデータ可視性を実現します。OpenMetadataで主要業績評価指標（KPI）を定義し、目標を設定することで、より適切なドキュメント化、所有権管理、階層化を実現できます。KPIが特定のプランに含まれるようにアラートを設定することもできます。
• データリネージの追跡：データ資産の起源と変換をエンドツーエンドで追跡・可視化します。列レベルのリネージを手動で表示したり、クエリをフィルタリングしたり、ノーコードエディターを使用してリネージを編集したりできます。
• データドキュメント：リッチテキスト、画像、リンクを使用して、データアセットとメタデータエンティティを記録します。コメントや注釈を追加したり、データディクショナリやデータカタログを生成したりすることもできます。
• データ可観測性：データアセットとパイプラインの健全性とパフォーマンスを監視します。データの鮮度、データ量、データ品質、データレイテンシなどの指標を確認できます。また、異常や障害が発生した場合にアラートや通知を設定することもできます。
• データセキュリティ：多様な認証・認可メカニズムを用いて、データとメタデータを保護します。シングルサインオンのために様々なIDプロバイダーと連携し、アクセス制御のロールとポリシーを定義できます。Webhook：Webhookを使用して、外部アプリケーションやサービスと連携します。メタデータイベント通知を受信するためのURLを登録し、Slack、Microsoft Teams、Google Chatと連携できます。
• コネクタ：コネクタを使用して、さまざまなソースやツールからメタデータを取得します。OpenMetadata は、データウェアハウス、データベース、ダッシュボードサービス、メッセージングサービス、パイプラインサービスなど、約 75 種類以上のコネクタをサポートしています。

2. アパッチアトラス

https://github.com/apache/atlas

開発言語: Java、JavaScript

Apache Atlasは、データ管理チームが組織全体のビッグデータ資産とメタデータを共同で管理できるようにするオープンソースのデータガバナンスフレームワークです。複雑なエンタープライズデータに対応するスケーラブルなデータモデルと高度に統合された管理ソリューションを提供します。

彼の強みは次のとおりです。

• 高度にスケーラブルでカスタマイズ可能なデータ ガバナンス ソリューション: チームは、API リクエスト、パブリッシュ/サブスクライブ モデル、Kafka ベースのメッセージングを使用して、既存のデータ ソースと簡単に統合できます。
• データ分類、メタデータ属性、データ系統の追跡において優れた柔軟性を備えた柔軟なカスタム データ モデルを提供します。
• データ資産とのやり取りが簡単: 標準の SQL 構文を使用してコマンドを保存および再利用でき、直感的なネイティブ UI を使用して、エンティティ タイプ、カテゴリ、メタデータ、またはフリー テキスト全体で高度な検索機能を実現できます。

もちろん、次のような欠点もあります。

• Apache Atlas には比較的専門的な知識が必要です。
• Apache Atlas は、既成のソリューションではなく、オープンソースのデータ ガバナンス フレームワークです。

3. アムンゼン

https://github.com/amundsen-io/amundsen

開発言語: Python、TypeScript

Amundsenは、Lyftが開発したデータディスカバリおよびメタデータエンジンです。データリソース（テーブル、ダッシュボード、ストリームなど）をインデックス化することで、データアナリスト、データサイエンティスト、データエンジニアのデータ処理における生産性を向上させます。また、使用パターンに基づいたページランキング形式の検索も可能です（例：クエリ頻度の高いテーブルは、クエリ頻度の低いテーブルよりも先に表示され、検索結果が上位に表示される）。Google検索に似ています。

4. データハブ

https://github.com/datahub-project/datahub/

開発言語: Java、Python、TypeScript

DataHub は、LinkedIn が最新のデータ スタックの進化するメタデータのニーズを満たすために構築したオープン ソースのメタデータ管理プラットフォームです。

DataHubは、最新のデータスタックを構築するための第3世代データカタログ、データディスカバリ、コラボレーション、ガバナンス、そしてエンドツーエンドの可観測性をサポートします。DataHubはモデルファーストのアプローチを採用し、異なるツールシステム間の相互運用性の向上に重点を置いています。

次の図は、DataHub のアーキテクチャを示しています。

DataHub の主な特徴は次のとおりです。

• メタデータモデリングにおけるスキーマファーストのアプローチ：DataHubのメタデータモデルは、シリアル化に依存しない言語で記述されます。REST APIとGraphQL APIをサポートしています。さらに、DataHubはAVROベースのAPIをサポートしており、メタデータの変更をKafka経由で通知し、サブスクライブすることができます。ロードマップには、コード不要のメタデータモデル編集をサポートするためのマイルストーンが含まれています。これにより、型付きAPIの利点をすべて維持しながら、使いやすさが向上します。メタデータモデリングの詳細については、「メタデータモデリング」をご覧ください。
• ストリームベースのリアルタイムメタデータ管理：DataHubのメタデータインフラストラクチャはストリーム指向であり、メタデータへの変更は数秒以内にプラットフォームに伝達され、反映されます。ユーザーはDataHubメタデータの変更を購読することもでき、リアルタイムのメタデータ駆動型システムを構築できます。例えば、履歴データセットを監視し、PIIを含む新しいスキーマフィールドを追加し、アクセス制御監査のためにデータセットをロックするアクセス制御システムを構築できます。
• フェデレーテッドメタデータサービス：DataHubには、オープンソースリポジトリの一部としてメタデータサービス（GMS）がバンドルされています。また、複数のチームが所有・運用できるフェデレーテッドメタデータサービスもサポートしています。このフェデレーテッドサービスは、Kafkaを使用して中央の検索インデックスとグラフと通信し、メタデータの所有権を分離したまま、グローバル検索とデータディスカバリーをサポートします。このアーキテクチャは、データグリッドを実装する企業に最適です。

5. マグダ

https://github.com/magda-io/magda

開発言語: Java、TypeScript

Magdaは、大規模組織向けのオープンソースのフェデレーションデータカタログプラットフォームです。CSVファイルから大規模データベースに至るまで、あらゆる資産を記録、追跡、強化、活用するための単一のプラットフォームを提供することを目指しています。

したがって、これは大量の小さなデータセットを処理する必要があるチームに特に適した製品です。

Magda の利点は次のとおりです。

• Magdaの強みの一つは、その容易な起動と運用です。KubernetesとHelmを使用することで、クラウド、オンプレミスのインフラストラクチャ、あるいはローカルマシンへのワンクリックデプロイが可能です。
• Magda の検索機能も特に強力で、同義語、ユーザーの行動、地理空間データ、データ品質に基づいてデータ資産情報を提供することができます。
• Madgaのもう一つの利点は、データソースへの接続が比較的容易なことです。CSVファイル、インベントリツール、RDBMS、既存のメタデータAPI、RESTful APIなどを利用して、幅広いデータセットを追加できます。

Magda の欠点は次のとおりです。

• Magda には高度な視覚化機能がいくつか欠けています。
• ロールベースのアクセス制御を提供しますが、よりきめ細かいアクセス ポリシーを作成するのにはあまり効果的ではありません。
• Magda の目標は通常、ユーザーがさまざまなデータ ソースを簡単に処理できるようにすることですが、非構造化データや急速に変化するデータを処理する場合は、より多くの課題が生じる可能性があります。

技術アーキテクチャ:

技術的なアーキテクチャの観点から見ると、MagdaはDockerコンテナとして配布されるマイクロサービスアーキテクチャ上に構築されています。これは、シンプルなスケーラビリティを実現するためです。Magdaは、あらゆるテクノロジーを用いたカスタムサービスをDockerイメージとして追加し、安定したHTTP APIを介してシステムの他の部分と統合できます。HelmとKubernetesを用いたオーケストレーションにより、カスタムMagdaインスタンスの設定をプレーンテキストで保存・追跡でき、同じ設定を持つインスタンスを迅速かつ容易に複製できます。アーキテクチャ図は次のとおりです。

6. エゲリア

https://github.com/odpi/egeria

プログラミング言語: Java

Egeria は、組織全体のメタデータ管理に重点を置いたエンタープライズ中心のツールです。

したがって、クロスプラットフォームのメタデータ交換など、高度に自動化された統合ソリューションを必要とするチームにとっては、良い選択肢となる可能性があります。

アドバンテージ：

• Egeria は、基本的に、さまざまな接続プラットフォーム間で情報を同期する専用サーバーを使用して、チームがメタデータのキャプチャ、検索、管理を自動化できるようにします。
• また、API、メタデータリポジトリ、JDBC、ファイルコネクタ、暗号化ストレージなど、非常に高度な接続性と統合性も備えています。社内で異なるプラットフォームを使用しているチーム間で、シームレスに情報を共有できるようにすることを目指しています。

欠点:

• Egeriaのユーザーインターフェース機能は比較的限られています。検索可能なディレクトリを含む汎用的な管理GUIのみを提供しており、機能制限がややあります。より高度なUIやシナリオ固有のUIを作成したい場合は、独自に開発する必要があります。

7. トゥルーダット

https://github.com/Bluetab

TrueDatは、成熟したオープンソースのデータガバナンスツールであり、お客様がデータドリブン企業になるお手伝いをします。TrueDatは、データソリューションプロバイダーとして市場のニーズを理解し、データガバナンス分野におけるギャップを特定したBlueTab（現在はIBM傘下）によって開発されました。

その利点は次のとおりです:

• TrueDatは、データカタログとEDMを設定するための、特にこのレビューで取り上げた他のプラットフォームと比較して、比較的モダンで合理化されたインターフェースを提供しています。例えば、エンティティテンプレートを使用して、属性、メタデータ、権限、ポリシーを迅速に管理できます。
• 自動検出と接続カタログ作成のためのデータソースも用意されており、導入障壁を下げ、ビジネスユーザーにとってより現実的な選択肢となっています。さらに、独自のLLMを使用して、エンタープライズ環境でメタデータを生成することも可能となっています。

さらに、TrueDatはレポート機能にも特に優れています。メタデータとのネイティブ統合により、データの品質と使用状況に関する洞察を抽出し、可視化するための柔軟性が高まります。

ただし、TrueDat には次のような多くの欠点もあります。

TrueDatはオープンソースプロジェクトであるにもかかわらず、裏付けとなる情報が明らかに不足しています。特に、ドキュメントが乏しく、本番環境への導入に関する情報が全くありません。

以下のマトリックスは、これらのオープンソースのデータガバナンスツールの主な機能をまとめたものです。マトリックスでは、関連する機能が提供されているかどうかを「はい」と「いいえ」で示していますが、これらのツールがこれらの機能を実際にどの程度実装しているかはツールによって異なります。