7k Star は、包括的な機能と美しいインターフェースを備えたオープンソースの Kafka 管理プラットフォームです。

1. 特徴
2. はじめに

クイックスタート（デモ実行）
永続的なインストール
Gitの設定

3 構成ウィザード
動的なアプリケーション構成
4. データの匿名化
被験者データの脱感作
5. カスタムプラグ可能なSerde登録
ポータル

Apache Kafka UI は、Apache Kafka クラスターの監視と管理のための無料のオープンソース Web UI です。Kafka ブローカー、トピック、メッセージ、コンシューマーなどのステータスを簡単に確認できるほか、マルチクラスター管理、パフォーマンス監視、アクセス制御などの機能もサポートしています。

1. 特徴

マルチクラスター管理:すべてのクラスターを 1 か所で監視および管理します。
パフォーマンス監視にメトリクスダッシュボードを使用する:軽量ダッシュボードで主要な Kafka メトリクスを追跡します。
Kafka ブローカーの表示:トピックとパーティションの割り当て、コントローラーのステータスを表示します
Kafka トピック (パーティション数、レプリケーションステータス、カスタム構成) を表示します。
コンシューマーグループの表示:各パーティションのパーキングオフセット、結合ヒステリシス、および個別のパーティションヒステリシスを表示します。
メッセージの閲覧: JSON、プレーンテキスト、Avro エンコーディングを使用してメッセージを表示します。
動的なテーマの構成:動的な構成を使用して新しいテーマを作成および構成します。
カスタムシリアル化/デシリアル化プラグイン:データに既存の Serde ライブラリを使用します。
ロールベースのアクセス制御: UI にアクセスするための権限を正確に管理します。
データの匿名化:トピックメッセージ内の機密データを難読化する

2. はじめに

Apache Kafka UI を実行するには、事前に構築された Docker イメージを使用するか、自分でビルド (または jar ファイル) することができます。

クイックスタート（デモ実行）

 docker run -it -p 8080:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui

次に、http://localhost:8080 にアクセスします。

永続的なインストール

services: kafka-ui: container_name: kafka-ui image: provectuslabs/kafka-ui:latest ports: - 8080:8080 environment: DYNAMIC_CONFIG_ENABLED: true volumes: - ~/kui/config.yml:/etc/kafkaui/dynamic_config.yaml

Gitの設定

Git 資格情報を設定します。

 git config --global user.name "Mona Lisa" git config --global user.email "[email protected]"

3 構成ウィザード

動的なアプリケーション構成

デフォルトでは、Kafka UI は実行時に設定を変更できません。アプリケーションの起動時に、システム環境、設定ファイル (application.yaml)、および JVM パラメータ (-D 指定) から設定を読み込みます。読み込まれた設定は不変とみなされ、設定ソース (ファイルなど) が変更されても更新されません。

4. データの匿名化

被験者データの脱感作

メッセージページに表示される機密データをブロックするように kafka-ui を構成できます。

削除: JSON オブジェクトの場合 - ターゲットフィールドを削除します。それ以外の場合は、文字列 "null" を返します。

 - type: REMOVE fields: [ "id", "name" ] ...

アプリケーション例

{ "id": 1234, "name": { "first": "James" }, "age": 30 } -> { "age": 30 }

5. カスタムプラグ可能なSerde登録

独自の serde を実装し、それを kafka-ui アプリケーションに登録できます。

kafka-ui-serde-api 依存関係を追加します (Maven Central からダウンロードできるはずです)。
com.provectus.kafka.ui.serde.api.Serde インターフェースを実装する
serde を uber jar にパッケージ化するか、依存関係のない jar とその依存 jar を含むディレクトリを提供します。

ポータル

オープンソースアドレス: https://github.com/provectus/kafka-ui

DUICUO