近年、インターネットの急速な発展に伴い、業務量は短期間で爆発的な増加を遂げ、それに伴うデータ量も数百ギガバイトから数百テラバイトへと急速に増加しました。データストレージにおいても、データスケジューリングにおいても、現在のデータ量は処理能力の上限をはるかに超えています。情報処理技術が今後も漸進的に発展し続ければ、データ処理能力の向上はデータ量の指数関数的な増加に大きく追いつかなくなるでしょう。

データ処理能力の向上、タスクのスケジュール効率の最大化、ツールの高可用性の維持は、すべての企業の共通の要求であると同時に、ビッグデータ開発が直面しなければならない中核的な技術的課題であると考えられます。

このような背景から、ビッグデータの分野では多くの優れたオープンソース プロジェクトが登場しています。

ビッグデータタスクスケジューリングの好例として、Apache DolphinSchedulerプロジェクトが挙げられます。Apacheオープンソースコミュニティの理念に基づいて構築されたApache DolphinSchedulerは、DataOps分野における世界的に著名なオープンソースプロジェクトであり、 350人以上の貢献者コミュニティを誇ります。分散型、非中央集権型でスケーラブルなビジュアルワークフロータスクスケジューリングプラットフォームであるApache DolphinSchedulerは、IBM、Tencent、iFlytek、Meituan、360、China Unicom、SF Expressなど、金融、通信、小売、クラウドコンピューティング、データ処理など、 1,000社以上の企業の本番環境における中核スケジューリングシステムとして採用されています。

Apache DolphinSchedulerは、2021年4月9日にASFインキュベータを卒業し、Apacheのトップレベルプロジェクトとなって以来、力強い勢いを維持しています。長年にわたる進化を通して、迅速なバージョンアップデートと継続的なアーキテクチャのイテレーションを一貫して維持してきました。特筆すべきことに、Apache Dolphin Schedulerは最近、バージョン3.0.0-beta-1の正式リリースを迎えました。

6月23日に開催されたT·Talk技術共有イベントでは、White Whale Open Sourceの共同創設者であり、Apache DolphinSchedulerのPMC議長を務めるDai Lidong氏をお迎えし、Apache DolphinSchedulerの進化の軌跡についてお話しいただきました。Dai氏は、Apache DolphinSchedulerのアーキテクチャのイテレーションを通して得られた経験と教訓を詳しく説明し、クラウドネイティブ時代のスケジューリングアーキテクチャに関する考察と洞察を共有します。

オープンソース テクノロジの探求に熱心な開発者であっても、「ビッグ データ スケジューリング」を専門とする熟練したオープンソース愛好家であっても、これらの最先端の事例から新鮮なインスピレーションを得ることができます。

6 月 23 日午後 8 時から開催される第 12 回 T·TALK 技術共有イベントへようこそ。

ポスター下部のQRコードをスキャンして観覧場所を予約してください。

​

ゲスト紹介:

Dai Lidongは、White Whale Open Sourceの共同創設者、Apache DolphinScheduler PMC議長、Apacheメンバー、Apache SeaTunnel PPMC、Apacheインキュベータメンター、ApacheCon Asia Bigdata Track共同議長（2021年）、COSCon Big Data Forumプロデューサーを務めています。1万人を超えるビッグデータ技術コミュニティを組織してきました。