Intelは最近、Apache Sparkをベースとした分散型ディープラーニングライブラリであるBigDLをオープンソース化しました。BigDLを使用することで、ユーザーはディープラーニングアプリケーションを標準的なSparkプログラムとして、既存のSparkまたはHadoopクラスター上で直接実行できます。

[[181316]]

特性：

• 広範なディープラーニングサポート。Torchを模倣したBigDLは、数値計算（テンソル経由）や高レベルニューラルネットワークを含むディープラーニングを包括的にサポートします。さらに、BigDLを使用することで、ユーザーは事前学習済みのCaffeまたはTorchモデルをSparkプログラムに読み込むことができます。
• 極めて高いパフォーマンス。高いパフォーマンスを実現するために、BigDLはすべてのSparkタスクでIntel MKLとマルチスレッドプログラミングを採用しています。その結果、シングルノードXeon上では、Caffe、Torch、TensorFlowよりも桁違いに高速です。
• 効果的な水平スケーリング。BigDL は Apache Spark を活用し、同期 SGD を効率的に実装することで、Spark 上の通信を大幅に削減し、効果的にスケールアウトして「ビッグデータ スケール」でデータ分析を実行します。

使用例:

• ビッグデータ クラウド (Hadoop/Spark) で大量のデータ (HDFS、HBase、Hive などのプラットフォームに保存されている) を分析したいと考えています。
• ビッグデータ (Spark) プログラムやワークフローにディープラーニング機能 (トレーニングまたは予測) を追加したいと考えています。
• 既存の Hadoop/Spark クラスターを活用してディープラーニング プログラムを実行し、それを他のワークロード (ETL、データ ウェアハウス、機能エンジン、従来の機械学習、画像分析など) と動的に共有したいと考えています。