Event Hubs

以前の記事では Event Hubs のクイックスタートにて、Event Hubs と Spring Boot アプリケーションをつなげる方法について調べた。 Event Hubs と Kafka アプリケーションを繋げるにはこちらのクイックスタートを使用すればパラメータを設定するだけで簡単にできた。 ただし Event Hubs のレベルは kafka プロトコルに対応したい場合だと Basic では動かないため、Standard にする必要がある その際に、Event Hubs <-> Kafka アプリケーション間で発生するイベントをキャプチャすることができるようだったので設定してみた。（Azure Blob Storage で行った） なお、操作は IntelliJ 上で行っているが、アプリの実行はターミナルで実施した。 キャプチャが保存されたことを確認する 前提 当該リポジトリを clone 済みであり、適切なパラメータが設定済みであること リポジトリの README.md に記載のある条件をクリアしていること TestProducer を起動する producer のルートディレクトリで以下を実行する 1 2 mvn clean package mvn exec:java -Dexec.mainClass="TestProducer" 起動すると以下のようなログがターミナルに出力される。 デフォルトでは起動時に100メッセージが送られるような設定となっているため、送信が完了した場合は以下のようなログが出力される。 TestConsumer を起動する consumer のルートディレクトリで以下を実行する 1 2 mvn clean package mvn exec:java -Dexec....

Event Hubs とは Azure Event Hubs は、データをある場所から別の場所に転送して更なる処理や分析をするためのストリーミングデータインジェストサービスのこと。なんらかのデータイベントが発生するたびにストリーミング処理を行うことからイベントインジェスターともいう。 イベントインジェスターとは、例えば イベント駆動ドリブン はイベントパブリッシャー・イベントコンシューマーを構成するが、そのイベントを処理するためにイベントパブリッシャーとイベントコンシューマーの間に置かれる。 Event Hubs はフルマネージドの PaaS であるため、Kafka などを用いたい場合におけるクラスター管理・構成などの設計・構築が大幅に軽減される。 今回は Spring Boot アプリケーションから Event Hubs を使用する手順に関してまとめていく。 やってみる リソースを準備する Event Hubs を構築するには 公式のクイックスタート を活用すると良さそう。 ソースコードに関しては、公式が提供している Java を使用して Azure Event Hubs との間でイベントを送受信する (azure-messaging-eventhubs) の手順に沿ってサンプル実装を行う 補足：仕事の Kafka アプリケーションを Java で書いているため今回は Java で試す。 送信イベント用 Maven プロジェクトと受信イベント用 Maven プロジェクトを作成して送受信を試す 以後は 注意点のみ記載しているため詳細な手順は上記チュートリアルを確認すること 送信イベント用 Maven プロジェクトの注意点 Maven で作成した Empty Project の pom.xml に以下を追加する。 1 2 3 4 5 <dependency> <groupId>com....