本日勉強したことをメモします。
リアルタイムデータ処理を行うためのデータストア
Kinesis Firehoseからデータをストリームするリアルタイムデータ処理を行うためのデータストアが必要な場合は、Elasticsearch Serviceなどが活用できる。
Elasticsearch ServiceのデータからKibanaを作成して分析や可視化を行うことができる。
Elasticsearchはアプリケーションの監視、ログ分析、クリックストリーム分析などに向いている。
本日勉強したことをメモします。
複数のデータソースからデータ分析用にデータを集計するには以下の設計が考えられる。
データソース->DMS->S3->Glue->データレイク用S3->Athena->BIツール
DMSで進行中の更新も集計するタスクを作成し、S3に連携してGlueジョブがデータに対し変換処理を行えるようにする。Glueによって変換した後にデータレイク用S3にデータを置き、QuickSightなどのBiツールでデータを可視化する。
続きを読む本日勉強したことをメモします。
チェンジデータキャプチャ(change data capture)とは、 変更があったデータのみを識別して処理を行うことのようです。
データ・ウェアハウスでは、1つ以上の本番データベースからリレーショナル・データを抽出し、分析のためにデータ・ウェアハウスに転送することが必要になることがよくあります。チェンジ・データ・キャプチャは、変更があったデータのみを瞬時に識別して処理し、変更データをさらに利用できるようにします。続きを読む