【AWS学習記録】勉強メモ S3バケットのデータにAthenaがアクセスできない場合の対策など

本日勉強したことをメモします。

リアルタイムデータ処理を行うためのデータストア

Kinesis Firehoseからデータをストリームするリアルタイムデータ処理を行うためのデータストアが必要な場合は、Elasticsearch Serviceなどが活用できる。
Elasticsearch ServiceのデータからKibanaを作成して分析や可視化を行うことができる。
Elasticsearchはアプリケーションの監視、ログ分析、クリックストリーム分析などに向いている。

続きを読む

【AWS学習記録】勉強メモ2021/09/27

本日勉強したことをメモします。

S3でデータを暗号化及びその後データ分析使うための設定

S3に置くデータを暗号化するには、AWS KMS CMKを用いてサーバーサイド暗号化を行う。
その後EMRなどデータ分析用のサービスでデータを使う場合は、EMRにS3へのアクセス権とAWS KMS CMKを使える権限を許可するIAMロールを付与する必要がある。

続きを読む

【AWS学習記録】勉強メモ 2021/09/25

本日勉強したことをメモします。

複数のデータソースからデータ分析用にデータを集計する設計

複数のデータソースからデータ分析用にデータを集計するには以下の設計が考えられる。
データソース->DMS->S3->Glue->データレイク用S3->Athena->BIツール

DMSで進行中の更新も集計するタスクを作成し、S3に連携してGlueジョブがデータに対し変換処理を行えるようにする。Glueによって変換した後にデータレイク用S3にデータを置き、QuickSightなどのBiツールでデータを可視化する。

続きを読む

【AWS学習記録】勉強メモ2021/9/24 Auroraへの移行が遅い原因の調べ方

本日勉強したことをメモします。

チェンジデータキャプチャ

チェンジデータキャプチャ(change data capture)とは、 変更があったデータのみを識別して処理を行うことのようです。

docs.oracle.com

データ・ウェアハウスでは、1つ以上の本番データベースからリレーショナル・データを抽出し、分析のためにデータ・ウェアハウスに転送することが必要になることがよくあります。チェンジ・データ・キャプチャは、変更があったデータのみを瞬時に識別して処理し、変更データをさらに利用できるようにします。
続きを読む