AWSのAWS Certified Data Analytics Specialty試験に合格しました。 750点以上が合格になるですが、自分のスコアは753点でかなりギリギリでした。 けっこう試験時間を最後まで使って回答見直してよかったと思います。

本日勉強したことをメモします。 Kinesis Data StreamsとKinesis Firehoseの違い Kinesis Data Streamsはproducer/consumer アプリケーションを書く必要があるが、Kinesis Firehoseは必要ない。 Kinesis Produver constructorについて Kinesis Produver cons…

本日勉強したことをメモします。 Kinesis Data StreamsとKinesis Firehoseの違い Kinesis Data Streamsはproducer/consumer アプリケーションを書く必要があるが、Kinesis Firehoseは必要ない。 Kinesis Produver constructorについて Kinesis Produver cons…

本日学習したことをメモします。 Kinesis Data Streamsの制限事項 docs.aws.amazon.com Kinesis Data Streamsのシャードは一秒ごとに1000レコードか1MBの上限がある。

本日勉強したことをメモします。 Kibanaについて KibanaはAmazon Elastic serviceに付属するサービスで、Elasticsearchに入ったデータを可視化することができる。 www.elastic.co

本日勉強したことをメモします。 EMRのConsistent viewについて docs.aws.amazon.com Consistent viewはEMRバージョン3.2.1以降のオプションの機能。 EMRFSとS3を同期させて、書き込み後の読み取りに一貫性を持たせることができる。 Consistent viewを有効に…

本日勉強したことをメモします。 Athenaのクエリパフォーマンスを上げる方法 S3に保存されているデータ容量が増えるにつれ、Athenaのクエリパフォーマンスが落ちる場合は以下のような対策が考えられる。 ・頻繁に使うクエリ内容に応じてパーティションを作成…

本日勉強したことをメモします。 リアルタイムデータ処理を行うためのデータストア Kinesis Firehoseからデータをストリームするリアルタイムデータ処理を行うためのデータストアが必要な場合は、Elasticsearch Serviceなどが活用できる。 Elasticsearch Ser…

本日勉強したことをメモします。 Redshiftのクラスターについて Redshiftはクラスターという単位で管理される。 一つのクラスターには複数のコンピュートノートが含まれていて、リーダーノードがそれぞれのコンピュートノードを調整する。