今年やったことや来年の課題などを書き出します。

AWSのAWS Certified Data Analytics Specialty試験に合格しました。 750点以上が合格になるですが、自分のスコアは753点でかなりギリギリでした。 けっこう試験時間を最後まで使って回答見直してよかったと思います。

本日勉強したことをメモします。 Kinesis Data StreamsとKinesis Firehoseの違い Kinesis Data Streamsはproducer/consumer アプリケーションを書く必要があるが、Kinesis Firehoseは必要ない。 Kinesis Produver constructorについて Kinesis Produver cons…

本日勉強したことをメモします。 Kinesis Data StreamsとKinesis Firehoseの違い Kinesis Data Streamsはproducer/consumer アプリケーションを書く必要があるが、Kinesis Firehoseは必要ない。 Kinesis Produver constructorについて Kinesis Produver cons…

本日学習したことをメモします。 Kinesis Data Streamsの制限事項 docs.aws.amazon.com Kinesis Data Streamsのシャードは一秒ごとに1000レコードか1MBの上限がある。

本日勉強したことをメモします。 Kibanaについて KibanaはAmazon Elastic serviceに付属するサービスで、Elasticsearchに入ったデータを可視化することができる。 www.elastic.co

本日勉強したことをメモします。 EMRのConsistent viewについて docs.aws.amazon.com Consistent viewはEMRバージョン3.2.1以降のオプションの機能。 EMRFSとS3を同期させて、書き込み後の読み取りに一貫性を持たせることができる。 Consistent viewを有効に…

本日勉強したことをメモします。 Athenaのクエリパフォーマンスを上げる方法 S3に保存されているデータ容量が増えるにつれ、Athenaのクエリパフォーマンスが落ちる場合は以下のような対策が考えられる。 ・頻繁に使うクエリ内容に応じてパーティションを作成…

本日勉強したことをメモします。 リアルタイムデータ処理を行うためのデータストア Kinesis Firehoseからデータをストリームするリアルタイムデータ処理を行うためのデータストアが必要な場合は、Elasticsearch Serviceなどが活用できる。 Elasticsearch Ser…

本日勉強したことをメモします。 Redshiftのクラスターについて Redshiftはクラスターという単位で管理される。 一つのクラスターには複数のコンピュートノートが含まれていて、リーダーノードがそれぞれのコンピュートノードを調整する。

本日勉強したことをメモします。 S3でデータを暗号化及びその後データ分析使うための設定 S3に置くデータを暗号化するには、AWS KMS CMKを用いてサーバーサイド暗号化を行う。 その後EMRなどデータ分析用のサービスでデータを使う場合は、EMRにS3へのアクセ…

本日勉強したことをメモします。 複数のデータソースからデータ分析用にデータを集計する設計 複数のデータソースからデータ分析用にデータを集計するには以下の設計が考えられる。 データソース->DMS->S3->Glue->データレイク用S3->Athena->BIツール DMSで…

本日勉強したことをメモします。 チェンジデータキャプチャ チェンジデータキャプチャ(change data capture)とは、 変更があったデータのみを識別して処理を行うことのようです。 docs.oracle.com データ・ウェアハウスでは、1つ以上の本番データベースから…

Kinesis関連のAWSサービスについて理解が浅いので、こちらの動画を見ながら手を動かして勉強しました。 www.youtube.com

DynamoDB Accelerator(DAX)がよくわからなかったので勉強しました。 DynamoDB DAXの公式ドキュメントはこちらです。 ] aws.amazon.com

S3のライフサイクルポリシーの概念はなんとなくわかっていますが、実際に手を動かして設定したことがなかったのでマネジメントコンソールから操作して勉強しました。

SQLのgroup by句がなんとなくしかわかってなかったので改めて勉強しました。 まだまだ理解は浅いですが、少しずつ知見を深めるためにアウトプットしていきます。

ここ最近はプライベートの時間はAWS試験の勉強に集中してきましたが、業務が忙しくなってきたのとSAPに二回落ちたのをきっかけに一旦プライベートの時間の使い方を見直そうかと思います。

本日SAP試験を受験しましたが不合格でした。 SAP不合格は2回目でなかなか悔しいですが、ちょっとずつ成長は感じるので引き続き努力していきます。

SQLを勉強するにあたって、座学というよりももっと実践的なサイトがないか探したところ、こちらのサイトが良さそうでした。 www.stratascratch.com

本日勉強したことをメモします。 EKSのDockerイメージ取得元 EKSはECR以外のコンテナレジストリからもDockerイメージを取得可能。(Docker Hubなど)

本日勉強したことをメモします。 DocumentDBについて aws.amazon.com DocumentDBはMongoDB互換なので、オンプレミスでMongoDBが動いている環境からなるべく設計を変えずにAWSに移行を計画する場合は、DocumentDBが適している。

本日勉強したことをメモします。 Auto Scalingグループで作成されたインスタンスに証明書を付与する Auto Scalingグループで作成されたインスタンスに証明書を付与するには、AutoScalingグループからSNS通知をAWSS Certificate Managerに送るようにし、ACMで…

本日勉強したことをメモします。 VPCでIPv6を使う docs.aws.amazon.com

本日勉強したことをメモします。 S3にデータを置く際のデメリット DynamoDBを使ったアプリケーションで、DynamoDBにデータを置く方法とS3にデータを置いてDynamoDBでS3から取得を行う方法の二つの選択肢があった場合、パフォーマンスが重要視されている場合…

本日勉強したことをメモします。 Lambdaのメモリ設定 docs.aws.amazon.com Lambdaの現在のメモリ使用率の確認と追加もメモリ割り当ては、CloudWatch Logsでメモリ使用率の最大値を確認し、Lambdaのコンソール画面から追加のメモリを割り当てることができる。

本日勉強したことをメモします。 API Gatewayのエラーレスポンスを変更する API GatewayでサポートされていないHTTPメソッドでリクエストが送られた場合、API Gatewayは403エラーを返すが、それを404に変更しカステムHTTPヘッダーを加えたい場合、コンソール…

本日勉強したことをメモします。 Where句とHaving句の違い これまでなんとなくでしか理解していなかったSQLを基礎から学び直しており、今日はHaving句についての説明を読んでいたのですが、Where句との違いがよくわかりませんでした。 なので下記の記事を読…

本日勉強したことをメモします。 Elastic Beanstalkのワーカー環境について docs.aws.amazon.com 処理に長い時間がかかる場合はワーカー環境が適している。SQSなどを併用することもある。

本日勉強したことをメモします。 CloudFormationテンプレートを様々なリージョンで使う上で気をつけること 様々なリージョンでCloudFormationを使う際はAWSリソースがリージョンリソースかグローバルリソースか気をつける。 ・AZを選択する際は組み込み関数…