【AWS試験】DAS合格しました&勉強方法を少し変えた

AWSのAWS Certified Data Analytics Specialty試験に合格しました。 750点以上が合格になるですが、自分のスコアは753点でかなりギリギリでした。 けっこう試験時間を最後まで使って回答見直してよかったと思います。

【AWS学習記録】Kinesis FIrehoseにはbuffer sizeについてなど

本日勉強したことをメモします。 Kinesis Data StreamsとKinesis Firehoseの違い Kinesis Data Streamsはproducer/consumer アプリケーションを書く必要があるが、Kinesis Firehoseは必要ない。 Kinesis Produver constructorについて Kinesis Produver cons…

【AWS学習記録】Kinesis FIrehoseにはbuffer sizeについてなど

本日勉強したことをメモします。 Kinesis Data StreamsとKinesis Firehoseの違い Kinesis Data Streamsはproducer/consumer アプリケーションを書く必要があるが、Kinesis Firehoseは必要ない。 Kinesis Produver constructorについて Kinesis Produver cons…

【AWS学習】Kinesis Data Streamsの制限事項など

本日学習したことをメモします。 Kinesis Data Streamsの制限事項 docs.aws.amazon.com Kinesis Data Streamsのシャードは一秒ごとに1000レコードか1MBの上限がある。

【AWS学習記録】

本日勉強したことをメモします。 Kibanaについて KibanaはAmazon Elastic serviceに付属するサービスで、Elasticsearchに入ったデータを可視化することができる。 www.elastic.co

【AWS学習記録】EMRのConsistent viewなど

本日勉強したことをメモします。 EMRのConsistent viewについて docs.aws.amazon.com Consistent viewはEMRバージョン3.2.1以降のオプションの機能。 EMRFSとS3を同期させて、書き込み後の読み取りに一貫性を持たせることができる。 Consistent viewを有効に…

【AWS学習記録】Athenaのクエリパフォーマンスを上げる方法など

本日勉強したことをメモします。 Athenaのクエリパフォーマンスを上げる方法 S3に保存されているデータ容量が増えるにつれ、Athenaのクエリパフォーマンスが落ちる場合は以下のような対策が考えられる。 ・頻繁に使うクエリ内容に応じてパーティションを作成…

【AWS学習記録】勉強メモ S3バケットのデータにAthenaがアクセスできない場合の対策など

本日勉強したことをメモします。 リアルタイムデータ処理を行うためのデータストア Kinesis Firehoseからデータをストリームするリアルタイムデータ処理を行うためのデータストアが必要な場合は、Elasticsearch Serviceなどが活用できる。 Elasticsearch Ser…

【AWS学習記録】勉強メモ Redshiftの設計についてなど

本日勉強したことをメモします。 Redshiftのクラスターについて Redshiftはクラスターという単位で管理される。 一つのクラスターには複数のコンピュートノートが含まれていて、リーダーノードがそれぞれのコンピュートノードを調整する。

【AWS学習記録】勉強メモ2021/09/27

本日勉強したことをメモします。 S3でデータを暗号化及びその後データ分析使うための設定 S3に置くデータを暗号化するには、AWS KMS CMKを用いてサーバーサイド暗号化を行う。 その後EMRなどデータ分析用のサービスでデータを使う場合は、EMRにS3へのアクセ…

【AWS学習記録】勉強メモ 2021/09/25

本日勉強したことをメモします。 複数のデータソースからデータ分析用にデータを集計する設計 複数のデータソースからデータ分析用にデータを集計するには以下の設計が考えられる。 データソース->DMS->S3->Glue->データレイク用S3->Athena->BIツール DMSで…

【AWS学習記録】勉強メモ2021/9/24 Auroraへの移行が遅い原因の調べ方

本日勉強したことをメモします。 チェンジデータキャプチャ チェンジデータキャプチャ(change data capture)とは、 変更があったデータのみを識別して処理を行うことのようです。 docs.oracle.com データ・ウェアハウスでは、1つ以上の本番データベースから…

【AWS学習記録】Kinesis Firehoseの勉強

Kinesis関連のAWSサービスについて理解が浅いので、こちらの動画を見ながら手を動かして勉強しました。 www.youtube.com

【AWS学習記録】DynamoDB Accelerator(DAX)について勉強

DynamoDB Accelerator(DAX)がよくわからなかったので勉強しました。 DynamoDB DAXの公式ドキュメントはこちらです。 ] aws.amazon.com

【AWS学習記録】S3のライフサイクルポリシー作成

S3のライフサイクルポリシーの概念はなんとなくわかっていますが、実際に手を動かして設定したことがなかったのでマネジメントコンソールから操作して勉強しました。

【SQL学習記録】group by復習

SQLのgroup by句がなんとなくしかわかってなかったので改めて勉強しました。 まだまだ理解は浅いですが、少しずつ知見を深めるためにアウトプットしていきます。

AWS試験は後回しにしてSQLの勉強にしばらく注力する

ここ最近はプライベートの時間はAWS試験の勉強に集中してきましたが、業務が忙しくなってきたのとSAPに二回落ちたのをきっかけに一旦プライベートの時間の使い方を見直そうかと思います。

SAP試験不合格でした。次の作戦

本日SAP試験を受験しましたが不合格でした。 SAP不合格は2回目でなかなか悔しいですが、ちょっとずつ成長は感じるので引き続き努力していきます。

SQL勉強用Webサイト

SQLを勉強するにあたって、座学というよりももっと実践的なサイトがないか探したところ、こちらのサイトが良さそうでした。 www.stratascratch.com

【学習記録】勉強メモ2021/09/03

本日勉強したことをメモします。 EKSのDockerイメージ取得元 EKSはECR以外のコンテナレジストリからもDockerイメージを取得可能。(Docker Hubなど)

【学習記録】勉強メモ2021/09/02

本日勉強したことをメモします。 DocumentDBについて aws.amazon.com DocumentDBはMongoDB互換なので、オンプレミスでMongoDBが動いている環境からなるべく設計を変えずにAWSに移行を計画する場合は、DocumentDBが適している。

【学習記録】勉強メモ2021/09/01

本日勉強したことをメモします。 Auto Scalingグループで作成されたインスタンスに証明書を付与する Auto Scalingグループで作成されたインスタンスに証明書を付与するには、AutoScalingグループからSNS通知をAWSS Certificate Managerに送るようにし、ACMで…

【学習記録】勉強メモ2021/08/30

本日勉強したことをメモします。 VPCでIPv6を使う docs.aws.amazon.com

【学習記録】勉強メモ2021/08/29

本日勉強したことをメモします。 S3にデータを置く際のデメリット DynamoDBを使ったアプリケーションで、DynamoDBにデータを置く方法とS3にデータを置いてDynamoDBでS3から取得を行う方法の二つの選択肢があった場合、パフォーマンスが重要視されている場合…

【学習記録】勉強メモ2021/08/28

本日勉強したことをメモします。 Lambdaのメモリ設定 docs.aws.amazon.com Lambdaの現在のメモリ使用率の確認と追加もメモリ割り当ては、CloudWatch Logsでメモリ使用率の最大値を確認し、Lambdaのコンソール画面から追加のメモリを割り当てることができる。

【学習記録】勉強メモ2021/08/27

本日勉強したことをメモします。 API Gatewayのエラーレスポンスを変更する API GatewayでサポートされていないHTTPメソッドでリクエストが送られた場合、API Gatewayは403エラーを返すが、それを404に変更しカステムHTTPヘッダーを加えたい場合、コンソール…

【学習記録】勉強メモ2021/08/26

本日勉強したことをメモします。 Where句とHaving句の違い これまでなんとなくでしか理解していなかったSQLを基礎から学び直しており、今日はHaving句についての説明を読んでいたのですが、Where句との違いがよくわかりませんでした。 なので下記の記事を読…

【学習記録】勉強メモ2021/08/25

本日勉強したことをメモします。 Elastic Beanstalkのワーカー環境について docs.aws.amazon.com 処理に長い時間がかかる場合はワーカー環境が適している。SQSなどを併用することもある。

【学習記録】勉強メモ2021/08/24

本日勉強したことをメモします。 CloudFormationテンプレートを様々なリージョンで使う上で気をつけること 様々なリージョンでCloudFormationを使う際はAWSリソースがリージョンリソースかグローバルリソースか気をつける。 ・AZを選択する際は組み込み関数…

【学習記録】勉強メモ2021/08/23

本日勉強したことをメモします。 IDS/IPS対策について AWS環境に開発しているサービスをスケーリングしやすいようにIDS/IPS対策するには、AWSマーケットプレイスからIDS/IPSシステムを作成し、VPCネットワークを監視する。