今週やったこと DynamoDBのテーブル作成 Pythonのboto3でDynamoDBのテーブルを作成するスクリプトを書きました。 パーティションキーやソートキーについて理解が浅いので作りながら勉強します。

Cognitoに慣れるためにAWS CLIで操作してみました。

今週やったこと Athenaを活用した実装 Athenaを使ってS3に置いてあるファイルの中身を読み込む処理を実装しました。AthenaはLambdaから呼び出しています。

Athena検証をしながらAthenaについて調べたので、学んだことをメモします。

今週やったこと AthenaでのS3ファイル読み取り API Gateway→Lambda→Athena→S3という流れでS3のファイルの情報をAPIとして読み取る処理のサンプルを実装しました。 処理自体は通りましたが、パフォーマンスに不安があるのでこれから改善を狙いたいところです。

今週やったこと SageMaker Pipelinesの実装 PythonのSDKを使ってSageMaker Pipelinesの一連の処理を実装しました。

やったこと SageMaker PipelinesでMLパイプライン構築 データ加工やモデルの学習処理は単体で実装済みだったので、それぞれをSageMaker Pipelinesで一連のパイプラインとして動くようにしました。

今週やったこと SageMaker Pipelinesを使ったMLパイプラインの詳細設計 MLパイプラインの大枠の設計自体はすでにできているので、より詳細はS3バケットのフォルダ構成とかトリガーの設定などをドキュメントに起こしました。

今週やったこと DynamoDB+FastAPIでAPI開発 大量のデータを保存するAPIを構築する機会があり、DynamoDBとFastAPIを使って開発しました。

今週やったこと FastAPIでTimestreamにデータを書き込むAPIを実装 Timestreamに時系列でデータを保存する実装を進めていて、FastAPIでAPIを実装しました。

今週やったこと Amazon Timestreamを構築してみた Amazon Timestreamをテスト的に構築してみました。 まずはマネジメントコンソールから構築してすぐにデータベースを作成できましたので、これから色々触ってみたいと思います。

今週やったこと Zodを使ったバリデーション処理の実装 TypeScriptでバリデーションの処理を実装する機会があり、Zodを使いました。 zod.dev これまで使ったことがなかったので良い経験になりました。

今週やったこと AWS CLIの依存関係の整合性を調査 Djangoが稼働しているサーバーの管理作業でAWS CLIでS3からファイルを取得する手順があったのですが、pip install awscliを実行したところアプリケーションで500エラーが発生するようになりました。 結果と…

今週やったこと API GatewayをTerraformで構築 API GatewayをTerraformで構築しました。APIキーの設定や使用プランなど、あまり知見がなかった部分を今回初めて経験することができました。

今週やったこと Stg環境でのアプリケーションの検証. 開発環境である程度動作確認ができている機能をStg環境でも動かして検証していました。 また、その際にユーザーが本来行うUIでの操作を行うと時間がかかるので、管理画面からデータを変更したりしていた…

今週やったこと API GatewayをTerraformで定義した. マネジメントコンソールで作成したAPI GatewayをTerraformでコード化しました。 API Gatewayは不慣れだったんですが、マネジメントコンソールで構築→AWS CLIで情報を取得→terrafrom importコマンドでtfsta…