今週やったこと django_rqを使った非同期処理の実装 django_rqを使って非同期処理を実装する必要があったのですが、使い方がよくわかっていなかったので記事を呼んで勉強しながら進めました。 キューを使う方法もあまり慣れていないのでこの機会にしっかり身…

今週やったこと Pandasを使うコードでユニットテストを書いた MLOpsの前処理の部分でPandasを使う実装があり、そのコードに対するテストを書きました。

今週やったこと Macの環境構築用のシェルスクリプトを書いた. 先月新しくMacを買ったので、ツール類をインストールするシェルスクリプトを書きました。 目的としては、現状のMacのセットアップ状況をわかりやすくすることと、端末を新しくした時にも同じスク…

発生していた問題 API Gatewayを使用してSageMakerエンドポイントを呼び出す際、以下のエラーが発生していました。 SageMakerエンドポイントが正しく応答しない エラーレスポンスにSerializationExceptionが含まれる { "Output": { "__type": "com.amazon.co…

今週やったこと SageMaker Endpointにリクエストを送るAPI Gatewayを構築した SageMaker Endpointはすでに立ち上げることができていたので、Webサービスからリクエストを受け取れるようにAPI Gatewayを構築しました。

Goでメール送信機能を実装するタスクがあり、Gomailを使って実装しました。

今週やったこと 帳票出力処理の実装 Webアプリケーションで登録したデータを帳票としてPDF出力する機能を実装しました。

業務で機械学習エンジニアの方と協業する機会が出てきたので、機械学習の基礎知識を身につけるためにKaggleに登録し、チュートリアルのコードを使って「Titanic - Machine Learning from Disaster」の提出まで行いました。

今週やったこと SageMaker Endpointにデプロイした SageMakerのModel Registryにモデルを登録して、それをSageMaker Endpointでホスティングするように設定しました。

Difyのコードを読んでいて、キャッシュを扱う処理が参考になりました。 Difyのリポジトリはこちらです。 github.com キャッシュを保存・取得するためにRedisクライアントを定義する処理はapi/extensions/ext_redis.pyにありました。(Difyのリポジトリは開発…

今週やったこと PDFファイルの内容をLLMに質問する機能を修正した Difyのコードを元にファイルを読み込む機能に手を加えました。

今週やったこと SageMakerのinference.pyのコードを書いた SageMaker Endpointを立ち上げる時にinference.pyというPythonファイルを書いてその中でモデルの読み込みや推論を実行するので、簡単のものから実装して動きを確かめました。

今週やったこと SageMakerでEndpointを構築 SageMakerのJupyterNotebookでinference.pyを実装してモデルのファイルとまとめてS3にアップロードし、SageMaker Endpointを構築するところまで行いました。

こちらのドキュメントを読みながらAPIを使ってみたいと思います。 platform.openai.com

今週やったこと Djangoのカスタムコマンドを実装 アプリケーションのマスターデータをExcelからDBに登録できるようにDjangoのカスタムコマンドを実装しました。

今週やったこと AWS CLIの実行時にMFA認証を必須にした AWS CLI実行する際にMFA認証が必須になるようにIAMポリシーを設定しました。 また、AWS CLIコマンドを実行してMFAの認証トークンをローカルのAWS実行用のクレデンシャルに設定するためのシェルスクリプ…

今週やったこと SNS+AWS ChatbotでSlack通知を設定した エラー発生時のアラート通知として、SNS+AWS ChatbotでSlackにメッセージを送れるようにしました。 SNSのサブスクリプションのリソース自体はTerraformで構築しましたが、サブスクリプションの有効化う…

UoPeopleでデータベースについて学んだことを整理するためにメモします。 DBは業務では使っていますが、内部構造まで詳しくは知らないのでこの機会に勉強していきます。

Difyを調査している関係で、GeminiのAPIキーを取得しました。 ついでにAPIリクエストも送って正常にレスポンスが返されることを確認しました。

今週やったこと Difyのコードリーティング Difyを使う機会が出てきたので、DifyのGitHubリポジトリを読んでみました。 github.com

今週やったこと Difyをローカルで動かしてみた 以前から気になっていたDifyをGitクローンしてローカルで動かしてみました。 手順は公式ドキュメントの通りで起動できました。 docs.dify.ai

Terraformを使って、AWS CloudWatch Eventsを設定し、Lambda関数を毎日決まった時間に自動実行できるようにしました。 この設定を以前実装した天気情報を取得するLambdaに適用することで、毎日指定した時間に天気情報がメールで送られるようになりました。

今週やったこと 個人開発でTerraformを使ってLambda+SNSで通知を行えるようにした 天気情報をLambdaで取得してAmazon SNSデGmailに通知を送るように実装しました。

OpenWeatherMapのAPIを使って天気情報を取得するLambda関数を実装できたので、その結果をAmazon SNSで通知する仕組みを作成しました。 通知先としては利便性を考えるとLINEなどにしたいと思いましたが、まずはすぐに実装できそうなGmailのメールアドレスにし…

Lambdaを活用したツールを開発しており、今回はTerraformを使ってLambda関連のリソースをAWSにデプロイしました。

Terraformを使用していると、.terraform.lock.hclファイルがいつの間にか存在していて、その役割がわからずGitで管理して良いかどうかよく迷っています。 hashicorpの公式ドキュメントを読みながら調査してみました。

バックエンドエンジニアとしての普段の業務ではNumber Systemについて深く意識することはあまりありませんでしたが、最近UoPeopleの授業でNumber Systemについて学んでいるので、知識を定着させるためにアウトプットしたいと思います。

AWS Lambdaを活用して、OpenWeatherMap APIから天気情報を取得するアプリケーションを作っています。 この記事では以下を行います。 Lambdaのロジック改善 Terraformを使ってECRリポジトリの作成 AWS CLIによるリソースの存在確認

今週やったこと UoPeopleの授業が始まった 今週から本格的にUoPeopleの授業が始まりました。 課題や提出物など一通りできたと思うのですが、まだ評価はされていないのでよくわかっていない部分があります。 しかし授業内容としてはコンピューターサイエンス…

Terraformを使ってインフラを管理する際、stateファイルの管理とAPIキーの取り扱いをセキュアに行えるように、S3バケットを使ってTerraformの状態ファイルを管理しAPIキーをAWS SSM Parameter Storeに追加しました。