今週やったこと FastAPIのBackgroundTasksを使った非同期処理 fastapi.tiangolo.com 重めの処理を行うAPIでBackgroundTasksを使って実装しました。

pandasのベクトル化について調べました。

www.wiz.io 上記の記事にあるShai-Hulud 2.0についてちょっと調べたのでメモします。

pre_token_generation_configについて AWS Cognitoのlambda_configのpre_token_generation_configはトークンが発行される直前に実行されるLambdaトリガーの詳細設定 このトリガーは例えばログイン・更新・トークンリフレッシュなどのタイミングでトークンのc…

今週やったこと Excelファイルインポートでのデータ登録機能の開発 UIでExcelをインポートしてその内容でデータを登録する機能の設計・開発を行いました。 Excelフォーマットがわかりにくくならないように、画面からテンプレートExcelファイルをダウンロード…

Digital Electronics & Computer Architectureの勉強をしたのでメモします。

モデリングについて自分の中で言語化できるように勉強したのでメモします。

論理ゲートとブール代数の基礎について勉強したのでメモします。 デジタル回路の世界では、全ての情報は0と1の二進数で表現される。 そして、この2新数を操作する基本単位が論理ゲート（Logi Gate） 論理ゲートは入力された信号を元に決まったルールで出力を…

今週やったこと CSVインポート機能の設計. CSVをインポートしてSaaSプロダクトのDBに取り込む機能を開発するため、他のサービスも調査しながら設計しました。 NotionやGoogleスプレッドシートのCSVインポート機能がかなり参考になり、学ぶことが多かったです…

大量データを扱うバッチ処理で、INSERT, UPSERT, DELETEのパフォーマンスがボトルネックになっていて、その辺りを改修しながら整理したことをメモします。

今週やったこと AWSのマネジメントコンソールで通信内容を見てみた 権限管理のイメージを掴むため、権限が少ないロールにスイッチロールした状態で色々なAWSサービスのコンソールにアクセスしてネットワークタブから通信状況を見てみました。 複数のAPIが403…

AWS ECS上で実行しているデータ連携処理で100MBのファイルをダウンロードしてPandasでDataFrame化する処理を実行するところでOut of Memoryのエラーが発生しました。 80MBのファイルでは処理は成功しているので、80~100MBでパフォーマンスの限界が来ていそう…

今週やったこと データ連携のパフォーマンスチューニング サイズの大きいファイルを扱うデータ連携でECSタスクがメモリ不足でエラーになっていたのでチューニングを行いました。