今週やったこと Rails+Reactでコーディング 2月からRailsを使うプロジェクトに参画するので、ローカルでRails+Reactの簡単なWebアプリを実装し始めました。 Railsはほとんど使ったことがないので一から学習しつつ、時々Rails自体の実装も読んでいきたいと思…

プログラミング言語は人間が書いたコードをそのまま理解しているわけではないっぽい。ということはなんとなく理解しているのですが、もっと自分の理解を深めたくて勉強していたところLexical analysisという概念が重要そうだったのでメモします。

今週やったこと ドメインモデルの設計 新しく連携するデータが追加されたので、連携されるjsonの構造からアプリケーションでどのようにドメインモデルを持つか設計しました。

X-Forwarded-Forについて調べたのでメモします。

今週やったこと LLMを使った処理のリファクタリング すでに実装されているLLMを使った文章を要約する処理があったので、それを複数箇所から呼び出しやすくなるようにドメインサービス化しました。 LLMを使った処理も自分でもちょっとずつ実装してみようと思…

Pythonで時々見かけるcallメソッドについて調べたのでメモします。

今週やったこと Lambda+SQSの非同期処理実装 ExcelファイルからデータをインポートするSQS+Lambdaを使った非同期処理を実装し、その過程でSQSの仕様などもいろいろ学べました。

Lambda+SQSを使った非同期処理の基礎をメモします。

今週やったこと FastAPIのBackgroundTasksを使った非同期処理 fastapi.tiangolo.com 重めの処理を行うAPIでBackgroundTasksを使って実装しました。

pandasのベクトル化について調べました。

www.wiz.io 上記の記事にあるShai-Hulud 2.0についてちょっと調べたのでメモします。

pre_token_generation_configについて AWS Cognitoのlambda_configのpre_token_generation_configはトークンが発行される直前に実行されるLambdaトリガーの詳細設定 このトリガーは例えばログイン・更新・トークンリフレッシュなどのタイミングでトークンのc…

今週やったこと Excelファイルインポートでのデータ登録機能の開発 UIでExcelをインポートしてその内容でデータを登録する機能の設計・開発を行いました。 Excelフォーマットがわかりにくくならないように、画面からテンプレートExcelファイルをダウンロード…

Digital Electronics & Computer Architectureの勉強をしたのでメモします。

モデリングについて自分の中で言語化できるように勉強したのでメモします。

論理ゲートとブール代数の基礎について勉強したのでメモします。 デジタル回路の世界では、全ての情報は0と1の二進数で表現される。 そして、この2新数を操作する基本単位が論理ゲート（Logi Gate） 論理ゲートは入力された信号を元に決まったルールで出力を…

今週やったこと CSVインポート機能の設計. CSVをインポートしてSaaSプロダクトのDBに取り込む機能を開発するため、他のサービスも調査しながら設計しました。 NotionやGoogleスプレッドシートのCSVインポート機能がかなり参考になり、学ぶことが多かったです…

大量データを扱うバッチ処理で、INSERT, UPSERT, DELETEのパフォーマンスがボトルネックになっていて、その辺りを改修しながら整理したことをメモします。

今週やったこと AWSのマネジメントコンソールで通信内容を見てみた 権限管理のイメージを掴むため、権限が少ないロールにスイッチロールした状態で色々なAWSサービスのコンソールにアクセスしてネットワークタブから通信状況を見てみました。 複数のAPIが403…

AWS ECS上で実行しているデータ連携処理で100MBのファイルをダウンロードしてPandasでDataFrame化する処理を実行するところでOut of Memoryのエラーが発生しました。 80MBのファイルでは処理は成功しているので、80~100MBでパフォーマンスの限界が来ていそう…

今週やったこと データ連携のパフォーマンスチューニング サイズの大きいファイルを扱うデータ連携でECSタスクがメモリ不足でエラーになっていたのでチューニングを行いました。

GCSからデータを取得してアプリケーションのDBに登録する処理で、扱うファイルのサイズが増えたときに備えて処理を効率化できるようにリファクタリングを行いました。 対応しながら学んだことをメモします。

Cognitoから送られたJWTをデコードするといろいろとプロパティが見れますが、それぞれどういうものかわからなかったので調べました。

今週やったこと 認証認可周りについて勉強 認証認可についてまだまだ理解が浅いと感じることがあったので改めて勉強しました。 個人的な振り返りで言うと、認証認可に限らずこれまで機能の設計をする時に世の中のベストプラクティスや設計思想についてある程…

最近、認可（Authorization: 何ができるかを決める）の設計をする機会が増えてきました。 サービスが成長したり、マルチテナント化・共有リソース化されたりする状況では、「誰が」「どのリソースに」「どの操作をできるか」を設計・管理するの非常に重要で…

認証周りのコードを触っていて「claim」と「credential」という単語をよく目にします。 どちらも認証情報に関連する単語なイメージはありますが、ちゃんと理解できていなかったので調べて見ました。

今週やったこと フロントエンドとバックエンドでどうロジックを持たせるか議論 フロントエンドで表のUIを実装するために既存のAPIのレスポンスでもデータが足りている状態だったので、新規APIエンドポイントを追加するか既存のAPIのレスポンスを使ってフロン…

セキュリティ周りのことを勉強したのでメモします。 CSRFの概要と対策のメモ 要点 CSRF(Cross-Site Request Forgery)は利用者がログイン済みのサイトに対して、第三者サイトから利用者の権限で不本意なリクエストを送らせる攻撃。 ブラウザが自動でクッキー…

SQLAlchemyでdelete-orphanの設定がよくわかっていなかったのでドキュメントとGitHubリポジトリ読みながら調べました。 docs.sqlalchemy.org github.com

今週やったこと データモデリングについて勉強しました。これまでなんとなくのイメージしか持っていなかったので、改めてドキュメントを読みながらデータモデリングの手法を学ぶとモデリングの段階ごとにいろいろ考え方があることがわかってきたので業務に活…