本日勉強したことをメモします。
EMRのConsistent viewについて
Consistent viewはEMRバージョン3.2.1以降のオプションの機能。
EMRFSとS3を同期させて、書き込み後の読み取りに一貫性を持たせることができる。
Consistent viewを有効にすると、EMRはDynamoDBを使ってオブジェクトメタデータを保存しS3との一貫性を追跡する。
注意 :ドキュメントには以下の注釈があり、Consistent viewは現在あまり使う必要性はなさそう。
Amazon S3 は強力な書き込み後の読み取り整合性をサポートしているため、EMRFS の整合性のあるビューを使用する必要がなくなりました。
Consistent viewでカスタムのDynamoDBを使いたい時
Consistent viewで使うDynamoDBをカスタムにしたい時は、 emrfs-site.xmlファイルを編集する。
EMRでEC2の容量が不足している場合
EMRでEC2の容量が不足しエラーが発生している場合は以下の対策が考えられる。
・より容量の大きインスタンスタイプに変更する。
・クラスターを別のAZで起動する。AZごとに容量が決まっているため、AZを変えることで解決する場合がある。
QuickSightのビジュアルタイプ
QuickSightのビジュアルタイプは棒グラフ、円グラフ、地理空間グラフなど様々なタイプがある。
要件によって最適なタイプを選ぶ。
GlueのData Catalogへのアクセス制限
GlueのData Catalogへのアクセス制限をかけるには、catalogにアクセスポリシーを設定し、GetDatabaseとCreateDatabaseアクションを制限する。
Athenaでクエリのパフォーマンスを上げる
AthenaでUNION ALLを使ったときにクエリが重くなる場合は、クエリから viewを作成し、そのviewを使って複数のテーブルをひとつのクエリにまとめる方法などがある。
ファイルのウイルススキャンについて
顧客がS3に直接ファイルをアップロードする場合、AWSには2021年9月時点ではウイルススキャンをサポートしているサービスはない。
AWS Marketplaceからサードパーティのソルーションを探す必要がある。
