2023.12.14 2023.12.22

AWS re:Invent 2023 Day2 レポート

yassan

AWS re:Invent 2023 が 11/27 ~ 12/1 の 5日間に開催されました！その模様を本ブログでお送りします！Day2の様子をお届けします！

Contents

基調講演
セッションレポート
会場の様子
ラスベガスの様子
Day2の所感

基調講演

Day2の基調講演は多くのサービスが発表されるメインの基調講演で、驚いたのはその熱狂振りです。会場がオープンしたと同時に喝采が起こり、会場では生演奏によるバンドサウンドが盛り上げます。新サービスが発表される毎の拍手はライブ感があり、リアルタイムで聴講でき本当によかったと思いました！

新機能の詳細については、既にAWS様のブログに速報がありますので、ご参照下さい。

セッションレポート

Comparing Amazon MWAA and AWS Step Functions

セッション形式はChalk Talkです。ETLでデータパイプラインを構築する際に選択肢に挙がるAirfrlow（MWAA）とAWS Step Functionsをどのように使い分けるのか、最適なツールの選定の講義が行われました。以下の点がとても勉強になりました。

講演者はAWS Step FunctionsにおいてExpress Workflowなどのワークフロー種別の選択も重要であると解説していました。
Airflow（MWAA）が各種オペレーターを利用して様々なAWSサービスと連携できることが説明されました。
serverlessVideoのソリューションがストリーミングコンテンツを処理するためのデータパイプラインを構築していることが紹介されました。データパイプラインは動画のレコメンデーション機能であるとのことで、このユースケースはライブストリーミングであるため、Step Functionsを利用することが適切というコメントがありました。Step Functionsのスケーラビリティの高さも強みであるというコメントもありました。
Airflow（MWAA）とStep Functionsにおけるコスト効率も重要であると述べられました。特にMWAAは使用していないときでも料金が発生することが比較軸として挙げられました。MWAAについても動的に停止/起動することも可能ではありますが、技術的な専門知識が求められます。Step Functionsであれば停止/起動は自動化されます。
MWAAの利点として過去のジョブ実行履歴を遡りやすいことが言及されています。タスクの再実行性についても、10,000件のうち1件のデータが失敗したが閾値の範囲内なので問題ないというような、高度な条件分岐の機能を持っているため複雑なデータパイプラインに適合させることができるとのことでした。聴講者の質問によってMWAAのクォータを意識することも必要であることが分かりました。ワーカーノード毎の最大実行数を確認することで、MWAAの最大同時実行を見積もることが可能です。
AWS Step Functionsはイベントドリブンであり、様々なAWSサービスと統合でき高可用性をサーバーレスで維持することができることが大きなメリットと言及されました。また、低レイテンシでリアルタイム性のあるワークフローを実行できることも伝えられました。

Enhance your AWS re:Invent experience: 2023 updates to explore

セッション形式はBreakout Sessionです。本セッションは日本人の方のために日本語で提供されており、日本で行われたAWS Summitでの発表内容や生成系AIにおける役立つナレッジ情報などが共有されました。

Boosting efficiency: How to realize 70% cost reduction with AWS Fargate

セッション形式はBreakout Sessionです。70%のコスト削減をAWS FargateとGravitonを使用して達成したSaaS企業の例が解説されています。以下の点がとても勉強になりました。

サーバーレスアーキテクチャのカテゴリに属するAWS Fargateを利用することによるコスト最適化の取り組み。同時にGravitonを利用することで運用コストなど含めたトータル1年間で70%のコスト削減を実現したと紹介されています。
コスト削減のポイントとして、オートスケーリングの最適化を行ったとありました。特にメモリ消費量が多いワークロードに利用されるバッチ処理においてオートスケーリングを最適化したとのことです。
マイクロサービス特化にフォーカスすることで、信頼性、可用性、セキュリティの向上を行なったとの説明がありました。同時にCI/CDの改善も行われ、エンジニアがデプロイに費やす時間が数分になったとあります。DevOpsにはCodeDeployを活用しているとこのことです。
重要なこととして、将来の需要を予測し、プラットフォームの負荷テストを実施し将来の需要に対応できることを確認することが重要だと伝えています。

Architecting Amazon ECS workloads for data protection & compliance

セッション形式はBuilders' Sessionです。Builders' Sessionは小テーブル毎に講演者がいて、まずは講演者からセッションテーマについての講義があります。その後に、ワークショップと同じ形式で進めます。ワークショップとの違いはセッション時間が60分であること（ワークショップは120分）と、質問しやすく一人でも黙々と進めやすい点かなと思います。以下の点が勉強になりました。

医療情報のデータを保護するためのHIPAA基準を満たすために、Amazon ECSでどのように実現するのか、というセッションテーマでした。
既にワークロードがプロビジョニングされている状況から始まり、セキュリティを強化していく操作を実施しました。AWS ArtifactのコンプライアンスレポートからHIPAAのコンプライセンスレポートをダウンロードする方法を学び、検出する仕組みとしてのAWS Config、AWS CloudTrail、Amazon CloudWatch、Amazon GuardDuty、Container Insightsを順番に有効化してセキュリティを強化する手順を行いました。
検出の仕組みのあとは守る仕組みとして脆弱性スキャンやKMSによる暗号化、機密管理、仮想ネットワークのセキュリティを学びます。
とてもボリュームのある内容で60分以内に全て終わらせるのは難しかったのですが、学び直しにはなりましたし、Workshop Studioは有効化してから数時間はアクセスできるのが良いですね。セッションが終わっても会場内で黙々と続きを行うことは可能でした。

[NEW LAUNCH] Introducing GuardDuty ECS Runtime Monitoring, including AWS Fargate

セッション形式はBreakout Sessionです。本セッションではre:Invent期間中に発表された新機能であるGuardDutyを利用したECSのランタイム脅威モニタリングについて解説が行われました。以下の点が勉強になりました。

GuardDutyがECSのコンテナランタイムにおける脅威検出を追加したことが解説されています。マルウェア・暗号マイニング・その他の検知を含む合計31の検出カテゴリが追加されました。
- 具体的には、検出カテゴリとしてMALWARE INFECTION、CRYPTOCURRENCY MINING、CONTAINER RUNTIME DRIFT、CONTAINER ESCAPE、REMOTE CODE EXECUTION、DEFENSE EVASIONが紹介されました。
EC2とFargateでランタイム脅威検出エージェントが動作する仕組みがAWS構成図を通して説明されました。構成図ではクラスターがEC2タイプであればクラスターインスタンスにエージェントがインストールされ、Fargateタイプであればサイドカーコンテナとしてエージェントが自動的に設定される旨の記載がありました。
検出内容を理解しましょうというコメントもありました。確かに、どのような攻撃手法があり、GuardDutyのコンソールでどのように検出結果が表示されるのか、見慣れておいたほうがいいですね！