Uncategorized Amazon MSK（Amazon Managed Streaming for Apache Kafka）概要まとめ
Amazon MSK)とはApache Kafkaというオープンソースのリアルタイム分析処理をAWSでマネージドサービスとして提供している。
2023-05
Uncategorized 
AWS Amazon EMR概要まとめ
EMRとはElastic MapReduceの略であり、ビッグデータの処理を提供する。そもそもMapReduceとは、Googleが開発したビッグデータの分散処理ビッグデータの分析を手軽に効率よく行うプログラミングモデル。MapReduce...
AWS Kinesisシリーズまとめ
DataStreams概要サーバレスで、大量のデータをリアルテイムで収集、次のサービスへ繋ぐサービス。アーキテクチャ・データ発生源：プロデューサ 連携先：コンシューマ コンシューマはAmazon Kinesis Data Streams ア...
Uncategorized AWS Data Analytics – Specialty (DAS-C01) に向けてのメモ
試験概要試験概要を見てみるイメージがつかないサービスや曖昧なサービスについては概要だとかをまとめていくAmazon CloudSearchAmazon EMRAWS GlueAmazon KinesisAWS Lake FormationA...
AWS DynamoDB概要まとめ
パフォーマンスプロビジョニングモード○AutoScalingとプロビジョニングモードの違い AutoScaling：急激なトラフィックの増加には対応できない。DynamoDBストリームアイテムの変更があった場合にキャプチャする機能。しかしT...
Uncategorized データベース移行概要まとめ
オンプレからAWSオンプレのMySQLからAWSのRDS for MySQLへ○mysqldumpを利用した移行1.mysqldumpにて、オンプレDBのスナッショットを作成。S3へコピー2.EC2でMySQLユーティリティを使用し、DBイ...
AWS Redshift概要まとめ
特徴データ分析に利用するデータウェアハウスサービスSQLクライアントやBIツールにてデータアクセスリレーショナルデータベース列指向ストレージ構造クラスター構成は以下の通りLeader Nodeユーザーからのクエリを受け取り、クラスタ全体の調...
AWS SecretsManagerとSystemsManagerパラメータストア概要まとめ
相違点項目Secrets ManagerSystems Manager Parameter Store統合サービスデータベース全般、EC2、ECS、Lambda等多数。データベース関連はほぼ無い。認証情報の自動ローテーション有り無しLamb...
AWS QLDB概要まとめ
特徴・フルマネージド型の分散台帳データベース(ブロックチェーンとは異なる)・変更履歴を不変の台帳に保存し改ざんされない。・検証可能な状態で保存。SHA-256ハッシュチェーンを使用。・数百万件のリクエストを処理・金融取引、サプライチェーン、...
AWS CloudFormation概要まとめ
機能スタック(Stack)テンプレファイルのデプロイで作成されるリソースの集合。単一のAWSアカウント内で、単一のリージョンに作成される。変更セットスタックの更新をする前に変更後の状態を事前に確認できる機能。削除ポリシー(DeletionP...