Uncategorized Amazon MSK（Amazon Managed Streaming for Apache Kafka）概要まとめ
Amazon MSK)とは Apache Kafkaというオープンソースのリアルタイム分析処理をAWSでマネージドサービスとして提供している。
2023-05
Uncategorized 
AWS Amazon EMR概要まとめ
EMRとは Elastic MapReduceの略であり、ビッグデータの処理を提供する。そもそもMapReduceとは、Googleが開発したビッグデータの分散処理ビッグデータの分析を手軽に効率よく行うプログラミングモデル。MapReduc...
AWS Kinesisシリーズまとめ
DataStreams 概要 サーバレスで、大量のデータをリアルテイムで収集、次のサービスへ繋ぐサービス。 アーキテクチャ ・データ発生源：プロデューサ 連携先：コンシューマ コンシューマはAmazon Kinesis Data Strea...
Uncategorized AWS Data Analytics – Specialty (DAS-C01) に向けてのメモ
試験概要 試験概要を見てみる イメージがつかないサービスや曖昧なサービスについては概要だとかをまとめていく Amazon CloudSearch Amazon EMR AWS Glue Amazon Kinesis AWS Lake For...
AWS DynamoDB概要まとめ
パフォーマンス プロビジョニングモード ○AutoScalingとプロビジョニングモードの違い AutoScaling：急激なトラフィックの増加には対応できない。 DynamoDBストリーム アイテムの変更があった場合にキャプチャする機能...
Uncategorized データベース移行概要まとめ
オンプレからAWS オンプレのMySQLからAWSのRDS for MySQLへ ○mysqldumpを利用した移行 1.mysqldumpにて、オンプレDBのスナッショットを作成。S3へコピー2.EC2でMySQLユーティリティを使用し、...
AWS Redshift概要まとめ
特徴 データ分析に利用するデータウェアハウスサービス SQLクライアントやBIツールにてデータアクセス リレーショナルデータベース 列指向ストレージ 構造 クラスター構成は以下の通り Leader Nodeユーザーからのクエリを受け取り、ク...
AWS SecretsManagerとSystemsManagerパラメータストア概要まとめ
相違点 項目Secrets ManagerSystems Manager Parameter Store統合サービスデータベース全般、EC2、ECS、Lambda等多数。データベース関連はほぼ無い。認証情報の自動ローテーション有り無しLam...
AWS QLDB概要まとめ
特徴 ・フルマネージド型の分散台帳データベース(ブロックチェーンとは異なる) ・変更履歴を不変の台帳に保存し改ざんされない。 ・検証可能な状態で保存。SHA-256ハッシュチェーンを使用。 ・数百万件のリクエストを処理 ・金融取引、サプライ...
AWS CloudFormation概要まとめ
機能 スタック(Stack) テンプレファイルのデプロイで作成されるリソースの集合。 単一のAWSアカウント内で、単一のリージョンに作成される。 変更セット スタックの更新をする前に変更後の状態を事前に確認できる機能。 削除ポリシー(Del...