AWS Amazon Athena概要まとめ
概要 ・S3のデータをSQLで分析するサービス・フルマネージド、サーバレス・DBにデータを取り込まず、ファイルに対してSQL操作する為、アドホックな分析に向いている。・PresoというオープンソースのSQLエンジン使用。 機能 Athena...
AWS
AWS 
AWS AWS CLIでCloudFormationのスタック操作
はじめに パブリックサブネット上のEC2からawsコマンドでスタックを操作してみる 事前準備 パブリックサブネットにEC2を立てて、CLIコマンドが実行出来る状態にしておく または、ローカル環境でCLIをインストールしておく。 やってみる(...
AWS VisualStudioCode RemoteSSH拡張機能でSSHログイン
はじめに VisualStudioCodeの拡張機能でRemoteSSHというものがあり、こちらを利用すると、VisualStudioCodeからEC2インスタンスへの接続およびCLIでのコマンド実行が行える。 準備 拡張機能インストール ...
AWS EC2 Instance Connect EndpointでパブリックIPアドレスが無いEC2にSSH接続してみる
EC2 Instance Connect Endpointとは EC2 Instance Connect Endpoint(EICエンドポイント)というサービスがリリースされました。今までプライベートサブネットのEC2インスタンスに接続する...
AWS CloudFormationでリソース作ってみる
前提 VSCodeの拡張機能である「CloudFormation」が入っている事任意のフォルダを用意、開いて、そこにymlファイルを用意。ここではcloudformation.ymlとする。 テンプレートについて 全体像 全体像はこれだが、...
AWS Amazon EMR概要まとめ
EMRとは Elastic MapReduceの略であり、ビッグデータの処理を提供する。そもそもMapReduceとは、Googleが開発したビッグデータの分散処理ビッグデータの分析を手軽に効率よく行うプログラミングモデル。MapReduc...
AWS Kinesisシリーズまとめ
DataStreams 概要 サーバレスで、大量のデータをリアルテイムで収集、次のサービスへ繋ぐサービス。 アーキテクチャ ・データ発生源：プロデューサ 連携先：コンシューマ コンシューマはAmazon Kinesis Data Strea...
AWS DynamoDB概要まとめ
パフォーマンス プロビジョニングモード ○AutoScalingとプロビジョニングモードの違い AutoScaling：急激なトラフィックの増加には対応できない。 DynamoDBストリーム アイテムの変更があった場合にキャプチャする機能...
AWS Redshift概要まとめ
特徴 データ分析に利用するデータウェアハウスサービス SQLクライアントやBIツールにてデータアクセス リレーショナルデータベース 列指向ストレージ 構造 クラスター構成は以下の通り Leader Nodeユーザーからのクエリを受け取り、ク...
AWS SecretsManagerとSystemsManagerパラメータストア概要まとめ
相違点 項目Secrets ManagerSystems Manager Parameter Store統合サービスデータベース全般、EC2、ECS、Lambda等多数。データベース関連はほぼ無い。認証情報の自動ローテーション有り無しLam...