AWS Amazon Athena概要まとめ
概要 ・S3のデータをSQLで分析するサービス・フルマネージド、サーバレス・DBにデータを取り込まず、ファイルに対してSQL操作する為、アドホックな分析に向いている。・PresoというオープンソースのSQLエンジン使用。 機能 Athena...
AWS 
AWS AWS CLIでCloudFormationのスタック操作
はじめに パブリックサブネット上のEC2からawsコマンドでスタックを操作してみる 事前準備 パブリックサブネットにEC2を立てて、CLIコマンドが実行出来る状態にしておく または、ローカル環境でCLIをインストールしておく。 やってみる(...
AWS VisualStudioCode RemoteSSH拡張機能でSSHログイン
はじめに VisualStudioCodeの拡張機能でRemoteSSHというものがあり、こちらを利用すると、VisualStudioCodeからEC2インスタンスへの接続およびCLIでのコマンド実行が行える。 準備 拡張機能インストール ...
AWS EC2 Instance Connect EndpointでパブリックIPアドレスが無いEC2にSSH接続してみる
EC2 Instance Connect Endpointとは EC2 Instance Connect Endpoint(EICエンドポイント)というサービスがリリースされました。今までプライベートサブネットのEC2インスタンスに接続する...
AWS CloudFormationでリソース作ってみる
前提 VSCodeの拡張機能である「CloudFormation」が入っている事任意のフォルダを用意、開いて、そこにymlファイルを用意。ここではcloudformation.ymlとする。 テンプレートについて 全体像 全体像はこれだが、...
Uncategorized Amazon MSK（Amazon Managed Streaming for Apache Kafka）概要まとめ
Amazon MSK)とは Apache Kafkaというオープンソースのリアルタイム分析処理をAWSでマネージドサービスとして提供している。
AWS Amazon EMR概要まとめ
EMRとは Elastic MapReduceの略であり、ビッグデータの処理を提供する。そもそもMapReduceとは、Googleが開発したビッグデータの分散処理ビッグデータの分析を手軽に効率よく行うプログラミングモデル。MapReduc...
AWS Kinesisシリーズまとめ
DataStreams 概要 サーバレスで、大量のデータをリアルテイムで収集、次のサービスへ繋ぐサービス。 アーキテクチャ ・データ発生源：プロデューサ 連携先：コンシューマ コンシューマはAmazon Kinesis Data Strea...
Uncategorized AWS Data Analytics – Specialty (DAS-C01) に向けてのメモ
試験概要 試験概要を見てみる イメージがつかないサービスや曖昧なサービスについては概要だとかをまとめていく Amazon CloudSearch Amazon EMR AWS Glue Amazon Kinesis AWS Lake For...
AWS DynamoDB概要まとめ
パフォーマンス プロビジョニングモード ○AutoScalingとプロビジョニングモードの違い AutoScaling：急激なトラフィックの増加には対応できない。 DynamoDBストリーム アイテムの変更があった場合にキャプチャする機能...