お仕事で大量のデータをピボットテーブルのように集計処理する必要がでてきまして、色々触ってみたので、まとめてみます。 やることはこちら。 GCP(Google Cloud Platform)でgcloudとbdutilの設定を行う GCS(Google Cloud Storage)にCSVを置く pysparkをダウ…

HTTPでは簡単に取得できるクライアントのGIP（グローバルIP）。 ただ、必ずしもHTTPを使うわけではなく、色々なプロトコルを使いたいときもありまして。WebsocketとかMQTTとかソケット通信とか色々。 そういうときに、ELBではTCPだとデフォルトではGIPが取得…

夏の角部屋はパンチ力があるなと痛感している@masudaKです。 AWSにはCloudFrontというCDNがありますが、CloudFrontではストリーミング配信をすることができたりします。 さらに、特定の条件による配信をするために、署名付きURLというものを使うことができま…