元営業WEBエンジニアのアプリ開発日記

営業出身のWEB系エンジニアが気になったものから作ってはメモを残してくブログ

GCPってどんなサービスがあるんや

概要

AWS勉強した矢先に、今後はGCP使うことになりそうなのでまずは
GCPドキュメントに記載されてるサービス全部チラ見して自分なりの言葉でメモを残しとこう
（AWSもGCPもたくさんサービスあるのね・・・）

サービス一覧

コンピューティング

IaaS

PaaS

  • App Engine
    • Go,Javaとかアプリケーション実行できる環境

サーバーレス

  • Cloud Functions
    • サーバーレスアプリケーション
  • Cloud Run(Beta)
    • サーバーレスコンテナ

コンテナオーケストラレーション

  • Kubernetes Engine
    • Dockerコンテナのオーケストラレーション

データベース

NoSQL

  • Cloud Datastore
    • NoSQLやってみっかって時にとりあえず使ってみるやつ
  • Cloud Bigtable
    • 高パフォーマンスのNoSQLデータベース
  • Cloud Firestore
    • NoSQL。Firebaseと絡ませるときに使えるのかなぁ・・

MySQL

  • CloudSQL
    • リレーショナルデータベースサービス
  • Cloud Spanner
    • すげぇ高機能・パフォーマンスリレーショナルデータベースサービス

キャッシュ

  • Cloud Memorystore
    • キャッシュサービス

ストレージ

ブロックストレージ

オンラインクラウドストレージ

  • Cloud Storage
    • いろんなデータ入れ込める場所
  • Cloud Storage Nearline
    • アクセス頻度少ないデータ入れる場所
  • Cloud Storage Coldline
    • アクセス頻度がめちゃ少ないデータ入れる場所

ファイルサーバー

  • Cloud Filestore
    • NFS サーバー

データ分析

ビッグデータ解析

  • Google データポータル
    • 様々なデータソースをダッシュボードで表示できる素敵なやつ
  • BigQuery
    • データウェアハウス。SQL使えるらしい。
  • BigQuery BI Engine(Beta)
    • BI(Google データポータル等)とBigQueryの接続キャッシュしてくれたりする素敵なやつ
  • Cloud Datalab
    • Jupyterノートブックをwebで実行
  • Google Genomics
    • 大規模な遺伝子データ分析ができるらしい。おらはきっと使わぬだろう

pub/sub

  • Cloud Pub/Sub
    • メッセージングミドルウェア、キューをためて順次さばいてくれるやつ

データ処理

  • Cloud Composer
    • ワークフローを作成、スケジュール設定、モニタリング
  • Cloud Data Fusion(Beta)
    • ETL(Extract/Transform/Load)ツール
  • Cloud Dataflow
    • ストリーム・バッチでのデータ変換処理
  • Cloud Dataproc
    • バッチでのデータ変換処理
  • Cloud Dataprep
    • TRIFACTAなるツールを使ってデータを事前準備（変換）するサービス

AI と ML

AI Platform

  • Cloud TPU

    • TensorFlowに最適化されたマシン(ハード)のこと

  • AI Platform Deep Learning VM Image

    • ディープ ラーニング アプリ用に事前構成されたCE

  • AI Platform のトレーニングと予測

    • TensorFlow、scikit-learn、XGBoostなどをGCPで実行できるらしい

  • BigQuery ML

    • BigQuery でSQLを使用して機械学習モデルを作成、実行ができる

  • AI Platform Data Labeling Service(beta)

  • AI Hub

    • Google Cloud 上で AI の探索、共有、デプロイを行う

プリパッケージ ソリューション

  • Cloud Talent Solution
    • 募集中の職位の条件に一致する候補者を探す

AI ビルディング ブロック

  • Cloud AutoML

    • より簡単なカスタム ML モデル

  • Cloud Vision

    • 画像投げるとai使って画像分析した情報が返ってくるらしい

  • Cloud Video Intelligence

    • 動画投げるとai使って動画分析した情報が返ってくるらしい

  • Cloud Natural Language

    • 自然言語（普段の会話）を解析・分析して情報返してくれるらしい

  • Cloud Translation

    • テキスト入れると翻訳してくれるらしい

  • Cloud Speech-To-Text

    • 音声をテキストに変換してくれるらしい

  • Cloud Text-To-Speech

    • テキストを音声に変換してくれるらしい

  • Dialogflow

    • 足りない情報を聞き返してくれたり、表現を統一したりしてくれるらしい

  • Recommendations AI(Beta)

    • 個人に特化したおすすめの商品情報を幅広く提供

  • Cloud Inference API

    • なんだかわからんが大規模な相関関係がわかるAPIらしい

  • ML for Developers

ネットワーキング

GCP内のネットワーク構成

外部ネットワークとの接続

  • ダイレクトピアリング
    • GCPのプライベートコンピューティングに接続する必要なくて、Googleピアリング要件を満たす場合
  • キャリアピアリング
    • GCPのプライベートコンピューティングに接続する必要なくて、Googleピアリング要件を満たさない場合
  • Dedicated Interconnect
    • GCPのプライベートコンピューティングに接続する必要ありで、gcpネットワークに直接接続。すげえ速い
  • Partner Interconnect
    • GCPのプライベートコンピューティングに接続する必要ありで、gcpネットワークにサービスプロバイダーを介して接続。そこそこ速い
  • IPsec VPN

アディショナルなネットワーク関連サービス

  • Cloud Armor
    • DDos対策
  • Traffic Director(Beta)
    • マイクロサービス間の通信を管理するサービスメッシュ
  • Network Service Tiers
    • ネットワークのパフォーマンス落としてコスト最適化するスタンダード階層や現在のプレミアム階層を選択できる

セキュリティと ID

アクセスコントロール

  • Access Context Manager

  • vpc service controls

    • BigQueryやCloudStorageへのアクセス制御などセキュリティ的に素敵な制御ができる

セキュリティチェック

  • アクセスの透明性

    • Googleがアクセスしてきたことをログに残す

  • Cloud Data Loss Prevention（DLP）

    • 機密データを検出して分類。秘匿化もできる

  • Cloud Identity-Aware Proxy

    • GoogleAcountで認証（アクセス制御）ができる

  • ID プラットフォーム

    • メアド・パスワード、電話番号IDなど様々な認証方式で認証（アクセス制御）ができる

  • Cloud Security Command Center

    • 各リソースのセキュリティ脅威をスキャンしてくれるやつ

  • Binary Authorization

    • GKEへのイメージデプロイにおいて署名されたもののみ許可する

  • Cloud Security Scanner

    • コンピューター系リソースのセキュリティ脅威。スキャン

ID管理

  • Cloud IAM

    • 誰（ID）がどのリソースに対するどのようなアクセス権限（役割）を持つかを定義

  • Cloud Key Management Service

    • 暗号化キーの作成・管理ができる

  • Resource Manager

    • 組織・フォルダ・プロジェクトなどのリソース階層をAPIで作成して管理できる

  • セキュリティキーの適用

    • 物理的なセキュリティーキーをUSBとかにぶっさして２段階認証できる

モノのインターネット

  • Cloud IoT Core
    • IoTのT、デバイスからのデータを受けてくれるサービス。pub/sub->Cloud Functionなどに連携される

GCPへの移行

  • Google Transfer Appliance

    • ラックマウント型のストレージサーバーにデータぶち込んでgoogleに返すとGCPに入れといてくれるらしい

  • BigQuery Data Transfer Service

    • Google広告とかのsaasデータをBigQueryに入れ込める（コード要らない）

  • Storage Transfer Service

    • AWS S3, http/httpsロケーション, Cloud Storageを特定のCloud Storageにデータ転送できるサービス

  • Velostrata

    • Googleに買収されたVelostrata社の技術を使ってリフト&シフトでGCPに移行できるらしい

メディアソリューション

オープンソース

観測系

  • istio

    • 複雑なサービスメッシュの監視、認証、ロードバランシングを行ってくれる

  • OpenCensus

    • クラウド上でのメトリクス（平均100msで処理終了などのマクロ情報）とトレーシング（どの処理がどの順番、秒数で終わっているかなど）を観測できる

コンテナ系

  • gVisor

    • セキュアなコンテナランタイム。デフォルトのruncではなくrunscを用いてアプリケーションからハードウェアを制御ある

  • Kubernetes

    • コンテナオーケストラレーションエンジン

  • knative

    • kubernetes上でサーバーレスアプリケーションをビルドしてデプロイしてくれるらしい

  • Kubeflow

GCPサービスとの関連系

デベロッパー ツール

開発運用ツール

  • Cloud SDK
    • GCPのリソースやアプリケーション管理するためのツール群。gcloudコマンドとか打てるようになる
  • Cloud Build
    • CI/CDツール

ソース・イメージ管理

  • Cloud Source Repositories
    • Git Repository
  • Container Registry
    • プライベート コンテナの登録と保存

ローカルツール拡充サービス

管理ツール

GCPリソース管理系

  • Cloud Console
    • ウェブベースの管理コンソール
  • Cloud Shell
  • Google Cloud API
    • GCPサービスに何かした操作をおこなうためのAPI
  • Cloud Billing
    • 請求 / コスト管理ツール

運用・開発ツール

  • Cloud Deployment Manager
    • アプリケーションのリソースをコード出かける。いわゆるIaaS
  • Anthos
    • GCP, AWS, オンプレなどハイブリット環境でコンテナ化したアプリを動かせるやつ

監視系

  • Stackdriver Debugger

    • 本番環境でのライブデバッグができるらしい。すげえ

  • Stackdriver Error Reporting

    • アプリエラーの報告

  • Stackdriver Logging

    • ログの一元管理

  • Stackdriver Monitoring

    • インフラストラクチャとアプリケーションのモニタリング

  • Stackdriver Profiler

    • CPU とヒープのプロファイリング

  • Stackdriver Trace

    • アプリケーション パフォーマンスの分析情報

API プラットフォームとエコシステム

Apigeeの製品

医療

  • Cloud Healthcare API
    • 医療関係のデータを素敵に扱えるサービスっぽい

SAP

省略

まとめ

だめだ。多すぎて全然入ってこない。
とりあえず以下ステップで学習を進めよう

  • アプリケーションが動く環境の構築
  • GCE,GKEなど同系のいろんなサービスを適当してみる
  • AI学習しアプリケーションに取り込む