PythonとBigQueryの連携

Google BigQueryは大規模なデータセットに対するSQLクエリを高速に実行できるフルマネージド型のエンタープライズデータウェアハウスです。PythonからBigQueryを操作するためには、Googleが提供しているgoogle-cloud-bigqueryというライブラリを使用します。

インストール

まずは、google-cloud-bigqueryライブラリをインストールします。以下のコマンドを実行してください。

pip install google-cloud-bigquery

認証

BigQueryを使用するためには、Google Cloud Platformのプロジェクトを作成し、認証情報を設定する必要があります。

クエリの実行

BigQueryに対するクエリの実行は非常に簡単です。以下に一例を示します。

from google.cloud import bigquery

client = bigquery.Client()
QUERY = (
    'SELECT name FROM `bigquery-public-data.usa_names.usa_1910_2013` '
    'WHERE state = "TX" '
    'LIMIT 100'
)
query_job = client.query(QUERY)
rows = query_job.result()

for row in rows:
    print(row.name)

このコードは、bigquery-public-data.usa_names.usa_1910_2013というテーブルから、stateがTXであるレコードのnameを最大100件取得するクエリを実行します。

OpenTelemetryとの連携

BigQueryクライアントでは、API呼び出しのトレースデータを出力するためにOpenTelemetryを使用することができます。詳細は公式ドキュメンテーションをご覧ください。

以上、PythonとBigQueryの連携について簡単に説明しました。これを機に、Pythonを使ってBigQueryを活用してみてはいかがでしょうか。.