PythonでBigQueryにinsertする方法

今回の記事ではPythonでBigQueryにinsertする方法を解説していきます。
Pythonでデータ投入する際には、pandasライブラリを使うととても便利ですので、
pandasのデータフレームを使った方法を紹介します。

df.to_gbqでBigqueryへデータ投入

BigQueryへデータ投入するには、データフレームを作成して、
そのままデータフレームでto_gbqメソッドを呼び出してあげるだけでできます。

import pandas

df = pandas.DataFrame(
    {
        'test1': ['a', 'b', 'c'],
        'test2': [1, 2, 3],
    }
)

df.to_gbq("dataset.table", project_id="test-project-id", if_exists="append")

第一引数の部分でデータセットとテーブルを指定してあげます。
project_idの部分にはプロジェクトIDを設定します。
if_existsでは、テーブルがあった際にどうするかという部分で、追記であればappendとします。
デフォルトでは、failが設定されていますので失敗するようになっています。