データごとの書き方
1 2 3 4 5 6 7 | type: postgresql host: localhost user: embulk password: "******" database: testdb table: test mode: insert_direct |
| mode | 挙動 |
|---|---|
| insert | 挿入。トランザクション処理 |
| insert_direct | 挿入。 |
| truncate_insert | 置き換え。トランザクション処理 |
| replace | 置き換え。 |
| merge | マージ。トランザクション処理 |
| merge_direct | マージ。 |
1 2 3 4 5 6 7 | type: mysql host: localhost user: embulk password: ***** database: testdb table: test mode: replace |
| mode | 挙動 |
|---|---|
| insert | 挿入。トランザクション処理 |
| insert_direct | 挿入。 |
| truncate_insert | 置き換え。トランザクション処理 |
| replace | 置き換え。 |
| merge | マージ。トランザクション処理 |
| merge_direct | マージ。 |
1 2 3 4 5 6 7 | type: s3 bucket: s3_backet_name path_prefix: s3_file_path endpoint: s3-us-west-1.amazonaws.com auth_method: basic access_key_id: aws_access_ky_id secret_access_key: aws_secret_access_key |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | out: type: bigquery mode: append auth_method: json_key json_keyfile: secret_key project: gcp_project dataset: bigquery_dataset table: bigquery_table auto_create_dataset: true auto_create_table: true schema_file: insert_schema.json column_options: - {name: json_payload, type: string} timeout_sec: 300 open_timeout_sec: 300 retries: 3 path_prefix: temp_data file_ext: .gz delete_from_local_when_job_end: true source_format: CSV max_bad_records: 0 |
| mode | 挙動 |
|---|---|
| append | 追加。トランザクション処理 |
| append_direct | 追加。 |
| replace | 置き換える。 |
| replace_backup | 置き換える。バックアップ作成 |
| delete_in_advance | テーブル削除。 |
コメント