QA@IT
«回答へ戻る

回答を投稿

Embulkはバルクロードツールなので、last_recordを使った
差分データ同期も良いかもしれません。
参考になりそうな資料を掲載しておきます。

Embulkはバルクロードツールなので、`last_record`を使った
差分データ同期も良いかもしれません。
参考になりそうな資料を掲載しておきます。

* [MySQLからBigQueryの同期を差分更新にしたら4倍高速になった話](https://speakerdeck.com/shiozaki/sync-from-mysql-to-bigquery-become-4x-faster-by-incremental-updating)
* [過去のログをEmbulk(エンバルク)を使ってバルクロードしよう](https://qiita.com/hiroysato/items/30c3bb07cbed825cf7a5#embulkのrunコマンドで実際にデータを投入)
* [embulk-input-oracle last_record](https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-oracle#configuration)
* [Fluentdのバッチ版Embulk(エンバルク)のまとめ](https://qiita.com/hiroysato/items/397f36c4838a0a93e352)