embulk-input-athenaの更新

3年前にAthenaのクエリの結果を転送する必要があり、Embulkをすでに利用していたので、データ転送の仕組みをEmbulkに寄せるために作ったプラグインがembulk-input-athena。

Athenとは

https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html

Embalkとは

https://www.embulk.org/

embulk-input-athena

https://github.com/shinji19/embulk-input-athena

単純にembulk-input-jdbcをラップしただけのようなものではあるが、rubygemsを見ると1万ダウンロードを超えているので欲しい人はいるにはいるっぽい。また、ありがたいことに時々プルリクエストをが来る。Embulkの動向を追わなくなっているので、誰かにメンテナンスを託したくはあるが、Embulkにお世話になっていたので、もう少し面倒をみようと思う。

今回のプルリクエストは、利用しているライブラリの所在が変わった点と、クエリにスキーマを設定しなくても動くようにする点だった。

Before

in:
  type: athena
  database: db
  query: |
    select long_value from db.test

After

in:
  type: athena
  database: db
  query: |
    select long_value from test

確かにプラグインを作っている時にSQLのテーブル指定にスキーマも書かないと動かなく不思議に思っていたが、これを解消してくれた。そもそもdatabaseでも指定していたので冗長だったので、これを書かなくて済むのであればそれに越したことはないですよね。

Embulkがv1.0.0に向けて動いているようで、また来年ぐらいに何か対応が必要そうです。現状でやらないといけなさそうな点は、JRubyの依存を無くして、リリースをRubyGemsからMaven Centralに移行するぐらいでしょうか。

v1.0に向けてのアナウンス

https://zenn.dev/dmikurube/articles/get-ready-for-embulk-v0-11-and-v1-0

build.gradleの書き換え

https://github.com/embulk/gradle-embulk-plugins#how-to-migrate-old-style-buildgradle-of-your-embulk-plugins

破壊的な変更になりそうですが、今後の発展のために動いているらしいので、v1.0をきっかけに盛り上がって欲しいですね。