kintoneの大量レコード取得を高速化

はじめに

kintoneアプリのレコードをバックアップしたり、他のシステムに同期する場合、
レコード一括取得REST APIを複数回実行する事で大量のレコードを取得するコードを書くと思います。
この記事では、kintoneの1つのアプリから大量のレコードを高速に取得する手法について紹介します。
この手法を使うことで、今回行った実験では50万レコードを取得する時間が33%に削減されました。

手法1: offset を利用する、シンプルなやり方

シンプルなやり方としては、offsetの値を徐々に増やしながらレコード一括取得REST APIを繰り返し実行するというものがあります。

手法1の問題点

この手法1で問題なく全レコードを取得することができるのですが、このやり方には一つ問題があります。
それは、レコード数が多くなると非常に遅くなるというものです。

上図は取得するレコード件数を増やした時の全レコード取得にかかる時間を計測したものです。
このグラフを見るとわかるように、取得するレコードの件数が増えた時に掛かる時間が線形ではなく2次関数的に増加していきます。

手法2: レコードIDを利用する、より高速なやり方

offsetを使う替わりに、次のコードのようなレコードの取得の仕方をすると処理が高速化されます。

この手法のポイントは、絞り込みクエリを組み立てる際に、
前回に取得したレコードの中で一番最後のレコードのレコード番号フィールドの値を使って、
「レコード番号 > 最後のレコードのレコード番号」という条件を付け足している部分です。
なぜこの条件によって次の500件を取得できるかと言うと、
レコード一括取得を行う際に「order by レコード番号 asc」という順番でレコード一括取得を行っているためです。

この手法は、kintoneに限らずRDBMS一般で知られている手法です。この手法が高速な理由はこちらのページに詳しく紹介されています。

下図は手法1と手法2の実行時間の比較です。

手法2では、データ取得にかかる時間がレコードの数に線形に比例する形に抑えられていることがわかります。
そのため、取得するレコードの総数が多くなるほど高速化の恩恵を受けることができます。
今回の実験では50万レコードを書き出す際にはoffsetを用いる手法と比べてほぼ3倍の高速化が達成されました。

レコード一括取得REST APIの実行の仕方を変えるだけで高速化されるので、是非皆さんも試してみてください。

手法2の問題点

手法2にも問題点はあります。それはコードが複雑になるということです。
今回の例のように全レコードを書き出す場合はレコードのソート順はあまり気にしなくても良いのでレコード番号を使ってソートしていましたが、
例えば複数のフィールドでソートした結果を書き出したい場合は、手法2では絞り込み条件が複雑なものになってしまいます。

（2019年6月追記）
ソート条件がある場合は、全件取得用に新しく公開された カーソル APIの利用をおすすめします。
詳細はこちらの記事を確認ください。

まとめ

今回はkintoneアプリのレコード取得を高速に行うことができる手法を紹介しました。
この手法はコードが複雑になってしまうというデメリットもあるので、大量のレコードを取得する際に是非ご参考にしていただければと思います。

このTipsは、2018年5月版 kintoneで確認したものになります。