システム連携6分で読めます
Webhookは二回届く
正常系なら、どんな連携も動きます。存在を忘れていられる連携かどうかは、調子の悪い日の振る舞いで決まります。
Cコーディ開発チーム
修正を頼まれる連携のバグの多くは、リリースした日にはバグではありませんでした。コードは書かれたとおりに動いていました。変わったのは周りの世界のほうです。ベンダーがWebhookを再送してきた、連休中にトークンの期限が切れた、二人が同じ顧客レコードを1秒違いで編集した、といった具合です。
外部のAPIは、こちらからは手の出せない分散システムです。それを、必ず結果が返ってくる関数呼び出しのように扱ってしまう。連携が気づかないうちにデータを壊していく原因で、いちばん多いのがこれです。
メッセージは二回届くか、一度も届かないと考える
Webhookを提供するサービスの多くは、at-least-once(少なくとも一回)の配信を保証しています。重複はそちらで処理してください、を丁寧に言うとこうなります。私たちが書くハンドラーはすべて冪等にしています。処理の前にイベントIDを記録し、同じIDが二回目に来たら何もしません。必要なのはテーブル一つとインデックス一つです。これを惜しむと、ときどき請求書が二重に発行され、それを最初に見つけるのはお客様、ということになります。
- 受信するイベントと外部への書き込みの一つひとつに、冪等キーを保存する。
- リトライは指数バックオフとジッターで間隔をあけ、上限に達したらやめる。
- 処理できなかったメッセージはデッドレターキューに送り、人が中身を確認して再実行できるようにする。
- 同期処理で新しい値を古い値で上書きしない。書き込む前にバージョンかタイムスタンプを比べる。
ずれは必ず出るので、突き合わせる
よくできた連携でも、データは少しずつずれていきます。ベンダーの障害中にWebhookが取りこぼされることもあれば、誰かがデータベースを直接書き換えることもあります。毎晩両側のデータを比べて差分を報告するジョブを用意しておけば、誰にも気づかれずに進むはずだったデータの破損が、コーヒーを飲みながら目を通せる短いリストになります。Northwindの案件で、計画担当の人たちが新しいシステムを信用するようになったのは、このレポートがあったからです。すべての差分が、毎朝、文書で届いていました。
失敗を見えるようにする
ダッシュボードのない連携は、不具合をお客様から教えてもらうことになります。最低限、受信したイベント数、処理したイベント数、失敗したイベント数、キューの深さ、未処理のうちいちばん古いメッセージの経過時間は追っておきましょう。アラートを設定するなら最後の数字です。ほかの何かがおかしくなるより先に、この値が上がり始めます。