本文へ移動

AI6分で読めます

たいていは安いモデルで足りる

定型的なリクエストを最上位のモデルに送らないだけで、推論コストは40%ほど下がります。これほど地味なコスト削減もなかなかありません。

Cコーディ開発チーム

よくあるのは、モデルを一つ選んですべての処理につなぎ、請求書を見て驚くというパターンです。そこで真っ先に考えるのは単価の交渉やプロンプトの削り込みですが、大きく効くのはたいてい構造のほうです。本番システムに届くリクエストのほとんどは難しくありませんし、いちばん性能の高いモデルを必要としてもいません。

まずトラフィックを分類する

何かを最適化する前に、実際のリクエストを1週間分集めて、難易度で分類してください。これまで私たちが測ったシステムでは、どれも分布が大きく偏っていました。本当に難しいケースは裾野に細く長く続く少数で、大部分は分類、抽出、整形といった処理です。こちらは小さいモデルでも、大きいモデルと見分けがつかないくらいうまくこなします。

振り分けてから検証する

  • 簡単な大部分は、小さくて安いモデルに送る。
  • 確信度が低いとき、スキーマ検証に失敗したとき、回答を明示的に拒否されたときは、上位のモデルに回す。
  • 両方のモデルを評価セット(eval)にかけて比べる。evalはこういうときのためにあります。
  • 上位モデルに回した割合(エスカレーション率)にアラートを設定する。トラフィックの中身が変わると、指標より先に請求額が変わるからです。

Atlasの案件では、このモデルルーティングで推論コストを41%減らしました。ホールドアウトのデータで測った品質に、測定できるほどの変化はありませんでした。かかったのは4日です。気の利いた工夫は何ひとつありませんが、むしろそこが大事なところです。