Amazon Bedrock インテリジェントプロンプトルーティング

デベロッパーにとって、どのクエリにより高度なモデルが必要なのか、またはより小さく、高速で、低コストのモデルで機能するのかを把握することは難しい場合があります。インテリジェントプロンプトルーティングは、高度なプロンプトマッチングとモデル理解の手法を用いて、各リクエストにおける各モデルのパフォーマンスを予測し、最も低いコストで必要な応答を返す可能性が最も高いと予測されるモデルに対して、各リクエストを動的にルーティングします。Claude Sonnet 3.5 と Claude Haiku の間、または Llama 3.1 7B と Llama 3.1 80B の間のいずれかのリクエストをルーティングする 2 つのプロンプトルーター (プレビュー) から選択できます。

アプリケーションで必要なパフォーマンスとコストを実現するには、多くの場合、複雑なオーケストレーションワークフローを開発し、精度の点で必要なパフォーマンスを実現するために、経験に基づいて各リクエストを最適なモデルにルーティングする必要があります。インテリジェントプロンプトルーティングを使用すると、さまざまなモデルのテストと複雑なオーケストレーションワークフローの作成にかかる数か月分の労力を節約できます。

各リクエストは完全に追跡可能であるため、各リクエストをどのモデルが処理しているのかを識別でき、問題を簡単に理解してデバッグできます。

プレビュー期間中、リクエストがルーティングされるモデルについて、お客様には通常のオンデマンド料金が課金されます。さまざまなモデルプロバイダーの詳細な料金については、料金ページをご覧ください。