最終更新日 2025年04月07日(月)

/v1/chat/completions​ エンドポイントは、提供された一連の入力メッセージに対する会話補完を生成します。モデルを指定したり、temperature​ などの生成設定を調整したり、応答をリアルタイムでストリーミングしたりすることができます。モデルが呼び出す tools​ を指定することもできます。

リクエストボディパラメータ

パラメータを使用して、会話補完を生成する方法を管理します。

必須パラメータ

オプションパラメータ

オブジェクトの tools 配列

tools​ を使用して、モデルが呼び出すことのできるツールの配列を提供できます (モデルがツールを呼び出す方法を指定するには、tool_choice​ を使用します)。 これが提供された場合、モデルは role="assistant"​ により生成されたメッセージの中で tool_calls​ を返す場合があり、指定されたツールを実行するようシステムに指示し、その結果を role="tool"​ のメッセージで返します。

これらのツールは拡張プロンプトの形式でモデルに提供され、それ以上の検証は行われないことに注意してください。 モデルは指定されたツール配列に存在しないツール名を作成する場合があります。これを避けるため、モデルが tool_calls​ のアシスタントメッセージを返したときに、ツール検証を実行することをお勧めします。

Heroku はツール呼び出しリクエストをシステムに返すのではなく、Heroku によって自動的に実行されるさまざまなカスタムの Heroku ツール​を提供します。

function オブジェクト

tools 配列の例

[
    {
      "type": "function",
      "function": {
        "name": "get_current_weather",
        "description": "Get the current weather in a given location",
        "parameters": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. Portland, OR"
            }
          },
          "required": ["location"]
        }
      }
    }
  ]

tool_choice オブジェクト

tool_choice​ オブジェクトは、モデルが提供された tools​ をどのように使用するかを指定します。

これは、文字列 (none​、auto​、required​) または tool_choice​ オブジェクトの場合があります。 none​ はモデルがツールを呼び出さないことを意味します。auto​ の場合、モデルは提供されたツールを 0 ～多数呼び出すことができ、required​ の場合は、モデルがユーザーに応答する前に少なくとも 1 つ以上のツールを呼び出すことを強制します。

モデルに特定のツールの呼び出しを強制するには、tools​ オブジェクトで単一のツールを指定して "tools": "required"​ を渡すか、必要な関数を指定する tool_choice​ オブジェクトを渡してツールの選択を強制します。

オブジェクトの messages 配列

messages​ オブジェクトはメッセージオブジェクトの配列です。

各メッセージはメッセージのスキーマを決定する role​ フィールドを指定する必要があります (以下を参照)。

現在サポートされているタイプは、user​、assistant​、system​、tool​ です。

最新のメッセージで assistant​ ロールを使用している場合、モデルはその最新メッセージの内容から回答を続行します。

role=user メッセージ

user​ メッセージは、モデルにクエリを送信し、応答を促す主な方法です。

role=assistant メッセージ

通常、assistant​ メッセージはモデルによってのみ生成されますが、独自のメッセージを作成したり、部分的に入力された assistant​ の応答を事前に入力したりすることで、モデルが次のターンに生成するコンテンツに影響を与えることができます。

role=system メッセージ

system​ メッセージは、モデルの応答に影響を与えるためにモデルに提供される、プロンプトの「プレフィックス」のようなものです。

role=tool メッセージ

tool​ メッセージオブジェクトを使用すると、指定されたツールの結果 (出力) をモデルに伝えることができます。

tool_calls オブジェクトの例

tools​ によってオプションで指定されたツールの呼び出しをモデルが決定したときの tool_calls​ オブジェクトの例を以下に示します。

[
  {
    "role": "assistant",
    "tool_calls": [
      {
        "id": "toolu_02F9GXvY5MZAq8Lw3PTNQyJK",
        "type": "function",
        "function": {
            "name": "get_weather",
            "arguments": "{\"location\":\"Portland, OR\"}"
        }
      }
    ],
  }
]

リクエストヘッダー

次の例では、モデルリソースに「INFERENCE​」(デフォルト) というエイリアスがあると仮定しています。

すべての推論の curl リクエストには、Heroku 推論キーを含む Authorization​ ヘッダーを含める必要があります。

たとえば、すべての /v1/chat/completions​ リクエストはこちらのパターンに従います。

# If you're developing locally, run this to set your config vars as ENV variables.
eval $(heroku config -a $APP_NAME --shell | grep '^INFERENCE_' | sed 's/^/export /' | tee >(cat >&2))

curl $INFERENCE_URL/v1/chat/completions \
 -H "Authorization: Bearer $INFERENCE_KEY" \
 -d @- <<EOF
{
  "model": "$INFERENCE_MODEL_ID",
  "messages": [{"role": "user", "content": "Hello"}]
}
EOF