最新版の Claude 3.5 Sonnet を使用する Managed Inference and Agent API

この記事の英語版に更新があります。ご覧の翻訳には含まれていない変更点があるかもしれません。

最終更新日 2025年01月24日(金)

Heroku Managed Inference and Agent アドオンは現在パイロット段階です。パイロットの一環として提供される製品は本番環境での使用を目的としたものではなく、ベータサービスとみなされています。また、https://www.salesforce.com/company/legal/agreements.jsp​ のベータサービス条件が適用されます。

Claude 3.5 Sonnet は、Anthropic の Claude 3.5 ファミリーに属する text-to-text の大規模言語モデル (LLM) です。会話型チャットとツール呼び出し機能の両方をサポートします。高度なインテリジェンス、スピード、コスト効率を実現し、Claude 3 Opus などの以前のモデルよりも優れたパフォーマンスを発揮します。

このバージョン (claude-3-5-sonnet-latest​) のモデルバージョンは、EU 地域で提供されている claude-3-5-sonnet​ よりもやや新しく、パフォーマンスも若干優れています。

  • モデル ID:​ claude-3-5-sonnet-latest
  • リージョン:​ us

このモデルの用途

Claude 3.5 Sonnet は、高度なコード生成、複雑なチャットインタラクション、複数ステップのワークフローのオーケストレーションに適しています。より高価ですが、一般的に Claude 3.0 Haiku よりもインテリジェントで細やかです。

使用法

Claude 3.5 Sonnet は、Claude の v1/chat/completions API スキーマ​に従います。

モデルへのアクセスをプロビジョニングするには、claude-3-5-sonnet-latest​ をアプリの $APP_NAME​ にアタッチします。

heroku ai:models:create -a $APP_NAME claude-3-5-sonnet-latest

環境設定を使用すると、さまざまな方法で claude-3-5-sonnet-latest​ を呼び出すことができます。

curl リクエストの例

リクエストの例を使用してすぐに開始できます。

export INFERENCE_MODEL_ID=$(heroku config:get -a $APP_NAME INFERENCE_MODEL_ID)
export INFERENCE_KEY=$(heroku config:get -a $APP_NAME INFERENCE_KEY)
export INFERENCE_URL=$(heroku config:get -a $APP_NAME INFERENCE_URL)

curl $INFERENCE_URL/v1/chat/completions \
-H "Authorization: Bearer $INFERENCE_KEY" \
-d @- <<EOF
{
  "model": "$INFERENCE_MODEL_ID",
  "messages": [
    { "role": "user", "content": "Hello!" },
    { "role": "assistant", "content": "Hi there! How can I assist you today?" },
    { "role": "user", "content": "What's the weather like in Portland, Oregon right now?" }
  ],
  "temperature": 0.5,
  "max_tokens": 100,
  "stream": false,
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Fetches the current weather for a given city.",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string",
              "description": "The name of the city to get weather for."
            }
          },
          "required": ["city"]
        }
      }
    }
  ],
  "tool_choice": "auto",
  "top_p": 0.9
}
EOF