メインコンテンツへスキップ
Baseten の ML モデル配信用エンタープライズグレードインフラストラクチャを使用して、カスタムモデルをデプロイして提供します。

設定

~/.factory/settings.json に追加します:
{
  "customModels": [
    {
      "model": "Qwen/Qwen3-Coder-480B-A35B-Instruct",
      "displayName": "Qwen3-Coder-480B [Baseten]",
      "baseUrl": "https://inference.baseten.co/v1",
      "apiKey": "YOUR_BASETEN_API_KEY",
      "provider": "generic-chat-completion-api",
      "maxOutputTokens": 8192
    }
  ]
}

はじめに

  1. baseten.co でサインアップします
  2. モデルライブラリからモデルをデプロイするか、独自のモデルをアップロードします
  3. 設定ページから API キーを取得します
  4. デプロイメントダッシュボードでモデル ID を確認します
  5. Factory 設定に設定を追加します

注意事項

  • ベース URL 形式: https://inference.baseten.co/v1
  • YOUR_MODEL_ID を Baseten ダッシュボードからデプロイされたモデルの ID に置き換えてください
  • OpenAI 互換 API 形式をサポートしています
  • エンタープライズ機能とカスタムデプロイメントについては Baseten にお問い合わせください