Custom Models(自定义模型)

本页面是 Pi 官方文档 的中文翻译。仅供学习参考。

通过 ~/.pi/agent/models.json 添加自定义 Provider 和模型(Ollama、vLLM、LM Studio、代理等)。

目录

最小示例

对于本地模型(Ollama、LM Studio、vLLM),每个模型只需 id

{
  "providers": {
    "ollama": {
      "baseUrl": "http://localhost:11434/v1",
      "api": "openai-completions",
      "apiKey": "ollama",
      "models": [{ "id": "llama3.1:8b" }, { "id": "qwen2.5-coder:7b" }]
    }
  }
}

apiKey 值只是一个占位符,因为 Ollama 会忽略它。Pi 仍然将模型视为需要认证后才会出现在 /model 中,因此无密钥的本地服务器应保留一个虚拟值、通过 /login 为该 Provider 保存密钥,或在选择模型时传入 --api-key

某些 OpenAI 兼容服务器不支持用于推理能力模型的 developer 角色。对于这些 Provider,设置 compat.supportsDeveloperRolefalse,这样 Pi 会将系统提示作为 system 消息发送。如果服务器也不支持 reasoning_effort,同时设置 compat.supportsReasoningEffortfalse

你可以在 Provider 级别设置 compat 以应用于所有模型,也可以在模型级别设置以覆盖特定模型。这通常适用于 Ollama、vLLM、SGLang 等 OpenAI 兼容服务器。

{
  "providers": {
    "ollama": {
      "baseUrl": "http://localhost:11434/v1",
      "api": "openai-completions",
      "apiKey": "ollama",
      "compat": {
        "supportsDeveloperRole": false,
        "supportsReasoningEffort": false
      },
      "models": [
        {
          "id": "gpt-oss:20b",
          "reasoning": true
        }
      ]
    }
  }
}

完整示例

在需要特定值时覆盖默认设置:

{
  "providers": {
    "ollama": {
      "baseUrl": "http://localhost:11434/v1",
      "api": "openai-completions",
      "apiKey": "ollama",
      "models": [
        {
          "id": "llama3.1:8b",
          "name": "Llama 3.1 8B (Local)",
          "reasoning": false,
          "input": ["text"],
          "contextWindow": 128000,
          "maxTokens": 32000,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }
        }
      ]
    }
  }
}

该文件在每次打开 /model 时重新加载。在会话期间编辑,无需重启。

Google AI Studio 示例

使用 google-generative-ai 配合 baseUrl 添加 Google AI Studio 的模型,包括自定义 Gemma 4 条目:

{
  "providers": {
    "my-google": {
      "baseUrl": "https://generativelanguage.googleapis.com/v1beta",
      "api": "google-generative-ai",
      "apiKey": "$GEMINI_API_KEY",
      "models": [
        {
          "id": "gemma-4-31b-it",
          "name": "Gemma 4 31B",
          "input": ["text", "image"],
          "contextWindow": 262144,
          "reasoning": true
        }
      ]
    }
  }
}

google-generative-ai API 类型添加自定义模型时需要 baseUrl

支持的 API 类型

API说明
openai-completionsOpenAI Chat Completions(最兼容)
openai-responsesOpenAI Responses API
anthropic-messagesAnthropic Messages API
google-generative-aiGoogle Generative AI

在 Provider 级别(所有模型的默认值)或模型级别(逐个覆盖)设置 api

Provider 配置

字段说明
baseUrlAPI 端点 URL
apiAPI 类型(见上表)
apiKey可选的 API Key 配置(见下面的值解析)。当认证由 /login/auth.json 或 CLI --api-key 提供时,可省略此项。
headers自定义请求头(见下面的值解析)
authHeader设为 true 自动添加 Authorization: Bearer <apiKey>
models模型配置数组
modelOverrides此 Provider 上内置模型或扩展注册模型的逐模型覆盖

对于带 models 的 Provider,非内置 Provider 配置需要在 Provider 或模型级别提供 baseUrlapi 值。apiKey 不是加载文件的必要条件:当通过 /login/auth.json、CLI --api-key 或 Provider 的 apiKey 配置认证后,模型才可用。如果未配置认证,模型仍会加载,但在 /model--list-models 中不可用。

值解析

apiKeyheaders 字段支持三种格式:

  • Shell 命令: "!command" 执行命令并使用 stdout

    "apiKey": "!security find-generic-password -ws 'anthropic'"
    "apiKey": "!op read 'op://vault/item/credential'"
  • 环境变量插值: "$ENV_VAR""${ENV_VAR}" 使用命名环境变量的值。插值可以在更大的字面值内工作。

    { "type": "api_key", "key": "$MY_ANTHROPIC_KEY" }
    { "type": "api_key", "key": "${KEY_PREFIX}_${KEY_SUFFIX}" }

    $FOO_BAR 是变量 FOO_BAR;当 BAR 是字面文本时使用 ${FOO}_BAR。缺少的环境变量会使值变为未解析状态。

  • 字面值: 直接使用。纯大写字符串如 MY_API_KEY 是字面量;使用 $MY_API_KEY 表示环境变量。

    "apiKey": "sk-..."
    { "type": "api_key", "key": "public" }
  • 转义: "$$" 产生字面值 "$""$!" 产生字面值 "!" 而不触发命令执行。

    { "type": "api_key", "key": "$$literal-dollar-prefix" }
    { "type": "api_key", "key": "$!literal-bang-prefix" }

对于 models.json,Shell 命令在请求时解析。Pi 有意不对任意命令应用内置 TTL、过期复用或恢复逻辑。不同的命令需要不同的缓存和失败策略,Pi 无法推断出正确策略。

如果你的命令较慢、昂贵、受速率限制,或者希望在瞬态失败时继续使用之前的值,请将其包装在你自己的脚本或命令中,实现所需的缓存或 TTL 行为。

/model 可用性检查使用已配置的认证信息,不会执行 Shell 命令。

自定义请求头

{
  "providers": {
    "custom-proxy": {
      "baseUrl": "https://proxy.example.com/v1",
      "apiKey": "$MY_API_KEY",
      "api": "anthropic-messages",
      "headers": {
        "x-portkey-api-key": "$PORTKEY_API_KEY",
        "x-secret": "!op read 'op://vault/item/secret'"
      },
      "models": [...]
    }
  }
}

模型配置

字段必需默认值说明
id模型标识符(传递给 API)
nameid人类可读的模型标签。用于匹配(--model 模式)并作为次要模型详情文本显示
apiProvider 的 api为此模型覆盖 Provider 的 API
reasoningfalse是否支持 extended thinking
thinkingLevelMap省略将 Pi 的 thinking level 映射到 Provider 值,并标记不支持的 level(见下文)
input["text"]输入类型:["text"]["text", "image"]
contextWindow128000上下文窗口大小(Token)
maxTokens16384最大输出 Token
samplingParams省略按原样合并到每个请求体中的采样参数(见下文)
cost全零每百万 Token 费率,可选请求级输入定价阶梯
compatProvider 的 compatProvider 兼容性覆盖。当两者都设置时,与 Provider 级别的 compat 合并

一个成本阶梯提供一套完整的替代费率,并在总输入使用量(input + cacheRead + cacheWrite)超过 inputTokensAbove 时应用于整个请求。多个阶梯同时匹配时,最高阈值生效。

{
  "cost": {
    "input": 5,
    "output": 30,
    "cacheRead": 0.5,
    "cacheWrite": 6.25,
    "tiers": [
      {
        "inputTokensAbove": 272000,
        "input": 10,
        "output": 45,
        "cacheRead": 1,
        "cacheWrite": 12.5
      }
    ]
  }
}

当前行为:

  • /model--list-models 和交互式页脚按模型 id 显示条目。
  • 配置的 name 用于模型匹配和次要模型详情文本。它不会替换页脚/状态栏中的模型 id。

采样参数

samplingParams 是一个自由形式对象,按原样合并到该模型的每个请求体中,位置在 pi 自身设置的字段之后,因此其键优先。用它发送 pi 未建模的采样参数——包括服务器特定的参数,如 llama.cpp 的 min_p 或 vLLM 的 top_k

{
  "id": "deepseek-v4-flash",
  "samplingParams": {
    "temperature": 1.0,
    "top_p": 0.95,
    "top_k": 0,
    "min_p": 0.0
  }
}

只有 OpenAI 兼容 API 会应用它(openai-completionsopenai-responsesazure-openai-responses);其他 API 会忽略它。键会覆盖 pi 的命名请求字段(例如这里的 temperature 键会胜过请求级 temperature),因此建议将其作为模型的唯一采样真相来源。在 modelOverrides 中,samplingParams 按 key 与基础模型的值合并。

Thinking Level Map

在模型上使用 thinkingLevelMap 来描述模型特定的 thinking 控制。键是 Pi 的 thinking level:offminimallowmediumhighxhighmax。映射可以包含空洞;例如,一个模型可以暴露 highmax 而不暴露 xhigh

值为三态:

含义
省略high 的标准 level 使用 Provider 的默认映射;扩展的 xhighmax level 不受支持
字符串该 level 受支持,此值被发送给 Provider
null该 level 不受支持,被隐藏/跳过/固定到最近值

仅支持 off、high 和 max 推理的模型示例:

{
  "id": "deepseek-v4-pro",
  "reasoning": true,
  "thinkingLevelMap": {
    "minimal": null,
    "low": null,
    "medium": null,
    "high": "high",
    "xhigh": null,
    "max": "max"
  }
}

不可禁用 thinking 的模型示例:

{
  "id": "always-thinking-model",
  "reasoning": true,
  "thinkingLevelMap": {
    "off": null
  }
}

迁移:使用 compat.reasoningEffortMap 的旧配置应将映射移至模型级别的 thinkingLevelMap。对于不应在 UI 中显示的 level,使用 null

覆盖内置 Provider

通过代理路由内置 Provider,无需重新定义模型:

{
  "providers": {
    "anthropic": {
      "baseUrl": "https://my-proxy.example.com/v1"
    }
  }
}

所有内置 Anthropic 模型保持可用。现有的 OAuth 或 API Key 认证继续有效。

要将自定义模型合并到内置 Provider 中,包含 models 数组:

{
  "providers": {
    "anthropic": {
      "baseUrl": "https://my-proxy.example.com/v1",
      "apiKey": "$ANTHROPIC_API_KEY",
      "api": "anthropic-messages",
      "models": [...]
    }
  }
}

合并语义:

  • 内置模型被保留。
  • 自定义模型按 Provider 内的 id 进行更新(upsert)。
  • 如果自定义模型 id 与内置模型 id 匹配,则替换该内置模型。
  • 如果自定义模型 id 是新的,则与内置模型并列添加。

逐模型覆盖

使用 modelOverrides 自定义内置模型和匹配的扩展注册模型,无需替换 Provider 的完整模型列表。

{
  "providers": {
    "openrouter": {
      "modelOverrides": {
        "anthropic/claude-sonnet-4": {
          "name": "Claude Sonnet 4 (Bedrock Route)",
          "compat": {
            "openRouterRouting": {
              "only": ["amazon-bedrock"]
            }
          }
        }
      }
    }
  }
}

modelOverrides 支持每个模型的以下字段:namereasoningthinkingLevelMapinputcost(部分)、contextWindowmaxTokenssamplingParams(按 key 合并)、headerscompat

直接 OpenAI 的 GPT-5.6 Sol、Terra 和 Luna 默认使用 272000 上下文窗口,使请求保持在 OpenAI 的短上下文定价阶梯内。要选择使用 OpenAI 的 1.05M 上下文窗口,为每个使用的模型增加它:

{
  "providers": {
    "openai": {
      "modelOverrides": {
        "gpt-5.6-sol": {
          "contextWindow": 1050000
        }
      }
    }
  }
}

该覆盖会保留内置定价元数据。总输入 token 超过 272K 的请求会在整个请求中使用 GPT-5.6 的长上下文费率。需要时对 gpt-5.6-terragpt-5.6-luna 应用相同的覆盖。

行为说明:

  • modelOverrides 应用于内置 Provider 模型和匹配的扩展注册 Provider 模型。
  • 未知模型 ID 被忽略。
  • 你可以将 Provider 级别的 baseUrl/headersmodelOverrides 结合使用。
  • 覆盖 name 仅会改变模型匹配和次要详情文本;页脚和主模型列表仍继续显示模型 id
  • 如果 Provider 也定义了 models,自定义模型在内置覆盖之后合并。具有相同 id 的自定义模型会替换已覆盖的内置模型条目。

Anthropic Messages 兼容性

对于使用 api: "anthropic-messages" 的 Provider 或代理,使用 compat 控制 Anthropic 特定请求兼容性。

默认情况下,Pi 发送每个工具的 eager_input_streaming: true。如果代理或 Anthropic 兼容的后端拒绝此字段,将 supportsEagerToolInputStreaming 设为 false。Pi 会省略 tools[].eager_input_streaming,并在启用工具的请求中发送旧的 fine-grained-tool-streaming-2025-05-14 beta 头。

某些 Anthropic 模型需要 adaptive thinking(thinking.type: "adaptive"output_config.effort),而非旧的基于 token 预算的 thinking 负载。内置模型会自动设置此项。对于路由到这些模型的自定义 Provider 或别名,将 forceAdaptiveThinking 设为 true

某些 Anthropic 兼容 Provider 会发出签名为空的 thinking 块,并在重放时仍然期望它们。仅在这些 Provider 上将 allowEmptySignature 设为 true;真正的 Anthropic 会拒绝空的 thinking 签名。

内置 Anthropic 模型在模型元数据中启用 supportsStrictTools。自定义 Anthropic 兼容模型在其端点接受严格 JSON Schema 工具定义时必须将其设为 true

{
  "providers": {
    "anthropic-proxy": {
      "baseUrl": "https://proxy.example.com",
      "api": "anthropic-messages",
      "apiKey": "$ANTHROPIC_PROXY_KEY",
      "compat": {
        "supportsEagerToolInputStreaming": false,
        "supportsLongCacheRetention": true,
        "forceAdaptiveThinking": true,
        "allowEmptySignature": true
      },
      "models": [
        {
          "id": "claude-opus-4-7",
          "reasoning": true,
          "input": ["text", "image"]
        }
      ]
    }
  }
}
字段说明
supportsEagerToolInputStreamingProvider 是否接受每个工具的 eager_input_streaming。默认:true。设为 false 可省略该字段,并在启用工具的请求中使用旧的细粒度工具流 beta 头
supportsLongCacheRetentionProvider 是否在缓存保留为 long 时接受 Anthropic 长缓存保留(cache_control.ttl: "1h")。默认:true
sendSessionAffinityHeaders启用缓存后是否从会话 ID 发送 x-session-affinity。默认:对已知 Provider 自动检测
supportsCacheControlOnToolsProvider 是否接受工具定义上的 Anthropic 风格 cache_control 标记。默认:true
forceAdaptiveThinking是否为此模型发送 adaptive thinking(thinking.type: "adaptive"output_config.effort)。内置 adaptive 模型会自动设置。默认:false
allowEmptySignature某些 Anthropic 兼容 Provider 会发出签名为空的 thinking 块,并在重放时仍然期望它们。仅在这些 Provider 上将 allowEmptySignature 设为 true;真正的 Anthropic 会拒绝空的 thinking 签名。默认:false
supportsStrictToolsProvider 是否接受严格 JSON Schema 工具定义。默认:false;内置 Anthropic 模型在生成的元数据中启用此项。

OpenAI 兼容性

对于部分 OpenAI 兼容的 Provider,使用 compat 字段。

  • Provider 级别的 compat 应用于该 Provider 下的所有模型。
  • 模型级别的 compat 覆盖该模型的 Provider 级别值。
{
  "providers": {
    "local-llm": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "compat": {
        "supportsUsageInStreaming": false,
        "maxTokensField": "max_tokens"
      },
      "models": [...]
    }
  }
}
字段说明
supportsStoreProvider 支持 store 字段
supportsDeveloperRole使用 developer 角色而非 system
supportsReasoningEffort支持 reasoning_effort 参数
supportsUsageInStreaming支持 stream_options: { include_usage: true }(默认:true
supportsFinishReason流式响应是否包含 finish_reason。为 false 时,pi 在流结束时推断为 stoptoolUse。默认:true
maxTokensField使用 max_completion_tokensmax_tokens
requiresToolResultName在工具结果消息中包含 name
requiresAssistantAfterToolResult在工具结果后、用户消息前插入一条助手消息
requiresThinkingAsText将 thinking 块转换为纯文本
requiresReasoningContentOnAssistantMessages在启用推理时,在所有重放的助手消息上包含空的 reasoning_content
thinkingFormat使用 reasoning_effortopenrouterdeepseektogetherbasetenzaiqwenchat-templateqwen-chat-template thinking 参数
chatTemplateKwargsthinkingFormat: "chat-template" 使用的 chat_template_kwargs 值;使用 { "$var": "thinking.enabled" }{ "$var": "thinking.effort" } 表示由 pi 控制的 thinking 值
chatTemplateArgsthinkingFormat: "baseten" 使用的 chat_template_args 值;使用 { "$var": "thinking.enabled" }{ "$var": "thinking.effort" } 表示由 pi 控制的 thinking 值
cacheControlFormat在系统提示、最后一个工具定义和最后一个用户、助手或工具结果文本内容上使用 Anthropic 风格的 cache_control 标记。目前仅支持 anthropic
sendSessionAffinityHeaders对于 openai-completions,在启用缓存时从会话 ID 发送会话亲和请求头。默认:false
sessionAffinityFormat对于 openai-completionsopenai-responses,会话亲和请求头格式:openai 发送 session_id/x-client-request-id(completions 还发送 x-session-affinity),openai-nosession 省略包含下划线的 session_id 请求头,openrouter 发送 x-session-id。不影响 prompt_cache_key body 参数。默认:自动检测。
supportsStrictModeProvider 是否接受严格 JSON Schema 函数工具定义。默认值取决于 API;内置 OpenAI 模型带有明确的能力元数据。
supportsOpenAIGrammarToolsOpenAI 兼容 API 是否发出自定义 Lark/regex 语法工具。为 false 时,语法约束工具回退到普通 function tools。默认:false;内置模型目录为 OpenAI、OpenAI Codex、Azure OpenAI、GitHub Copilot、opencode 和 Cloudflare AI Gateway 上的 GPT-5+ 模型启用此项。
deferredToolsMode使用 Provider 特定的延迟工具序列化。目前仅支持 "kimi",用于 Kimi 的 OpenAI 兼容 Chat Completions 格式
supportsLongCacheRetentionProvider 是否在缓存保留为 long 时接受长缓存保留:OpenAI 提示缓存的 prompt_cache_retention: "24h",或当 cacheControlFormatanthropic 时的 cache_control.ttl: "1h"。默认:true
openRouterRoutingOpenRouter Provider 路由偏好。此对象按原样作为 OpenRouter API 请求provider 字段发送
vercelGatewayRoutingVercel AI Gateway 路由配置,用于 Provider 选择(onlyorder

openrouter 使用 reasoning: { effort }together 使用 reasoning: { enabled },并在 supportsReasoningEffort 启用时也使用 reasoning_effortqwen 使用顶级 enable_thinking。对需要 chat_template_kwargs.enable_thinkingpreserve_thinking 的本地 Qwen 兼容服务器,使用 qwen-chat-template。对需要可配置 chat_template_kwargs 的 vLLM/Hugging Face chat-template,使用 chat-template,例如 DeepSeek V3.x 模板使用 chatTemplateKwargs: { "thinking": { "$var": "thinking.enabled" } }。使用 thinkingFormat: "baseten" 搭配 chatTemplateArgs,适用于通过 chat_template_args 暴露开关控制并可选支持顶层 reasoning_effort 的 Provider。

cacheControlFormat: "anthropic" 适用于那些在文本内容和工具定义上通过 cache_control 标记暴露 Anthropic 风格提示缓存的 OpenAI 兼容 Provider。

示例:

{
  "providers": {
    "openrouter": {
      "baseUrl": "https://openrouter.ai/api/v1",
      "apiKey": "$OPENROUTER_API_KEY",
      "api": "openai-completions",
      "models": [
        {
          "id": "openrouter/anthropic/claude-3.5-sonnet",
          "name": "OpenRouter Claude 3.5 Sonnet",
          "compat": {
            "openRouterRouting": {
              "allow_fallbacks": true,
              "require_parameters": false,
              "data_collection": "deny",
              "zdr": true,
              "enforce_distillable_text": false,
              "order": ["anthropic", "amazon-bedrock", "google-vertex"],
              "only": ["anthropic", "amazon-bedrock"],
              "ignore": ["gmicloud", "friendli"],
              "quantizations": ["fp16", "bf16"],
              "sort": {
                "by": "price",
                "partition": "model"
              },
              "max_price": {
                "prompt": 10,
                "completion": 20
              },
              "preferred_min_throughput": {
                "p50": 100,
                "p90": 50
              },
              "preferred_max_latency": {
                "p50": 1,
                "p90": 3,
                "p99": 5
              }
            }
          }
        }
      ]
    }
  }
}

Vercel AI Gateway 示例:

{
  "providers": {
    "vercel-ai-gateway": {
      "baseUrl": "https://ai-gateway.vercel.sh/v1",
      "apiKey": "$AI_GATEWAY_API_KEY",
      "api": "openai-completions",
      "models": [
        {
          "id": "moonshotai/kimi-k2.5",
          "name": "Kimi K2.5 (Fireworks via Vercel)",
          "reasoning": true,
          "input": ["text", "image"],
          "cost": { "input": 0.6, "output": 3, "cacheRead": 0, "cacheWrite": 0 },
          "contextWindow": 262144,
          "maxTokens": 262144,
          "compat": {
            "vercelGatewayRouting": {
              "only": ["fireworks", "novita"],
              "order": ["fireworks", "novita"]
            }
          }
        }
      ]
    }
  }
}

法律声明:本页面是 pi.dev 官方文档的中文翻译版本,仅供学习参考。本网站与 pi.dev 及 Earendil Inc. 无任何法律关系。