跳到主要内容

模型配置

初次使用先接通一个主模型;图片、语音和备用模型可以随后配置。本页按 v0.1.107 的实际入口说明操作。

先让主模型完成一次请求​

在终端运行:

anyy setup model

也可以打开 Dashboard → Models → Main model。按所选服务依次确定 Endpoint/Protocol、认证方式、Base URL 和准确模型 ID。向导支持读取目录,也允许手动填写。

核对摘要后保存。Dashboard 的 Test connection 只检查待保存或已保存连接的模型目录是否可访问,以及所选 ID 是否出现在目录中,不会发送对话生成请求。

保存后,再新建 Chat 会话,核对顶部选中的 provider/model,发送“请回复:连接已确认”这样一句短提示,并确认确实收到回答。验收前可暂时停用已配置的 fallback,测试后恢复原设置;若保留 fallback,就须核实这条回答确实来自所测 provider/model,而且没有回退。选择器里的名称加上一条成功回复,不能单独证明是谁生成了回答;目录、登录和配置状态同样不能替代验证。设置后还可查看:

anyy config
anyy status

anyy config 只读显示非敏感设置、路径和凭据引用状态,不输出密钥。

改默认模型,还是只改这次对话?​

需求操作
后续新会话都用另一个模型修改 Models 中的主模型,或重跑 anyy setup model
当前 Chat 改模型使用 Chat 模型/推理选择器
当前 TUI 改模型或服务商/model、/provider
修改推理强度/effort 或相应界面控件
从空上下文重新开始/new

已有会话可以保留自己的模型和推理状态,不会仅因默认模型改变就全部切换。改变模型或推理可能降低 Prompt Cache 复用率并增加费用。

推理默认值​

可保存的等级是 off、minimal、low、medium、high、xhigh、max。所选模型会把请求调整到它实际支持的等级;不能关闭推理的模型可能把 Off 调整为另一等级。非推理模型使用 off,也没有强度选择器。

场景调整前先读取什么
新会话单模型偏好 → 全局偏好 → medium
切换模型目标模型偏好 → 全局偏好 → 当前会话等级 → medium
恢复有消息的分支分支保存等级;没有时,全局 → medium
恢复空分支初始模型默认值,以及单模型 → 全局 → medium

恢复有消息的分支时,保存的模型/等级优先于后来修改的配置;忙碌会话不改变。恢复选择本身不请求模型,尚未选模型时初始等级为 off。

配置/API 中的 inference.level 保留请求偏好,inference.effective_level 是只读的实际结果。全局预览不读取单模型覆盖,因此可能和新会话不同;保存未操作过的 Dashboard 强度控件,也不会把显示出来的派生值写成偏好。

TUI /effort 中,Enter 应用当前选择并保存全局请求偏好,但保留 Profile 已保存的 provider/model;Alt+S 只改当前会话。这两种操作都不写单模型偏好。准确 YAML 键和旧配置迁移见推理配置与迁移。

OpenAI 兼容 Chat 还会保留 API 实际返回的非空 reasoning_content、reasoning 或 reasoning_text,不要求目录预先标记推理能力;结构化 reasoning_details 只作为不透明历史保存。同一目标的后续请求自动还原原生思考字段,切换目标按协议转换历史。无需另加回放开关,也不要把隐藏思考复制到回答正文。

凭据和账号​

由 Anyy 托管的 Key 位于 <ProfileHome>/secrets/,文件权限为 0600,配置保存引用。替换、清除、连接或断开凭据,应回到 Models 或原设置入口。

Codex 提供 ChatGPT 订阅设备登录;Anthropic 的 Claude Code 订阅选项接受外部取得的 setup token。它们不是面向所有服务商的通用 OAuth 登录,目录中的阻止选项仍不可用。登录和目录读取成功不能代替真实账号的模型请求测试。

使用 env:MY_MODEL_KEY 等引用时,变量必须进入常驻 Gateway 的进程环境;只在另一个终端导出通常不够。不要把密钥贴进提示词、Shell 历史、截图或支持报告。

服务商和本地地址怎么选​

普通对话目前支持五类协议:openai-compatible、openai-responses、codex-responses、anthropic-messages、google-gemini,共享行为参考固定 Pi v1.2.0。兼容服务必须真的实现所选协议;手动填写模型不会自动增加图片、工具或推理能力。

原生 Azure OpenAI Responses、Bedrock Converse、Google Vertex、Mistral Conversations、pi-messages 尚未独立实现。服务商品牌或目录条目不等于原生协议支持,完整边界见服务商协议与模型接口。

使用 Ollama/LM Studio 时先启动本地服务并安装模型。Ollama 选择 OpenAI Endpoint,本地默认 http://127.0.0.1:11434/v1;本地默认免认证,受保护服务可使用其支持的 API Key 选项。Cloud 使用 https://ollama.com/v1。/api/tags 只是模型发现。

旧 api_mode: ollama、ollama.local.native、ollama.cloud.native 会被拒绝。重新运行向导,或明确改为 openai-compatible、服务的 /v1 地址,以及 ollama.local.openai/ollama.cloud.openai,不会静默迁移。

数据会发到所选服务商

完成请求所需的上下文、提示词、附件和工具结果可能离开设备。请先了解账号、费用、隐私及留存规则。

增加备用和媒体模型​

主模型工作后,再配置备用路由:

anyy setup model fallback

Dashboard 的 Text 分类可逐项启用/停用备用模型,设定顺序及 allow_reasoning_drop、allow_context_drop、max_attempts。它们只在错误策略允许且目标满足工具/媒体、推理历史、上下文要求时参与,不会并发询问所有模型或合并答案。允许较小上下文也不保证请求装得下。真正需要冗余时,使用独立 Endpoint 和凭据。验证备用目标时,在新会话里明确选中该 provider/model 并发送短提示;同样需要停用 fallback 或确认未回退,测后恢复原设置。只看目录检查结果不能确认它能生成回答。

会话自动重试与 fallback 次数分别控制,详见重试与路由。

Models 的 Image、Video、Voice 分类配置辅助路由:图片/视频原生输入依赖模型声明,summary_first 必须有专用模型;语音有独立协议和凭据。产品图片生成使用 OpenAI Responses;Codemode models.generateImages() 则使用另一条有类型接口,不能混用其配置。参阅图片生成、语音与听写。

没生效时检查什么​

现象优先核对
老对话仍用旧模型在该会话明确切换,或 /new
认证失败账号、Key/登录、Endpoint 凭据范围、Gateway 进程环境
找不到模型刷新目录,核对该 Endpoint 的准确模型 ID
本地连接失败服务是否启动、API 根地址是否正确
Fallback 没触发每条路由是否可用,启用/顺序/兼容性是否满足
延迟或费用超预期推理等级、重试、备用次数以及媒体路由

可视化操作见 Dashboard 模型。