模型配置
初次使用先接通一个主模型;图片、语音和备用模型可以随后配置。本页按 v0.1.107 的实际入口说明操作。
先让主模型完成一次请求
在终端运行:
anyy setup model
也可以打开 Dashboard → Models → Main model。按所选服务依次确定 Endpoint/Protocol、认证方式、Base URL 和准确模型 ID。向导支持读取目录,也允许手动填写。
核对摘要后保存。Dashboard 的 Test connection 只检查待保存或已保存连接的模型目录是否可访问,以及所选 ID 是否出现在目录中,不会发送对话生成请求。
保存后,再新建 Chat 会话,核对顶部选中的 provider/model,发送“请回复:连接已确认”这样一句短提示,并确认确实收到回答。验收前可暂时停用已配置的 fallback,测试后恢复原设置;若保留 fallback,就须核实这条回答确实来自所测 provider/model,而且没有回退。选择器里的名称加上一条成功回复,不能单独证明是谁生成了回答;目录、登录和配置状态同样不能替代验证。设置后还可查看:
anyy config
anyy status
anyy config 只读显示非敏感设置、路径和凭据引用状态,不输出密钥。
改默认模型,还是只改这次对话?
| 需求 | 操作 |
|---|---|
| 后续新会话都用另一个模型 | 修改 Models 中的主模型,或重跑 anyy setup model |
| 当前 Chat 改模型 | 使用 Chat 模型/推理选择器 |
| 当前 TUI 改模型或服务商 | /model、/provider |
| 修改推理强度 | /effort 或相应界面控件 |
| 从空上下文重新开始 | /new |
已有会话可以保留自己的模型和推理状态,不会仅因默认模型改变就全部切换。改变模型或推理可能降低 Prompt Cache 复用率并增加费用。
推理默认值
可保存的等级是 off、minimal、low、medium、high、xhigh、max。所选模型会把请求调整到它实际支持的等级;不能关闭推理的模型可能把 Off 调整为另一等级。非推理模型使用 off,也没有强度选择器。
| 场景 | 调整前先读取什么 |
|---|---|
| 新会话 | 单模型偏好 → 全局偏好 → medium |
| 切换模型 | 目标模型偏好 → 全局偏好 → 当前会话等级 → medium |
| 恢复有消息的分支 | 分支保存等级;没有时,全局 → medium |
| 恢复空分支 | 初始模型默认值,以及单模型 → 全局 → medium |
恢复有消息的分支时,保存的模型/等级优先于后来修改的配置;忙碌会话不改变。恢复选择本身不请求模型,尚未选模型时初始等级为 off。
配置/API 中的 inference.level 保留请求偏好,inference.effective_level 是只读的实际结果。全局预览不读取单模型覆盖,因此可能和新会话不同;保存未操作过的 Dashboard 强度控件,也不会把显示出来的派生值写成偏好。
TUI /effort 中,Enter 应用当前选择并保存全局请求偏好,但保留 Profile 已保存的 provider/model;Alt+S 只改当前会话。这两种操作都不写单模型偏好。准确 YAML 键和旧配置迁移见推理配置与迁移。
OpenAI 兼容 Chat 还会保留 API 实际返回的非空 reasoning_content、reasoning 或 reasoning_text,不要求目录预先标记推理能力;结构化 reasoning_details 只作为不透明历史保存。同一目标的后续请求自动还原原生思考字段,切换目标按协议转换历史。无需另加回放开关,也不要把隐藏思考复制到回答正文。
凭据和账号
由 Anyy 托管的 Key 位于 <ProfileHome>/secrets/,文件权限为 0600,配置保存引用。替换、清除、连接或断开凭据,应回到 Models 或原设置入口。
Codex 提供 ChatGPT 订阅设备登录;Anthropic 的 Claude Code 订阅选项接受外部取得的 setup token。它们不是面向所有服务商的通用 OAuth 登录,目录中的阻止选项仍不可用。登录和目录读取成功不能代替真实账号的模型请求测试。
使用 env:MY_MODEL_KEY 等引用时,变量必须进入常驻 Gateway 的进程环境;只在另一个终端导出通常不够。不要把密钥贴进提示词、Shell 历史、截图或支持报告。
服务商和本地地址怎么选
普通对话目前支持五类协议:openai-compatible、openai-responses、codex-responses、anthropic-messages、google-gemini,共享行为参考固定 Pi v1.2.0。兼容服务必须真的实现所选协议;手动填写模型不会自动增加图片、工具或推理能力。
原生 Azure OpenAI Responses、Bedrock Converse、Google Vertex、Mistral Conversations、pi-messages 尚未独立实现。服务商品牌或目录条目不等于原生协议支持,完整边界见服务商协议与模型接口。
使用 Ollama/LM Studio 时先启动本地服务并安装模型。Ollama 选择 OpenAI Endpoint,本地默认 http://127.0.0.1:11434/v1;本地默认免认证,受保护服务可使用其支持的 API Key 选项。Cloud 使用 https://ollama.com/v1。/api/tags 只是模型发现。
旧 api_mode: ollama、ollama.local.native、ollama.cloud.native 会被拒绝。重新运行向导,或明确改为 openai-compatible、服务的 /v1 地址,以及 ollama.local.openai/ollama.cloud.openai,不会静默迁移。
完成请求所需的上下文、提示词、附件和工具结果可能离开设备。请先了解账号、费用、隐私及留存规则。
增加备用和媒体模型
主模型工作后,再配置备用路由:
anyy setup model fallback
Dashboard 的 Text 分类可逐项启用/停用备用模型,设定顺序及 allow_reasoning_drop、allow_context_drop、max_attempts。它们只在错误策略允许且目标满足工具/媒体、推理历史、上下文要求时参与,不会并发询问所有模型或合并答案。允许较小上下文也不保证请求装得下。真正需要冗余时,使用独立 Endpoint 和凭据。验证备用目标时,在新会话里明确选中该 provider/model 并发送短提示;同样需要停用 fallback 或确认未回退,测后恢复原设置。只看目录检查结果不能确认它能生成回答。
会话自动重试与 fallback 次数分别控制,详见重试与路由。
Models 的 Image、Video、Voice 分类配置辅助路由:图片/视频原生输入依赖模型声明,summary_first 必须有专用模型;语音有独立协议和凭据。产品图片生成使用 OpenAI Responses;Codemode models.generateImages() 则使用另一条有类型接口,不能混用其配置。参阅图片生成、语音与听写。
没生效时检查什么
| 现象 | 优先核对 |
|---|---|
| 老对话仍用旧模型 | 在该会话明确切换,或 /new |
| 认证失败 | 账号、Key/登录、Endpoint 凭据范围、Gateway 进程环境 |
| 找不到模型 | 刷新目录,核对该 Endpoint 的准确模型 ID |
| 本地连接失败 | 服务是否启动、API 根地址是否正确 |
| Fallback 没触发 | 每条路由是否可用,启用/顺序/兼容性是否满足 |
| 延迟或费用超预期 | 推理等级、重试、备用次数以及媒体路由 |
可视化操作见 Dashboard 模型。