模型設定
初次使用先接通一個主模型;圖片、語音和備用模型可以隨後設定。本頁按 v0.1.107 的實際入口說明操作。
先讓主模型完成一次請求
在終端機執行:
anyy setup model
也可以開啟 Dashboard → Models → Main model。按所選服務依次確定 Endpoint/Protocol、認證方式、Base URL 和準確模型 ID。精靈支援讀取目錄,也允許手動填寫。
核對摘要後儲存。Dashboard 的 Test connection 只檢查待儲存或已儲存連線的模型目錄是否可存取,以及所選 ID 是否出現在目錄中,不會傳送對話產生請求。
儲存後,再建立 Chat 工作階段,核對頂部選中的 provider/model,傳送「請回復:連線已確認」這樣一句短提示,並確認確實收到回答。驗收前可暫時停用已設定的 fallback,測試後復原原設定;若保留 fallback,就須核實這筆回答確實來自所測 provider/model,而且沒有退回。選擇器裡的名稱加上一則成功回覆,不能單獨證明是誰產生了回答;目錄、登入和設定狀態同樣不能替代驗證。設定後還可檢視:
anyy config
anyy status
anyy config 唯讀顯示非敏感設定、路徑和認證資料引用狀態,不輸出金鑰。
改預設模型,還是只改這次對話?
| 需求 | 操作 |
|---|---|
| 後續新工作階段都用另一個模型 | 修改 Models 中的主模型,或重新執行 anyy setup model |
| 目前 Chat 改模型 | 使用 Chat 模型/推理選擇器 |
| 目前 TUI 改模型或服務商 | /model、/provider |
| 修改推理強度 | /effort 或相應介面控制項 |
| 從空上下文重新開始 | /new |
已有工作階段可以保留自己的模型和推理狀態,不會僅因預設模型改變就全部切換。改變模型或推理可能降低 Prompt Cache 重複使用率並增加費用。
推理預設值
可儲存的等級是 off、minimal、low、medium、high、xhigh、max。所選模型會把請求調整到它實際支援的等級;不能關閉推理的模型可能把 Off 調整為另一等級。非推理模型使用 off,也沒有強度選擇器。
| 場景 | 調整前先讀取什麼 |
|---|---|
| 新工作階段 | 單模型偏好 → 全域偏好 → medium |
| 切換模型 | 目標模型偏好 → 全域偏好 → 目前工作階段等級 → medium |
| 復原有訊息的分支 | 分支儲存等級;沒有時,全域 → medium |
| 復原空分支 | 初始模型預設值,以及單模型 → 全域 → medium |
復原有訊息的分支時,儲存的模型/等級優先於後來修改的設定;忙碌工作階段不改變。復原選擇本身不請求模型,尚未選模型時初始等級為 off。
設定/API 中的 inference.level 保留請求偏好,inference.effective_level 是唯讀的實際結果。全域預覽不讀取單模型覆蓋,因此可能和新工作階段不同;儲存尚未調整過的 Dashboard 強度控制項,也不會把顯示出來的派生值寫成偏好。
TUI /effort 中,Enter 套用目前選擇並儲存全域請求偏好,但保留 Profile 已儲存的 provider/model;Alt+S 只改目前工作階段。這兩種操作都不寫單模型偏好。準確 YAML 鍵和舊設定遷移見推理設定與遷移。
OpenAI 相容 Chat 還會保留 API 實際回傳的非空 reasoning_content、reasoning 或 reasoning_text,不要求目錄預先標記推理能力;結構化 reasoning_details 只作為不透明歷史儲存。同一目標的後續請求自動還原原生思考欄位,切換目標按協定轉換歷史。無需另加回放切換開關,也不要把隱藏思考複製到回答正文。
認證資料和帳號
由 Anyy 代管的 Key 位於 <ProfileHome>/secrets/,檔案權限為 0600,設定儲存引用。替換、清除、連線或斷開認證資料,應回到 Models 或原設定入口。
Codex 提供 ChatGPT 訂閱裝置登入;Anthropic 的 Claude Code 訂閱選項接受外部取得的 setup token。它們不是面向所有服務商的通用 OAuth 登入,目錄中的阻止選項仍不可用。登入和目錄讀取成功不能代替真實帳號的模型請求測試。
使用 env:MY_MODEL_KEY 等引用時,變數必須進入常駐 Gateway 的程序環境;只在另一個終端機匯出通常不夠。不要把金鑰貼進提示詞、Shell 歷史、截圖或支援報告。
服務商和本機位址怎麼選
一般對話目前支援五類協定:openai-compatible、openai-responses、codex-responses、anthropic-messages、google-gemini,共享行為參考固定 Pi v1.2.0。相容服務必須真的實現所選協定;手動填寫模型不會自動增加圖片、工具或推理能力。
原生 Azure OpenAI Responses、Bedrock Converse、Google Vertex、Mistral Conversations、pi-messages 尚未獨立實現。服務商品牌或目錄條目不代表原生協定支援,完整邊界見服務商協定與模型介面。
使用 Ollama/LM Studio 時先啟動本機服務並安裝模型。Ollama 選擇 OpenAI Endpoint,本機預設 http://127.0.0.1:11434/v1;本機預設免認證,受保護服務可使用其支援的 API Key 選項。Cloud 使用 https://ollama.com/v1。/api/tags 只是模型發現。
舊 api_mode: ollama、ollama.local.native、ollama.cloud.native 會被拒絕。重新執行精靈,或明確改為 openai-compatible、服務的 /v1 位址,以及 ollama.local.openai/ollama.cloud.openai,不會靜默遷移。
完成請求所需的上下文、提示詞、附件和工具結果可能離開裝置。請先了解帳號、費用、隱私及留存規則。
增加備用和媒體模型
主模型工作後,再設定備用路由:
anyy setup model fallback
Dashboard 的 Text 分類可逐項啟用/停用備用模型,設定順序及 allow_reasoning_drop、allow_context_drop、max_attempts。它們只在錯誤策略允許且目標滿足工具/媒體、推理歷史、上下文要求時參與,不會併發詢問所有模型或合併答案。允許較小的上下文視窗,也不保證請求內容能完整容納。真正需要冗餘時,使用獨立 Endpoint 和認證資料。驗證備用目標時,在新工作階段裡明確選中該 provider/model 並傳送短提示;同樣需要停用 fallback 或確認未退回,測後復原原設定。只看目錄檢查結果不能確認它能產生回答。
工作階段自動重試與 fallback 次數分別控制,詳見重試與路由。
Models 的 Image、Video、Voice 分類設定輔助路由:圖片/影片原生輸入依賴模型宣告,summary_first 必須有專用模型;語音有獨立協定和認證資料。產品圖片產生使用 OpenAI Responses;Codemode models.generateImages() 則使用另一種具型別介面,不能混用其設定。參閱圖片產生、語音與聽寫。
沒生效時檢查什麼
| 現象 | 優先核對 |
|---|---|
| 既有對話仍用舊模型 | 在該工作階段明確切換,或 /new |
| 認證失敗 | 帳號、Key/登入、Endpoint 認證資料範圍、Gateway 程序環境 |
| 找不到模型 | 重新整理目錄,核對該 Endpoint 的準確模型 ID |
| 本機連線失敗 | 服務是否啟動、API 根位址是否正確 |
| Fallback 沒觸發 | 每條路由是否可用,啟用/順序/相容性是否滿足 |
| 延遲或費用超預期 | 推理等級、重試、備用次數以及媒體路由 |
視覺化操作見 Dashboard 模型。