媒體理解
若圖片能被理解、影片卻只顯示為檔案,先檢查輸入介面,再檢查模型。Anyy 的理解路由需要對應的媒體型別:同一檔案透過不同入口進入,不一定有相同處理結果。
在 Dashboard 裡先確認附件型別
在 Dashboard → Chat 中傳送訊息前新增檔案。單次上傳最多 5 個檔案,每個不超過 50 MiB;尚未被訊息認領的臨時附件會在 24 小時後過期。
Dashboard 將 JPEG、PNG 上傳辨識為圖片。v0.1.107 中,其他上傳內容包括音訊、影片都作為一般檔案附件,不會自動進入 STT 或影片理解。使用這些路由時,需要支援相應型別的通訊管道/輸入路徑交付 audio、voice 或 video 附件。
圖片應配合明確問題:
检查这张表格截图,把第三行的项目名称和金额列出来;看不清的单元格请明确标出。
影片和錄音需要什麼輸入路徑
| 型別 | 支援路徑 |
|---|---|
| 圖片 | JPEG/PNG 圖片附件;原生圖片輸入或專用摘要模型 |
| 影片 | 由支援的輸入路徑交付的 MP4/WebM/QuickTime 影片附件;原生影片輸入或專用摘要模型 |
| 音訊 | 由支援的輸入路徑交付的 audio/voice 附件;先用 STT 轉成文字 |
服務商可能有更嚴格的格式、大小或時長限制。音訊預設上限為 25 MiB、請求逾時 60 秒、轉寫文字 12,000 字元,與 Dashboard 上傳限制不同;部分語音協定/模型限制更小。
再檢查負責處理的模型
透過 Dashboard → Models 設定主模型和圖片/影片/語音路由,也可使用相應 Tools 頁面或 CLI:
anyy tools image understanding
anyy tools video understanding
anyy tools voice stt
所選模型必須宣告相應輸入能力;手動輸入的未知模型不會自動被視為支援圖片或影片。認證與路由見模型設定。
直接看原檔案,還是先產生摘要
| 模式 | 圖片/影片行為 |
|---|---|
auto / native_first | 優先使用目前模型宣告的原生能力;需要時可透過已設定輔助路由產生摘要 |
summary_first | 先交給專用理解路由,再進入主對話;必須設定該路由 |
disabled | 關閉輔助理解路徑;它不是阻止原生模型收到媒體的隱私切換開關 |
圖片摘要預設為 160 Token/800 字元、逾時 60 秒。摘要上限可能省略細節,應明確要求所需證據,並核驗重要文字或時間點。缺少可用圖片內容或相容路徑時,模型可能只收到省略/不可用標記;圖片/影片摘要失敗也可能表示為不可用。不要把附件存在當成已經理解。
音訊採用 transcript_first。media_understanding.audio.on_failure 支援 annotate(預設)、ignore、fail,分別表示加入轉寫失敗標記、不附轉寫文字而繼續、終止請求。說話者辨識和逐字準確度取決於 STT 後端,附件支援本身不保證這些能力。
哪些內容可能傳送到外部
原生媒體或輔助處理可能把內容傳送給所選服務商,後續主模型可能只收到摘要/轉寫文字。應了解每個所選服務商的資料留存和地區規則。大檔案及轉寫可能增加延遲和費用。
常見問題
| 現象 | 檢查項 |
|---|---|
| Dashboard 音訊/影片上傳後顯示一般檔案 | 這是目前行為;使用能交付相應媒體型別的輸入路徑 |
| 圖片被省略或不可用 | 使用有效 JPEG/PNG 內容和支援能力的原生/輔助路由 |
| 影片沒有被理解 | 檢查附件型別、MP4/WebM/QuickTime 格式、能力與路由 |
| 音訊沒有轉寫 | 檢查 audio/voice 型別、STT 啟用狀態、協定及更小的限制 |
| 服務商拒絕大小或上下文 | 壓縮或裁剪內容,核對所選服務商限制 |
語音協定見語音與聽寫。