跳至主要內容

媒體理解

若圖片能被理解、影片卻只顯示為檔案,先檢查輸入介面,再檢查模型。Anyy 的理解路由需要對應的媒體型別:同一檔案透過不同入口進入,不一定有相同處理結果。

在 Dashboard 裡先確認附件型別​

在 Dashboard → Chat 中傳送訊息前新增檔案。單次上傳最多 5 個檔案,每個不超過 50 MiB;尚未被訊息認領的臨時附件會在 24 小時後過期。

Dashboard 將 JPEG、PNG 上傳辨識為圖片。v0.1.107 中,其他上傳內容包括音訊、影片都作為一般檔案附件,不會自動進入 STT 或影片理解。使用這些路由時,需要支援相應型別的通訊管道/輸入路徑交付 audio、voice 或 video 附件。

圖片應配合明確問題:

检查这张表格截图,把第三行的项目名称和金额列出来;看不清的单元格请明确标出。

影片和錄音需要什麼輸入路徑​

型別支援路徑
圖片JPEG/PNG 圖片附件;原生圖片輸入或專用摘要模型
影片由支援的輸入路徑交付的 MP4/WebM/QuickTime 影片附件;原生影片輸入或專用摘要模型
音訊由支援的輸入路徑交付的 audio/voice 附件;先用 STT 轉成文字

服務商可能有更嚴格的格式、大小或時長限制。音訊預設上限為 25 MiB、請求逾時 60 秒、轉寫文字 12,000 字元,與 Dashboard 上傳限制不同;部分語音協定/模型限制更小。

再檢查負責處理的模型​

透過 Dashboard → Models 設定主模型和圖片/影片/語音路由,也可使用相應 Tools 頁面或 CLI:

anyy tools image understanding
anyy tools video understanding
anyy tools voice stt

所選模型必須宣告相應輸入能力;手動輸入的未知模型不會自動被視為支援圖片或影片。認證與路由見模型設定。

直接看原檔案,還是先產生摘要​

模式圖片/影片行為
auto / native_first優先使用目前模型宣告的原生能力;需要時可透過已設定輔助路由產生摘要
summary_first先交給專用理解路由,再進入主對話;必須設定該路由
disabled關閉輔助理解路徑;它不是阻止原生模型收到媒體的隱私切換開關

圖片摘要預設為 160 Token/800 字元、逾時 60 秒。摘要上限可能省略細節,應明確要求所需證據,並核驗重要文字或時間點。缺少可用圖片內容或相容路徑時,模型可能只收到省略/不可用標記;圖片/影片摘要失敗也可能表示為不可用。不要把附件存在當成已經理解。

音訊採用 transcript_first。media_understanding.audio.on_failure 支援 annotate(預設)、ignore、fail,分別表示加入轉寫失敗標記、不附轉寫文字而繼續、終止請求。說話者辨識和逐字準確度取決於 STT 後端,附件支援本身不保證這些能力。

哪些內容可能傳送到外部​

原生媒體或輔助處理可能把內容傳送給所選服務商,後續主模型可能只收到摘要/轉寫文字。應了解每個所選服務商的資料留存和地區規則。大檔案及轉寫可能增加延遲和費用。

常見問題​

現象檢查項
Dashboard 音訊/影片上傳後顯示一般檔案這是目前行為;使用能交付相應媒體型別的輸入路徑
圖片被省略或不可用使用有效 JPEG/PNG 內容和支援能力的原生/輔助路由
影片沒有被理解檢查附件型別、MP4/WebM/QuickTime 格式、能力與路由
音訊沒有轉寫檢查 audio/voice 型別、STT 啟用狀態、協定及更小的限制
服務商拒絕大小或上下文壓縮或裁剪內容,核對所選服務商限制

語音協定見語音與聽寫。