媒体理解
如果图片能看懂、视频却只显示为文件,先检查输入界面,再检查模型。Anyy 的理解路由需要对应的媒体类型:同一文件通过不同入口进入,不一定有相同处理结果。
在 Dashboard 里先确认附件类型
在 Dashboard → Chat 中发送消息前添加文件。单次上传最多 5 个文件,每个不超过 50 MiB;尚未被消息认领的临时附件会在 24 小时后过期。
Dashboard 将 JPEG、PNG 上传识别为图片。v0.1.107 中,其他上传内容包括音频、视频都作为普通文件附件,不会自动进入 STT 或视频理解。使用这些路由时,需要支持相应类型的渠道/输入路径交付 audio、voice 或 video 附件。
图片应配合明确问题:
检查这张表格截图,把第三行的项目名称和金额列出来;看不清的单元格请明确标出。
视频和录音需要什么输入路径
| 类型 | 支持路径 |
|---|---|
| 图片 | JPEG/PNG 图片附件;原生图片输入或专用摘要模型 |
| 视频 | 由支持的输入路径交付的 MP4/WebM/QuickTime 视频附件;原生视频输入或专用摘要模型 |
| 音频 | 由支持的输入路径交付的 audio/voice 附件;先用 STT 转成文字 |
服务商可能有更严格的格式、体积或时长限制。音频默认上限为 25 MiB、请求超时 60 秒、转写文字 12,000 字符,与 Dashboard 上传限制不同;部分语音协议/模型限制更小。
再检查负责处理的模型
通过 Dashboard → Models 设置主模型和图片/视频/语音路由,也可使用相应 Tools 页面或 CLI:
anyy tools image understanding
anyy tools video understanding
anyy tools voice stt
所选模型必须声明相应输入能力;手动输入的未知模型不会自动被视为支持图片或视频。认证与路由见模型配置。
直接看原文件,还是先生成摘要
| 模式 | 图片/视频行为 |
|---|---|
auto / native_first | 优先使用当前模型声明的原生能力;需要时可通过已配置辅助路由生成摘要 |
summary_first | 先交给专用理解路由,再进入主对话;必须配置该路由 |
disabled | 关闭辅助理解路径;它不是阻止原生模型收到媒体的隐私开关 |
图片摘要默认为 160 Token/800 字符、超时 60 秒。摘要上限可能省略细节,应明确要求所需证据,并核验重要文字或时间点。缺少可用图片内容或兼容路径时,模型可能只收到省略/不可用标记;图片/视频摘要失败也可能表示为不可用。不要把附件存在当成已经理解。
音频采用 transcript_first。media_understanding.audio.on_failure 支持 annotate(默认)、ignore、fail,分别表示加入转写失败标记、不带转写继续、终止请求。说话人识别和逐字准确度取决于 STT 后端,附件支持本身不保证这些能力。
哪些内容可能发到外部
原生媒体或辅助处理可能把内容发给所选服务商,后续主模型可能只收到摘要/转写文字。应了解每个所选服务商的数据留存和地区规则。大文件及转写可能增加延迟和费用。
常见问题
| 现象 | 检查项 |
|---|---|
| Dashboard 音频/视频上传后显示普通文件 | 这是当前行为;使用能交付相应媒体类型的输入路径 |
| 图片被省略或不可用 | 使用有效 JPEG/PNG 内容和支持能力的原生/辅助路由 |
| 视频没有被理解 | 检查附件类型、MP4/WebM/QuickTime 格式、能力与路由 |
| 音频没有转写 | 检查 audio/voice 类型、STT 启用状态、协议及更小的限制 |
| 服务商拒绝体积或上下文 | 压缩或裁剪内容,核对所选服务商限制 |
语音协议见语音与听写。