跳到主要内容

媒体理解

如果图片能看懂、视频却只显示为文件,先检查输入界面,再检查模型。Anyy 的理解路由需要对应的媒体类型:同一文件通过不同入口进入,不一定有相同处理结果。

在 Dashboard 里先确认附件类型​

在 Dashboard → Chat 中发送消息前添加文件。单次上传最多 5 个文件,每个不超过 50 MiB;尚未被消息认领的临时附件会在 24 小时后过期。

Dashboard 将 JPEG、PNG 上传识别为图片。v0.1.107 中,其他上传内容包括音频、视频都作为普通文件附件,不会自动进入 STT 或视频理解。使用这些路由时,需要支持相应类型的渠道/输入路径交付 audio、voice 或 video 附件。

图片应配合明确问题:

检查这张表格截图,把第三行的项目名称和金额列出来;看不清的单元格请明确标出。

视频和录音需要什么输入路径​

类型支持路径
图片JPEG/PNG 图片附件;原生图片输入或专用摘要模型
视频由支持的输入路径交付的 MP4/WebM/QuickTime 视频附件;原生视频输入或专用摘要模型
音频由支持的输入路径交付的 audio/voice 附件;先用 STT 转成文字

服务商可能有更严格的格式、体积或时长限制。音频默认上限为 25 MiB、请求超时 60 秒、转写文字 12,000 字符,与 Dashboard 上传限制不同;部分语音协议/模型限制更小。

再检查负责处理的模型​

通过 Dashboard → Models 设置主模型和图片/视频/语音路由,也可使用相应 Tools 页面或 CLI:

anyy tools image understanding
anyy tools video understanding
anyy tools voice stt

所选模型必须声明相应输入能力;手动输入的未知模型不会自动被视为支持图片或视频。认证与路由见模型配置。

直接看原文件,还是先生成摘要​

模式图片/视频行为
auto / native_first优先使用当前模型声明的原生能力;需要时可通过已配置辅助路由生成摘要
summary_first先交给专用理解路由,再进入主对话;必须配置该路由
disabled关闭辅助理解路径;它不是阻止原生模型收到媒体的隐私开关

图片摘要默认为 160 Token/800 字符、超时 60 秒。摘要上限可能省略细节,应明确要求所需证据,并核验重要文字或时间点。缺少可用图片内容或兼容路径时,模型可能只收到省略/不可用标记;图片/视频摘要失败也可能表示为不可用。不要把附件存在当成已经理解。

音频采用 transcript_first。media_understanding.audio.on_failure 支持 annotate(默认)、ignore、fail,分别表示加入转写失败标记、不带转写继续、终止请求。说话人识别和逐字准确度取决于 STT 后端,附件支持本身不保证这些能力。

哪些内容可能发到外部​

原生媒体或辅助处理可能把内容发给所选服务商,后续主模型可能只收到摘要/转写文字。应了解每个所选服务商的数据留存和地区规则。大文件及转写可能增加延迟和费用。

常见问题​

现象检查项
Dashboard 音频/视频上传后显示普通文件这是当前行为;使用能交付相应媒体类型的输入路径
图片被省略或不可用使用有效 JPEG/PNG 内容和支持能力的原生/辅助路由
视频没有被理解检查附件类型、MP4/WebM/QuickTime 格式、能力与路由
音频没有转写检查 audio/voice 类型、STT 启用状态、协议及更小的限制
服务商拒绝体积或上下文压缩或裁剪内容,核对所选服务商限制

语音协议见语音与听写。