跳到主要内容

语音与听写

先确定需要“听写录音”还是“用声音回复”:前者配置 STT,后者配置 TTS,两者互不要求。主聊天模型已经可用,也还需要单独接通语音接口与凭据。

配置与测试​

进入 Dashboard → Models → Voice,或 Dashboard → Tools → Voice。选择 TTS/STT,填写 API 根地址和凭据,发现或输入模型,并选择匹配的协议。

TTS 可设置音色、响应格式、超时、最大文字长度和自动回复行为,并进行试听。STT 可设置语言、超时、体积/文字限制和失败策略,再执行连接测试。目录读取成功不代表账号已经能够完成真实合成或转写。

CLI 向导:

anyy tools voice tts
anyy tools voice stt

把收到的录音转成文字​

使用可交付受支持 audio 或 voice 附件的渠道/输入路径,配置的 STT 会在对话请求前转写。Dashboard 直接上传目前把 PNG/JPEG 以外的内容标为普通文件,因此在那里上传音频不会自动触发 STT。详见媒体理解。

音频默认先转文字,输入最多 25 MiB、转写文字最多 12,000 字符、超时 60 秒。annotate、ignore、fail 控制转写失败行为。规范语音 Endpoint 超时上限为 600,000 ms;协议/模型可有更小限制,例如 mimo-v2.5-asr 仅接受 MP3/WAV,base64 输入最多 10,000,000 字节,对应原始内容最多 7,500,000 字节。

支持时会发送语言提示;它不保证逐字准确或说话人标签,错误提示也可能影响多语言识别。

让 Anyy 发一段声音​

text_to_speech 工具可用时,可以要求:

把刚才的会议安排用一段简短语音读给我听。

成功结果保存为音频附件,并标明 AI 生成声音。投递取决于 Endpoint、输出格式和目标渠道。标准 TTS 适配器默认接受 4,096 字符并截断更长文字;请设置合适上限或要求简短回复。试听和合成都可能消耗付费配额。

渠道自动语音回复​

voice.auto_tts 提供渠道默认行为。在支持的渠道会话中:

命令行为
/voice在关闭与仅语音输入回复之间切换
/voice on对语音输入的回复生成声音
/voice tts对所有回复生成声音
/voice off关闭本对话的自动语音
/voice status显示模式及其来自显式设置还是默认值

会话设置覆盖 Profile 默认值,仍要求 TTS 可用及渠道支持音频投递,不绕过渠道的体积/格式限制。

高级设置:协议必须和模型匹配​

能力protocol请求契约
TTSaudio-speechAudio Speech(/audio/speech)
TTSchat-audio-output含音频输出的 Chat Completions(/chat/completions)
STTaudio-transcriptionsMultipart Audio Transcriptions(/audio/transcriptions)
STTchat-audio-input含音频输入的 Chat Completions(/chat/completions)

填写 https://api.example.com/v1 这样的 API 根地址,不要填写 /models、/audio/speech、/audio/transcriptions 或 /chat/completions。规范语音 Endpoint 表单要求 HTTPS,仅本地 loopback 服务可用 HTTP;URL 不能含凭据、查询参数或片段,也不会携带凭据跟随重定向。

已知模型契约会选择匹配协议。例如,已实现的 mimo-v2.5-tts 使用 chat-audio-output,mimo-v2.5-asr 使用 chat-audio-input。这不代表任意未来 MiMo ID、实时语音、声音克隆、声音设计或说话人分离已受支持;这些专用模型不进入普通目录发现。手动输入未知模型时,需要明确的有效协议并通过测试。

高级 Profile 配置还支持命名的 openai/openai-compatible 或可信本地 command Provider;TTS 另支持命名的 openai-chat-audio。Command 路由配置于 tts.providers 或 media_understanding.audio.providers,不能把命令填进 HTTP Base URL。

语音内容会发给服务商

录音、转写文字或回复文字可能离开设备。处理敏感资料前,请了解服务商的隐私、留存、地区和计费规则。

常见问题​

现象检查项
音频没有转写附件类型是 audio/voice,STT 已启用且格式、大小、协议受支持
TTS 工具不可用路由已配置并启用,会话工具暴露 text_to_speech
试听失败API 根地址、凭据、模型、协议、音色和输出格式
渠道只有文字语音模式、TTS 可用性及渠道音频投递能力
语音内容截断TTS 文字上限、STT 限制或 Provider 超时