メインコンテンツまでスキップ

音声機能

Anyyは受信の**音声認識(STT)と送信の音声合成(TTS)**を分けています。一方だけでも設定できます。音声設定と認証情報は、動作中のテキストチャット経路とは独立しています。

設定とテスト​

Dashboard → Models → Voice、またはDashboard → Tools → Voiceを開きます。TTSかSTTを選び、APIルートと認証情報を入力し、モデルを検出または入力して、対応プロトコルを選びます。

TTSでは、声、応答形式、タイムアウト、最大文字数、自動返信動作を設定し、音声プレビューを使います。STTでは、言語、タイムアウト、サイズ/テキスト上限、失敗ポリシーを設定し、接続テストを行います。カタログ取得だけでは、そのアカウントで実際の合成や文字起こしが動くことは証明できません。

CLIウィザード:

anyy tools voice tts
anyy tools voice stt

音声プロトコル​

機能protocol要求契約
TTSaudio-speechAudio Speechエンドポイント(/audio/speech)
TTSchat-audio-output音声生成付きChat Completions(/chat/completions)
STTaudio-transcriptionsMultipart Audio Transcriptions(/audio/transcriptions)
STTchat-audio-input音声入力付きChat Completions(/chat/completions)

https://api.example.com/v1のようなAPIルートを使い、/models、/audio/speech、/audio/transcriptions、/chat/completionsは指定しません。正規の音声エンドポイント形式にはHTTPSが必要ですが、ローカルサーバーのループバックHTTPは例外です。URL内認証情報、クエリ、フラグメント、認証情報付きリダイレクトは拒否されます。

既知のモデル契約では対応プロトコルが選ばれます。たとえば実装済みのmimo-v2.5-ttsはchat-audio-output、mimo-v2.5-asrはchat-audio-inputを使います。これにより将来の任意のMiMo ID、リアルタイム音声、声の複製、声の設計、話者分離が対応になるわけではありません。これら専用モデルは通常検出から除外されます。未知の手動入力モデルには、明示的に有効なプロトコルと成功するテストが必要です。

高度なProfile設定では、名前付きopenai/openai-compatibleや信頼するローカルcommandプロバイダーにも対応し、TTSは名前付きopenai-chat-audioにも対応します。コマンド経路はHTTP Base URLにコマンドを入れず、tts.providersまたはmedia_understanding.audio.providersに設定します。

音声を文字起こしする​

対応するaudio/voice添付を渡すチャンネル/入力経路を使います。設定STT経路が会話要求の前に変換します。現在のDashboard直接アップロードはPNG/JPEG以外を通常ファイルに分類するため、そこに音声をアップロードしてもSTTは自動起動しません。メディア理解を参照してください。

既定の音声ポリシーは文字起こし優先、最大入力25 MiB、文字起こし12,000文字、タイムアウト60秒です。失敗はannotate、ignore、failで制御します。音声エンドポイントのタイムアウト上限は600,000 msです。プロトコル/モデルの上限がさらに小さい場合があり、mimo-v2.5-asrはMP3/WAVだけを受け付け、base64入力は10,000,000バイト(生データ最大7,500,000バイト)に制限します。

対応している場合は言語ヒントを送ります。逐語的な文字起こしや話者ラベルを保証せず、誤ったヒントは多言語認識を悪化させる場合があります。

音声返信を生成する​

text_to_speechツールが利用できる場合は依頼します。

Reply with a short voice message in a calm tone.

成功結果はAI生成音声として示された音声添付になります。配信はエンドポイント、形式、宛先チャンネルで決まります。標準TTSアダプターは既定で入力4,096文字までとし、長い文章は切り詰めます。適切な上限を設定するか短い返信を依頼してください。プレビューや合成要求で有料利用枠を消費する場合があります。

チャンネルの自動返信​

voice.auto_ttsがチャンネル動作の既定値です。対応するチャンネル会話では次を使えます。

コマンド動作
/voiceオフと音声入力だけへの音声返信を切り替え
/voice on音声入力への返信を音声化
/voice ttsすべての返信を音声化
/voice offこの会話の自動音声を無効化
/voice statusモードと、明示設定か既定設定かを表示

会話設定はProfileの既定値を上書きします。動作するTTSと対応する音声配信は必要であり、チャンネルのサイズ/形式制限は回避しません。

音声は内容をプロバイダーに送ります

録音、文字起こし、返信文はデバイス外へ送られる場合があります。機密内容を使う前に、プライバシー、保持、地域、料金の条件を確認してください。

トラブルシューティング​

症状確認する項目
音声に文字起こしがない添付がaudio/voice、STTが有効、形式/サイズ/プロトコルが対応
TTSツールがない経路が設定・有効化済みで、会話のツールにtext_to_speechが公開されているか
プレビュー失敗APIルート、認証情報、モデル、プロトコル、声、出力形式
チャンネルにテキストだけ届く音声モード、TTS利用可否、チャンネルの音声配信対応
音声が途切れるTTS文字数上限、STT上限、プロバイダーのタイムアウト