メディア理解

Anyyは互換性のあるモデルまたは文字起こし経路で画像、動画、音声を処理できます。入力画面は一致するメディア種別で添付を渡す必要があります。ファイルをアップロードしただけではモデル対応は確認できません。

Dashboardの添付

Dashboard → Chatで送信前にファイルを添付します。1アップロード要求は最大5ファイル、各50 MiBまで受け付けます。保留中の添付は、メッセージに引き取られなければ24時間で期限切れになります。

DashboardはJPEGとPNGのアップロードを画像として認識します。音声や動画を含むその他のアップロードはv0.1.107では通常のファイル添付であり、STTや動画理解に自動投入されません。これらの経路には、audio、voice、video添付を渡す対応チャンネル／入力経路を使います。

画像には明示的な指示を添えます。

Read this screenshot and list the visible error messages in order.

ランタイムへの入力

メディア	対応経路
画像	JPEG／PNG画像添付。ネイティブ画像入力または専用画像要約モデル
動画	対応入力経路が渡すMP4、WebM、QuickTime動画添付。ネイティブ動画入力または専用要約モデル
音声	対応入力経路が渡すaudio／voice添付。文字起こし優先のSTT

プロバイダーはより厳しい形式、サイズ、長さの制限を設ける場合があります。音声処理の既定値は25 MiB、要求時間60秒、文字起こし12,000文字で、Dashboardのアップロード上限とは別です。一部の音声プロトコル／モデルの上限はさらに小さくなります。

経路を設定する

Dashboard → Modelsでメインモデルと画像／動画／音声経路を設定します。同等の画像／動画ToolsページとCLI設定もあります。

anyy tools image understanding
anyy tools video understanding
anyy tools voice stt

選択モデルは入力能力を宣言している必要があります。手動入力した未知のモデルが、画像や動画対応として自動扱いされることはありません。認証とルーティングはモデル設定を参照してください。

処理モード

モード	画像／動画の動作
auto / native_first	現在モデルが宣言したネイティブ能力を優先。必要なら設定済み補助経路で要約を生成
summary_first	メイン会話前に専用理解経路を使用。その経路が必須
disabled	補助理解経路を無効化。ネイティブ対応モデルが添付メディアを受け取るのを防ぐプライバシースイッチではない

画像要約の既定上限は160トークン／800文字、タイムアウト60秒です。細かな情報が落ちる場合があるので、必要な証拠を指定し、重要な文字や時刻を確認してください。使用可能な画像バイト列や互換経路がなければ、モデルには画像の代わりに省略／利用不可の印が渡される場合があります。画像／動画要約の失敗も利用不可として表される場合があります。添付しただけで理解されたと仮定しないでください。

音声はtranscript_firstを使います。media_understanding.audio.on_failureはannotate（既定）、ignore、failを受け付け、それぞれ文字起こし失敗の印を追加、文字起こしなしで継続、要求を失敗させます。話者識別と逐語的な正確さはSTTバックエンドによって異なり、添付対応だけでは保証されません。

プライバシーと費用

ネイティブメディアや補助処理は、設定したプロバイダーにバイト列を送る場合があります。後のメインモデル要求は、代わりに要約／文字起こしを受け取る場合があります。選んだ全プロバイダーの保持・地域条件を確認してください。大きなメディアや文字起こしは遅延と費用を増やす場合があります。

トラブルシューティング

問題	確認する項目
Dashboardの動画／音声がファイルになる	現在のDashboardの動作。対応メディア種別を渡す入力経路を使用
画像が省略／利用不可になる	有効なJPEG/PNGバイト列と、対応するネイティブまたは補助経路を使用
動画を理解しない	入力添付種別、MP4/WebM/QuickTime形式、能力、経路
音声に文字起こしがない	audio／voice種別、STT有効化、プロトコル、小さい上限
プロバイダーがサイズ／コンテキストを拒否	入力を圧縮／短縮し、選択プロバイダーの制限を確認

音声プロトコルは音声機能を参照してください。