Compréhension des médias

Anyy peut traiter images, vidéos et audio via des routes de modèles ou de transcription compatibles. L’interface d’entrée doit livrer la pièce jointe avec le bon type de média ; importer un fichier ne suffit pas à établir sa prise en charge par le modèle.

Pièces jointes Dashboard

Dans Dashboard → Chat, joignez les fichiers avant l’envoi. Une requête accepte cinq fichiers au maximum, de 50 Mio chacun. Les pièces en attente expirent après 24 heures si aucun message ne les réclame.

Dashboard reconnaît les JPEG et PNG comme images. Les autres imports, audio et vidéo compris, sont des fichiers ordinaires dans v0.1.107 ; ils ne passent pas automatiquement par STT ou la compréhension vidéo. Utilisez un canal/parcours compatible livrant des pièces audio, voice ou video pour ces routes.

Donnez une instruction explicite pour les images :

Read this screenshot and list the visible error messages in order.

Entrées à l’exécution

Média	Route compatible
Image	Pièce JPEG ou PNG ; entrée image native ou modèle dédié de résumé d’image
Vidéo	Pièce MP4, WebM ou QuickTime livrée par un parcours compatible ; entrée vidéo native ou modèle de résumé dédié
Audio	Pièce audio/voice livrée par un parcours compatible ; STT avec transcription préalable

Le fournisseur peut imposer des formats, tailles ou durées plus restrictifs. L’audio est limité par défaut à 25 Mio, 60 secondes de requête et 12 000 caractères transcrits, indépendamment de la limite d’import Dashboard. Certains protocoles/modèles vocaux acceptent moins.

Configurer les routes

Utilisez Dashboard → Models pour le modèle principal et les routes image/vidéo/parole. Les pages Tools équivalentes et la CLI sont aussi disponibles :

anyy tools image understanding
anyy tools video understanding
anyy tools voice stt

Le modèle choisi doit déclarer la capacité d’entrée. Un modèle inconnu saisi manuellement n’est pas automatiquement considéré compatible vision ou vidéo. Consultez Configurer les modèles pour l’authentification et le routage.

Modes de traitement

Mode	Comportement image/vidéo
auto / native_first	Préfère la capacité native déclarée du modèle actuel ; une route auxiliaire configurée peut produire un résumé au besoin
summary_first	Utilise une route dédiée avant la conversation principale ; cette route est obligatoire
disabled	Désactive la compréhension auxiliaire ; ce n’est pas un contrôle de confidentialité empêchant les modèles natifs de recevoir les médias joints

Les résumés d’image sont limités par défaut à 160 tokens/800 caractères et 60 secondes. Ces limites peuvent omettre des détails ; demandez les preuves voulues et vérifiez textes ou horodatages importants. Sans octets image utilisables ou route compatible, le modèle peut recevoir une indication d’omission/indisponibilité au lieu de l’image. Les échecs de résumé image/vidéo peuvent aussi être représentés comme indisponibles ; ne supposez pas qu’un fichier joint a été compris.

L’audio utilise transcript_first. media_understanding.audio.on_failure accepte annotate (par défaut), ignore ou fail : respectivement ajouter un marqueur d’échec, poursuivre sans transcription ou faire échouer la requête. Identification des locuteurs et fidélité dépendent du service STT ; la prise en charge des pièces jointes ne les garantit pas.

Confidentialité et coût

Les médias natifs ou le traitement auxiliaire peuvent envoyer les octets au fournisseur configuré. Une requête principale ultérieure peut recevoir un résumé/une transcription à la place. Examinez les règles de conservation et de région de chaque fournisseur. Les médias volumineux et transcriptions peuvent augmenter latence et coût.

Dépannage

Problème	Points à vérifier
Dashboard importe vidéo/audio comme fichier	Comportement actuel ; utilisez un parcours livrant le type de média correspondant
Image omise ou indisponible	Utilisez des octets JPEG/PNG valides et une route native ou auxiliaire capable
Vidéo incomprise	Type de pièce, format MP4/WebM/QuickTime, capacité et route
Audio sans transcription	Type audio/voice, activation STT, protocole et limites plus petites
Le fournisseur rejette taille/contexte	Compressez/raccourcissez l’entrée et vérifiez ses limites

Consultez Voix et parole pour les protocoles vocaux.