Comparaison directe

La comparaison directe permet d'évaluer plusieurs modèles d'IA sur une même requête.

Ce mode est utile pour déterminer quel modèle est le plus performant pour une tâche spécifique, comme :

– rédaction

– programmation
– analyse

– raisonnement

– synthèse

– traduction

– stratégie produit

– explication technique

Avec la comparaison directe, MagicHarbor peut exécuter la même requête sur les modèles sélectionnés et afficher des résultats structurés.

La comparaison peut inclure :

– réponses des modèles

– temps de réponse

– utilisation des jetons

– coût estimé

– score de clarté

– score de détail

– score de valeur

– meilleurs modèles par catégorie

– résumé global

Cela offre aux utilisateurs un moyen pratique de comparer les modèles dans des conditions similaires, au lieu de se fier uniquement à des benchmarks ou des hypothèses générales.

Analyse comparative

MagicHarbor peut synthétiser les résultats de la comparaison directe à l'aide de plusieurs catégories de comparaison.

Les catégories de comparaison typiques peuvent inclure :

– Réponse la plus directe

– Réponse la plus détaillée

– Réponse la plus claire

– Meilleur rapport qualité-prix

– Meilleur résultat global

Ces catégories sont conçues pour aider les utilisateurs à comprendre non seulement quel modèle a répondu, mais aussi comment chaque modèle s’est comporté en situation réelle.

Les résultats des comparaisons directes doivent être considérés comme des évaluations spécifiques à chaque tâche. Un modèle performant pour une requête donnée peut ne pas être le plus adapté à une autre tâche.

Utilisation et limites

L’utilisation dépend de votre solde disponible.

Chaque requête consomme des crédits en fonction du modèle sélectionné, du tarif du fournisseur, de l’utilisation des jetons et de la complexité de la tâche.

Si votre solde atteint zéro, l’accès aux services d’IA est suspendu jusqu’à ce que vous rechargiez votre compte.

Les coûts peuvent varier d’un modèle à l’autre. Un modèle plus avancé ou plus lent peut consommer plus de crédits qu’un modèle plus simple ou plus rapide.

Les requêtes assistées par outil peuvent également différer des requêtes classiques, car des outils externes ou un traitement supplémentaire en arrière-plan peuvent être nécessaires.

Analyses de session

MagicHarbor fournit des analyses en temps réel et basées sur le dialogue pour aider les utilisateurs à comprendre les performances des modèles d'IA lors des interactions.

Les valeurs analytiques sont calculées :

– en temps réel pendant la session en cours

– à partir des données agrégées côté serveur pour un dialogue et une période sélectionnés

Messages

Nombre total de messages échangés entre l'utilisateur et les modèles d'IA.

messages = messages_utilisateur + messages_assistant

Chaque interaction utilisateur compte pour un message.

Chaque réponse du modèle compte pour un message, même si elle contient plusieurs éléments rendus, tels que du texte, du code, des tableaux ou des images.

Jetons

Nombre total de jetons traités par le modèle.

jetons = jetons_entrée + jetons_sortie

jetons_entrée — jetons présents dans les invites utilisateur, le contexte et les données d’entrée de la requête

jetons_sortie — jetons générés par le modèle dans la réponse

Les valeurs peuvent être affichées sous forme compacte, par exemple :

7,1 K = 7 100 jetons

Coût

Coût total estimé de tous les appels de modèle dans le périmètre sélectionné.

Coût = Σ (jetons_entrée × prix_entrée + jetons_sortie × prix_sortie)

La tarification dépend du modèle et du fournisseur sélectionnés.

Les coûts sont agrégés pour toutes les requêtes de la session, du dialogue ou de la période sélectionnée.

Pour les requêtes assistées par outil, le coût final peut également inclure un traitement supplémentaire côté serveur ou le comportement de l’outil côté fournisseur, selon l’implémentation.

Latence moyenne

Temps de réponse moyen des modèles d’IA.

Latence moyenne = latence totale (ms) / nombre de réponses

Latence (ms) = temps de réponse − temps de requête

La latence peut être affichée en millisecondes ou en secondes selon sa valeur.

Périmètre

L'indicateur de périmètre définit les données actuellement affichées dans le panneau d'analyse.

Session en direct : calculée en temps réel côté client.

Dialogue en cours : données analytiques agrégées du serveur pour le dialogue actif.

Période sélectionnée : données analytiques filtrées (24 h, 7 j, 30 j ou toutes les périodes).

Source et cohérence des données

Les données analytiques sont collectées à partir des interactions réelles du modèle et reflètent l'utilisation réelle.

En mode direct, les valeurs peuvent être estimées côté client et différer légèrement des totaux du serveur.

Lorsqu'un dialogue est sélectionné, les données analytiques sont récupérées des services du serveur et représentent des valeurs agrégées de référence.

Remarques importantes

Les valeurs analytiques sont dynamiques et se mettent à jour à chaque nouvel envoi de message.

Les réponses complexes, telles que texte + code + tableaux, sont traitées comme un seul message d'assistant, mais peuvent contenir plusieurs éléments d'interface utilisateur.

Toutes les métriques sont agrégées pour l'ensemble des modèles utilisés dans le dialogue ou la période sélectionnés.

Le comportement du fournisseur, la disponibilité des modèles, le routage backend et les outils externes peuvent affecter la latence, le coût et la structure de la réponse.

Classement des modèles

MagicHarbor évalue les modèles d'IA selon de multiples facteurs afin d'aider les utilisateurs à comparer leurs performances en conditions réelles d'utilisation.

Le classement reflète des données d'interaction réelles plutôt que des benchmarks synthétiques.

Critères d'évaluation

Qualité de la réponse

Pertinence, exhaustivité, clarté et utilité de la réponse.

Rapidité de réponse

Vitesse de réponse

Le modèle génère des résultats.

Rapport coût-efficacité

Quantité de résultats utiles produits par rapport au coût.

Stabilité

Cohérence des résultats sur plusieurs requêtes et réduction du taux d'erreur.

Signaux d'interaction utilisateur

Schémas d'utilisation concrets, tels que l'utilisation répétée, les changements de comportement et l'interaction continue.

Calcul des scores

Chaque modèle reçoit un score composite sur une échelle de 0 à 10, basé sur des métriques pondérées.

Score = (Qualité × 0,40) + (Vitesse × 0,25) + (Efficacité × 0,25) + (Stabilité × 0,10)

Chaque métrique est normalisée sur une échelle de 0 à 10 avant l'application des pondérations.

Détails des métriques

Qualité : estimée en fonction de l'utilité, de la clarté, de l'exhaustivité et des schémas d'interaction de la réponse.

Vitesse : calculée à partir du temps de réponse moyen ; les réponses plus rapides obtiennent des scores de vitesse plus élevés.

Efficacité : basée sur le rapport entre la valeur du résultat, l'utilisation des jetons et le coût.

Stabilité — basée sur la cohérence, le taux d’erreur et la réussite des requêtes.

À propos de la stratégie de pondération

Les pondérations sont basées sur une évaluation pratique de l’interaction des utilisateurs avec les systèmes d’IA :

– La qualité est primordiale, car une réponse rapide mais peu pertinente est d’une utilité limitée.

– La vitesse influe sur le flux d’interaction et la productivité de l’utilisateur.

– La rentabilité est essentielle à grande échelle, notamment pour une utilisation fréquente ou professionnelle.

– La stabilité garantit la fiabilité des réponses lors de requêtes répétées.

La pondération représente un équilibre entre l’utilité de la réponse, la performance, le coût et la fiabilité.

Pourquoi ces pondérations ?

Le système de pondération est basé sur :

– les schémas d'utilisation réels observés dans des environnements multi-modèles

– les compromis courants entre qualité, vitesse et coût

– les pratiques standard d'évaluation des performances des systèmes d'IA

– la nécessité pratique de sélectionner le modèle le plus adapté à une tâche spécifique, et non pas simplement le plus cher ou le plus populaire

Exemple

Modèle : gpt-5.4-mini

Qualité : 8,5

Vitesse : 9,0

Efficacité : 7,5

Stabilité : 8,0

Score final = 0,40 × 8,5 + 0,25 × 9,0 + 0,25 × 7,5 + 0,10 × 8,0 = 8,325

Le score affiché peut être arrondi dans l'interface.

Remarque importante

Le modèle d'évaluation est en constante évolution.

Les scores sont normalisés entre les modèles d'un même contexte et peuvent être affinés au fil du temps.

Le classement des modèles est un outil d'aide à la décision, et non une référence absolue.

Le modèle le plus adapté dépend de votre tâche spécifique, du type de requête, de la qualité requise, de la latence acceptable et de la sensibilité au coût.

Cas d'utilisation

MagicHarbor peut être utilisé pour :

– comparer des modèles d'IA avant d'en choisir un pour une tâche

– tester des requêtes auprès de différents fournisseurs

– évaluer les différences de coût et de vitesse entre les modèles

– travailler avec du texte, du code, des tableaux et des entrées visuelles

– utiliser des réponses assistées par ordinateur pour des informations actuelles ou externes

– créer des flux de travail structurés pour la recherche ou l'analyse

– préparer des rapports de comparaison de modèles

– jeter les bases de l'automatisation basée sur les agents