Comment loqy évalue les modèles IA locaux pour le travail réel

Un modèle IA local peut briller dans un classement et rester frustrant au travail. Il peut perdre la structure d’un long document, produire des appels d’outils fragiles, ralentir sous pression mémoire ou devenir peu fiable lorsqu’une tâche passe du français à l’anglais. loqy considère donc la sélection des modèles comme une qualification produit, pas comme un concours de scores.

La première question est simple : ce modèle aide-t-il réellement à terminer les travaux pour lesquels loqy est conçu ? Cela comprend la revue de documents, la recherche parmi plusieurs sources, la transformation de données, l’écriture et l’exécution de code, l’usage d’outils au périmètre borné et la production d’un résultat qu’une personne peut vérifier.

Évaluer toute la boucle de travail

Une évaluation utile commence avant le premier mot généré et se termine après le livrable. Nous observons si le modèle comprend la demande, identifie une information manquante, utilise correctement le contexte fourni, choisit un outil adapté et restitue ce qui s’est passé. Une réponse élégante ne compense ni une source inventée ni une action dangereuse.

L’usage des outils compte particulièrement. Le modèle doit produire des appels valides, réagir correctement lorsqu’un outil renvoie une erreur bornée et éviter de répéter une action indisponible. Il doit distinguer la préparation d’un changement de l’autorisation de le publier.

Le résultat final compte aussi. Une feuille de calcul, un rapport ou une modification de code demande plus qu’un texte plausible : ses hypothèses, ses entrées, ses contrôles et la trace de ses sources doivent rester disponibles pour la revue.

Le matériel fait partie de la qualité du modèle

loqy cible d’abord les Mac Apple Silicon, à partir de configurations dotées d’au moins 16 Go de mémoire. Un modèle qui ne se comporte bien que sur une machine de développement très équipée n’est pas automatiquement un bon choix par défaut.

La qualification couvre donc le temps de démarrage, la vitesse de génération, la pression mémoire, la taille du contexte et le comportement du reste de l’application pendant l’inférence. La bonne réponse peut être plusieurs profils de modèles plutôt qu’un vainqueur universel.

Le travail produit actuel couvre notamment les familles Qwen, Ornith et Gemma. Cette liste n’est ni un classement permanent ni la promesse que chaque variante sera livrée. Les modèles et leurs moteurs évoluent vite ; le catalogue distribué doit reposer sur des preuves reproductibles obtenues sur le matériel pris en charge.

La langue et la retenue comptent

Le travail réel est multilingue, même lorsqu’un benchmark ne l’est pas. Les demandes en français et en anglais, les documents mixtes, les dates, les nombres, les tableaux et le vocabulaire métier font partie du jeu de tests. Les situations où la bonne réponse consiste à poser une question ou à s’arrêter avant un effet externe aussi.

Un futur fine-tuning pourra devenir utile, notamment pour l’usage structuré des outils ou certains motifs de travail récurrents. Il n’aura de sens que s’il apporte une amélioration mesurée sans dégrader les capacités générales, la sûreté ou la transparence. Pour l’instant, le choix rigoureux des modèles, un contexte clair et de bonnes frontières produit sont plus importants.