Évaluation
Ce que nous avons mesuré sur de vrais documents publics, et où cela échoue.
Mesures du 21 octobre 2026 avec le modèle de la bêta : Gemma 4 E4B, 4 bits, sans modification de notre part. Les réponses de référence ont toutes été faites par des personnes : résumés et traductions officiels de l’UE, annotations d’anonymisation de juridictions, métadonnées de décisions, réponses humaines à des questions de lecture. Un passage par élément, sans tri.
642 éléments de test · un seul passage, sans répétition · les intervalles à 95 % sont larges car les jeux sont petits (15 à 60 éléments par case) · fichier du modèle sha256 85a896a0…fab87
Résultats, modèle de base, 21 octobre 2026
Plus c’est haut, mieux c’est. « Non mesuré » signifie que nous n’avions pas de référence faite par des personnes pour cette langue ; cela ne veut pas dire que la fonction y échoue.
| Tâche | Ce qui a été noté | FR | NL | DE | EN | Comment le lire |
|---|---|---|---|---|---|---|
| Métadonnées de décisions (dates, juridictions, numéros) | Champs exactement justes (348 champs) | 0,93 | 0,84 | 1,00 (n = 15) | non mesuré | Dates et juridictions : toutes justes. Les numéros d’affaire sont le point faible : néerlandais 23 sur 37, numéros de pourvoi français 32 sur 40. Le modèle prend parfois un numéro voisin ou ignore le format attendu. Allemand : 15 éléments seulement. |
| Repérer les noms à masquer (personnes seulement) | Part des noms trouvés / part des trouvailles qui étaient des noms (614 noms) | 0,90 / 0,88 | 0,74 / 0,90 | 0,88 / 0,96 | 0,93 / 0,97 | Le néerlandais est le point faible : une liste de 24 juges a été coupée et notée 0. Le français a eu 8 fausses détections sur des noms d’affaires et de sociétés dans un document. Adresses e-mail, téléphones, IBAN et dates de naissance n’ont pas pu être mesurés sur du texte réel : aucune source annotée n’existe. L’application ajoute une couche de règles que ce test n’incluait pas. |
| Traduction de textes de l’UE | chrF par rapport à la traduction officielle (180 paragraphes ; colonne = langue cible) | 71,1 | 62,2 | 60,4 | 69,1 | Langue cible correcte dans 180 cas sur 180. La terminologie officielle de l’UE est là où le néerlandais et l’allemand perdent des points. Une seule traduction de référence sous-estime la qualité. |
| Résumés d’actes de l’UE (250 mots) | Part des chiffres et références du résumé officiel conservés (160 résumés) | 0,46 | 0,44 | 0,47 | 0,45 | Les résumés conservent moins de la moitié des identifiants : utilisez les réponses citées pour les chiffres. Nombres inventés : 6 sur 160 résumés (3,7 %). Longueur et langue correctes dans 97,5 à 100 % des cas. |
| Réponses citées (allemand, texte non juridique) | Réponses justes ; refus quand la réponse est absente (30 questions) | non mesuré | non mesuré | 22 sur 23 justes ; 7 refus sur 7 (relus par nous) | non mesuré | Une vraie erreur : le modèle a cité l’avant-dernier élément au lieu du dernier. Le correcteur automatique n’a compté que 3 refus sur 7 car il ignorait l’expression « nicht verfügbar » : une lacune de notre correcteur, pas une erreur du modèle. |
| Réponses citées (test antérieur, droit suisse, 40 questions) | Justes ; la citation soutient la réponse | 87,5 % justes (anglais 100 %, français 75 %) ; 87,5 % des citations soutiennent la réponse | Environ 1 réponse sur 8 était fausse. Ouvrez la page citée à chaque fois. | |||
Non mesuré : ne supposez pas que cela fonctionne
L’extraction en anglais ; les réponses citées en français, néerlandais et anglais sur du texte réel ; l’extraction de délais ; le masquage des adresses e-mail, téléphones, dates de naissance et IBAN sur de vrais documents ; la dictée sur de vraies voix ; la vitesse sur les portables Windows sans puce graphique.
Nos propres tests synthétiques surestimaient le modèle
Sur des données de test construites comme nos données d’entraînement, le même modèle obtenait de meilleurs scores que sur les vrais documents ci-dessus : extraction 0,99 contre 0,91, traduction 72 contre 66, résumés 0,60 contre 0,46. C’est pourquoi cette page utilise de vrais documents.
Ce que les résultats indiquent
Corrections identifiées, pas encore livrées : accepter les réponses entourées de balises de code et ramener les valeurs à la liste attendue (environ un tiers des erreurs de numéros ne sont que de format), reconnaître davantage de formulations de refus, et autoriser des sorties plus longues pour les longues listes de noms. Un modèle affiné est en préparation ; s’il est livré, ses résultats seront publiés ici à côté de ceux-ci, avec la même colonne des points faibles.
Réserves
Un seul échantillon par élément, aucune variance entre passages. Les jeux de résumés et de traductions utilisent les mêmes 40 actes en quatre langues : leurs colonnes ne sont pas indépendantes. Les éléments d’extraction ont été limités aux décisions dont les métadonnées figurent dans le texte, ce qui favorise les en-têtes bien formés. Les textes de l’UE et Wikipédia figurent très probablement dans les données de pré-entraînement du modèle : ces tâches peuvent être plus faciles qu’un texte inédit. Les conventions d’annotation (titres, initiales) expliquent l’essentiel de l’écart entre correspondance stricte et souple pour le masquage ; nous publions les chiffres en correspondance souple.
Sources des réponses de référence : EUR-Lex-Sum (CC BY 4.0), MAPA (CC BY 4.0), Text Anonymisation Benchmark (MIT), données ouvertes Rechtspraak, décisions de la Cour de cassation (DILA, Licence Ouverte 2.0), Open Legal Data, GermanQuAD (CC BY 4.0).
Installez, ouvrez un fichier, c’est fait.
Sans carte, sans compte. L’essai dure 15 jours et comprend toutes les fonctions.
Les 15 jours commencent quand vous appuyez sur Démarrer dans l’application, pas au téléchargement.
Vous ne pouvez pas installer de logiciel sur votre poste de bureau ? Lisez la fiche sécurité avec votre service informatique.
Bêta · installateurs pas encore signés · Journal des modifications