Évaluation de la traduction automatique basée sur les données pour une excellence multilingue
Une agence de l'Union européenne officielle avec une portée mondiale.
L'organisation développe des modèles de traduction automatique pour de nombreuses combinaisons linguistiques, comprenant les 23 langues officielles de l'UE, systématiquement évalués par des linguistes professionnels afin de mieux comprendre la qualité offerte par un modèle personnalisé.
-
Objectif
Évaluer la qualité des modèles de traduction automatique personnalisés grâce à une vérification systématique par des linguistes professionnels. Le client reçoit ensuite une vue d'ensemble complète des données de performance de la traduction automatique pour un ensemble de combinaisons de langues européennes.
-
Défi
Pour ce projet, une évaluation des résultats par segment de la traduction automatique via une échelle de notation à quatre points était nécessaire. Chaque document a été évalué indépendamment par 2 à 3 linguistes avec un niveau C2 dans chacune des deux langues.
Les documents contenaient en moyenne 5 000 mots, avec chaque analyse représentant environ 15 000 mots évalués.
Avec une moyenne de 6 tâches par mois, l'ensemble du projet dépassait 5,32 millions de mots.
Un environnement dédié était également requis pour fournir les outils d'évaluation nécessaires et des résultats en temps réel. -
Mise en œuvre
Seprotec a mise en place une évaluation humaine de la traduction automatique au sein de la plate-forme ContentQuo, personnalisée pour l'évaluation du client et les exigences de rapport.
Les linguistes et chefs de projet ont tous reçu une formation dédiée.
Le client charge le document sur la plate-forme puis un coordinateur Seprotec contrôle les réglages et assigne le projet aux trois linguistes dont les compétences répondent le mieux au projet, pour une évaluation de chaque segment dans un environnement adapté.
Les résultats sont vérifiés par Seprotec et mis à disposition via un tableau de bord qui affiche la performance générale, l'évolution de la qualité et les résultats par combinaison linguistique, avec des rapports téléchargeables au format .csv / .xls. -
Résultat
Cette solution a permis de réduire le temps nécessaire pour démarrer les évaluations et de réduire considérablement la charge de travail administratif du client : Seprotec s'occupe de l'assignation aux linguistes et de la coordination.
Le client a désormais accès aux résultats de l'évaluation en temps réel et à une analyse continue des données par des linguistes professionnels afin de valider et améliorer les résultats de la traduction automatique dans 23 langues.
L'environnement technologique sur mesure offre également une transmission des données cryptée et sécurisée et un accès à des linguistes natifs spécialisés et une équipe de gestion de projet professionnelle.