Les modèles capables de classer un message, identifier une information dans un document ou comprendre l’intention d’une demande doivent être entraînés sur des données adaptées.
Dans de nombreux projets, ces données sont constituées de textes : emails, commentaires, tickets de support, documents, réponses à des questionnaires, conversations ou contenus issus d’une base existante.
Mais accumuler des milliers de textes ne suffit pas.
L’annotation de données textuelles consiste à ajouter aux textes les informations nécessaires pour permettre à un modèle d’apprendre à reconnaître des catégories, des entités, des intentions ou d’autres caractéristiques précises.
La difficulté consiste surtout à transformer un contenu écrit, parfois ambigu, en données cohérentes.
Qu’est-ce que l’annotation de données textuelles ?
L’annotation textuelle consiste à associer une information structurée à un texte ou à une partie du texte.
Prenons un message client :
« Je souhaite modifier l’adresse de livraison de ma commande. »
Selon le projet, le texte peut recevoir le label « modification de commande ».
Une autre annotation peut identifier « adresse de livraison » comme une information particulière.
Dans un projet différent, il faudra peut-être déterminer si le message exprime une demande, une réclamation ou une question.
Le même texte peut donc être annoté de plusieurs façons selon ce que l’intelligence artificielle doit apprendre.
Saisie-donnees.fr accompagne les entreprises dans leurs projets d’annotation de données destinées à l’intelligence artificielle.
Quels types de textes peut-on annoter ?
Les données textuelles proviennent de sources très variées.
Une entreprise peut disposer de milliers d’emails, réponses libres à des questionnaires, avis clients, tickets de support, commentaires, conversations ou documents métier.
Le format importe moins que l’objectif.
Un même ensemble de textes peut servir à entraîner un modèle de classification, de détection d’entités, de compréhension des intentions ou de modération.
Avant toute annotation, il faut donc déterminer quelle information le modèle devra reconnaître lorsqu’il recevra un nouveau texte.
Comment fonctionne la classification de textes ?
La classification consiste à attribuer une catégorie à un texte entier.
Un service client peut par exemple vouloir distinguer automatiquement :
« demande d’information », « problème de livraison », « modification de compte » ou « réclamation ».
Chaque message du dataset est alors lu puis associé à la catégorie correspondant le mieux à son contenu.
La qualité du modèle dépend en partie de la cohérence de ces décisions.
Si deux messages similaires sont classés différemment sans raison précise, le modèle reçoit un signal contradictoire.
Comment identifier des entités dans un texte ?
L’annotation peut également concerner certaines portions du texte.
C’est notamment le principe de la reconnaissance d’entités nommées, souvent appelée NER pour Named Entity Recognition.
Prenons la phrase :
« La société Dupont livrera le dossier à Lyon le 12 septembre. »
Selon le projet, il est possible d’annoter « Dupont » comme organisation, « Lyon » comme lieu et « 12 septembre » comme date.
L’intelligence artificielle apprend ensuite à repérer des informations similaires dans de nouveaux documents.
Cette approche peut être utilisée pour extraire automatiquement des noms, sociétés, références, lieux, dates ou autres informations métier.
Comment annoter l’intention d’un utilisateur ?
Dans les assistants conversationnels, chatbots ou systèmes de routage automatique, connaître les mots présents dans une phrase ne suffit pas toujours.
Il faut comprendre ce que souhaite obtenir la personne.
« Je n’ai toujours pas reçu ma commande » peut ainsi être associé à une intention telle que « suivi de livraison ».
« Pouvez-vous changer mon adresse ? » peut correspondre à « modification des coordonnées ».
Plus les intentions sont proches, plus les règles d’annotation doivent être précises.
Une catégorie « livraison » trop générale peut par exemple mélanger suivi de colis, retard, changement d’adresse et problème de réception alors que l’entreprise souhaite automatiser des traitements différents.
Comment fonctionne l’annotation des sentiments ?
L’analyse de sentiment consiste à déterminer la tonalité exprimée dans un texte.
Un contenu peut être considéré comme positif, négatif ou neutre.
Certains projets utilisent des classifications plus fines.
La principale difficulté vient des formulations ambiguës.
« Génial, encore trois jours de retard. »
Le vocabulaire pris isolément peut sembler positif. Le sens réel du message est pourtant négatif.
Ce type d’exemple montre pourquoi l’annotation textuelle ne peut pas toujours se limiter à la présence de certains mots.
Le contexte doit être pris en compte.
Pourquoi les consignes d’annotation sont-elles essentielles ?
Deux personnes peuvent comprendre une même phrase différemment.
C’est particulièrement vrai lorsque les catégories sont proches.
Avant de produire plusieurs milliers d’annotations, il faut donc définir les critères permettant de choisir chaque label.
Le guide d’annotation doit préciser la définition des catégories, des exemples représentatifs et la façon de gérer les exceptions.
Il doit aussi répondre aux situations intermédiaires.
Si un message contient à la fois une demande de remboursement et une réclamation sur la livraison, faut-il attribuer deux labels ? Un seul ? Lequel est prioritaire ?
Une règle décidée une fois doit ensuite être appliquée de la même manière sur l’ensemble du dataset.
Comment préparer les textes avant l’annotation ?
Les données sources doivent d’abord être examinées.
Certaines peuvent être inutilisables, dupliquées ou hors du périmètre du projet.
Les textes doivent également être présentés de façon suffisamment claire pour que les annotateurs puissent travailler efficacement.
Les informations nécessaires au contexte doivent être conservées lorsque leur suppression modifierait le sens du message.
À l’inverse, il peut être nécessaire de masquer certaines informations qui ne doivent pas être communiquées aux opérateurs.
La préparation du dataset constitue donc une étape distincte de l’annotation elle-même.
Faut-il annoter tous les textes disponibles ?
Pas nécessairement.
Une entreprise peut posséder plusieurs millions de messages alors qu’un premier modèle n’a pas besoin de la totalité de ces données.
Un échantillon peut être sélectionné afin de représenter suffisamment les différents cas rencontrés.
L’important est notamment d’éviter un dataset dans lequel une catégorie très fréquente écrase complètement les catégories plus rares.
Le volume n’est donc pas le seul critère.
Un dataset plus petit mais correctement sélectionné et annoté peut être plus utile qu’un très grand volume de données incohérentes.
Comment gérer les textes ambigus ?
Les cas ambigus doivent être prévus.
Un annotateur ne devrait pas être obligé d’inventer sa propre règle à chaque fois qu’un message ne correspond pas parfaitement aux catégories proposées.
Une procédure peut prévoir un label spécifique, une remontée vers un contrôleur ou une règle de priorité.
Lorsque la même ambiguïté revient régulièrement, les consignes doivent être enrichies.
Cette boucle permet progressivement d’obtenir des décisions plus homogènes.
Comment vérifier la qualité d’un dataset textuel ?
La vérification ne consiste pas uniquement à rechercher des fautes de saisie.
Il faut surtout contrôler que les règles ont été appliquées de façon cohérente.
Un échantillon peut être relu. Certaines données peuvent aussi être annotées par plusieurs personnes afin d’identifier les divergences.
Si deux annotateurs classent régulièrement les mêmes textes dans des catégories différentes, le problème ne vient pas nécessairement des opérateurs.
Les catégories peuvent être trop proches ou les instructions insuffisamment précises.
La correction consiste alors à clarifier la règle avant de poursuivre.
Peut-on pré-annoter les textes avec une intelligence artificielle ?
Oui.
Une IA existante peut proposer un label, une entité ou une intention. L’humain intervient ensuite pour accepter ou corriger cette proposition.
Cette approche peut accélérer le travail lorsqu’un premier modèle offre déjà des résultats suffisamment fiables.
Mais la pré-annotation ne garantit pas automatiquement la qualité finale.
Si les erreurs du modèle ne sont pas correctement vérifiées, elles peuvent être réintroduites dans le dataset utilisé pour entraîner la version suivante.
Le contrôle humain conserve donc un rôle important.
Comment traiter plusieurs milliers de textes ?
À petite échelle, l’annotation peut être réalisée par quelques experts métier.
À grande échelle, la problématique change.
Les équipes internes doivent continuer à gérer leurs missions habituelles tandis que la création du dataset peut nécessiter la lecture de dizaines de milliers de contenus.
Externaliser une partie de l’annotation permet de conserver les compétences internes pour les décisions complexes tout en confiant la production répétitive à une équipe dédiée.
Les règles, catégories et exemples restent définis avec l’entreprise.
Le prestataire applique ensuite ces consignes au volume demandé.
Pour ce type de besoin, Saisie-donnees.fr propose une prestation d’annotation de données pour les projets d’intelligence artificielle.
Pourquoi la qualité des annotations influence-t-elle le modèle ?
Le modèle apprend à partir des exemples qui lui sont fournis.
Si un même type de message reçoit alternativement plusieurs labels contradictoires, le modèle aura davantage de difficultés à identifier la bonne catégorie.
Le problème ne vient alors pas nécessairement de l’algorithme.
Il peut provenir du dataset.
Une bonne annotation textuelle cherche donc à rendre explicite et reproductible une interprétation humaine qui, au départ, peut sembler évidente mais ne l’est pas toujours.
La précision des règles, le traitement des cas ambigus et les contrôles jouent ainsi un rôle central dans la qualité des données d’entraînement.