Quand un moteur de recherche comprend qu’un “médecin” est proche d’un “docteur”, ou qu’un assistant vocal distingue “banque” comme établissement financier ou bord de rivière, il s’appuie sur une idée centrale du traitement automatique des langues : représenter les mots sous une forme exploitable par une machine. C’est précisément le rôle des représentations distribuées de mots, devenues indispensables en NLP.
En NLP, ou traitement automatique du langage naturel, une représentation distribuée de mots désigne une manière de transformer un mot en une suite de nombres, appelée vecteur. Au lieu de considérer un mot comme une simple étiquette isolée, le système l’inscrit dans un espace mathématique où sa position reflète des relations de sens, d’usage et de contexte avec d’autres mots.
L’idée repose sur un principe linguistique ancien : un mot se définit en grande partie par les mots qui l’entourent. Autrement dit, “chat” apparaîtra souvent dans des contextes proches de “animal”, “miauler”, “chien” ou “domestique”. Une représentation distribuée encode ces régularités sous forme numérique, ce qui permet aux algorithmes de traiter des notions comme la similarité sémantique, l’analogie ou la proximité contextuelle.
Le terme “distribuée” signifie que l’information sur le sens d’un mot n’est pas stockée dans une seule dimension, mais répartie sur plusieurs dizaines, centaines, voire milliers de dimensions. Chaque dimension ne correspond pas forcément à une catégorie lisible par un humain, mais l’ensemble du vecteur capture des propriétés utiles pour les modèles de langage.
Les ordinateurs ne comprennent pas les mots comme les humains. Pour un programme, “maison”, “immeuble” et “toit” ne sont au départ que des chaînes de caractères. Les convertir en vecteurs permet de créer une passerelle entre le langage humain et le calcul statistique. Cette conversion est essentielle pour entraîner des modèles capables de classer un texte, traduire une phrase ou répondre à une question.
Avant l’essor des représentations distribuées, les approches courantes utilisaient souvent des encodages dits “one-hot”. Dans ce système, chaque mot du vocabulaire est représenté par un vecteur très long, rempli de zéros, avec un seul 1 à l’emplacement correspondant au mot. Cette méthode est simple, mais elle présente une limite majeure : elle ne dit rien sur le sens des mots. “Voiture” et “automobile” sont aussi éloignés que “voiture” et “banane”.
Les représentations distribuées corrigent ce problème. Elles rapprochent les mots qui apparaissent dans des contextes similaires. Cette propriété rend possible des calculs utiles : mesurer la distance entre deux mots, regrouper des concepts proches, ou encore détecter des relations comme “roi” - “homme” + “femme” ˜ “reine”, un exemple souvent cité pour illustrer les capacités des embeddings.
Les représentations distribuées sont souvent appelées word embeddings. Elles sont généralement apprises automatiquement à partir de grands volumes de textes, appelés corpus. Le modèle observe les occurrences, les voisinages lexicaux et les régularités statistiques. À force d’exemples, il ajuste les vecteurs pour que les mots utilisés dans des contextes proches aient des positions proches dans l’espace vectoriel.
Concrètement, un algorithme peut apprendre à prédire un mot à partir de son contexte, ou l’inverse : prédire les mots voisins à partir d’un mot donné. Cette logique a été popularisée par Word2Vec, avec ses architectures CBOW et Skip-gram. D’autres méthodes, comme GloVe, exploitent les matrices de cooccurrence globales, tandis que fastText tient compte des sous-parties des mots, ce qui aide notamment pour les langues riches en variations morphologiques.
La notion de contexte est donc centrale. L’analyse des cooccurrences permet de comprendre comment les mots se répondent dans un corpus ; sur ce point, l’étude des méthodes pour repérer les mots qui apparaissent ensemble éclaire les bases statistiques utilisées par de nombreux modèles. Ces indices ne suffisent pas à eux seuls à “comprendre” le langage, mais ils fournissent une matière première très riche pour l’apprentissage automatique.
Un embedding bien entraîné peut saisir plusieurs niveaux d’information. Il encode d’abord des rapprochements de vocabulaire : “hôpital”, “médecin” et “patient” ont de fortes chances d’être proches. Il peut aussi capter des relations grammaticales, par exemple entre un verbe à l’infinitif et ses formes conjuguées. Enfin, il reflète parfois des associations culturelles ou thématiques présentes dans les données.
Ces propriétés expliquent leur succès dans de nombreuses tâches de NLP. Les vecteurs de mots servent souvent de couche d’entrée à des modèles plus complexes, qui n’ont plus à partir de caractères bruts ou d’identifiants sans signification. Ils disposent déjà d’une représentation contenant une partie de la structure linguistique du corpus d’apprentissage.
Il faut toutefois rester prudent : un vecteur ne contient pas une définition complète du mot. Il condense des régularités observées dans les données. Si le corpus est déséquilibré, ancien ou biaisé, les représentations produites peuvent refléter ces défauts. La qualité d’un embedding dépend donc fortement des textes utilisés pour l’entraînement.
Les premiers embeddings largement utilisés, comme Word2Vec ou GloVe, produisent une représentation fixe pour chaque mot. Le mot “avocat” reçoit donc le même vecteur, qu’il désigne un juriste ou un fruit. Cette approche a marqué un tournant, mais elle montre vite ses limites face à la polysémie, très fréquente dans les langues naturelles.
Les modèles plus récents, notamment ceux fondés sur les architectures Transformer, génèrent des représentations dites contextuelles. Dans ce cas, le vecteur d’un mot dépend de la phrase dans laquelle il apparaît. “Avocat” n’aura pas exactement la même représentation dans “l’avocat plaide au tribunal” et dans “l’avocat est mûr”. Cette évolution a profondément amélioré la compréhension automatique des textes.
BERT, RoBERTa, CamemBERT ou encore GPT reposent sur cette logique. Ils ne se contentent pas d’associer un vecteur permanent à chaque mot : ils modélisent les interactions entre les termes d’une phrase, parfois sur de longs passages. Les représentations distribuées demeurent au cœur du système, mais elles deviennent dynamiques, dépendantes du contexte et plus adaptées aux ambiguïtés du langage réel.
Les usages sont nombreux. Dans les moteurs de recherche, les embeddings aident à rapprocher une requête de documents pertinents, même lorsque les mots exacts ne correspondent pas. Un internaute qui cherche “réparer une fuite d’eau” peut ainsi obtenir des résultats parlant de “plomberie”, de “robinet” ou de “canalisation”. La recherche ne repose plus uniquement sur la présence littérale des termes.
En analyse de sentiment, les vecteurs permettent de détecter si un avis est positif, négatif ou neutre, en tenant compte des formulations variées. Dans la traduction automatique, ils contribuent à aligner des concepts entre plusieurs langues. Dans les chatbots, ils participent à l’interprétation des intentions utilisateur. Dans la veille documentaire, ils facilitent le regroupement de textes portant sur des sujets proches.
Ces représentations interviennent aussi dans la génération de texte, car un modèle doit manipuler les mots et leurs relations pour produire des phrases cohérentes. Les systèmes décrits dans les travaux sur les données linguistiques préparées par des humains montrent également que la qualité des annotations et des corpus influence fortement les performances des modèles NLP.
Malgré leur efficacité, les représentations distribuées ne sont pas une solution magique. Elles apprennent à partir de données, et ces données peuvent contenir des stéréotypes, des erreurs, des déséquilibres géographiques ou des formulations datées. Un modèle peut donc reproduire des biais sociaux ou culturels, parfois de manière difficile à détecter. La question de l’audit des embeddings est devenue un enjeu important.
Autre limite : l’interprétabilité. Un vecteur de 300 dimensions peut être très performant sans être facilement compréhensible. On sait mesurer des distances et observer des regroupements, mais il est souvent difficile d’expliquer précisément ce que représente chaque dimension. Cette opacité complique l’analyse dans les secteurs sensibles, comme la santé, la justice ou les services financiers.
Enfin, les représentations distribuées dépendent du domaine. Un modèle entraîné sur des articles généralistes ne comprendra pas toujours correctement le vocabulaire médical, juridique ou industriel. Pour obtenir de bons résultats, il faut souvent adapter l’apprentissage à un corpus spécialisé, voire réentraîner ou affiner un modèle existant. Le choix du corpus reste donc une décision méthodologique essentielle.
Les représentations distribuées de mots transforment les unités du langage en vecteurs numériques capables de refléter des proximités de sens, d’usage et de contexte. Elles ont remplacé des encodages plus pauvres en information et ont permis de fortes avancées dans la classification de texte, la recherche sémantique, la traduction, les assistants conversationnels et l’analyse automatique des contenus.
Leur force tient à leur capacité à apprendre des régularités à grande échelle. Leur faiblesse vient du même endroit : elles héritent des limites des données utilisées. Comprendre leur fonctionnement aide donc à mieux évaluer les modèles NLP, leurs performances et leurs risques. Dans un paysage dominé par les grands modèles de langage, les représentations distribuées restent l’un des fondements techniques les plus importants pour relier les mots, les nombres et le sens.
