Comprendre le langage grâce aux algorithmes avec le professeur Rico Sennrich
Après avoir occupé pendant 6 ans un poste de professeur FNS, Rico Sennrich a endossé un nouveau rôle. En août, il est devenu professeur assistant en linguistique informatique à l’Université de Zurich. C’est pendant son master en littérature anglaise que sa mineure en linguistique informatique l’a attiré vers ce domaine. « En linguistique informatique, c’est facile de tester ses théories », explique-t-il.
Faire parler les ordinateurs
À son cœur, la linguistique informatique consiste à essayer d’apprendre aux ordinateurs à comprendre et à utiliser le langage humain. Il y a de nombreuses raisons pour cela, allant de la traduction automatique aux modèles linguistiques.
L’un des objectifs, par exemple, est de développer des algorithmes permettant aux ordinateurs de traiter le langage. « L’objectif ici est la qualité et l’efficacité, et non pas que le processus soit similaire à celui des humains », dit Rico Sennrich. « Il est intéressant de réfléchir aux différentes contraintes qui pèsent sur les humains et les ordinateurs : nous pouvons fournir beaucoup plus de données aux ordinateurs qu’aux humains, mais ils sont également moins efficaces en termes de données. » Ainsi, par définition, l’algorithme de l’ordinateur sera différent de l’algorithme humain pour le traitement du langage. «Cependant, le traitement humain peut être une source d’inspiration pour le modèle dans certains domaines», ajoute-t-il.
Professeur Rico Sennrich
Au cours de sa carrière, Rico Sennrich a trouvé un meilleur moyen de cartographier du texte dans des réseaux neuronaux artificiels, qui apprennent ensuite les représentations de sens. « Les mots sont un mauvais choix, car le vocabulaire devient trop vaste et beaucoup d’entre eux n’apparaissent pas assez souvent, mais se placer au niveau des caractères pose également problème, car les séquences plus longues sont plus difficiles à traiter efficacement », explique le chercheur. « Nous avons donc développé un algorithme qui sépare les mots en sous-mots et l’avons utilisé pour la cartographie. » Cette méthode permet un excellent compromis entre la taille du vocabulaire et la longueur des séquences, ce qui en fait un choix pratique pour les réseaux neuronaux. Elle est désormais utilisée dans des modèles linguistiques tels que ChatGPT.
Entre modèles et outils
Dans ses travaux, Rico Sennrich se concentre sur le traitement multilingue du langage, une discipline clé au sein du PRN Evolving Language. « Je m’intéresse à la manière dont les connaissances contenues dans les modèles linguistiques sont transférées d’une langue à l’autre », dit-il. Cela permet aux modèles d’apprendre des faits dans une langue, puis de répondre à des questions sur ce sujet dans n’importe quelle autre langue qu’ils maîtrisent. « C’est un facteur clé de l’efficacité des données, car les modèles peuvent devenir utiles dans une nouvelle langue avec beaucoup moins de données provenant de cette langue que si nous devions former un modèle distinct pour chaque langue », explique le chercheur.
Au sein du NCCR Evolving Language, il participe à plusieurs tâches, dans lesquelles il utilise des modèles linguistiques pour comparer les comportements humains ou comme outil de recherche. Par exemple, dans la tâche « Silicon Meaning », il travaille sur la manière dont les modèles linguistiques représentent les connaissances, en les comparant également au traitement humain, tandis que dans la tâche « Meaning Change », il développe des outils pour étudier les changements de sens sur de longues périodes, par exemple en sanskrit. « Dans le domaine du NCCR, il y a un grand besoin de nouvelles méthodes, allant au-delà du niveau de la phrase et se concentrant sur les interactions ; c’est ce que j’espère apporter au projet », conclut Rico Sennrich.
