Rendre les modèles linguistiques informatiques compréhensibles et contrôlables
Le chercheur James Henderson (Institut de Recherche Idiap) a reçu une subvention ERC Advanced pour travailler sur les grands modèles de langage (LLMs), des modèles informatiques de deep-learning qui peuvent effectuer des tâches liées au langage.
Ce project suit son travail au sein du PRN Evolving Language, qui nous permet de mieux comprendre ce qui fait le succès des LLMs dans les langues humaines. Il s’appuiera sur cette compréhension théorique pour améliorer l’interprétabilité (c’est-à-dire comprendre pourquoi certaines prédictions sont faites) et la contrôlabilité (c’est-à-dire influencer les comportements) des LLMs.
“Dans ce nouveau projet, nous nous pencherons sur l’interprétabilité et la contrôlabilité des LLMs en leur ajoutant une mémoire”, explique le chercheur. “Nous nous concentrerons ensuite sur rendre les croyances et les connaissances contenues dans cette mémoire plus faciles à comprendre et à modifier”.
