Sprache durch Algorithmen verstehen lernen – mit Prof. Rico Sennrich
Nach sechs Jahren als SNF-Professor hat Rico Sennrich eine neue Aufgabe übernommen. Im August dieses Jahres wurde er Assistenzprofessor für Computerlinguistik an der Universität Zürich. Während seines Masterstudiums in englischer Literatur hat ihn sein Nebenfach Computerlinguistik für dieses Gebiet begeistert. „In der Computerlinguistik kann man seine Theorien leicht überprüfen“, sagt er.
Computer zum Sprechen bringen
Im Kern geht es in der Computerlinguistik darum, Computern beizubringen, menschliche Sprache zu verstehen und zu verwenden. Dafür gibt es viele verschiedene Gründe, von automatischen Übersetzungen bis hin zu Sprachmodellen.
Eines der Ziele ist beispielsweise die Entwicklung von Algorithmen, mit denen Computer Sprache verarbeiten können. „Das Ziel dabei ist Qualität und Effizienz, und nicht, dass der Prozess menschenähnlich ist“, sagt Rico. „Es ist interessant, über die unterschiedlichen Einschränkungen von Menschen und Computern nachzudenken – wir können Computer mit viel mehr Daten füttern als Menschen, aber sie sind auch weniger dateneffizient“. Daher wird der Algorithmus per Definition anders aussehen als der menschliche Algorithmus zur Verarbeitung von Sprache. „In einigen Bereichen kann die menschliche Verarbeitung jedoch eine Inspiration für das Modell sein“, fügt er hinzu.
Professor Rico Sennrich
Im Laufe seiner Karriere fand Rico Sennrich einen besseren Weg, um Text in künstliche neuronale Netze zu übertragen, die dann Repräsentationen der Bedeutung lernen. „Wörter sind eine schlechte Wahl, weil der Wortschatz zu gross wird und viele Wörter nicht oft genug vorkommen, aber auch die Zeichenebene ist problematisch, weil es schwieriger ist, längere Sequenzen effizient zu verarbeiten“, erklärt der Forscher. „Deshalb haben wir einen Algorithmus entwickelt, der Wörter in Unterwörter zerlegt und diese für die Zuordnung verwendet“. Diese Methode ermöglicht einen guten Kompromiss zwischen Wortschatzgrösse und Sequenzlänge und ist damit eine praktische Wahl für neuronale Netze. Sie wird heute in Sprachmodellen wie ChatGPT verwendet.
Zwischen Modellen und Werkzeugen
Rico Sennrichs Arbeit konzentriert sich auf die mehrsprachige Sprachverarbeitung, eine Schlüsselkompetenz innerhalb des NCCR Evolving Language. „Ich interessiere mich dafür, wie das in linguistischen Modellen enthaltene Wissen von einer Sprache in eine andere übertragen wird“, sagt er. Dadurch können Modelle Fakten in einer Sprache lernen und dann Fragen zu diesem Thema in jeder anderen Sprache beantworten, die sie beherrschen. „Dies ist ein entscheidender Faktor für die Dateneffizienz, da Modelle in einer neuen Sprache mit viel weniger Daten aus dieser Sprache genutzt werden können, anstatt für jede Sprache ein separates Modell trainieren zu müssen“, erklärt der Forscher.
Im Rahmen des NCCR Evolving Language ist er an einer Reihe von Aufgaben beteiligt, bei denen er linguistische Modelle zum Vergleich menschlichen Verhaltens oder als Forschungsinstrument einsetzt. So arbeitet er beispielsweise im Rahmen der Aufgabe «Silicon Meaning» daran, wie linguistische Modelle Wissen repräsentieren, und vergleicht sie dabei mit der menschlichen Verarbeitung. Im Rahmen der Aufgabe «Meaning Change» entwickelt er hingegen Instrumente zur Untersuchung von Bedeutungswandeln über lange Zeiträume hinweg, beispielsweise im Sanskrit. „Im NCCR-Bereich besteht ein grosser Bedarf an neuen Methoden, die über die Satzebene hinausgehen und sich auf Interaktionen konzentrieren; das möchte ich in das Projekt einbringen“, fasst Rico Sennrich zusammen.
