Entwicklung und Evaluation eines Deep-Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache

Zahlreiche Menschen im deutschsprachigen Raum leiden unter einer Hörstörung [10]. Je größer und länger der Hörverlust besteht, desto mehr profitieren solche Menschen auch von den zusätzlichen Informationen aus den Lippenbewegungen des Sprechenden [1, 28]. Aber auch Normalhörende können hierdurch in anspruchsvollen, vor allem geräuschbelasteten akustischen Situation besser verstehen [26, 38]. Dieses sogenannte Lippenlesen ist jedoch fehleranfällig. So sind in der deutschen Sprache nur ungefähr 15 % der Laute am Mundbild erkennbar. Bei Einbettung in den Kontext erhöht sich die Trefferquote einer Schätzung zufolge auf 50 % [20]. Für englischsprachige Sprecher sind je nach experimentellem Design der Studie Trefferquoten von 40–70 % bekannt [16, 34].

In den letzten Jahren wurde erfolgreich versucht, Lippenlesen durch Algorithmen mit auf künstlichen neuronalen Netzwerken basierender künstlicher Intelligenz (KI) zu verbessern [15]. Für die englische Sprache wird KI z. B. mit Ansätzen von LipNet [2], dem ersten End-to-end-Deep-Learning-Modell für das Lippenlesen auf Satzebene durch Vorhersagen von Zeichensequenzen mittels Connectionist Temporal Classification Loss, sowie von Google Deep Mind [29], welches eine Pipeline zur Generierung eines groß angelegten Datensatzes aus Videoquellen einführt und, im Gegensatz zu LipNet, Phoneme statt Zeichen vorhersagt, verwendet. Derzeit bestehen jedoch keine Anwendungen für die deutsche Sprache.

Menschen mit plötzlich erworbenem, das Sprachverstehen signifikant reduzierenden Hörverlust haben oft Mühe, Sprechende in ruhigen, vor allem aber auch in geräuschvollen Umgebungen zu verstehen. Die Fähigkeit, aus Lippenbewegungen Sprachinformationen ablesen zu können, muss in den meisten Fällen erst erlernt werden, um im Alltag relevant nützlich zu werden. Im umgekehrten Fall kann aber auch die Artikulationsfähigkeit von Sprache deutlich reduziert sein. Nach Kehlkopfoperation und Anlage eine Tracheostomas ist die akustische Sprachproduktion meist nicht mehr möglich, wohingegen die Lippenbewegungen nahezu unverändert sprachkorreliert erfolgen können. Solche Menschen verstehen zu können, ist für die Kommunikationspartner oder Pflegende sehr wichtig, jedoch oft nur schwer möglich. Hier wären technisch niederschwellige Algorithmen zur Spracherkennung aus Lippenbewegungen sehr hilfreich.

Aufgaben wie das Lippenlesen stellen Herausforderungen dar, wozu bislang keine Algorithmen bekannt sind, welche diese vollständig und optimal lösen. Auch Menschen besitzen nicht die Fähigkeit, in jedem Fall die Lippenbewegung eindeutig in Sprache zu übersetzen. Jedoch ist beim Lippenlesen ein großer Lerneffekt zu beobachten [16, 34]. Um auch durch Computer möglichst hohe Genauigkeiten beim Lippenlesen zu erreichen, wurden Deep-Learning-Methoden verwendet, welche auf tiefen künstlichen neuronalen Netzwerken basieren. Dabei werden mithilfe von Trainingsbeispielen unter anderem die Gewichtungen zwischen den Neuronen verändert. Aus dem Training folgt schließlich eine Generalisierungsfähigkeit, um erlerntes Wissen mit einer deutlich reduzierten Fehleranfälligkeit auf neue Beispiele anzuwenden. Neuronale Netzwerke können als universelle Approximatoren betrachtet werden, welche mit genügend Neuronen in der Theorie n-dimensionale Funktionen darstellen können [13]. Unter der Annahme, dass Lippenlesen eine Aufgabe ist, bei dem erkennbare Zusammenhänge beziehungsweise Muster auftreten, ist der Erfolg künstlicher neuronaler Netzwerke beim Lernen von Lippenlesen zu erklären.

Als essenzieller Bestandteil der meisten Deep-Learning-Modelle dient das mehrschichtige Perzeptronen-Netzwerk (Multilayer Perceptron [MLP]) als ein universeller Approximator von Funktionen [8], sodass also unter anderem Regressionsanalysen und Klassifikationen ermöglicht werden. Neuronen als kleinste Recheneinheit in solchen Netzwerken besitzen n Eingänge, die auch von anderen Perzeptronen stammen können. Jeder Eingang verfügt jeweils über ein Gewicht w_i. Die Ausgabe des Perzeptrons ist die um ein gewichtetes Bias ergänzte Summe der gewichteten Eingänge in einer Aktivierungsfunktion. Für eine höhere Aussagekraft werden mehrere Perzeptronen zu einem mehrschichtigen Perzeptronen-Netzwerk zusammengefasst. Jedes Perzeptron einer Schicht erhält die Ausgaben des vorherigen Layers als Eingang. Zur Approximation nichtlinearer komplexer Zusammenhänge sind im neuronalen Netzwerk nichtlineare Aktivierungsfunktionen notwendig. Diese sorgen dafür, dass Modelle komplexere Zusammenhänge zwischen Eingaben und Ausgaben herstellen, was für Problemstellungen wie das Lippenlesen essenziell ist. In dieser Arbeit ist die am weitesten verbreitete Rectified Linear Unit(ReLU)-Funktion [36] in den versteckten Schichten und die Softmax-Funktion [3] in den Ausgabeschichten relevant. Die ReLU-Funktion gibt das Argument aus, sofern dieses größer als Null ist. Ansonsten wird 0 als Funktionswert ausgegeben. Die Softmax-Funktion ist eine normalisierte Exponentialfunktion und berechnet die Wahrscheinlichkeitsverteilung eines Vektors mit reellen Komponenten. Dies wird bei der Ausgabeschicht für die Multiklassen-Klassifizierung genutzt. Jede Komponente steht für eine Klasse, sodass die wahrscheinlichste Klasse klassifiziert wird. Insgesamt kann ein MLP mithilfe von genügend Neuronen und Schichten und nichtlinearen Aktivierungsfunktionen beliebige n-dimensionale Funktionen approximieren.

Neben den mehrschichtigen Perzeptronen-Netzwerken werden als weitere Klasse neuronaler Netze 2‑D-Convolutional-Layer betrachtet, die eine festgelegte Anzahl an Filtern (Kernels) besitzen [23]. Diese sind Matrizen mit reellen Elementen und haben eine feste Größe. Die Kernel-Size und die Anzahl an Filtern sind Parameter, welche beim Entwurf eines Convolutional Neural Network (CNN) zu beachten sind. Beim Convolutional-Layer werden Filter schrittweise über die Input-Matrix geschoben. Dabei wird das Kernel zeilenweise von links nach rechts mit festgelegter Schrittweite (Stride) bewegt. Jedes Mal, bevor das Kernel gleitet, werden die Komponenten der Input-Matrix mit ihren zugehörigen Gewichtungen im Kernel multipliziert, und schließlich wird die Summe gebildet. Diese Summe wird zu einem Element der ausgegebenen Feature-Map-Matrix. Das Aktualisieren der Gewichtungen in den Filtern sorgt für das Lernen der Mustererkennung bzw. Extraktion der Features. Die Anzahl an Kernels bestimmt, wie tief die entstandene Feature-Map ist. Während 2‑D Convolutional Neural Networks (CNN oder ConvNet) ursprünglich zum Lösen von Computer-Vision-Problemen, wie beispielsweise Handschrifterkennung, entwickelt wurden [21], erreichen dreidimensionale CNN bei 3‑D-Bildern höhere Genauigkeiten [22]. Videos können als vierdimensionale Arrays mit Dimensionen für Kanäle, Tiefe, Höhe und Breite dargestellt werden und sind somit für 3‑D-CNN geeignet. Anders als MLP, welche ausschließlich Vektoren als Eingabe verarbeiten können, sind CNN in der Lage, Input in Form von Matrizen, also auch Bilder, zu verwenden. Mit vielen Kernels und mehreren aufeinanderfolgenden Schichten können komplexere Muster erkannt werden. Im Fall von Videos können 3‑D-CNN nicht nur die bildlichen, sondern möglicherweise auch erste zeitliche Informationen extrahieren.

Im Gegensatz zu den genannten Feedforward-Schichten [35], bei dem die Ausgaben stets an die nächste Schicht weitergeleitet wurden, eignen sich für die Verarbeitung sequenzieller Daten vor allem rekurrente neuronale Netze, bei denen Rückkopplungen durchgeführt werden [7, 13]. Die Gated Recurrent Units (GRU) [6] eignen sich zur Erfassung der zeitlichen Informationen von Videos mit relativ geringem Rechenaufwand. Das Reset Gate wird als Vektor bestimmt, bei dem vergangene Informationen gelöscht, also vergessen, werden sollen. Das Update Gate bestimmt, welche Informationen der versteckten Zustände vergangener Zeitschritte behalten werden sollen. Durch Eingabe von Trainingsbeispielen wird mit der Zeit gelernt, zeitliche Informationen zu extrahieren, um bestmögliche Vorhersagen zu treffen. Anders als CNN, können GRU und MLP aber ausschließlich Vektoren verarbeiten. Sollen die Ausgaben von CNN, was drei- oder vierdimensionale Arrays sind, also in diesen Schichten übertragen werden, so müssen diese in Vektoren bzw. eindimensionale Arrays transformiert werden (Flattening).

Automatische Algorithmen zur Erkennung von Lippenlesen benötigen zum Training eine große Datenbasis. Diese steht für den deutschen Sprachraum nicht zur Verfügung. Die Größe, Qualität und Relevanz der Datenbasis bestimmt den Erfolg des Modells maßgeblich [15]. Die Spracherkennungsrate der automatischen Algorithmen zur Spracherkennung aus Lippenbewegungen variiert stark und hängt vom verwendeten Algorithmus und der Datenbasis ab. Mit dem von Chung et al. [7] vorgestellten, auf CNN und RNN basierenden neuronalen Netz konnten 47 % der englischen Sätze einer Datenbasis mit 10.000 Items korrekt erkannt werden. Eine sehr große Datenbasis für die chinesische Sprache wurde von Yang et al. [37] vorgestellt. Einen Überblick gibt Hao [15] und listet z. B. Erkennungsraten für Wörter von 76 % [7] bis 98 % [33] für die englische Sprache auf. Für die deutsche Sprache wurden bisher keine Algorithmen mit großen deutschsprachigen Datensätzen entwickelt. Auf neuronalen Netzen basierende Algorithmen zur Erkennung von Lippenlesen scheinen sprachübergreifend wirksam zu sein. Die phonologische Interferenz zwischen den eng verwandten westgermanischen Sprachen Deutsch und Englisch lässt vermuten, dass sich solche Algorithmen auch auf die deutsche Sprache übertragen lassen.

Ziel der Arbeit ist es, durch die Konzeption und Implementierung eines geeigneten neuronalen Netzwerks das automatisierte Lippenlesen auf Wortebene für Deutschsprechende im Sinne einer visuellen Spracherkennung zu entwickeln. Hierzu wird ein Datensatz erstellt, der zum Training und Evaluierung der Deep-Learning-Modelle dient. Dabei wird die Genauigkeit von sowohl im Training bekannten als auch unbekannten Sprechern untersucht. Um eine möglichst hohe Genauigkeit zu erzielen, werden verschiedene Netzwerkarchitekturen und Methoden der Vorverarbeitung der Eingabedaten verglichen. Es wird eine Prozesskette entwickelt, die Eingabedaten von Sprechern ohne Ton verarbeitet und durch das Modell klassifiziert.

Diese Arbeit beschreibt einen Deep-Learning-Algorithmus, der bei einem definierten Datensatz an Videoaufzeichnungen Wörter anhand von Mundbewegungen mit hoher Treffergenauigkeit klassifiziert.

Ein wesentlicher Prozessschritt ist die Wahl des Bildausschnitts. Hier führte das Zuschneiden auf den Mund zu einer deutlich größeren Korrektklassifikationsrate als bei Zuschneiden auf das Gesicht. Ein Grund könnte sein, dass im Gesichtsbereich zu viele für das Klassifizieren unnötige Informationen enthalten sind, welche die Klassifizierung erschweren. Aufgrund einer komplexeren zu approximierenden Funktion ist für das Lippenlesen bei Verwendung des gesamten Gesichts als Bildausschnitt ein Modell mit anderen Hyperparameter, einem anderen Aufbau oder auch mehr Neuronen notwendig. Auch die verwendete Grafikauflösung des Gesichts von 90 × 90 Pixeln ist ein möglicher Grund für das schlechtere Abschneiden, da beim Skalieren relevante Informationen verloren gehen könnten. Eine höhere Auflösung wiederum würde die Rechenkapazität massiv erhöhen. Die Verwendung des Lippenbereichs hat sich auch in vergleichbaren Arbeiten im englischen Sprachraum durchgesetzt, so z. B. bei LipNet [2] und Google Deep Mind [29]. Andererseits ermöglicht auch das Verwenden von auf den Gesichtsbereich zugeschnittenen Videos, insbesondere unter Verwendung von Landmarkdetektoren [16], eine gute Performance. Diese kann sogar die Performances von State-of-the-Art-Modellen, die auf den Lippenbereich zuschneiden, übertreffen [9].

Bezüglich des verwendeten Farbraums zeigen sich kaum Unterschiede in der Korrektklassifikationsrate. Hierbei ist zu bedenken, dass Bilder des Mundbereichs ausgewertet wurden, bei denen per se eine geringe Vielfalt an Farben zu erwarten ist. Andererseits zeigen Gowda & Yuan [14], dass die verwendeten Modelle auch bei einem Datensatz aus unterschiedlichen Objekten für verschiedene Farbräume ähnlich gut performen. Auch dort konnte der LAB-Farbraum die höchste Genauigkeit erzielen und hatte im Vergleich zum zweitbesten Farbraum einen Genauigkeitsunterschied von weniger als 2 %. In der vorliegenden Arbeit ist nicht auszuschließen, dass bestimmte Wortklassen bei einigen Farbräumen treffsicherer klassifiziert werden. Möglicherweise ist dies der Grund, weshalb in dieser Arbeit im Graustufen-Farbraum mit vermeintlich weniger Informationen eine im Vergleich zum RGB-Farbraum höhere Genauigkeit erzielt wurde. Es ist nicht auszuschließen, dass gewisse Farbräume mit anderen Architekturen von neuronalen Netzwerken höhere Genauigkeiten erzielen würden. Zudem werden die Gewichte der Modelle zufällig initialisiert, sodass diese die Genauigkeiten ebenfalls beeinträchtigt haben könnten.

Bezüglich der untersuchten Deep-Learning-Modelle erreichte das GRUConv-Modell, welches CNN und GRU kombiniert, die höchste Korrektklassifikationsrate im Lippenlesen. Da die zugrunde liegenden GRU- und CNN-Schichttypen nicht verändert wurden, liegt es nahe, dass die Kombination der Modelle synergistisch wirken.

Das final verwendete Modell zeigt, dass Lippenlesen auf Deutsch mithilfe von neuronalen Netzwerken möglich ist. Die Genauigkeit von 78 % ist mit der für andere Sprachen erzielten Genauigkeit vergleichbar [15].

Ein großes Thema beim Lippenlesen sind Verwechslungen von Wörtern. Im verwendeten Testdatensatz waren die Erkennungsraten bei den Wortklassen „wichtig“, „wirklich“ sowie „wissen“ am niedrigsten und wurden im Vergleich zu den anderen Klassen öfter miteinander verwechselt. Dies ist zum einen damit zu begründen, dass die Mundbewegung ähnlich abläuft. Zum anderen war die Verteilung der Wortklassen über die Videos nicht homogen. Wiederum konnten für Klassen mit wenigen Videos, beispielsweise „prüfung“ und „deutschland“, relativ hohe Genauigkeiten gemessen werden. Diese Wörter haben sehr unterscheidbare und markante Mundbewegungen. Die Wortklassen „wichtig“, „wirklich“ und „wissen“ hingegen beinhalten relativ wenige für das Training zur Verfügung stehende Videos, aber ähnliche Lippenbewegungen. Die Frage, ob sich diese Wörter mit mehr Lernbeispielen besser unterscheiden lassen, wurde mit dem umfangreicheren Testdatensatz B beantwortet, bei dem sich größere Trefferraten zeigten. Auffällig ist hier nun, dass die Klasse „wörter“ oft mit „können“ verwechselt wird. Auch hier könnte die ähnliche Mundbewegung ursächlich sein.

Insgesamt muss diskutiert werden, dass, wie generell beim maschinellen Lernen, auch im Fall des Lippenlesens die Quantität an Trainingsdaten entscheidend ist. Wie in der Arbeit gezeigt wurde, ist der Umfang des Datensatzes relevanter für die Korrektklassifikationsrate als die Wahl des Modells.

Das final verwendete Modell hat eine gute Generalisierungsfähigkeit bei bekannten Sprechern gezeigt und wurde abschließend im Datensatz C getestet. Die hierbei verringerte Genauigkeit von 63 % war wegen der unbekannten Sprechenden zu erwarten, ist jedoch immer noch sehr hoch. Somit kann eine gewisse Generalisierung des Modells unabhängig von Sprechern angenommen werden.

Bei der Erzeugung der Datensätze könnten Fehler bei der Spracherkennung oder der automatischen Auswahl des relevanten Bildbereichs potenziell Einfluss auf das finale Ergebnis gehabt haben. Die Genauigkeit der automatischen Algorithmen in den manuell überprüften Testdatensätzen war jedoch sehr präzise, sodass dieser Einfluss als sehr klein eingeschätzt wird. Ein Vorteil des verwendeten Videomaterials ist, dass Videos des alltäglichen Sprachgebrauchs ausgewählt wurden und der Arbeit somit eine gewisse Relevanz für die Alltagskommunikation geben.

Insgesamt zeigt das finale Modell mit einer Genauigkeit von 87 % bei bekannten Sprechenden und 63 % bei unbekannten Sprechenden eine Möglichkeit des automatisierten Lippenlesens durch Deep Learning für die deutsche Sprache auf. Die Genauigkeit des Modells ließ sich mit einem erweiterten Datensatz verbessern. Die Klassifikation von mehr als 18 Klassen, also ein größeres Vokabular, ist eine weitere Verbesserungsmöglichkeit zukünftiger Arbeiten. Mit mehr Lernbeispielen sollte auch ein neuronales Netzwerk mit einem umfangreicheren und komplexeren Aufbau für das Lippenlesen anwendbar sein. Offen ist die weitere Suche nach optimalen Hyperparametern. Zukünftig könnte der entwickelte Algorithmus in einen Connectionist-Temporal-Classification-Algorithmus eingebettet werden um, von einem variabel langen Video den zugehörigen, gesprochenen Text zu ermitteln. Damit würde solch ein Modell keine Multiklassen-Klassifizierung wie in dieser Arbeit betreiben, sondern dem realen Lippenlesen nahekommen.

Das maschinelle Lippenlesen durch Deep Learning kann in vielen Feldern angewandt werden: Automatische Generierung von Untertiteln für Gehörlose und lautloses Diktieren in lauten Umgebungen sind ebenso potenzielle Anwendungsmöglichkeiten wie die Unterstützung von Spracherkennungssystemen.

Medizinisch kann der Algorithmus für Kehlkopfoperierte sehr nützlich sein, bei denen nach Anlage eine Tracheostomas die akustische Sprachproduktion meist nicht mehr möglich ist. Der Algorithmus kann in diesem Fall sehr schnell und mit hoher Genauigkeit auf die Lippenbewegungen der Betroffenen trainiert werden. Eine Einbettung in eine App könnte dann die Spracherkennung nahezu in Echtzeit möglich machen. Bei Anwendung auf beliebige Sprechende, wie es z. B. gehörlose Menschen benötigen würden, müsste das Modell generalisierbar sein. Diese Bedingung erfüllt das Modell ebenfalls mit einer akzeptabel hohen Trefferquote. In nächsten Schritt sollten Einbettungsmöglichkeiten in Smartphones und/oder Tablets entwickelt werden, damit möglichst viele Betroffene in der Alltagskommunikation davon profitieren.

In dieser Arbeit wurde erfolgreich ein neuronales Netzwerk zum Lippenlesen in deutscher Sprache umgesetzt. Es wurde ein Modell trainiert, dessen Genauigkeit die Eignung der Datensätze sowie die dabei eingesetzten Methoden bestätigt. Sowohl die Quelle der Daten als auch die dazu verwendete Sprach- und Munderkennung erwiesen sich als geeignet.