Steadforce auf der AI for Human Language

 

ai-for-human-language-pacman-nlp

Über 1.000 Forscher, Entwickler, Data Scientists, Unternehmer, Führungskräfte und über 50 Vorträge – das war die Konferenz AI for Human Language am 05. März 2020 in Tel Aviv.

ai-for-human-language-steadforce

Fokus der Konferenz – NLP

Mit dem Ziel neuste Trends zu entdecken, Ideen zu sammeln und interessante Diskussionen mit anderen NLP-Enthusiasten zu führen, besuchten unsere Data Scientists Jonathan und Simon die AI for Human Language in Israel.

Ein vielseitiges Vortragsprogramm boten Speaker von bekannten Größen der AI-Forschung wie Intel, Google, IBM sowie von kleineren und spezialisierten “erwachsen gewordenen” Start-Ups oder aus der akademischen Forschung. Sowohl die Hintergründe neuer MS Office Features als auch die Tücken des heiß umkämpften und sich zunehmend auf Machine Learning und NLP-Modelle stützenden Übersetzungsmarktes wurden aufgezeigt. Diese Thematiken wurden in großer technischer Detailtiefe vorgestellt und fügten sich in akademische Vorträge zu den neuesten Einsichten in die “Sesame Street”-Generation von Deep Learning basierten Sprachmodellen (ELMo, BERT).

Die 3 Trendthemen der AI for Human Language

chatbot-mensch-konversation

Fortschritte um Conversational Systems oder Chatbots

deep-learning-ai-for-human-language

Nächste Schritte der NLP-Community mit Deep Learning-Sprachmodellen

health-gesundheit-ai-for-human-language

Interesse und Potential von NLP-Anwendungen im Gesundheitssektor

chatbot-mensch-konversation

Conversational Systems interagieren mit Kunden im Customer Service, beantworten Fragen oder ermöglichen self-service über natürliche Sprache als 'universale' Schnittstelle. Diese Systeme stellen NLP-Forscher vor interessante Herausforderungen, öffnen Unternehmen neue Wege der Kundeninteraktion und werden von Kunden positiv angenommen. Dementsprechend ist das Interesse an Verbesserungen aller Aspekte von Conversational Systems hoch.

Inzwischen existieren Projekte wie RASA und Dienste wie das MS Bot Framework, die die Entwicklung von Bots mit grundlegenden Fähigkeiten deutlich vereinfachen. Aktiv wird vor allem an der Verbesserung der trainierbaren Machine Learning-Komponenten zum Sprachverständnis gearbeitet. Hier bieten Dienstleister domainspezifisches Vortraining an, um z.B. die Intent-Erkennung zu optimieren. Gleichzeitig wird mit Techniken zur Augmentierung der – immer knappen – Trainingsdaten experimentiert (s.u.).

Eine große Herausforderung bleibt es aber, Chatbots hinreichend flexibel zu gestalten, sodass sie ihrem menschlichen Gegenüber in selteneren oder vom antizipierten Verlauf abweichenden Situationen helfen können.

Ein weiteres großes Diskussionsthema waren die Erfolge von Deep Learning-Sprachmodellen, speziell den Transformer-basierten wie BERT. Denn in den verschiedensten Bereichen von NLU zu NLG, Textklassifikation, Fragenbeantwortung und insbesondere auch in zahlreichen NLP-Wettbewerben und Benchmarks erzielen sie erstaunliche Resultate.

Neben den Bestrebungen, die hinter den Modellen stehenden Mechanismen und deren Begrenzungen besser zu verstehen, arbeitet die NLP-Community auch an der Integration der Transformermodelle mit den ‘klassischen’ Wissensdatenbanken, Ontologien und/oder regelbasierten Systemen. Ziel dabei ist, nicht nur die Resultate der Modelle zu verbessern, sondern auch eben diese klassischen Datenquellen durch die gelernten Modelle zu erweitern. Das Verschmelzen dieser beiden Ansätze hat dabei sogar das Potential zum nächsten großen Entwicklungsschritt in NL/AI-Systemen.

deep-learning-sprachmodelle-ai-for-human-language
Gesundheitssektor-NLP-AI

An Anwendungsbereichen stand insbesondere der Gesundheitssektor im Fokus. Hier finden sich einerseits große Potentiale, anderseits auch spezifische Hindernisse für die Verbreitung von NLP-gestützten Lösungen. Solche Lösungen bieten z.B. die Chance, Verwaltungsprozesse zu vereinfachen und Kosten zu reduzieren. Informationen aus den vorhandenen, oft un- oder nur teilstrukturierten Akten, Leit- und Richtlinien, Wissensdatenbanken etc. können medizinischem Personal leichter zugänglich gemacht werden und sie bei der Auswahl von Behandlungsstrategien unterstützen. Oft sind aber gerade Klinikbetriebe und Praxen wenig digitalisiert. Die Domäne ist hochkomplex und sensitiv, Daten sind unstrukturiert, streng vertraulich und gespickt mit Fachjargon. Zusätzlich sind weniger  Trainingsdaten vorhanden als in anderen Bereichen. Gleichzeitig neigen mit Patienten arbeitende Mediziner überdurchschnittlich zu Skepsis gegenüber automatisierten Systemen und werden durch Modellfehler leicht abgeschreckt.

Die Lösung kann darin bestehen, hier Ärzte und Experten noch stärker in Entwicklungsprozesse einzubeziehen. Einerseits erhöht dies das Vertrauen und die Akzeptanz in neue Verfahren. Andererseits kann und muss ihr Fachwissen zusätzlich zu den vorhandenen Trainingsdaten z.B. zur Plausibilitätsprüfung oder als ‘Notfallbremsen’ stärker einfließen.

Spannende Vortragsthemen der AI for Human Language

Data Augmentation für Conversational Systems

LAMBADA befasst sich mit Data Augmentation im Kontext von Conversational Systems und schafft ein kleines Paradox: Das Verbessern von Intentklassifikation durch (eigentlich viel anspruchsvollere) Textgenerierung.

Wenn wenige gelabelte Aussagen pro Intent für das Training eines NLU-Modells vorhanden sind – ein häufiges Problem in der Entwickler-Realität -, sind Verbesserungen möglich. Dafür müssen mithilfe eines speziell fein-getunten GPT-2 Modells neue Aussagen erzeugt und, nach einigen heuristischen Filterschritten, zum Trainingsset für das NLU Modell hinzugefügt werden. Mit diesem Verfahren konnten beim Trainieren von Intentklassifikatoren besonders bei wenigen Utterances (<= 40) große Performancegewinne erzielt werden.

Benutzerfreundliche Conversational Systems

Um Conversational Systems benutzerfreundlicher zu gestalten, erweitert Domain Exploration die Bot-Fähigkeiten, so dass es Informationen liefern kann, nach denen der Nutzer nicht explizit gefragt hat. Dazu lernt das System, welche Informationen zum bisherigen Gesprächsverlauf passen und für den Nutzer von Interesse sein könnten.

Hybrid-Algorithmen im Gesundheitswesen

Eine Lösung der oben beschriebenen Herausforderungen von NLP im Gesundheitswesen sind Hybrid Algorithmen. Ensemble-Modelle, also Kombinationen von Untermodellen, können z.B. Klassen mit wenig Trainingsdaten durch regel- oder wissensbasierte Methoden abhandeln und für Klassen mit genug Trainingsdaten die (hier meist besser generalisierenden) neueren Deep Learning-Verfahren einsetzen. Dies erlaubt größere Kontrolle über das Gesamtmodell und verwertet das vorhandene Fachwissen zielgerichtet, um die Schwachpunkte der Modelle zu stärken.

Schwachstellen von Deep Learning-Modellen

Zu viel Vertrauen in Deep Learning-Sprachmodelle kann auch irreführend sein: Wenn Testdaten sich durch einfache Heuristiken erklären lassen, werden auch komplexe neuronale Architekturen nur einfache Heuristiken und keine sinnvollen, generalisierenden Inferenzregeln lernen.
Eine einfache Heuristik wäre, dass jeder Satz, der ganz und zusammenhängend in einem wahren Trainingssatz enthalten ist, auch selbst wahr ist. Etwa in folgendem Fall:

Es ist falsch, aus “The doctor near the actor danced.” zu schließen “The actor danced”.
Dieses Beispiel ist ein Fehler, den ein Standard-BERT Modell, trainiert auf dem Textinferenz-Datensatz MNLI, macht. Es zeigt, wie wichtig es ist, auch Deep Learning-Modelle nicht als Black Box hinzunehmen, sondern ihre Funktionsweise genauer zu untersuchen und auch zu erklären.

ai-for-human-language-fazit-hirsch

In vielen Bereichen sind NLP-Systeme längst gut genug, um häufige Alltagsherausforderungen zu erleichtern. Beispiele für gut verstandene Use-Cases sind etwa maschinelle Übersetzung oder Textklassifikation. Aber Lösungen sind in aller Regel sehr spezifisch auf einen Use-Case zugeschnitten und zu wirklich verallgemeinernden, lernenden Systemen ist der (Forschungs-) Weg noch weit.

Die Integration von extern aufbereitetem Wissen, in Form von Wissensdatenbanken, Ontologien oder handgeschöpften Regeln, scheint hier die nächste Entwicklungsstufe zu sein. Steadforce freut sich auf die neuen Möglichkeiten und Herausforderungen.

Mehr zu NLP