KI-Chatbots werden von Unternehmen bereits häufig eingesetzt, um Kunden zu begrüßen und ihre Fragen zu beantworten – entweder am Telefon oder auf Websites. Einige Unternehmen haben herausgefunden, dass sie Menschen in Callcenter-Rollen bis zu einem gewissen Grad durch Maschinen ersetzen können.
Die verfügbaren Erkenntnisse deuten jedoch darauf hin, dass es Sektoren gibt – wie das Gesundheitswesen und das Personalwesen –, in denen beim Einsatz dieser Frontline-Instrumente äußerste Vorsicht geboten ist und eine ethische Aufsicht erforderlich sein kann.
Ein aktuelles und vielbeachtetes Beispiel ist das von a Chatbot namens Tessa, die von der verwendet wurde Nationale Vereinigung für Essstörungen (NEDA) in den USA. Die Organisation hatte zunächst eine Hotline unterhalten, die von einer Kombination aus Angestellten und Freiwilligen betrieben wurde. Ziel war es ausdrücklich, hilfsbedürftigen Menschen mit Essstörungen zu helfen.
Allerdings ist dieses Jahr die Organisation hat sein Helpline-Personal aufgelöstund kündigte an, sie durch den Tessa-Chatbot zu ersetzen. Die Gründe hierfür sind umstritten. Ehemalige Arbeitnehmer behaupten, dass die Verlagerung auf die Entscheidung des Helpline-Personals zurückzuführen sei, sich gewerkschaftlich zu organisieren. Der Vizepräsident von NEDA zitiert eine erhöhte Anzahl von Anrufen und Wartezeiten sowie rechtliche Verpflichtungen im Zusammenhang mit dem Einsatz ehrenamtlicher Mitarbeiter.
Wie dem auch sei, nach einer sehr kurzen Betriebszeit wurde Tessa aufgrund von Berichten offline geschaltet, wonach der Chatbot problematische Ratschläge gegeben hatte, die die Symptome von Menschen, die Hilfe wegen Essstörungen suchten, hätten verschlimmern können.
Es wurde auch berichtet, dass Dr. Ellen Fitzsimmons-Craft und Dr. C. Barr Taylor, zwei hochqualifizierte Forscher, die bei der Entwicklung von Tessa mitgewirkt haben, hatten festgelegt, dass der Chatbot niemals als Ersatz für eine bestehende Hotline oder als Soforthilfe für Menschen gedacht sei, die unter starken Symptomen einer Essstörung leiden.
Bedeutende Verbesserung
Wofür wurde Tessa also entworfen? Die Forscher hatten zusammen mit Kollegen eine erstellt Beobachtungsstudie Hervorheben der Herausforderungen, denen sie bei der Entwicklung eines regelbasierten Chatbots zur Interaktion mit Benutzern gegenüberstanden, die über Essstörungen besorgt sind. Es ist eine recht faszinierende Lektüre, die Designentscheidungen, Abläufe, Fallstricke und Änderungen veranschaulicht.
Die Originalversion von Tessa war eine traditionelle, Regelbasierter Chatbot, wenn auch sehr verfeinert, das einer vordefinierten Struktur folgt, die auf Logik basiert. Es konnte nicht von den standardisierten vorprogrammierten Reaktionen abweichen, die von seinen Schöpfern kalibriert wurden.
Ihre Schlussfolgerung beinhaltete den folgenden Punkt: „Regelbasierte Chatbots haben das Potenzial, große Bevölkerungsgruppen mit geringen Kosten durch die Bereitstellung von Informationen und einfachen Interaktionen zu erreichen, sind jedoch nur begrenzt in der Lage, unerwartete Benutzerreaktionen zu verstehen und angemessen darauf zu reagieren.“
Dies scheint die Einsatzmöglichkeiten von Tessa einzuschränken. Wie kam es also dazu, dass die Helpline, die zuvor von NEDA genutzt wurde, ersetzt wurde? Die genaue Abfolge der Ereignisse wird in verschiedenen Berichten diskutiert, aber laut NPR hat das Hosting-Unternehmen des Chatbots Tessa von einem regelbasierten Chatbot mit vorprogrammierten Antworten zu einem mit einem geändert „Erweiterte Frage- und Antwortfunktion“.
Die spätere Version von Tessa nutzte generative KI, ähnlich wie ChatGPT und ähnliche Produkte. Diese fortschrittlichen KI-Chatbots sind darauf ausgelegt, menschliche Gesprächsmuster zu simulieren, um realistischere und nützlichere Antworten zu geben. Die Generierung dieser maßgeschneiderten Antworten basiert auf großen Informationsdatenbanken, deren „Verständnis“ die KI-Modelle durch eine Vielzahl technologischer Prozesse trainieren: Maschinelles Lernen, tiefe Lernen und Verarbeitung natürlicher Sprache.
Lektionen lernen
Letztendlich generierte der Chatbot potenziell schädliche Antworten auf die Fragen einiger Benutzer. Die darauffolgenden Diskussionen haben die Schuld von einer Institution auf die andere verlagert. Der Punkt bleibt jedoch bestehen, dass die daraus resultierenden Umstände möglicherweise hätten vermieden werden können, wenn es eine Stelle gegeben hätte, die die ethische Aufsicht gewährleistet, einen „Menschen auf dem Laufenden“ und ein Festhalten an dem klaren Zweck von Tessas ursprünglichem Entwurf.
Es ist wichtig, aus Fällen wie diesem Lehren zu ziehen, vor dem Hintergrund der zunehmenden Integration von KI in eine Vielzahl von Systemen. Und obwohl diese Ereignisse in den USA stattfanden, enthalten sie Lehren für diejenigen, die dasselbe in anderen Ländern tun möchten.
Das Vereinigte Königreich scheint in dieser Frage einen etwas fragmentierten Ansatz zu verfolgen. Der Beirat des Center for Data Ethics and Innovation (CDEI) wurde kürzlich aufgelöst und ihr Platz am Tisch wurde von der neu gegründeten Frontier AI Taskforce eingenommen. Es gibt auch Berichte, dass KI-Systeme in London bereits als Hilfsmittel zur Unterstützung von Arbeitnehmern getestet werden – allerdings nicht als Ersatz für eine Hotline.
Beide Beispiele verdeutlichen ein mögliches Spannungsverhältnis zwischen ethischen Überlegungen und Geschäftsinteressen. Wir müssen hoffen, dass sich die beiden irgendwann vereinen und das Wohlbefinden des Einzelnen mit der Effizienz und den Vorteilen in Einklang bringen, die die KI bieten könnte.
In einigen Bereichen, in denen Organisationen mit der Öffentlichkeit interagieren, reichen KI-erzeugte Reaktionen und simuliertes Einfühlungsvermögen jedoch möglicherweise nie aus, um echte Menschlichkeit und Mitgefühl zu ersetzen – insbesondere in den Bereichen Medizin und psychische Gesundheit.
Mark Tsagas, Dozent, Strafrecht, University of East London
Dieser Artikel wird erneut veröffentlicht Das Gespräch unter einer Creative Commons-Lizenz. Lies das Original Artikel.
