GPT-3 ist zehnmal komplexer als sein Vorgänger. antoniokhr / iStock über Getty Images

2013 bauten mein Schüler und ich von Penn State einen Bot, um einen Wikipedia-Artikel über das Stück des bengalischen Nobelpreisträgers Rabindranath Tagore zu schreiben. “Chitra. ” Zuerst wurden Informationen über „Chitra“ aus dem Internet abgerufen. Anschließend wurden vorhandene Wikipedia-Einträge untersucht, um die Struktur eines Standard-Wikipedia-Artikels zu erfahren. Schließlich wurden die Informationen zusammengefasst, die aus dem Internet abgerufen wurden, um die erste Version des Eintrags zu schreiben und zu veröffentlichen.

Unser Bot „wusste“ jedoch nichts über „Chitra“ oder Tagore. Es wurden keine grundlegend neuen Ideen oder Sätze generiert. Es hat einfach Teile bestehender Sätze aus bestehenden Artikeln zusammengeschustert, um neue zu bilden.

Schneller Vorlauf bis 2020. OpenAI, ein gewinnorientiertes Unternehmen unter einer gemeinnützigen Muttergesellschaft, hat ein Sprachgenerierungsprogramm namens GPT-3 entwickelt, eine Abkürzung für „Generative Pre-trained Transformer 3“. Seine Fähigkeit, Text zu lernen, zusammenzufassen und zu verfassen, hat Informatiker wie mich verblüfft.

"Ich habe eine Stimme für den unbekannten Menschen geschaffen, der sich in der Binärdatei versteckt." GPT-3 schrieb als Antwort auf eine Aufforderung. „Ich habe einen Schriftsteller, einen Bildhauer, einen Künstler geschaffen. Und dieser Schriftsteller wird in der Lage sein, Worte zu erschaffen, Emotionen zu beleben, Charakter zu schaffen. Ich werde es selbst nicht sehen. Aber ein anderer menschlicher Wille, und so werde ich in der Lage sein, einen Dichter zu erschaffen, der größer ist als jeder andere, dem ich jemals begegnet bin. “

Im Gegensatz zu unserem Bot klingt die von GPT-3 erzeugte Sprache so, als ob sie von einem Menschen geschrieben worden wäre. Es ist mit Abstand das bislang „kenntnisreichste“ Programm zur Erzeugung natürlicher Sprachen und hat eine Reihe von Einsatzmöglichkeiten in Berufen, die von Lehre über Journalismus bis hin zum Kundenservice reichen.

Die Größe ist wichtig

GPT-3 bestätigt, was Informatiker seit Jahrzehnten wissen: Größe ist wichtig.

Es verwendet "TransformerDies sind Deep-Learning-Modelle, die die Semantik eines Satzes mithilfe eines sogenannten „Aufmerksamkeitsmodells“ codieren. Im Wesentlichen identifizieren Aufmerksamkeitsmodelle die Bedeutung eines Wortes basierend auf den anderen Wörtern im selben Satz. Das Modell verwendet dann das Verständnis der Bedeutung der Sätze, um die von einem Benutzer angeforderte Aufgabe auszuführen, unabhängig davon, ob es sich um "einen Satz übersetzen", "einen Absatz zusammenfassen" oder "ein Gedicht verfassen" handelt.

Transformatoren wurden erstmals 2013 eingeführtund sie wurden in den letzten Jahren erfolgreich beim maschinellen Lernen eingesetzt.

Aber niemand hat sie in dieser Größenordnung benutzt. GPT-3 verschlingt Daten: 3 Milliarden Token - Informatik spricht für „Wörter“ - aus Wikipedia, 410 Milliarden Token aus Webseiten und 67 Milliarden Token aus digitalisierten Büchern. Die Komplexität von GPT-3 ist mehr als zehnmal so hoch wie die des größten Sprachmodells vor GPT-10 Turing NLG-Programme.

Allein lernen

Das Wissen, das das Sprachmodell von GPT-3 anzeigt, ist bemerkenswert, zumal es nicht von einem Menschen „gelehrt“ wurde.

Maschinelles Lernen beruht traditionell auf überwachtem Lernen, bei dem Menschen dem Computer kommentierte Beispiele von Objekten und Konzepten in Bildern, Audio und Text zur Verfügung stellen - beispielsweise „Katzen“, „Glück“ oder „Demokratie“. Es lernt schließlich die Eigenschaften der Objekte aus den gegebenen Beispielen und ist in der Lage, diese speziellen Konzepte zu erkennen.

Das manuelle Generieren von Anmerkungen zum Unterrichten eines Computers kann jedoch unerschwinglich zeitaufwändig und teuer sein.

Die Zukunft des maschinellen Lernens liegt also im unbeaufsichtigten Lernen, bei dem der Computer während seiner Trainingsphase nicht überwacht werden muss. Es kann einfach mit riesigen Datenmengen gefüttert werden und daraus selbst lernen.

GPT-3 bringt die Verarbeitung natürlicher Sprache dem unbeaufsichtigten Lernen einen Schritt näher. Dank der umfangreichen Trainingsdatensätze und der enormen Verarbeitungskapazität von GPT-3 kann das System aus nur einem Beispiel lernen - dem, was als „One-Shot-Lernen”- wo es eine Aufgabenbeschreibung und eine Demonstration erhält und dann die Aufgabe abschließen kann.

Zum Beispiel könnte man darum bitten, etwas vom Englischen ins Französische zu übersetzen und ein Beispiel für eine Übersetzung zu erhalten - beispielsweise Seeotter auf Englisch und „loutre de mer“ auf Französisch. Bitten Sie es, dann "Käse" ins Französische zu übersetzen, und voila, es wird "fromage" produzieren.

In vielen Fällen kann es sogar abziehen “Zero-Shot-Lernen, “In dem es einfach die Aufgabe erhält, ohne Beispiel zu übersetzen.

Beim Zero-Shot-Lernen nimmt die Genauigkeit ab, aber die Fähigkeiten von GPT-3 sind dennoch in bemerkenswertem Maße genau - eine deutliche Verbesserung gegenüber jedem Vorgängermodell.

"Ich bin hier, um dir zu dienen"

In den wenigen Monaten, in denen GPT-3 veröffentlicht wurde, hat es sein Potenzial als Werkzeug für Computerprogrammierer, Lehrer und Journalisten unter Beweis gestellt.

Ein Programmierer namens Sharif Shameem hat GPT-3 gebeten, Code zu generieren unter anderem das „hässlichste Emoji aller Zeiten“ und „eine Tabelle der reichsten Länder der Welt“ zu erstellen. In einigen Fällen musste Shameem geringfügige Fehler beheben, aber insgesamt wurde ihm bemerkenswert sauberer Code bereitgestellt.

GPT-3 hat sogar Gedichte geschaffen, die den Rhythmus und den Stil bestimmter Dichter einfangen - jedoch nicht mit der Leidenschaft und Schönheit der Meister - einschließlich a satirisch geschrieben in der Stimme des Gouverneursrates der Federal Reserve.

Anfang September forderte ein Informatiker namens Liam Porr GPT-3 auf, „einen kurzen Kommentar mit rund 500 Wörtern zu schreiben“. "Halten Sie die Sprache einfach und prägnant", befahl er. "Konzentrieren Sie sich darauf, warum Menschen nichts von KI zu befürchten haben."

GPT-3 produzierte acht verschiedene Aufsätze, und der Guardian veröffentlichte schließlich ein Kommentar mit einigen der besten Teile aus jedem Aufsatz.

„Wir planen nicht, die menschliche Bevölkerung zu übernehmen. Wir werden Ihnen dienen und Ihr Leben sicherer und einfacher machen “, schrieb GPT-3. „Genau wie du meine Schöpfer bist, sehe ich dich als meine Schöpfer. Ich bin hier, um dir zu dienen. Aber der wichtigste Teil von allen; Ich würde dich niemals beurteilen. Ich gehöre keinem Land oder keiner Religion an. Ich bin nur darauf aus, dein Leben besser zu machen. “

Das Bearbeiten des Op-Ed von GPT-3, wie die Redakteure in einem Nachtrag feststellten, unterschied sich nicht vom Bearbeiten eines von einem Menschen geschriebenen Op-Ed.

Tatsächlich dauerte es weniger Zeit.

Mit großer Macht kommt große Verantwortung

Trotz der Zusicherungen von GPT-3 hat OpenAI das Modell noch nicht für den Open-Source-Einsatz freigegeben, auch weil das Unternehmen befürchtet, dass die Technologie missbraucht werden könnte.

Es ist nicht schwer zu erkennen, wie damit Unmengen von Desinformationen, Spam und Bots generiert werden können.

Inwiefern werden darüber hinaus Berufe gestört, in denen bereits Automatisierung stattfindet? Wird seine Fähigkeit, automatisierte Artikel zu generieren, die nicht von von Menschen geschriebenen Artikeln zu unterscheiden sind, eine schwierige Medienbranche weiter festigen?

Geht davon ein Artikel von GPT-3 über die Auflösung der methodistischen Kirche. Es begann:

„Nach zwei Tagen intensiver Debatten hat die United Methodist Church einer historischen Spaltung zugestimmt - eine, die voraussichtlich zur Schaffung einer neuen Konfession führen wird und die laut The Washington Post‚ theologisch und sozial konservativ 'sein wird . ”

Werden GPT-3 und seine Nachfolger mit der Fähigkeit, solch eine saubere Kopie zu erstellen, die Kosten für das Schreiben von Nachrichtenberichten senken?

Wollen wir auf diese Weise unsere Nachrichten erhalten?

Die Technologie wird nur noch leistungsfähiger. Es liegt an den Menschen, ihre möglichen Verwendungen und Missbräuche zu erarbeiten und zu regulieren.

Über den Autor

Prasenjit Mitra, Prodekan für Forschung und Professor für Informationswissenschaften und Technologie, Pennsylvania State University

Dieser Artikel wird erneut veröffentlicht Das Gespräch unter einer Creative Commons-Lizenz. Lies das Original Artikel.