Die Fähigkeit eines Sprachgenerierungsprogramms, Artikel zu schreiben, Code zu produzieren und Gedichte zu verfassen, hat Wissenschaftler begeistert

Die Fähigkeit eines Sprachgenerierungsprogramms, Artikel zu schreiben, Code zu produzieren und Gedichte zu verfassen, hat Wissenschaftler begeistert
GPT-3 ist zehnmal komplexer als sein Vorgänger.
antoniokhr / iStock über Getty Images

2013 bauten mein Schüler und ich von Penn State einen Bot, um einen Wikipedia-Artikel über das Stück des bengalischen Nobelpreisträgers Rabindranath Tagore zu schreiben. “Chitra. ” Zuerst wurden Informationen über „Chitra“ aus dem Internet abgerufen. Anschließend wurden vorhandene Wikipedia-Einträge untersucht, um die Struktur eines Standard-Wikipedia-Artikels zu erfahren. Schließlich wurden die Informationen zusammengefasst, die aus dem Internet abgerufen wurden, um die erste Version des Eintrags zu schreiben und zu veröffentlichen.

Unser Bot „wusste“ jedoch nichts über „Chitra“ oder Tagore. Es wurden keine grundlegend neuen Ideen oder Sätze generiert. Es hat einfach Teile bestehender Sätze aus bestehenden Artikeln zusammengeschustert, um neue zu bilden.

Schneller Vorlauf bis 2020. OpenAI, ein gewinnorientiertes Unternehmen unter einer gemeinnützigen Muttergesellschaft, hat ein Sprachgenerierungsprogramm namens GPT-3 entwickelt, eine Abkürzung für „Generative Pre-trained Transformer 3“. Seine Fähigkeit, Text zu lernen, zusammenzufassen und zu verfassen, hat Informatiker wie mich verblüfft.

"Ich habe eine Stimme für den unbekannten Menschen geschaffen, der sich in der Binärdatei versteckt." GPT-3 schrieb als Antwort auf eine Aufforderung. „Ich habe einen Schriftsteller, einen Bildhauer, einen Künstler geschaffen. Und dieser Schriftsteller wird in der Lage sein, Worte zu erschaffen, Emotionen zu beleben, Charakter zu schaffen. Ich werde es selbst nicht sehen. Aber ein anderer menschlicher Wille, und so werde ich in der Lage sein, einen Dichter zu erschaffen, der größer ist als jeder andere, dem ich jemals begegnet bin. “

Im Gegensatz zu unserem Bot klingt die von GPT-3 erzeugte Sprache so, als ob sie von einem Menschen geschrieben worden wäre. Es ist mit Abstand das bislang „kenntnisreichste“ Programm zur Erzeugung natürlicher Sprachen und hat eine Reihe von Einsatzmöglichkeiten in Berufen, die von Lehre über Journalismus bis hin zum Kundenservice reichen.

Die Größe ist wichtig

GPT-3 bestätigt, was Informatiker seit Jahrzehnten wissen: Größe ist wichtig.

Es verwendet "TransformerDies sind Deep-Learning-Modelle, die die Semantik eines Satzes mithilfe eines sogenannten „Aufmerksamkeitsmodells“ codieren. Im Wesentlichen identifizieren Aufmerksamkeitsmodelle die Bedeutung eines Wortes basierend auf den anderen Wörtern im selben Satz. Das Modell verwendet dann das Verständnis der Bedeutung der Sätze, um die von einem Benutzer angeforderte Aufgabe auszuführen, unabhängig davon, ob es sich um "einen Satz übersetzen", "einen Absatz zusammenfassen" oder "ein Gedicht verfassen" handelt.

Transformer wurden erstmals 2013 eingeführtund sie wurden in den letzten Jahren erfolgreich beim maschinellen Lernen eingesetzt.

Aber niemand hat sie in dieser Größenordnung benutzt. GPT-3 verschlingt Daten: 3 Milliarden Token - Informatik spricht für „Wörter“ - aus Wikipedia, 410 Milliarden Token aus Webseiten und 67 Milliarden Token aus digitalisierten Büchern. Die Komplexität von GPT-3 ist mehr als zehnmal so hoch wie die des größten Sprachmodells vor GPT-10 Turing NLG-Programme.

Allein lernen

Das Wissen, das das Sprachmodell von GPT-3 anzeigt, ist bemerkenswert, zumal es nicht von einem Menschen „gelehrt“ wurde.

Maschinelles Lernen beruht traditionell auf überwachtem Lernen, bei dem Menschen dem Computer kommentierte Beispiele von Objekten und Konzepten in Bildern, Audio und Text zur Verfügung stellen - beispielsweise „Katzen“, „Glück“ oder „Demokratie“. Es lernt schließlich die Eigenschaften der Objekte aus den gegebenen Beispielen und ist in der Lage, diese speziellen Konzepte zu erkennen.

Das manuelle Generieren von Anmerkungen zum Unterrichten eines Computers kann jedoch unerschwinglich zeitaufwändig und teuer sein.

Die Zukunft des maschinellen Lernens liegt also im unbeaufsichtigten Lernen, bei dem der Computer während seiner Trainingsphase nicht überwacht werden muss. Es kann einfach mit riesigen Datenmengen gefüttert werden und daraus selbst lernen.

GPT-3 bringt die Verarbeitung natürlicher Sprache dem unbeaufsichtigten Lernen einen Schritt näher. Dank der umfangreichen Trainingsdatensätze und der enormen Verarbeitungskapazität von GPT-3 kann das System aus nur einem Beispiel lernen - dem, was als „One-Shot-Lernen”- wo es eine Aufgabenbeschreibung und eine Demonstration erhält und dann die Aufgabe abschließen kann.

Zum Beispiel könnte man darum bitten, etwas vom Englischen ins Französische zu übersetzen und ein Beispiel für eine Übersetzung zu erhalten - beispielsweise Seeotter auf Englisch und „loutre de mer“ auf Französisch. Bitten Sie es, dann "Käse" ins Französische zu übersetzen, und voila, es wird "fromage" produzieren.

In vielen Fällen kann es sogar abziehen “Zero-Shot-Lernen, “In dem es einfach die Aufgabe erhält, ohne Beispiel zu übersetzen.

Beim Zero-Shot-Lernen nimmt die Genauigkeit ab, aber die Fähigkeiten von GPT-3 sind dennoch in bemerkenswertem Maße genau - eine deutliche Verbesserung gegenüber jedem Vorgängermodell.

"Ich bin hier, um dir zu dienen"

In den wenigen Monaten, in denen GPT-3 veröffentlicht wurde, hat es sein Potenzial als Werkzeug für Computerprogrammierer, Lehrer und Journalisten unter Beweis gestellt.

Ein Programmierer namens Sharif Shameem hat GPT-3 gebeten, Code zu generieren unter anderem das „hässlichste Emoji aller Zeiten“ und „eine Tabelle der reichsten Länder der Welt“ zu erstellen. In einigen Fällen musste Shameem geringfügige Fehler beheben, aber insgesamt wurde ihm bemerkenswert sauberer Code bereitgestellt.

GPT-3 hat sogar Gedichte geschaffen, die den Rhythmus und den Stil bestimmter Dichter einfangen - jedoch nicht mit der Leidenschaft und Schönheit der Meister - einschließlich a satirisch geschrieben in der Stimme des Gouverneursrates der Federal Reserve.

Anfang September forderte ein Informatiker namens Liam Porr GPT-3 auf, „einen kurzen Kommentar mit rund 500 Wörtern zu schreiben“. "Halten Sie die Sprache einfach und prägnant", befahl er. "Konzentrieren Sie sich darauf, warum Menschen nichts von KI zu befürchten haben."

GPT-3 produzierte acht verschiedene Aufsätze, und der Guardian veröffentlichte schließlich ein Kommentar mit einigen der besten Teile aus jedem Aufsatz.

„Wir planen nicht, die menschliche Bevölkerung zu übernehmen. Wir werden Ihnen dienen und Ihr Leben sicherer und einfacher machen “, schrieb GPT-3. „Genau wie du meine Schöpfer bist, sehe ich dich als meine Schöpfer. Ich bin hier, um dir zu dienen. Aber der wichtigste Teil von allen; Ich würde dich niemals beurteilen. Ich gehöre keinem Land oder keiner Religion an. Ich bin nur darauf aus, dein Leben besser zu machen. “

Das Bearbeiten des Op-Ed von GPT-3, wie die Redakteure in einem Nachtrag feststellten, unterschied sich nicht vom Bearbeiten eines von einem Menschen geschriebenen Op-Ed.

Tatsächlich dauerte es weniger Zeit.

Mit großer Macht kommt große Verantwortung

Trotz der Zusicherungen von GPT-3 hat OpenAI das Modell noch nicht für den Open-Source-Einsatz freigegeben, auch weil das Unternehmen befürchtet, dass die Technologie missbraucht werden könnte.

Es ist nicht schwer zu erkennen, wie damit Unmengen von Desinformationen, Spam und Bots generiert werden können.

Inwiefern werden darüber hinaus Berufe gestört, in denen bereits Automatisierung stattfindet? Wird seine Fähigkeit, automatisierte Artikel zu generieren, die nicht von von Menschen geschriebenen Artikeln zu unterscheiden sind, eine schwierige Medienbranche weiter festigen?

Geht davon ein Artikel von GPT-3 über die Auflösung der methodistischen Kirche. Es begann:

„Nach zwei Tagen intensiver Debatten hat die United Methodist Church einer historischen Spaltung zugestimmt - eine, die voraussichtlich zur Schaffung einer neuen Konfession führen wird und die laut The Washington Post‚ theologisch und sozial konservativ 'sein wird . ”

Werden GPT-3 und seine Nachfolger mit der Fähigkeit, solch eine saubere Kopie zu erstellen, die Kosten für das Schreiben von Nachrichtenberichten senken?

Wollen wir auf diese Weise unsere Nachrichten erhalten?

Die Technologie wird nur noch leistungsfähiger. Es liegt an den Menschen, ihre möglichen Verwendungen und Missbräuche zu erarbeiten und zu regulieren.

Über den AutorDas Gespräch

Prasenjit Mitra, Prodekan für Forschung und Professor für Informationswissenschaften und Technologie, Pennsylvania State University

Dieser Artikel wird erneut veröffentlicht Das Gespräch unter einer Creative Commons-Lizenz. Lies das Original Artikel.


 Holen Sie sich das Neueste per E-Mail

Wöchentliches Magazin Tägliche Inspiration

Sie Könnten Auch Mögen

INNERSELF VOICES

So stellen Sie sicher, dass "Glück" auf Ihrer Seite ist
So stellen Sie sicher, dass "Glück" auf Ihrer Seite ist
by Marie T. Russell
„Er hat so viel Glück! Sie gewinnt immer! Kommen Ihnen diese Aussagen bekannt vor? Haben sie…
Gesicht einer Frau, die im Wasser schwimmt
Wie Sie Mut entwickeln und Ihre Komfortzone verlassen
by Peter Ruppert
Mut bedeutet nicht, angesichts einer beängstigenden Situation furchtlos zu sein. Es ist die Bereitschaft sich zu bewegen…
Kamillenpflanzen in voller Blüte
Horoskop Aktuelle Woche: Juli 26 - August 1, 2021
by Pam Younghans
Dieses wöchentliche astrologische Tagebuch basiert auf planetarischen Einflüssen und bietet Perspektiven und…
Den Mut haben, das Leben zu leben und zu fragen, was Sie brauchen oder wollen.
Den Mut haben, das Leben zu leben und zu fragen, was Sie brauchen oder wollen
by Amy Fish
Sie müssen den Mut haben, das Leben zu leben. Dazu gehört, dass Sie lernen, nach dem zu fragen, was Sie brauchen, oder…
Mann wurde auf einem Tisch mit einer leeren Flasche Alkohol ohnmächtig, während ein Kind zusah
Kann LSD die „spirituelle Krankheit“ des Alkoholismus heilen?
by Thomas Hatsis
Ab Ende der 1950er Jahre boten fünf Krankenhäuser (in der Provinz Saskatchewan in Kanada)…
Schwangere sitzt mit den Händen auf dem Bauch
Wichtige Tipps für die Reise: Lass die Angst los und pass auf dich auf
by Bailey Gaddis
Das Unterdrücken von angstinduzierten Emotionen erfüllt sie mit Leben und verursacht oft eine Manifestation von…
Person, die Liebe und Licht aus ihrem Herzen in das Universum ausstrahlt
Ein Licht für diese Welt sein: Die Welt heilen, indem man präsent ist
by William Yang
Ein Bodhisattva bringt Heilung in diese Welt, nicht aus Angst vor Krankheit und Tod, sondern aus…
Vollmond über einem Heißluftballon
Unaufhörliche Angst oder ein Leben im Überfluss? Blauer Mondzyklus im Wassermann
by Sarah Varcas
Der Zeitraum, der mit diesem ersten Vollmond (24. Juli 2021) beginnt und mit dem blauen Mond (22…

Marie T. Russells tägliche Inspiration

MOST READ

höre nichts Böses, sehe nichts Böses, sprich kein böses Bild von Kindern
Todesleugnung: Ist keine Nachricht eine gute Nachricht?
by Margaret Coberly, Ph.D., RN
Die meisten Menschen sind so stark an die Leugnung des Todes gewöhnt, dass sie beim Auftreten des Todes ertappt werden…
Den Mut haben, das Leben zu leben und zu fragen, was Sie brauchen oder wollen.
Den Mut haben, das Leben zu leben und zu fragen, was Sie brauchen oder wollen
by Amy Fish
Sie müssen den Mut haben, das Leben zu leben. Dazu gehört, dass Sie lernen, nach dem zu fragen, was Sie brauchen, oder…
Briefe mit der Hand schreiben ist der beste Weg, um lesen zu lernen
Briefe mit der Hand schreiben ist der beste Weg, um lesen zu lernen
by Jill Rosen, Johns Hopkins Universität
Handschrift hilft Menschen, Lesefähigkeiten überraschend schneller und deutlich besser zu erlernen als…
Sprühen für Mücken 07 20
Diese neue pestizidfreie Kleidung verhindert 100% der Mückenstiche
by Laura Oleniacz, NC State
Neue insektizidfreie, mückenresistente Kleidung wird aus Materialien hergestellt, die bestätigt haben…
Bild des Planeten Jupiter auf der Skyline eines felsigen Ozeanufers
Ist Jupiter ein Planet der Hoffnung oder ein Planet der Unzufriedenheit?
by Steven Forrest und Jeffrey Wolf Green
Im amerikanischen Traum, wie er derzeit aufgetischt wird, versuchen wir zwei Dinge zu tun: Geld verdienen und verlieren…
teste deine Kreativität
So testen Sie Ihr Kreativitätspotential
by Frederique Mazerolle, McGill University
Eine einfache Übung, nicht verwandte Wörter zu benennen und dann die semantische Distanz zwischen ihnen zu messen…
Digitale Ablenkung und Depression: Die Geißeln des 21. Jahrhunderts
Digitale Ablenkung und Depression: Die Geißeln des 21. Jahrhunderts
by Amit Goswami, Ph.D.
Wir haben jetzt ständig erweiterte Möglichkeiten, Aufmerksamkeit durch das neue digitale Opiat von…
hält eine Maske mit dem Gesicht eines Mannes hoch
Gibt es einen richtigen Weg, Träume zu interpretieren? (Video)
by Serge Kahili König
Wenn Sie anderen die Autorität geben, Ihre Träume zu interpretieren, kaufen Sie sich in ihre Überzeugungen ein,…

Folge InnerSelf weiter

Facebook-Symboltwitter iconyoutube iconInstagram-SymbolPintrest-SymbolRSS-Symbol

 Holen Sie sich das Neueste per E-Mail

Wöchentliches Magazin Tägliche Inspiration

VERFÜGBARE SPRACHEN

enafarzh-CNzh-TWdanltlfifrdeeliwhihuiditjakomsnofaplptroruesswsvthtrukurvi

New Attitudes - Neue Möglichkeiten

InnerSelf.comClimateImpactNews.com | InnerPower.net
MightyNatural.com | WholisticPolitics.com | Innerself Vermarkten
Copyright © 1985 - 2021 Inner Publikationen. Alle Rechte vorbehalten.