Was sind Deepfake Videos und erkennen sie Blinzeln eines Auges

Eine neue Form der Fehlinformation wird sich in Online-Communities ausbreiten, wenn sich die 2018-Wahlkampagnen für die nächsten Jahre aufheizen. Genannt "Deepfakes" nach dem pseudonymer Online-Account, der die Technik populär gemacht hat - die ihren Namen gewählt haben, weil der Prozess eine technische Methode namens "Deep Learning" verwendet - diese gefälschten Videos sehen sehr realistisch aus.

Bis jetzt haben Leute Deepfake Videos in benutzt Pornographie und Satire um zu zeigen, dass berühmte Leute Dinge tun, die sie normalerweise nicht tun würden.

Aber es ist fast sicher Deepfakes werden während der Kampagnensaison erscheinenangeblich Kandidaten darstellen Dinge sagen oder gehen Orte der echte Kandidat würde nicht.

Es ist Barack Obama - oder?

{youtube}cQ54GDm1eL0{/youtube}

Da diese Techniken so neu sind, haben die Leute Schwierigkeiten, den Unterschied zwischen echten Videos und den Deepfake-Videos zu erkennen. Meine Arbeit, mit meiner Kollegin Ming-Ching Chang und unserem Ph.D. Student Yuezun Li, hat einen Weg gefunden zuverlässig echte Videos aus Deepfake-Videos zu erzählen. Es ist keine dauerhafte Lösung, denn die Technologie wird sich verbessern. Aber es ist ein Anfang und bietet Hoffnung, dass Computer den Menschen helfen können, die Wahrheit aus der Fiktion zu erzählen.


Innerself-Abonnieren-Grafik


Was ist ein Deepfake?

Das Erstellen eines Deepfake-Videos ähnelt dem Übersetzen zwischen Sprachen. Dienstleistungen wie Google Translate benutze maschinelles Lernen - Computeranalyse von Zehntausenden von Texten in mehreren Sprachen - bis Erkennen von Wortverwendungsmustern mit denen sie die Übersetzung erstellen.

Deepfake-Algorithmen funktionieren auf die gleiche Weise: Sie verwenden eine Art maschinelles Lernsystem namens a tiefes neuronales Netzwerk um die Gesichtsbewegungen einer Person zu untersuchen. Dann synthetisieren sie Bilder des Gesichts einer anderen Person, die analoge Bewegungen machen. Dadurch wird effektiv ein Video der Zielperson erstellt, das scheinbar die Dinge tut oder sagt, die die Quellperson getan hat.

Wie Deepfake Videos gemacht werden.

{youtube}8LhI-e2B8Lg{/youtube}

Bevor sie richtig arbeiten können, benötigen tiefe neuronale Netze viele Quelleninformationen, wie zum Beispiel Fotos von Personen, die die Quelle oder das Ziel von Identitätswechsel sind. Je mehr Bilder verwendet werden, um einen Deepfake-Algorithmus zu trainieren, desto realistischer wird der digitale Identitätswechsel.

Blinkt erkennen

Es gibt immer noch Mängel in diesem neuen Typ von Algorithmus. Einer von ihnen hat damit zu tun, wie die simulierten Gesichter blinken - oder nicht. Gesunde erwachsene Menschen blinken irgendwo zwischen 2 und 10 Sekundenund ein einziges Blinken dauert zwischen einem Zehntel und vier Zehntel Sekunden. Das wäre normal, wenn man in einem Video von einer sprechenden Person sieht. Aber das passiert nicht in vielen DeepFake-Videos.

Eine reale Person blinkt beim Sprechen.

{youtube}https://www.youtube.com/watch?v=-MMXXEA3UaM{/youtube}

Ein simuliertes Gesicht blinkt nicht wie eine reale Person.

{youtube}EttSA9-YIuI{/youtube}

Wenn ein Deepfake-Algorithmus auf Gesichtsbilder einer Person trainiert wird, ist er abhängig von den Fotos, die im Internet verfügbar sind und die als Trainingsdaten verwendet werden können. Selbst für Menschen, die oft fotografiert werden, sind nur wenige Bilder online, die ihre Augen geschlossen zeigen. Solche Bilder sind nicht nur selten - weil die Augen der Menschen die meiste Zeit offen sind -, sondern Fotografen veröffentlichen normalerweise keine Bilder, bei denen die Augen der Hauptpersonen geschlossen sind.

Ohne Bilder von blinkenden Menschen zu lernen, erzeugen Deepfake-Algorithmen weniger Gesichter, die normal blinken. Wenn wir die Gesamtrate des Blinzelns berechnen und diese mit der natürlichen Reichweite vergleichen, haben wir festgestellt, dass Charaktere in Deepfake-Videos im Vergleich zu realen Personen viel seltener blinken. Unsere Forschung nutzt maschinelles Lernen um Augenöffnen und -schließen in Videos untersuchen.

Dies gibt uns eine Inspiration, Deepfake-Videos zu erkennen. Anschließend entwickeln wir eine Methode, um zu erkennen, wann die Person im Video blinkt. Um genauer zu sein, scannt er jeden Frame eines fraglichen Videos, erkennt die Gesichter darin und lokalisiert dann automatisch die Augen. Es nutzt dann ein anderes tiefes neuronales Netzwerk, um zu bestimmen, ob das erkannte Auge offen oder nah ist, wobei das Aussehen, die geometrischen Merkmale und die Bewegung des Auges verwendet werden.

Wir wissen, dass unsere Arbeit einen Fehler in der Art der verfügbaren Daten nutzt, um Deepfake-Algorithmen zu trainieren. Um nicht einem ähnlichen Fehler zu verfallen, haben wir unser System auf eine große Bibliothek von Bildern von offenen und geschlossenen Augen trainiert. Diese Methode scheint gut zu funktionieren, und als Ergebnis haben wir eine Erkennungsrate von über 95 Prozent erreicht.

Dies ist natürlich nicht das letzte Wort bei der Entdeckung von Deepfakes. Die Technologie ist sich schnell verbessernund der Wettbewerb zwischen dem Erzeugen und Erkennen von gefälschten Videos ist analog zu einem Schachspiel. Insbesondere kann zu Deepfake-Videos ein Blinzeln hinzugefügt werden, indem Gesichtsbilder mit geschlossenen Augen aufgenommen werden oder Videosequenzen für das Training verwendet werden. Leute, die die Öffentlichkeit verwirren wollen, werden besser darin, falsche Videos zu machen - und wir und andere in der Technologie-Community müssen weiterhin Wege finden, sie zu entdecken.Das Gespräch

Über den Autor

Siwei Lyu, Associate Professor für Informatik; Direktor, Computer Vision und Machine Learning Lab, Universität in Albany, Staatliche Universität von New York

Dieser Artikel wurde ursprünglich veröffentlicht am Das Gespräch.. Lies das Original Artikel.

Bücher zum Thema

at InnerSelf Market und Amazon