Wie Gesichtserkennungstechnologie rassistisch fehlerhaft und voreingenommen ist

Wie Gesichtserkennungstechnologie rassistisch fehlerhaft und voreingenommen ist
Gesichtserkennungsalgorithmen werden normalerweise mit weißen Gesichtern getestet, was dazu führt, dass die Technologie nicht zwischen rassisierten Personen unterscheiden kann. (Shutterstock)

Die Polizei von Detroit hat Robert Julian-Borchak Williams im Januar 2020 zu Unrecht festgenommen für einen Ladendiebstahl-Vorfall, der zwei Jahre zuvor stattgefunden hatte. Obwohl Williams nichts mit dem Vorfall zu tun hatte, „passte“ die von der Michigan State Police verwendete Gesichtserkennungstechnologie sein Gesicht mit einem körnigen Bild aus einem Überwachungsvideo im Geschäft, das einen anderen Afroamerikaner zeigt, der Uhren im Wert von 3,800 US-Dollar nimmt.

Zwei Wochen später wurde der Fall auf Antrag der Staatsanwaltschaft abgewiesen. Unter Berufung auf das fehlerhafte Match hatte die Polizei Williams jedoch bereits vor seiner Familie mit Handschellen gefesselt und festgenommen, ihn gezwungen, einen Fahndungsfoto, Fingerabdrücke und eine Probe seiner DNA zur Verfügung zu stellen, ihn verhört und über Nacht inhaftiert.

Experten schlagen vor, dass Williams nicht allein ist und dass andere ähnlichen Ungerechtigkeiten ausgesetzt waren. Die anhaltende Kontroverse über die Verwendung von Clearview AI durch die Polizei unterstreicht zweifellos die Datenschutzrisiken, die sich aus der Gesichtserkennungstechnologie ergeben. Aber es ist wichtig, das zu erkennen Nicht alle von uns tragen diese Risiken gleichermaßen.

Training rassistischer Algorithmen

Gesichtserkennungstechnologie also trainiert und auf kaukasische Gesichter abgestimmt systematisch rassistische Personen falsch identifiziert und falsch etikettiert: Zahlreiche Studien berichten, dass die Gesichtserkennungstechnologie „fehlerhaft und voreingenommen, mit deutlich höheren Fehlerraten bei Verwendung gegen farbige Personen"

Dieses untergräbt die Individualität und Menschlichkeit rassisierter Personen die eher als kriminell falsch identifiziert werden. Die Technologie - und die damit verbundenen Identifikationsfehler - reflektieren und verankern langjährige soziale Spaltungen, die tief mit Rassismus, Sexismus, Homophobie, Siedlerkolonialismus und anderen sich überschneidenden Unterdrückungen verstrickt sind.


Eine Untersuchung von France24 zu rassistischen Vorurteilen in der Gesichtserkennungstechnologie.

Wie Technologie Benutzer kategorisiert

In seinem bahnbrechenden Buch von 1993 Die panoptische SortierungDer Wissenschaftler Oscar Gandy warnte, dass „komplexe Technologien [die] das Sammeln, Verarbeiten und Teilen von Informationen über Einzelpersonen und Gruppen beinhalten, die durch ihr tägliches Leben erzeugt werden… verwendet werden, um ihren Zugang zu den Gütern und Dienstleistungen zu koordinieren und zu kontrollieren, die das Leben in definieren die moderne kapitalistische Wirtschaft. “ Strafverfolgungsbehörden verwenden es, um Verdächtige aus der Öffentlichkeit zu holen, und private Organisationen verwenden es, um festzustellen, ob wir Zugang zu Dingen wie haben Bankwesen und zum Beschäftigung.


Holen Sie sich das Neueste von InnerSelf


Gandy warnte prophetisch, dass diese Form der „kybernetischen Triage“, wenn sie nicht überprüft würde, Mitglieder gleichstellungssuchender Gemeinschaften - zum Beispiel Gruppen, die rassistisch oder sozioökonomisch benachteiligt sind - exponentiell benachteiligen würde, sowohl hinsichtlich der ihnen zugewiesenen als auch hinsichtlich ihrer Zuweisung wie sie sich selbst verstehen könnten.

Etwa 25 Jahre später leben wir jetzt mit der panoptischen Sorte Steroide. Und es gibt zahlreiche Beispiele für seine negativen Auswirkungen auf gleichstellungssuchende Gemeinschaften, wie die falsche Identifizierung von Williams.

Bereits bestehende Voreingenommenheit

Diese Sortierung unter Verwendung von Algorithmen infiltriert die grundlegendsten Aspekte des Alltags und führt zu direkter und struktureller Gewalt.

Die direkte Gewalt, die Williams erlebt hat, zeigt sich sofort in den Ereignissen im Zusammenhang mit seiner Verhaftung und Inhaftierung. Die individuellen Schäden, die er erlitten hat, sind offensichtlich und lassen sich auf die Handlungen der Polizei zurückführen, die sich bei einer Verhaftung auf das „Match“ der Technologie verlassen hat. Schleichender ist die strukturelle Gewalt durch Gesichtserkennungstechnologie begangen und andere digitale Technologien Diese bewerten, stimmen, kategorisieren und sortieren Personen auf eine Weise, die bereits vorhandene Diskriminierungsmuster vergrößert.

Strukturelle Gewaltschäden sind weniger offensichtlich und weniger direkt und schädigen gleichstellungssuchende Gruppen durch systematische Verweigerung von Macht, Ressourcen und Chancen. Gleichzeitig erhöht es das direkte Risiko und den Schaden für einzelne Mitglieder dieser Gruppen.

Predictive Policing verwendet algorithmische Verarbeitung historischer Daten, um vorherzusagen, wann und wo neue Verbrechen wahrscheinlich sind, weist die Polizeiressourcen entsprechend zu und bettet eine verstärkte polizeiliche Überwachung in die Gemeinden ein, normalerweise in einkommensschwachen und rassistisch motivierten Stadtteilen. Dies erhöht die Wahrscheinlichkeit, dass kriminelle Aktivitäten - einschließlich weniger schwerwiegender krimineller Aktivitäten, die andernfalls zu keiner Reaktion der Polizei führen könnten - entdeckt und bestraft werden, was letztendlich die Lebenschancen der Menschen einschränkt, die in dieser Umgebung leben.

Und die Anzeichen für Ungleichheiten in anderen Sektoren nehmen weiter zu. Hunderte von Studenten in Großbritannien protestierte am 16. August gegen die katastrophalen Folgen von Ofqual, ein fehlerhafter Algorithmus, mit dem die britische Regierung ermittelt hat, welche Studenten sich für die Universität qualifizieren würden. Im Jahr 2019 Facebooks Mikrotargeting-Werbedienst half Dutzenden von Arbeitgebern des öffentlichen und privaten Sektors Personen aufgrund von Alter und Geschlecht vom Erhalt von Stellenanzeigen ausschließen. Von ProPublica durchgeführte Untersuchungen haben dies dokumentiert rassenbasierte Preisdiskriminierung für Online-Produkte. Und Suchmaschinen liefern regelmäßig rassistische und sexistische Ergebnisse.

Unterdrückung aufrechterhalten

Diese Ergebnisse sind wichtig, weil sie bereits bestehende Ungleichheiten aufgrund von Merkmalen wie Rasse, Geschlecht und Alter aufrechterhalten und vertiefen. Sie sind auch wichtig, weil sie tiefgreifend beeinflussen, wie wir uns selbst und die Welt um uns herum kennenlernen, manchmal durch Vorauswahl der Informationen Wir erhalten auf eine Weise, die stereotype Wahrnehmungen verstärkt. Sogar Technologieunternehmen selbst erkennen das an Dringlichkeit, Algorithmen daran zu hindern, Diskriminierung aufrechtzuerhalten.

Bisher war der Erfolg von Ad-hoc-Untersuchungen, die von den Technologieunternehmen selbst durchgeführt wurden, uneinheitlich. Gelegentlich ziehen Unternehmen, die an der Herstellung diskriminierender Systeme beteiligt sind, diese vom Markt zurück, beispielsweise wenn Clearview AI kündigte an, in Kanada keine Gesichtserkennungstechnologie mehr anzubieten. Aber oft resultieren solche Entscheidungen nur aus behördlicher Kontrolle oder öffentlichem Aufschrei nach Mitglieder von gleichstellungssuchenden Gemeinschaften wurden bereits verletzt.

Es ist Zeit, unseren Aufsichtsbehörden die Werkzeuge zur Verfügung zu stellen, die sie zur Lösung des Problems benötigen. Einfache Schutzmaßnahmen zum Schutz der Privatsphäre, die von der Einwilligung des Einzelnen abhängen, damit Daten von Unternehmen erfasst und wiederverwendet werden können, können nicht von den diskriminierenden Ergebnissen dieser Nutzung getrennt werden. Dies gilt insbesondere in einer Zeit, in der die meisten von uns (einschließlich Technologieunternehmen selbst) kann nicht vollständig verstehen, was Algorithmen tun oder warum sie bestimmte Ergebnisse liefern.

Datenschutz ist ein Menschenrecht

Ein Teil der Lösung besteht darin, die derzeitigen Regulierungssilos aufzubrechen, in denen Datenschutz und Menschenrechte als separate Themen behandelt werden. Das Vertrauen in ein einwilligungsbasiertes Datenschutzmodell widerspricht dem Grundprinzip, dass Datenschutz und Gleichheit beide Menschenrechte sind, die nicht vertraglich geregelt werden können.

Sogar Kanadas digitale Charta - Der jüngste Versuch der Bundesregierung, auf die Mängel des aktuellen Zustands des digitalen Umfelds zu reagieren - behält diese konzeptionellen Unterschiede bei. Es behandelt Hass und Extremismus, Kontrolle und Zustimmung sowie starke Demokratie als separate Kategorien.

Um algorithmische Diskriminierung anzugehen, müssen wir sowohl Privatsphäre als auch Gleichheit als Menschenrechte anerkennen und einrahmen. Und wir müssen eine Infrastruktur schaffen, die in beiden Bereichen gleichermaßen aufmerksam und kompetent ist. Ohne solche Bemühungen wird der Glanz von Mathematik und Naturwissenschaften weiterhin die diskriminierenden Vorurteile von AI tarnen, und es ist zu erwarten, dass sich Travestien wie die Williams zufügen.Das Gespräch

Über die Autoren

Jane Bailey, Professorin für Recht und Co-Leiterin des eQuality-Projekts, L'Université d'Ottawa / Universität von Ottawa;; Jacquelyn Burkell, stellvertretende Vizepräsidentin, Forschung, Westliche Universitätund Valerie Steeves, ordentliche Professorin, L'Université d'Ottawa / Universität von Ottawa

Dieser Artikel wird erneut veröffentlicht Das Gespräch unter einer Creative Commons-Lizenz. Lies das Original Artikel.

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

Folge InnerSelf weiter

facebook-icontwitter-iconRSS-Symbol

Holen Sie sich das Neueste per E-Mail

{Emailcloak = off}

Unterstützen Sie einen guten Job!

VON DEN HERAUSGEBERN

InnerSelf Newsletter: Oktober 18, 2020
by Innerself Mitarbeiter
In diesen Tagen leben wir in kleinen Blasen ... in unseren eigenen vier Wänden, bei der Arbeit und in der Öffentlichkeit und möglicherweise in unserem eigenen Geist und mit unseren eigenen Emotionen. In einer Blase leben oder das Gefühl haben, dass wir…
InnerSelf Newsletter: Oktober 11, 2020
by Innerself Mitarbeiter
Das Leben ist eine Reise und wie die meisten Reisen auch mit Höhen und Tiefen verbunden. Und so wie der Tag immer auf die Nacht folgt, gehen auch unsere persönlichen täglichen Erfahrungen von dunkel nach hell und hin und her. Jedoch,…
InnerSelf Newsletter: Oktober 4, 2020
by Innerself Mitarbeiter
Was auch immer wir durchmachen, sowohl einzeln als auch gemeinsam, wir müssen uns daran erinnern, dass wir keine hilflosen Opfer sind. Wir können unsere Kraft zurückgewinnen, unseren eigenen Weg zu beschreiten und unser Leben geistig zu heilen…
InnerSelf Newsletter: September 27, 2020
by Innerself Mitarbeiter
Eine der großen Stärken der Menschheit ist unsere Fähigkeit, flexibel zu sein, kreativ zu sein und über den Tellerrand hinaus zu denken. Jemand anders zu sein als wir gestern oder vorgestern. Wir können es ändern...…
Was für mich funktioniert: "Für das höchste Gut"
by Marie T. Russell, InnerSelf
Der Grund, warum ich teile, "was für mich funktioniert", ist, dass es möglicherweise auch für Sie funktioniert. Wenn nicht genau so, wie ich es mache, da wir alle einzigartig sind, kann eine gewisse Abweichung in der Einstellung oder Methode durchaus etwas sein ...