Gesichtserkennungsalgorithmen werden normalerweise mit weißen Gesichtern getestet, was dazu führt, dass die Technologie nicht zwischen rassisierten Personen unterscheiden kann. (Shutterstock)
Die Polizei von Detroit hat Robert Julian-Borchak Williams im Januar 2020 zu Unrecht festgenommen für einen Ladendiebstahl-Vorfall, der zwei Jahre zuvor stattgefunden hatte. Obwohl Williams nichts mit dem Vorfall zu tun hatte, „passte“ die von der Michigan State Police verwendete Gesichtserkennungstechnologie sein Gesicht mit einem körnigen Bild aus einem Überwachungsvideo im Geschäft, das einen anderen Afroamerikaner zeigt, der Uhren im Wert von 3,800 US-Dollar nimmt.
Zwei Wochen später wurde der Fall auf Antrag der Staatsanwaltschaft abgewiesen. Unter Berufung auf das fehlerhafte Match hatte die Polizei Williams jedoch bereits vor seiner Familie mit Handschellen gefesselt und festgenommen, ihn gezwungen, einen Fahndungsfoto, Fingerabdrücke und eine Probe seiner DNA zur Verfügung zu stellen, ihn verhört und über Nacht inhaftiert.
Experten schlagen vor, dass Williams nicht allein ist und dass andere ähnlichen Ungerechtigkeiten ausgesetzt waren. Die anhaltende Kontroverse über die Verwendung von Clearview AI durch die Polizei unterstreicht zweifellos die Datenschutzrisiken, die sich aus der Gesichtserkennungstechnologie ergeben. Aber es ist wichtig, das zu erkennen Nicht alle von uns tragen diese Risiken gleichermaßen.
Training rassistischer Algorithmen
Gesichtserkennungstechnologie also trainiert und auf kaukasische Gesichter abgestimmt systematisch rassistische Personen falsch identifiziert und falsch etikettiert: Zahlreiche Studien berichten, dass die Gesichtserkennungstechnologie „fehlerhaft und voreingenommen, mit deutlich höheren Fehlerraten bei Verwendung gegen farbige Personen"
Dieser untergräbt die Individualität und Menschlichkeit rassisierter Personen die eher als kriminell falsch identifiziert werden. Die Technologie - und die damit verbundenen Identifikationsfehler - reflektieren und verankern langjährige soziale Spaltungen, die tief mit Rassismus, Sexismus, Homophobie, Siedlerkolonialismus und anderen sich überschneidenden Unterdrückungen verstrickt sind.
{vembed Y=vSuDE6wvQlU}
Eine Untersuchung von France24 zu rassistischen Vorurteilen in der Gesichtserkennungstechnologie.
Wie Technologie Benutzer kategorisiert
In seinem bahnbrechenden Buch von 1993 Die panoptische SortierungDer Wissenschaftler Oscar Gandy warnte, dass „komplexe Technologien [die] das Sammeln, Verarbeiten und Teilen von Informationen über Einzelpersonen und Gruppen beinhalten, die durch ihr tägliches Leben erzeugt werden… verwendet werden, um ihren Zugang zu den Gütern und Dienstleistungen zu koordinieren und zu kontrollieren, die das Leben in definieren die moderne kapitalistische Wirtschaft. “ Strafverfolgungsbehörden verwenden es, um Verdächtige aus der Öffentlichkeit zu holen, und private Organisationen verwenden es, um festzustellen, ob wir Zugang zu Dingen wie haben Bankwesen und Beschäftigung.
Gandy warnte prophetisch, dass diese Form der „kybernetischen Triage“, wenn sie nicht überprüft würde, Mitglieder gleichstellungssuchender Gemeinschaften - zum Beispiel Gruppen, die rassistisch oder sozioökonomisch benachteiligt sind - exponentiell benachteiligen würde, sowohl hinsichtlich der ihnen zugewiesenen als auch hinsichtlich ihrer Zuweisung wie sie sich selbst verstehen könnten.
Etwa 25 Jahre später leben wir jetzt mit der panoptischen Sorte Steroide. Und es gibt zahlreiche Beispiele für seine negativen Auswirkungen auf gleichstellungssuchende Gemeinschaften, wie die falsche Identifizierung von Williams.
Bereits bestehende Voreingenommenheit
Diese Sortierung unter Verwendung von Algorithmen infiltriert die grundlegendsten Aspekte des Alltags und führt zu direkter und struktureller Gewalt.
Die direkte Gewalt, die Williams erlebt hat, zeigt sich sofort in den Ereignissen im Zusammenhang mit seiner Verhaftung und Inhaftierung. Die individuellen Schäden, die er erlitten hat, sind offensichtlich und lassen sich auf die Handlungen der Polizei zurückführen, die sich bei einer Verhaftung auf das „Match“ der Technologie verlassen hat. Schleichender ist die strukturelle Gewalt durch Gesichtserkennungstechnologie begangen und andere digitale Technologien Diese bewerten, stimmen, kategorisieren und sortieren Personen auf eine Weise, die bereits vorhandene Diskriminierungsmuster vergrößert.
Strukturelle Gewaltschäden sind weniger offensichtlich und weniger direkt und schädigen gleichstellungssuchende Gruppen durch systematische Verweigerung von Macht, Ressourcen und Chancen. Gleichzeitig erhöht es das direkte Risiko und den Schaden für einzelne Mitglieder dieser Gruppen.
Predictive Policing verwendet algorithmische Verarbeitung historischer Daten, um vorherzusagen, wann und wo neue Verbrechen wahrscheinlich sind, weist die Polizeiressourcen entsprechend zu und bettet eine verstärkte polizeiliche Überwachung in die Gemeinden ein, normalerweise in einkommensschwachen und rassistisch motivierten Stadtteilen. Dies erhöht die Wahrscheinlichkeit, dass kriminelle Aktivitäten - einschließlich weniger schwerwiegender krimineller Aktivitäten, die andernfalls zu keiner Reaktion der Polizei führen könnten - entdeckt und bestraft werden, was letztendlich die Lebenschancen der Menschen einschränkt, die in dieser Umgebung leben.
Und die Anzeichen für Ungleichheiten in anderen Sektoren nehmen weiter zu. Hunderte von Studenten in Großbritannien protestierte am 16. August gegen die katastrophalen Folgen von Ofqual, ein fehlerhafter Algorithmus, mit dem die britische Regierung ermittelt hat, welche Studenten sich für die Universität qualifizieren würden. Im Jahr 2019 Facebooks Mikrotargeting-Werbedienst half Dutzenden von Arbeitgebern des öffentlichen und privaten Sektors Personen aufgrund von Alter und Geschlecht vom Erhalt von Stellenanzeigen ausschließen. Von ProPublica durchgeführte Untersuchungen haben dies dokumentiert rassenbasierte Preisdiskriminierung für Online-Produkte. Und Suchmaschinen liefern regelmäßig rassistische und sexistische Ergebnisse.
Unterdrückung aufrechterhalten
Diese Ergebnisse sind wichtig, weil sie bereits bestehende Ungleichheiten aufgrund von Merkmalen wie Rasse, Geschlecht und Alter aufrechterhalten und vertiefen. Sie sind auch wichtig, weil sie tiefgreifend beeinflussen, wie wir uns selbst und die Welt um uns herum kennenlernen, manchmal durch Vorauswahl der Informationen Wir erhalten auf eine Weise, die stereotype Wahrnehmungen verstärkt. Sogar Technologieunternehmen selbst erkennen das an Dringlichkeit, Algorithmen daran zu hindern, Diskriminierung aufrechtzuerhalten.
Bisher war der Erfolg von Ad-hoc-Untersuchungen, die von den Technologieunternehmen selbst durchgeführt wurden, uneinheitlich. Gelegentlich ziehen Unternehmen, die an der Herstellung diskriminierender Systeme beteiligt sind, diese vom Markt zurück, beispielsweise wenn Clearview AI kündigte an, in Kanada keine Gesichtserkennungstechnologie mehr anzubieten. Aber oft resultieren solche Entscheidungen nur aus behördlicher Kontrolle oder öffentlichem Aufschrei nachdem Mitglieder von gleichstellungssuchenden Gemeinschaften wurden bereits verletzt.
Es ist Zeit, unseren Aufsichtsbehörden die Werkzeuge zur Verfügung zu stellen, die sie zur Lösung des Problems benötigen. Einfache Schutzmaßnahmen zum Schutz der Privatsphäre, die von der Einwilligung des Einzelnen abhängen, damit Daten von Unternehmen erfasst und wiederverwendet werden können, können nicht von den diskriminierenden Ergebnissen dieser Nutzung getrennt werden. Dies gilt insbesondere in einer Zeit, in der die meisten von uns (einschließlich Technologieunternehmen selbst) kann nicht vollständig verstehen, was Algorithmen tun oder warum sie bestimmte Ergebnisse liefern.
Datenschutz ist ein Menschenrecht
Ein Teil der Lösung besteht darin, die derzeitigen Regulierungssilos aufzubrechen, in denen Datenschutz und Menschenrechte als separate Themen behandelt werden. Das Vertrauen in ein einwilligungsbasiertes Datenschutzmodell widerspricht dem Grundprinzip, dass Datenschutz und Gleichheit beide Menschenrechte sind, die nicht vertraglich geregelt werden können.
Sogar Kanadas digitale Charta - Der jüngste Versuch der Bundesregierung, auf die Mängel des aktuellen Zustands des digitalen Umfelds zu reagieren - behält diese konzeptionellen Unterschiede bei. Es behandelt Hass und Extremismus, Kontrolle und Zustimmung sowie starke Demokratie als separate Kategorien.
Um algorithmische Diskriminierung anzugehen, müssen wir sowohl Privatsphäre als auch Gleichheit als Menschenrechte anerkennen und einrahmen. Und wir müssen eine Infrastruktur schaffen, die in beiden Bereichen gleichermaßen aufmerksam und kompetent ist. Ohne solche Bemühungen wird der Glanz von Mathematik und Naturwissenschaften weiterhin die diskriminierenden Vorurteile von AI tarnen, und es ist zu erwarten, dass sich Travestien wie die Williams zufügen.
Über die Autoren
Jane Bailey, Professorin für Recht und Co-Leiterin des eQuality-Projekts, L'Université d'Ottawa / Universität von Ottawa;; Jacquelyn Burkell, stellvertretende Vizepräsidentin, Forschung, Westliche Universitätund Valerie Steeves, ordentliche Professorin, L'Université d'Ottawa / Universität von Ottawa
Dieser Artikel wird erneut veröffentlicht Das Gespräch unter einer Creative Commons-Lizenz. Lies das Original Artikel.
Bücher über Ungleichheit aus der Bestsellerliste von Amazon
"Kaste: Die Ursprünge unserer Unzufriedenheit"
von Isabel Wilkerson
In diesem Buch untersucht Isabel Wilkerson die Geschichte der Kastensysteme in Gesellschaften auf der ganzen Welt, einschließlich der Vereinigten Staaten. Das Buch untersucht die Auswirkungen der Kaste auf den Einzelnen und die Gesellschaft und bietet einen Rahmen für das Verständnis und die Auseinandersetzung mit Ungleichheit.
Klicken Sie für weitere Informationen oder zum Bestellen
"Die Farbe des Gesetzes: Eine vergessene Geschichte, wie unsere Regierung Amerika segregierte"
von Richard Rothstein
In diesem Buch untersucht Richard Rothstein die Geschichte der Regierungspolitik, die die Rassentrennung in den Vereinigten Staaten geschaffen und verstärkt hat. Das Buch untersucht die Auswirkungen dieser Richtlinien auf Einzelpersonen und Gemeinschaften und bietet einen Aufruf zum Handeln, um die anhaltende Ungleichheit anzugehen.
Klicken Sie für weitere Informationen oder zum Bestellen
„Die Summe von uns: Was Rassismus alle kostet und wie wir gemeinsam erfolgreich sein können“
von Heather McGhee
In diesem Buch untersucht Heather McGhee die wirtschaftlichen und sozialen Kosten des Rassismus und bietet eine Vision für eine gerechtere und wohlhabendere Gesellschaft. Das Buch enthält Geschichten von Einzelpersonen und Gemeinschaften, die Ungleichheit in Frage gestellt haben, sowie praktische Lösungen für die Schaffung einer integrativeren Gesellschaft.
Klicken Sie für weitere Informationen oder zum Bestellen
"Der Defizit-Mythos: Moderne Geldtheorie und die Geburt der Volkswirtschaft"
von Stephanie Kelton
In diesem Buch stellt Stephanie Kelton konventionelle Vorstellungen über Staatsausgaben und das Staatsdefizit in Frage und bietet einen neuen Rahmen für das Verständnis der Wirtschaftspolitik. Das Buch enthält praktische Lösungen zur Bekämpfung von Ungleichheiten und zur Schaffung einer gerechteren Wirtschaft.
Klicken Sie für weitere Informationen oder zum Bestellen
"Der neue Jim Crow: Masseneinkerkerung im Zeitalter der Farbenblindheit"
von Michelle Alexander
In diesem Buch untersucht Michelle Alexander die Art und Weise, wie das Strafjustizsystem Rassenungleichheit und Diskriminierung fortsetzt, insbesondere gegenüber schwarzen Amerikanern. Das Buch enthält eine historische Analyse des Systems und seiner Auswirkungen sowie einen Aufruf zum Handeln für Reformen.
