Wie Algorithmen fairer sein können als Menschen

Amazon hat vor kurzem angefangen zu bieten Lieferung am selben Tag in ausgewählten Metropolregionen. Dies mag für viele Kunden gut sein, aber der Rollout zeigt, wie computergestützte Entscheidungsfindung auch eine starke Dosis von Diskriminierung liefern kann.

Sinnvollerweise begann das Unternehmen seinen Dienst in Gebieten, in denen die Lieferkosten am geringsten waren, indem Postleitzahlen von dicht besiedelten Orten mit vielen bestehenden Amazon-Kunden identifiziert wurden, deren Einnahmen hoch genug waren, um Produkte für die Lieferung am selben Tag zu kaufen. Das Unternehmen hat eine Webseite zur Verfügung gestellt, auf der Kunden ihre Postleitzahl eingeben können, um zu sehen, ob sie am selben Tag geliefert wird. Investigative Journalisten bei Bloomberg News verwendeten diese Seite zu Erstellen Sie Karten von Amazon Servicebereich für die Lieferung am selben Tag.

Die Bloomberg-Analyse ergab, dass viele arme Stadtgebiete vom Versorgungsgebiet ausgeschlossen waren, während wohlhabendere benachbarte Gebiete einbezogen wurden. Viele dieser ausgeschlossenen armen Gebiete waren überwiegend von Minderheiten bewohnt. Zum Beispiel wurde ganz Boston bis auf Roxbury abgedeckt; Die Berichterstattung in New York umfasste fast alle vier Bezirke, schloss die Bronx jedoch vollständig aus; Chicago Coverage verließen die verarmte South Side, während sie sich im Wesentlichen auf wohlhabende nördliche und westliche Vororte erstreckten.

Es ist verlockend zu glauben, dass datengesteuerte Entscheidungen unparteiisch sind, Forschung und wissenschaftliche Diskussion beginnen, das zu zeigen Ungerechtigkeit und Diskriminierung bleiben bestehen. In meinem Online-Kurs über DatenethikStudenten lernen das Algorithmen können unterscheiden. Aber es mag ein bisschen in den Schatten gestellt werden: Wie die Bloomberg-Forschung nahelegt, kann die Entscheidungsfindung auf Datenbasis auch die Erkennung von Verzerrungen erleichtern.

Bias kann unbeabsichtigt sein

Unfairness wie in Amazon Lieferrichtlinie kann aus vielen Gründen auftreten, einschließlich versteckte Vorurteile - wie Annahmen, dass Populationen gleichmäßig verteilt sind. Algorithmenentwickler beabsichtigen wahrscheinlich nicht zu diskriminieren und erkennen möglicherweise nicht einmal, dass sich ein Problem eingeschlichen hat.


Innerself-Abonnieren-Grafik


Amazon sagte Bloomberg, es habe keine diskriminierende Absicht, und es gibt allen Grund, diese Behauptung zu glauben. Als Reaktion auf den Bloomberg-Bericht Stadt Beamte und andere Politiker rief Amazon auf, um dieses Problem zu beheben. Das Unternehmen schnell verschoben, um hinzuzufügen die ursprünglich ausgeschlossenen armen städtischen Postleitzahlen in ihren Servicebereich.

Eine ähnliche Frage wurde gestellt fragte Uber, die den Gebieten, die von höheren Anteilen weißer Menschen bewohnt werden, einen besseren Dienst zu bieten scheint. Es ist wahrscheinlich, dass es in der Zukunft mehr Beispiele für unbeabsichtigte algorithmische Diskriminierung in der Einzelhandels- und Dienstleistungsbranche geben wird.

Zu viel von Algorithmen fragen?

Wir sollten einen Moment innehalten, um zu überlegen, ob wir algorithmische Entscheidungen übermäßig fordern. Unternehmen, die stationäre Geschäfte betreiben, treffen ständig Standortentscheidungen und berücksichtigen Kriterien, die sich von Amazon nicht unterscheiden. Geschäfte versuchen, Standorte zu haben, die für einen großen Pool von potentiellen Kunden mit Geld zum Ausgeben geeignet sind.

In der Konsequenz entscheiden sich nur wenige Läden dafür, in armen innerstädtischen Vierteln zu leben. Insbesondere im Zusammenhang mit Lebensmittelgeschäften wurde dieses Phänomen ausführlich untersucht, und der Ausdruck "Essen Wüste"Wurde verwendet, um Stadtgebiete zu beschreiben, deren Bewohner keinen bequemen Zugang zu frischen Lebensmitteln haben. Dies Standortverzerrung ist für Einzelhandelsgeschäfte insgesamt weniger untersucht.

Als Beispiel habe ich die 55 Michigan-Standorte von Target, einer großen, umfassenden Einzelhandelskette, betrachtet. Als ich jede Postleitzahl von Michigan nach dem Durchschnittseinkommen in der oberen Hälfte oder der unteren Hälfte des Bundesstaates sortierte, stellte ich fest, dass nur 16 der Zielgeschäfte (29 Prozent) in Postleitzahlen aus der unteren Einkommensgruppe waren. Mehr als doppelt so viele 39-Filialen wurden in Postleitzahlen der wohlhabenderen Hälfte platziert.

Diskriminierung erkennen

Darüber hinaus gibt es keine Zielmärkte in der Stadt Detroit, obwohl es mehrere in seinen (reicheren) Vororten gibt. Es gab jedoch keinen populären Aufschrei, der behauptete, Target diskriminiere arme Menschen in ihren Standortentscheidungen unfair. Es gibt zwei Hauptgründe, warum die Sorgen über Amazon gerechtfertigt sind: Starrheit und Dominanz.

Die Starrheit hat sowohl mit den Entscheidungsprozessen des Online-Händlers als auch mit dem Ergebnis zu tun. Amazon entscheidet, welche Postleitzahlen sich in seinem Servicebereich befinden. Wenn ein Kunde direkt gegenüber der von Amazon festgelegten Grenze wohnt, ist er außerhalb des Servicebereichs und kann wenig dagegen tun. Im Gegensatz dazu kann jemand, der in einer Postleitzahl ohne Zielgeschäft lebt, noch immer bei Target einkaufen - obwohl es länger dauern kann, dorthin zu gelangen.

Es spielt auch eine Rolle, wie dominant ein Einzelhändler in den Köpfen der Verbraucher ist. Während Target nur eine von vielen physischen Ladenketten ist, genießt Amazon Marktbeherrschung als Web-Händlerund zieht daher mehr Aufmerksamkeit auf sich. Eine solche Dominanz ist ein Charakteristikum der heutigen Zeit Der Gewinner bekommt alles Web-Geschäfte.

Während ihre Starrheit und Dominanz uns größere Besorgnis über Online-Geschäfte aufkommen lassen, können wir ihre Diskriminierung besser erkennen als bei stationären Geschäften. Für eine traditionelle Ladenkette müssen wir erraten, wie weit die Verbraucher bereit sind zu reisen. Wir müssen uns vielleicht auch der Zeit bewusst sein: Fünf Meilen zur nächsten Autobahnausfahrt sind nicht dasselbe wie fünf Meilen über verstopfte Straßen zur anderen Seite der Stadt. Darüber hinaus kann die Reisezeit selbst in Abhängigkeit von der Tageszeit stark variieren. Nach der Identifizierung der wahrscheinlichen Bereiche, die ein Geschäft bedient, können diese nicht korrekt in geographische Einheiten abgebildet werden, für die wir Statistiken über Rasse oder Einkommen haben. Kurz gesagt, die Analyse ist unordentlich und erfordert viel Aufwand.

Im Gegensatz dazu hätten Journalisten bei Bloomberg nur wenige Stunden gebraucht, um eine Landkarte von Amazonas Servicegebiet zu entwickeln und mit Einkommen oder Rasse zu korrelieren. Wenn Amazon dies intern getan hätte, hätten sie innerhalb von Minuten die gleiche Analyse durchführen können - und vielleicht die Probleme bemerkt und sie behoben, bevor der Service am selben Tag überhaupt begann.

Wie vergleichen Menschen?

Sehen wir uns ein ganz anderes Beispiel an, um zu sehen, wie die gleichen Punkte breit angewendet werden. Vor kurzem hat ProPublica veröffentlicht eine ausgezeichnete Analyse der Rassendiskriminierung durch einen Algorithmus, der die Wahrscheinlichkeit eines Täters, erneut zu beleidigen, vorhersagt. Der Algorithmus berücksichtigt Dutzende von Faktoren und berechnet eine Wahrscheinlichkeitsschätzung. Die Analyse von ProPublica ergab signifikante systematische rassistische Verzerrungen, obwohl die Rasse nicht zu den spezifischen Faktoren zählte.

Ohne den Algorithmus würde ein menschlicher Richter eine ähnliche Schätzung vornehmen, als Teil einer Entscheidung über eine Verurteilung oder Bewährung. Die menschliche Entscheidung könnte eine größere Anzahl von Faktoren berücksichtigen, wie zum Beispiel die Haltung des Kriminellen im Gerichtssaal. Aber wir wissen, von Studium der Psychologie, Dass die menschliche Entscheidungsfindung ist voller Voreingenommenheitselbst wenn wir unser Bestes geben, fair zu sein.

Aber alle Fehler, die sich aus einer Voreingenommenheit bei den Entscheidungen der menschlichen Richter ergeben, sind wahrscheinlich bei den Richtern unterschiedlich und sogar bei verschiedenen Entscheidungen desselben Richters. Insgesamt kann es zu Rassendiskriminierung kommen unbewusste Voreingenommenheit, aber dies abschließend zu beweisen, ist schwierig. Eine Studie des US-Justizministeriums fand starke Beweise dafür Disparitäten bei der Verurteilung weißer und schwarzer Sträflinge, aber konnte nicht klar feststellen, ob Rasse selbst ein Faktor in diesen Entscheidungen war.

Im Gegensatz dazu wird der exakt gleiche Algorithmus, den ProPublica betrachtet, in Tausenden von Fällen in vielen Zuständen verwendet. Seine Starrheit und das große Volumen erleichtern die Bestimmung, ob es diskriminiert wird - und können Möglichkeiten bieten, das Problem effizient zu beheben.

Die Verwendung von Informationstechnologie scheint Linien heller zu machen, Unterschiede stärker und Daten über all dies viel leichter verfügbar. Was gestern unter den Teppich gekehrt werden konnte, verlangt nach Aufmerksamkeit. Da wir immer mehr Anwendungen für datengesteuerte Algorithmen finden, ist es noch nicht üblich, ihre Fairness zu analysieren, insbesondere vor der Einführung eines neuen datenbasierten Dienstes. Dies zu tun, wird viel dazu beitragen, die Fairness dieser zunehmend wichtigeren Computerberechnungen zu messen und zu verbessern.

Über den AutorDas Gespräch

HV Jagadish, Bernard A Galler, Professor für Elektrotechnik und Informatik, University of Michigan

Dieser Artikel wurde ursprünglich veröffentlicht am Das Gespräch.. Lies das Original Artikel.

Bücher zum Thema

at InnerSelf Market und Amazon