Personen, die einen Kredit von einer Bank oder einer Kreditkartenfirma beantragen und abgelehnt werden, müssen eine Erklärung dafür erhalten, warum das passiert ist. Es ist eine gute Idee - weil es helfen kann, Menschen beizubringen, wie man ihren beschädigten Kredit repariert - und es ist ein Bundesgesetz, das Equal Credit Opportunity Act. Eine Antwort war in den vergangenen Jahren kein großes Problem, als Menschen diese Entscheidungen trafen. Aber heutzutage, da Systeme künstlicher Intelligenz zunehmend Menschen unterstützen oder ersetzen, die Kreditentscheidungen treffen, ist es viel schwieriger geworden, diese Erklärungen zu erhalten.

Traditionell kann ein Kreditsachbearbeiter, der einen Antrag abgelehnt hat, einem potenziellen Kreditnehmer mitteilen, dass ein Problem mit seinem Einkommensniveau oder seiner Beschäftigungsgeschichte vorliegt was auch immer das Problem war. Aber computerisierte Systeme, die komplex verwenden Maschinelles Lernen Modelle sind selbst für Experten schwer zu erklären.

Verbraucherkreditentscheidungen sind nur eine Möglichkeit, dieses Problem aufzutreten. Ähnliche Bedenken existiert in Gesundheitspflege, Online-Marketing und sogar Strafrechtspflege. Mein eigenes Interesse in diesem Bereich begann, als eine Forschungsgruppe, an der ich beteiligt war, entdeckt wurde geschlechtsspezifische Verzerrungen bei der Ausrichtung von Online-Anzeigen, konnte aber nicht erklären, warum es passiert ist.

All diese Branchen und viele andere, die maschinelles Lernen nutzen, um Prozesse zu analysieren und Entscheidungen zu treffen, haben etwas mehr als ein Jahr Zeit, um viel besser erklären zu können, wie ihre Systeme funktionieren. Im Mai 2018, der neue Allgemeine Datenschutzverordnung der Europäischen Union Dies gilt auch für einen Abschnitt, der den Menschen das Recht gibt, eine Erklärung für automatisierte Entscheidungen zu erhalten, die sich auf ihr Leben auswirken. Welche Form sollten diese Erklärungen annehmen, und können wir sie tatsächlich liefern?

Die wichtigsten Gründe identifizieren

Eine Möglichkeit zu beschreiben, warum eine automatisierte Entscheidung so getroffen wurde, ist die Identifizierung der Faktoren, die bei der Entscheidung am einflussreichsten waren. Wie groß war die Entscheidung über die Kreditverweigerung, weil der Antragsteller nicht genug Geld verdient hat oder weil er in der Vergangenheit keine Kredite zurückgezahlt hat?

Meine Forschungsgruppe an der Carnegie Mellon University, einschließlich des Doktoranden Shayak Sen und des damaligen Postdocs Yair Zick, hat einen Weg dorthin geschaffen Messen Sie den relativen Einfluss von jedem Faktor. Wir nennen es den quantitativen Input-Einfluss.

Neben dem besseren Verständnis einer individuellen Entscheidung kann die Messung auch eine Gruppe von Entscheidungen beleuchten: Hat ein Algorithmus die Kreditvergabe in erster Linie aufgrund finanzieller Bedenken verweigert, z. B. wie viel ein Antragsteller bereits auf andere Schulden schuldet? Oder war die Postleitzahl des Bewerbers wichtiger - was darauf hindeutet, dass die demografischen Gegebenheiten, wie z. B. die Rasse, ins Spiel kommen könnten?

Verursachung erfassen

Wenn ein System Entscheidungen auf der Grundlage mehrerer Faktoren trifft, ist es wichtig zu ermitteln, welche Faktoren die Entscheidungen und ihren relativen Beitrag beeinflussen.

Stellen Sie sich zum Beispiel ein Kreditentscheidungssystem vor, das nur zwei Inputs, die Schulden-Einkommens-Relation und die Rasse des Antragstellers berücksichtigt. Es wurde gezeigt, dass Kredite nur für Kaukasier genehmigt werden. Zu wissen, wie viel jeder Faktor zu der Entscheidung beigetragen hat, kann uns helfen zu verstehen, ob es ein legitimes System ist oder ob es diskriminierend ist.

Eine Erklärung könnte nur die Inputs und das Ergebnis betrachten und die Korrelation beobachten - Nicht-Kaukasier erhielten keine Kredite. Aber diese Erklärung ist zu einfach. Angenommen, die Nicht-Kaukasier, denen Kredite verweigert wurden, hatten auch viel niedrigere Einkommen als die Kaukasier, deren Anträge erfolgreich waren. Dann kann uns diese Erklärung nicht sagen, ob die Rasse oder das Schulden-Einkommens-Verhältnis der Antragsteller die Dementis verursacht haben.

Unsere Methode kann diese Information bereitstellen. Wenn wir den Unterschied erklären, können wir herausfinden, ob das System ungerechtfertigt diskriminierend ist oder berechtigte Kriterien wie die Finanzen der Bewerber berücksichtigt.

Um den Einfluss der Rasse bei einer bestimmten Kreditentscheidung zu messen, wiederholen wir den Bewerbungsprozess, wobei wir das Verhältnis von Schulden zu Einkommen gleich halten, aber die Rasse des Bewerbers verändern. Wenn der Wechsel des Rennens das Ergebnis beeinflusst, wissen wir, dass die Rasse ein entscheidender Faktor ist. Wenn nicht, können wir schlussfolgern, dass der Algorithmus nur die Finanzinformationen betrachtet.

Neben der Identifizierung von Faktoren, die Ursachen sind, können wir ihren relativen kausalen Einfluss auf eine Entscheidung messen. Wir tun das, indem wir den Faktor zufällig variieren (zB Rasse) und messen, wie wahrscheinlich es ist, dass sich das Ergebnis ändert. Je höher die Wahrscheinlichkeit, desto größer der Einfluss des Faktors.

Aggregierender Einfluss

Unsere Methode kann auch mehrere Faktoren enthalten, die zusammenarbeiten. Stellen Sie sich ein Entscheidungssystem vor, das Antragstellern, die zwei von drei Kriterien erfüllen, Kredit gewährt: Kredit-Score über 600, Besitz eines Autos und ob der Antragsteller ein Wohnungsbaudarlehen vollständig zurückgezahlt hat. Ein Bewerber, Alice, mit einem Kredit-Score von 730 und kein Auto oder Wohnungsbaudarlehen, wird Kredit verweigert. Sie fragt sich, ob ihr Autobesitzstatus oder die Rückzahlungshistorie des Hauptdarlehens der Hauptgrund ist.

Eine Analogie kann helfen zu erklären, wie wir diese Situation analysieren. Stellen Sie sich ein Gericht vor, bei dem die Mehrheit der Stimmen einer Jury aus drei Richtern entscheidet, von denen eine konservativ ist, die andere liberal und die dritte eine Stimmenwahl, jemand, der sich einer ihrer Kollegen anschließen könnte. In einer konservativen 2-1-Entscheidung hatte der Swing-Richter einen größeren Einfluss auf das Ergebnis als der liberale Richter.

Die Faktoren in unserem Kreditbeispiel sind wie die drei Richter. Der erste Richter stimmt üblicherweise für das Darlehen, weil viele Bewerber eine ausreichend hohe Kreditwürdigkeit haben. Der zweite Richter stimmt fast immer gegen das Darlehen, weil nur sehr wenige Bewerber jemals ein Haus bezahlt haben. Die Entscheidung fällt also auf den Swing Judge, der bei Alice das Darlehen ablehnt, weil sie kein Auto besitzt.

Wir können diese Argumentation genau mit Hilfe von kooperative Spieltheorie, ein System zur genaueren Analyse, wie verschiedene Faktoren zu einem einzigen Ergebnis beitragen. Insbesondere kombinieren wir unsere Messungen des relativen kausalen Einflusses mit der Shapley-WertDies ist ein Weg zu berechnen, wie man Einfluss auf mehrere Faktoren zuweist. Zusammen bilden diese unsere quantitative Einflussmessung.

Bisher haben wir unsere Methoden auf Entscheidungssytemen evaluiert, die wir durch das Training gemeinsamer Algorithmen für maschinelles Lernen mit realen Datensätzen erstellt haben. Die Auswertung von Algorithmen bei der Arbeit in der realen Welt ist ein Thema für zukünftige Arbeiten.

Eine offene Herausforderung

Unsere Methode der Analyse und Erklärung, wie Algorithmen Entscheidungen treffen, ist am nützlichsten in Situationen, in denen die Faktoren von Menschen leicht verstanden werden - wie Schulden-Einkommens-Verhältnis und andere finanzielle Kriterien.

Das Erklären des Entscheidungsprozesses von komplexeren Algorithmen bleibt jedoch eine signifikante Herausforderung. Nehmen Sie zum Beispiel ein Bilderkennungssystem, wie das Tumore erkennen und verfolgen. Es ist nicht sehr nützlich, die Bewertung eines bestimmten Bildes basierend auf einzelnen Pixeln zu erklären. Idealerweise möchten wir eine Erklärung, die einen zusätzlichen Einblick in die Entscheidung gibt - zum Beispiel die Identifizierung bestimmter Tumormerkmale im Bild. In der Tat hält die Gestaltung von Erklärungen für solche automatisierten Entscheidungsaufgaben viele Forscher beschäftigt.

Über den Autor

Anupam Datta, außerordentlicher Professor für Informatik und Elektrotechnik und Computertechnik, Carnegie Mellon University

Dieser Artikel wurde ursprünglich veröffentlicht am Das Gespräch.. Lies das Original Artikel.

Bücher zum Thema

at InnerSelf Market und Amazon