Wir müssen die Algorithmen kennen, mit denen die Regierung Entscheidungen über uns trifft

Wir müssen die Algorithmen kennen, mit denen die Regierung Entscheidungen über uns trifft

In Strafjustizsystemen, Kreditmärkten, Beschäftigungsstätten, Zulassungsverfahren für Hochschulen und sogar Social-Media-Netzwerkedatengesteuerte Algorithmen Jetzt fahren Sie die Entscheidungsfindung in einer Weise, die unser wirtschaftliches, soziales und bürgerliches Leben berührt. Diese Softwaresysteme ordnen, klassifizieren, verknüpfen oder filtern Informationen mithilfe von von Menschen erstellten oder dateninduzierten Regeln, die eine konsistente Behandlung über große Bevölkerungsgruppen hinweg ermöglichen.

Diese Techniken bieten zwar Effizienzgewinne, sie können aber auch Vorurteile gegenüber benachteiligten Gruppen or strukturelle Diskriminierung verstärken. Ist es beispielsweise im Hinblick auf die Strafjustiz angemessen, die Bewährung einer Person auf der Grundlage statistischer Tendenzen zu beurteilen, die an einer breiten Personengruppe gemessen werden? Könnte eine Diskriminierung durch die Anwendung eines statistischen Modells entstehen? entwickelt für die Bevölkerung eines Staates zu einem anderen, demographisch unterschiedliche Bevölkerung?

Die Öffentlichkeit muss die Vorurteile und die Macht von Algorithmen verstehen, die in der Öffentlichkeit verwendet werden, auch von Regierungsbehörden. Eine Anstrengung, mit der ich mich beschäftige, rief an algorithmische Verantwortlichkeit, versucht, die Einflüsse solcher Systeme klarer und verständlicher zu machen.

Bestehende Transparenztechniken könnten, wenn sie auf Algorithmen angewendet werden, den Menschen die Überwachung, Überprüfung und Kritik der Funktionsweise dieser Systeme ermöglichen - oder auch nicht. Leider scheinen die Regierungsbehörden nicht auf Untersuchungen zu Algorithmen und deren Verwendung bei Entscheidungen vorbereitet zu sein, die sowohl Einzelpersonen als auch die Öffentlichkeit im Allgemeinen betreffen.

Algorithmen für die öffentliche Kontrolle öffnen

Im letzten Jahr die Bundesregierung begann zu studieren die Vor- und Nachteile der Verwendung computergestützter Datenanalysen, um die Wahrscheinlichkeit einer erneuten Verletzung der Gefängnisinsassen nach der Freilassung zu bestimmen. Die Bewertung von Einzelpersonen als niedrig, mittel oder risikoreich kann bei Wohnungs- und Behandlungsentscheidungen hilfreich sein. Dabei werden Personen identifiziert, die gefahrlos in ein Gefängnis mit Mindestsicherheit oder sogar in ein „Halfway-Haus“ geschickt werden können oder von einem bestimmten Typ profitieren würden psychologische Betreuung.

Diese Informationen können den Justizprozess effizienter und kostengünstiger machen und sogar das Gefängnis in den Gefängnissen reduzieren. Es wurde gezeigt, wie Straftäter mit niedrigem Risiko wie Straftäter mit hohem Risiko behandelt werden in einigen Studien Sie sollen dazu führen, dass sie ein „kranker“ Verbrecher sind und wegen ihres abweichenden Verhaltens behandelt werden müssen. Ihre Trennung kann daher die Entwicklung negativer Verhaltensweisen reduzieren, die bei der Freilassung zu Rückfällen führen würden.

Daten und Algorithmen zur Bewertung des Insolvenzrisikos von Insassen sind bereits vorhanden von Staaten ausgiebig genutzt für die Verwaltung von Untersuchungshaft, Bewährung, Bewährung und sogar Verurteilung. Es fällt ihnen jedoch leicht, unbemerkt zu bleiben - sie wirken oft wie unscheinbare bürokratische Schreibarbeit.

In der Regel werden die Algorithmen zu vereinfachten Bewertungsblättern zusammengefasst, die von Beamten mit wenig Verständnis für die zugrunde liegenden Berechnungen ausgefüllt werden. Zum Beispiel könnte ein Fallbeamter einen Gefangenen anhand eines Formulars bewerten, in dem der Fallbearbeiter feststellt, dass der Gefangene wegen eines Gewaltverbrechens verurteilt worden war, zum Zeitpunkt der ersten Festnahme noch jung war und kein Abitur absolvierte oder einen Abschluss erhielt GED Diese Faktoren und andere Merkmale der Person und des Verbrechens führen zu einer Bewertung, aus der hervorgeht, ob der Insasse für eine Bewährungsprüfung in Frage kommt.

Das Formular selbst sowie sein Scoring-System offenbaren häufig Schlüsselmerkmale des Algorithmus, wie die betrachteten Variablen und wie sie zusammenkommen, um einen Gesamtrisiko-Score zu bilden. Für die algorithmische Transparenz ist es auch wichtig zu wissen, wie solche Formulare entworfen, entwickelt und ausgewertet wurden. Nur dann kann die Öffentlichkeit wissen, ob die Faktoren und Berechnungen, die für das Erreichen der Punktzahl erforderlich sind, fair und angemessen sind oder ob sie nicht informiert und voreingenommen sind.

Anwendung des Informationsfreiheitsgesetzes

Unser wichtigstes Instrument, um diese Formen und ihr unterstützendes Material in die Hände zu bekommen, ist das Gesetz und insbesondere das Recht auf Informationsfreiheit. Sie gehören zu den mächtigsten Mechanismen, die der Öffentlichkeit zur Verfügung stehen, um Transparenz in der Regierung zu gewährleisten. Auf Bundesebene die Informationsfreiheitsgesetz (FOIA) ermöglicht es der Öffentlichkeit, offiziell Dokumente von der Bundesregierung anzufordern - und davon zu erwarten, dass sie im Gegenzug sie erhalten. Analoge Statuten existieren für jeden Staat.

FOIA wurde in 1966 umgesetzt und wurde vor der weit verbreiteten Verwendung von Computern erstellt. Lange bevor große Datenmengen in Softwaresystemen routinemäßig verwendet wurden, um Einzelpersonen zu verwalten und Vorhersagen zu treffen. Da war einige anfängliche Forschung ob FOIA die Offenlegung von Software-Quellcode erleichtern kann. Es bleibt jedoch die Frage, ob die derzeitigen Gesetze auf die Bedürfnisse der Öffentlichkeit des 21st-Jahrhunderts eingehen: Können wir FOIA-Algorithmen verwenden?

Eine Fallstudie zur Transparenz von Algorithmen

Ich wollte diese Frage im Internet beantworten Philip Merrill College of Journalism an der University of Maryland, wo ich Assistenzprofessor bin. Im Herbst von 2015 haben wir in Zusammenarbeit mit meinem Kollegen Sandy Banisky im Bereich Medienrecht die Studenten bei der Einreichung von FOIA-Anfragen an alle 50-Staaten angeleitet. Wir fragten nach Dokumenten, mathematischen Beschreibungen, Daten, Validierungsbewertungen, Verträgen und Quellcode, die sich auf Algorithmen beziehen, die in der Strafjustiz verwendet werden, wie etwa Bewährung, Bewährung, Kaution oder Urteilsentscheidungen.

Als semesterlanges Projekt wurde der Aufwand zwangsläufig durch die Zeit eingeschränkt, mit vielen Hürden und relativ wenigen Erfolgen. Wie bei vielen Journalistenermittlungen war es sogar eine Herausforderung, herauszufinden, wen und wie er gefragt werden sollte. Verschiedene Stellen sind möglicherweise für verschiedene Bereiche des Strafrechtssystems zuständig (die Verurteilung kann von Gerichten verhängt werden, die Bewährungshilfe erfolgt jedoch durch eine Strafvollzugsbehörde).

Selbst nachdem die richtige Person identifiziert worden war, fanden die Studenten heraus, dass Regierungsbeamte eine andere Terminologie verwendeten, die es schwierig machte, die gewünschten Informationen zu vermitteln. Zuweilen mussten die Schüler hart arbeiten, um einem nicht so datenbegeisterten Beamten „Strafjustizalgorithmen“ zu erklären. Rückblickend wäre es vielleicht effektiver gewesen, nach „Instrumenten zur Risikobewertung“ zu fragen, da dieser Begriff häufig von den Regierungen der Länder verwendet wird.

Umgang mit den Antworten

Einige Bundesstaaten wie Colorado lehnten unsere Anfrage mit aller Entschiedenheit ab und sagten, dass die Algorithmen in Software enthalten seien, die nicht als "Dokument" betrachtet wurde, das laut offener Regierungsgesetze die Veröffentlichung von Beamten erfordert. In verschiedenen Staaten gibt es unterschiedliche Regeln für die Offenlegung der Verwendung von Software. Dies ist manchmal in den Gerichten aufgetaucht, beispielsweise bei einem 2004 Klage gegen die Stadt Detroit darüber, ob die Formel zur Berechnung von Wassergebühren, die einer benachbarten Stadt in Rechnung gestellt werden, veröffentlicht werden soll.

Aus eigener Kraft erhielten wir nur eine mathematische Beschreibung eines Strafrechtsalgorithmus: Oregon wird offengelegt die 16-Variablen und ihre Gewichte in einem Modell zur Vorhersage von Rückfällen. Der Bundesstaat North Dakota hat eine Excel-Tabelle veröffentlicht, in der die Gleichung zur Bestimmung der Daten aufgeführt ist, an denen Insassen für eine Bewährung in Frage kommen. Aus Idaho und New Mexico haben wir Dokumente mit einigen Beschreibungen der Rückfallrisikobewertungen erhalten, die von diesen Staaten verwendet wurden, aber keine Details darüber, wie sie entwickelt oder validiert wurden.

Neun Staaten stützten ihre Weigerung, Einzelheiten zu ihren Algorithmen für die Strafverfolgung offenzulegen, auf die Behauptung, dass die Informationen tatsächlich im Besitz eines Unternehmens seien. Dies impliziert, dass die Freigabe des Algorithmus der Firma, die ihn entwickelt hat, schaden würde. Ein allgemeiner Rückfallrisiko-Fragebogen, das LSI-R genannt, stellt sich als kommerzielles Produkt heraus, das urheberrechtlich geschützt ist. Staaten wie Hawaii und Maine behaupteten, dies verhindere die Offenlegung gegenüber der Öffentlichkeit.

Louisiana sagte, sein Vertrag mit dem Entwickler eines neuen Risikobewertungsverfahrens habe die Veröffentlichung der angeforderten Informationen für sechs Monate gesperrt. Der Bundesstaat Kentucky zitierte seinen Vertrag mit a philanthropische Stiftung als grund konnte er keine näheren angaben machen. Bedenken in Bezug auf geschützte Informationen mögen legitim sein. Doch wie können wir angesichts der Tatsache, dass die Regierung routinemäßig Verträge mit privaten Unternehmen abschließt, diese Bedenken gegen ein erklärbares und tatsächlich legitimes Justizsystem abwägen?

Verbesserungen vornehmen

Die dringend benötigte FOIA-Reform ist derzeit in beratung vom Kongress. Dies bietet die Möglichkeit, das Gesetz zu modernisieren, aber die vorgeschlagenen Änderungen tragen dem zunehmenden Einsatz von Algorithmen in der Regierung nur wenig Rechnung. Algorithmische Transparenzinformation könnte kodifiziert sein in Berichte, die die Regierung regelmäßig im Rahmen des normalen Geschäftsbetriebs erstellt und veröffentlicht.

Als Gesellschaft sollten wir fordern, dass Informationsbeauftragte für die Öffentlichkeit geschult werden, damit sie die Terminologie beherrschen und fließend sprechen, mit der sie möglicherweise konfrontiert werden, wenn die Öffentlichkeit nach Algorithmen fragt. Die Bundesregierung könnte sogar eine neue Position für einen „Zarenalgorithmus“ schaffen, einen Ombudsmann, dessen Aufgabe es wäre, Anfragen zur Automatisierung der Regierung zu kommunizieren und vor Ort zu stellen.

Keines der Dokumente, die wir im Rahmen unserer Untersuchungen erhalten haben, gab Auskunft darüber, wie Formulare zur Risikobewertung im Bereich der Strafjustiz entwickelt oder bewertet wurden. Da Algorithmen mehr und mehr unser Leben bestimmen, brauchen und müssen die Bürger mehr Transparenz.

Über den Autor

diakopoulos nicholasNicholas Diakopoulos, Tow Fellow, Tow-Zentrum für digitalen Journalismus an der Columbia University; Assistenzprofessor für Journalismus an der University of Maryland. Seine Forschung befasst sich mit Computer- und Datenjournalismus mit Schwerpunkt auf algorithmischer Rechenschaftspflicht, narrativer Datenvisualisierung und Social Computing in den Nachrichten.

Dieser Artikel wurde ursprünglich veröffentlicht am Das Gespräch.. Lies das Original Artikel.

Bücher zum Thema

{amazonWS:searchindex=Books;keywords=digital privacy;maxresults=3}

enafarzh-CNzh-TWtlfrdehiiditjamsptrues

Folge InnerSelf weiter

facebook-icontwitter-iconRSS-Symbol

Holen Sie sich das Neueste per E-Mail

{Emailcloak = off}