Was ist fair?
Es scheint eine einfache Frage zu sein, aber es ist eine ohne einfache Antworten. Dies gilt insbesondere für die arkane Welt der künstlichen Intelligenz (KI), in der die Vorstellung von intelligenten, emotionslosen Maschinen, die wunderbar vorurteilsfrei Entscheidungen treffen, schnell verblasst.
Der wahrscheinlich öffentlichste Aspekt dieser Wahrnehmung war eine Untersuchung von ProPublica aus dem Jahr 2016, die ergab, dass die Daten, die ein KI-System steuern und von Richtern verwendet wurden, um zu bestimmen, ob ein verurteilter Krimineller wahrscheinlich mehr Verbrechen begeht, voreingenommen gegen Minderheiten zu sein schienen. Northpointe, das Unternehmen, das den als COMPAS bekannten Algorithmus entwickelt hat, bestritt die Interpretation der Ergebnisse durch ProPublica, aber der Konflikt löste sowohl Debatten als auch Analysen darüber aus, wie sehr selbst den intelligentesten Maschinen vertraut werden sollte.
"Es ist ein wirklich heißes Thema - wie kann man Algorithmen fair und vertrauenswürdig machen", sagt Daniel Neill. "Es ist ein wichtiges Thema."
Neill befindet sich jetzt mitten in dieser Diskussion. Als Informatiker an der Carnegie Mellon University haben er und ein anderer Forscher, Will Gorr, vor einigen Jahren ein Software-Tool zur Vorhersage von Verbrechen namens CrimeScan entwickelt. Ihr ursprüngliches Konzept war, dass Gewaltkriminalität in gewisser Weise wie eine übertragbare Krankheit ist und dazu neigt, in geografischen Clustern auszubrechen. Sie kamen auch zu der Überzeugung, dass kleinere Verbrechen Vorboten gewalttätigerer Verbrechen sein können, und entwickelten einen Algorithmus, der eine breite Palette von „Frühindikator“ -Daten verwendet, darunter Berichte über Verbrechen wie einfache Übergriffe, Vandalismus und ungeordnetes Verhalten sowie 911 Anrufe über solche Dinge wie abgefeuerte Schüsse oder eine Person, die mit einer Waffe gesehen wurde. Das Programm umfasst auch saisonale Trends und Wochentagstrends sowie Kurz- und Langzeitraten schwerer Gewaltverbrechen.
Die Idee ist, Funken zu verfolgen, bevor ein Feuer ausbricht. "Wir betrachten kleinere Verbrechen", sagt Neill. „Einfache Angriffe könnten sich zu schweren Angriffen verschärfen. Oder es gibt ein eskalierendes Muster der Gewalt zwischen zwei Banden. “
Vorhersagen wann und wo
CrimeScan ist nicht die erste Software, die für das so genannte Predictive Policing entwickelt wurde. Ein Programm namens PredPol wurde vor acht Jahren von Wissenschaftlern der UCLA in Zusammenarbeit mit der Los Angeles Police Department ins Leben gerufen, mit dem Ziel herauszufinden, wie die wissenschaftliche Analyse von Kriminalitätsdaten dazu beitragen kann, kriminelle Verhaltensmuster zu erkennen. PredPol wird mittlerweile von mehr als 60 Polizeidienststellen im ganzen Land eingesetzt und identifiziert Gebiete in einer Nachbarschaft, in denen in einem bestimmten Zeitraum mit größerer Wahrscheinlichkeit schwere Straftaten verübt werden.
Das Unternehmen behauptet, seine Untersuchungen haben ergeben, dass die Software doppelt so genau ist wie menschliche Analysten, wenn es darum geht, vorauszusagen, wo Verbrechen stattfinden werden. Keine unabhängige Studie hat diese Ergebnisse jedoch bestätigt.
Sowohl PredPol als auch CrimeScan beschränken ihre Prognosen darauf, wo Verbrechen auftreten könnten, und vermeiden es, den nächsten Schritt der Vorhersage zu unternehmen, wer sie begehen könnte - ein kontroverser Ansatz, den die Stadt Chicago auf der Grundlage einer „strategischen Themenliste“ von Personen entwickelt hat, die am wahrscheinlichsten beteiligt sind Bei zukünftigen Schießereien entweder als Schütze oder als Opfer.
Die American Civil Liberties Union (ACLU), das Brennan Center for Justice und verschiedene Bürgerrechtsorganisationen haben alle Fragen zur Gefahr von Verzerrungen in der Software aufgeworfen. Nach Ansicht von Kritikern können historische Daten aus Polizeipraktiken eine Rückkopplungsschleife bilden, durch die Algorithmen Entscheidungen treffen, die die Einstellungen darüber widerspiegeln und verstärken, welche Stadtteile „schlecht“ und welche „gut“ sind Voreingenommenheitsrisiko - reflektiert eher polizeiliche Entscheidungen als gemeldete Verbrechen. CrimeScan zum Beispiel versucht nicht, Straftaten vorherzusagen, die, wie Neill es ausdrückt, "nur zu finden sind, wenn Sie danach suchen."
"Ich kann nicht sagen, dass wir frei von Voreingenommenheit sind", sagt Neill.
Dann gibt es die andere Seite der Rückkopplungsschleife. Wenn ein Vorhersagewerkzeug die Erwartungen an Verbrechen in einem bestimmten Stadtviertel erhöht, wird die Polizei, die dort patrouilliert, aggressiver bei Verhaftungen sein?
"Es besteht die reale Gefahr, bei jeder Art von datengesteuerter Polizeiarbeit zu vergessen, dass sich Menschen auf beiden Seiten der Gleichung befinden", stellt Andrew Ferguson, Professor für Rechtswissenschaft an der Universität des District of Columbia und Autor des Buch, Der Aufstieg der Big Data-Überwachung: Überwachung, Rasse und die Zukunft der Strafverfolgung. „Beamte müssen in der Lage sein, diese Ideen zu übersetzen, die darauf hindeuten, dass verschiedene Stadtteile unterschiedliche Bedrohungswerte aufweisen. Und wenn Sie sich auf die Zahlen konzentrieren, anstatt auf den Menschen vor Ihnen, ändern Sie Ihre Beziehung zu ihnen. “
In der Black Box
Die Realität ist, dass künstliche Intelligenz heute - wenn auch häufig im Hintergrund - eine Rolle bei vielen Entscheidungen spielt, die das tägliche Leben betreffen. Sie hilft Unternehmen dabei, zu entscheiden, wen sie einstellen möchten, legt Kreditpunkte fest und bewertet Lehrer. Es ist nicht überraschend, dass dies die öffentliche Kontrolle darüber verschärft hat, wie Algorithmen für maschinelles Lernen erstellt werden, welche unbeabsichtigten Konsequenzen sie haben und warum sie im Allgemeinen nicht viel überprüft werden.
Für den Anfang ist ein Großteil der Software proprietär, sodass die Funktionsweise der Algorithmen wenig transparent ist. Mit zunehmender Komplexität des maschinellen Lernens wird es auch für die Ingenieure, die ein KI-System erstellt haben, immer schwieriger, die getroffenen Entscheidungen zu erklären. Diese undurchsichtige Entscheidungsfindung mit geringer Rechenschaftspflicht ist eine Folge der sogenannten Black-Box-Algorithmen.
„Die Öffentlichkeit hat nie die Möglichkeit, die Verwendung solcher Systeme zu prüfen oder zu debattieren“, sagt Meredith Whittaker, Mitbegründerin des AI Now Institute, einer Forschungseinrichtung an der New York University, die sich mit den Auswirkungen von AI auf die Gesellschaft befasst. "Und die Daten und die Logik, die die gemachten Vorhersagen bestimmen, sind selbst denjenigen, die sie verwenden, oftmals unbekannt, geschweige denn den Menschen, deren Leben davon betroffen ist."
In einem im vergangenen Herbst veröffentlichten Bericht empfahl AI Now, dass keine öffentlichen Stellen, die für Angelegenheiten wie Strafrecht, Gesundheitsfürsorge, Wohlfahrt und Bildung zuständig sind, Black-Box-KI-Systeme einsetzen sollten. Laut AI Now werden rechtliche und ethische Fragen bei der Erstellung der Software nur selten berücksichtigt.
"So wie Sie einem Richter nicht vertrauen würden, ein tiefes neuronales Netzwerk aufzubauen, sollten wir aufhören anzunehmen, dass ein Ingenieurstudium ausreicht, um komplexe Entscheidungen in Bereichen wie der Strafjustiz zu treffen", sagt Whittaker.
Eine andere Organisation, das Center for Democracy & Technology, hat ein Tool für digitale Entscheidungen entwickelt, mit dem Ingenieure und Informatiker Algorithmen entwickeln können, die faire und unvoreingenommene Ergebnisse liefern. Das Tool stellt viele Fragen, mit denen sie ihre Annahmen abwägen und unvorhergesehene Welligkeitseffekte identifizieren können.
„Wir wollten den Menschen einen konkreten Ansatz geben, um über Fragen nachzudenken, wie repräsentativ ihre Daten sind, welche Personengruppen möglicherweise ausgelassen werden und ob die Ergebnisse ihres Modells unbeabsichtigte negative Konsequenzen haben werden“, sagt Natasha Duarte, die die Daten überwacht das Projekt.
Wer ist verantwortlich?
Zwar gab es Bestrebungen, Entwickler für die möglichen Auswirkungen ihrer Algorithmen zu sensibilisieren, andere weisen jedoch darauf hin, dass Behörden und Unternehmen, die auf KI angewiesen sind, ebenfalls rechenschaftspflichtig sein müssen.
„Der Schwerpunkt liegt darauf, dass Designer ein System verstehen. Es geht aber auch um die Leute, die das System verwalten und implementieren “, sagt Jason Schultz, Professor für Recht an der New York University, der mit dem AI Now Institute in rechtlichen und politischen Fragen zusammenarbeitet. "Hier trifft der Kautschuk die Straße in Sachen Verantwortlichkeit. Eine Regierungsbehörde, die KI einsetzt, hat die größte Verantwortung und sie muss es auch verstehen. Wenn Sie die Technologie nicht verstehen können, sollten Sie sie nicht verwenden können."
Zu diesem Zweck fördert AI Now die Verwendung von „algorithmischen Folgenabschätzungen“, bei denen die Behörden die von ihnen verwendeten Systeme offenlegen und es externen Forschern ermöglichen müssten, sie auf potenzielle Probleme zu analysieren. In Bezug auf Polizeidienststellen halten es einige Rechtsexperten auch für wichtig, klar darzulegen, wie sie Technologie einsetzen, und dies der örtlichen Bevölkerung mitzuteilen.
„Wenn diese Systeme unter dem Gesichtspunkt der Verantwortlichkeit, Fairness und des ordnungsgemäßen Ablaufs entworfen werden, muss die Person, die das System implementiert, verstehen, dass sie eine Verantwortung trägt“, sagt Schultz. „Und wenn wir planen, wie wir diese umsetzen, lautet eine der ersten Fragen: Wohin geht das im Polizeimanual? Wenn Sie das nicht irgendwo im Handbuch der Polizei finden, treten wir einen Schritt zurück, Leute. “
Andrew Ferguson sieht die Notwendigkeit eines sogenannten "Überwachungsgipfels".
"Mindestens einmal im Jahr sollte es in jeder Gerichtsbarkeit einen Moment der Verantwortlichkeit für Polizeitechnik geben", sagt er. „Der Polizeichef, der Bürgermeister oder vielleicht der Stadtratschef müssten der Gemeinde erklären, wofür sie Steuergelder in Bezug auf Überwachung und Technologie verwenden, warum sie denken, dass es eine gute Verwendung des Geldes ist, wofür sie tun, um es zu prüfen und die Daten zu schützen, was sind die Auswirkungen auf die Privatsphäre. Und die Community würde da sein, um Fragen zu stellen. “
Daniel Neill, der Erfinder von CrimeScan, sagt, er würde keine Einwände gegen die Idee der regelmäßigen Überprüfung von AI-Ergebnissen erheben, obwohl er Bedenken hat, dies zu tun, bevor ein Algorithmus ausreichend praxiserprobt ist. Derzeit arbeitet er mit dem Pittsburgh Bureau of Police an einem CrimeScan-Prozess, und zumindest anfangs bestand die Herausforderung darin, „die richtige Patrouillenintensität für die vorhergesagten Krisenherde zu ermitteln“.
Es sei ein Lernprozess gewesen, CrimeScan so anzupassen, dass Polizeibeamte auf Straßenebene glauben, es sei hilfreich. „Wir müssen zeigen, dass wir Kriminalität nicht nur vorhersagen, sondern sie auch tatsächlich verhindern können“, stellt Neill fest. "Wenn Sie das Werkzeug einfach über die Mauer werfen und auf das Beste hoffen, funktioniert es nie so gut."
Er räumt auch das Risiko ein, einen Algorithmus zu stark zu verschieben.
"Ein Tool kann Polizeibeamten helfen, gute Entscheidungen zu treffen", sagt er. „Ich glaube nicht, dass Maschinen Entscheidungen treffen sollten. Sie sollten zur Entscheidungsunterstützung verwendet werden. "
Neill fügt hinzu: "Ich verstehe, dass dies in der Praxis nicht immer der Fall ist."
