Rassismus und Heuristik, die Zweite

Ein Artikel in der ZEIT flanscht sich an das gestrige Thema zu Rassismus und Heuristik an. Programmierter Rassismus – Suchmaschinen liefern diskriminierende Bilder, Bewerbungssoftware benachteiligt Schwarze: Woher Algorithmen ihre Vorurteile haben – und warum die so gefährlich sind.

Wie bei der ZEIT leider (mittlerweile? Ich kann es nicht sagen) nicht anders zu erwarten, wird eine vernünftige Analyse des Themas vermieden, stattdessen bleibt die Autorin auf der Ebene „wenn man Müll reinsteckt, kommt eben Müll heraus“ … „Vorurteile“ … etc. In den Kommentaren findet sich Klügeres. Man lese selbst.

Die Peinlichkeit, dass ein Google-Algorithmus das Foto einer Afroamerikanerin mit „Gorilla“ beschriftete, ist vorübergehender Unvollkommenheit geschuldet und stellt kein Grundsatzproblem dar.

Ans Eingemachte und Grundsätzliche geht es aber natürlich etwa bei Software für die Bewertung von Bewerbungen, der Kreditwürdigkeit, der Rückfallwahrscheinlichkeit bei Entscheidungen über die vorzeitige Entlassung von Strafgefangenen oder über Bewährung versus Haft. Hier bietet ein Algorithmus nicht nur den Vorteil der Effizienz, sondern auch der Vermeidung des individuellen Bias eines menschlichen Bewerters.

Die Bewertung der Kreditwürdigkeit eines Antragstellers beispielsweise ist eine Kernaufgabe in einer Hypothekenbank. Sie ist absolut entscheidend und Inkompetenz in dieser Frage gefährdet das Überleben der Bank unmittelbar. Es ist daher zunächst vollkommen legitim, wenn die Bank für diese Bewertung alle relevanten Informationen verwendet, die sie sich beschaffen kann. Relevante Informationen sind natürlich zunächst die Eigenschaften der Immobilie sowie des Antragstellers. Zu dessen Eigenschaften gehören Einkommen, Beruf, Familienstand, Ausgaben, Kredithistorie sowie eine Vielzahl weiterer Merkmale, die keinen für Außenstehende unmittelbar erkennbaren Bezug zum erwarteten dauerhaften Leistungsvermögen bzw. Leistungswillen des Antragstellers haben müssen, für die sich in den zur Verfügung stehenden Daten zu anderen Fällen aber ein statistischer Zusammenhang mit der Ausfallwahrscheinlichkeit von Krediten herstellen lässt. Wir reden hier von Korrelationen, aus denen Wahrscheinlichkeitsaussagen abgeleitet werden.

Hinter den Korrelationen können sich direkte Kausalitäten verbergen – bspw. mag das Merkmal „starker Raucher“ eine erhöhte Ausfallwahrscheinlichkeit nahelegen, weil solche Kreditnehmer öfter vorzeitig versterben -, sie mögen auf Kausalitäten verweisen, die nicht isolierbar sind oder sie mögen zufällig sein bzw. mit anderen, bereits als solchen betrachteten Merkmalen korrelieren, die den statistisch feststellbaren Zusammenhang erklären, so dass sie nach entsprechender Bereinigung um diese anderen Merkmale keinen Vorhersagewert mehr haben. Es ist die Kunst des Statistikers, aus den Daten eben die relevanten Merkmale und Merkmalskombinationen herauszufiltern, bedingte Wahrscheinlichkeiten zu erkennen und auf dieser Grundlage Wahrscheinlichkeitsaussagen zu treffen.

Enthalten die Daten das Merkmal „Rasse“ (klingt auf Deutsch komischer als „race“ auf Englisch; ich nehm einfach mal den Begriff), mag es sein, dass sich die Aussage ableiten lässt (beispielhaft), dass Kredite an Afroamerikaner dreimal so häufig ausfallen wie Kredite an Weiße. Der Job des Statistikers ist es nun zunächst, die Einflüsse von anderen Merkmalen auf dieses Ergebnis herauszurechnen. Bspw. wird das Merkmal Rasse mit dem Merkmal Einkommen korrelieren, das wiederum Einfluss auf die Ausfallwahrscheinlichkeit hat.

Nehmen wir nun an, nach Bereinigung um alle erkennbaren Einflüsse anderer Merkmale stellte sich heraus, dass Kredite an Afroamerikaner immer noch eine doppelt so hohe Ausfallwahrscheinlichkeit haben. Warum auch immer.

Wäre es „rassistisch“, wenn die Bank also das Merkmal „Rasse“ als solches im Algorithmus verwendet, mit der Folge eines verschlechterten Ratings für Afroamerikaner? Nun, das hängt von der Definition des Wortes Rassismus ab. In jedem Falle ist es aus ihrer Sicht unter den gegebenen Umständen zunächst einmal legitim. Das diskriminiert fraglos Afroamerikaner, so, wie der Algorithmus auch alte Menschen oder Diabetiker diskriminiert, aber aus sachlichem Grund. Die Wurzel der Schwierigkeit liegt – die Vorannahme vorausgesetzt – nicht im „Algorithmus“ oder dem Rassismus der Programmierer, sondern in der Wirklichkeit.

Nun kann die Gesellschaft sagen, wir wollen nicht, dass in dieser Weise ans Merkmal Rasse als solches angeknüpft wird. Das gefällt uns nicht. Wir verbieten oder verhindern also auf anderem Wege, dass das Merkmal als solches in das Rating einfließt. Das gilt dann für alle Hypothekenbanken in gleicher Weise; die Kosten für diese Verzerrung der Ratingverfahren treffen dann eben alle und werden im Ergebnis von den anderen Bevölkerungsgruppen mitgetragen. So ein Eingriff ist ebenfalls legitim und in dieser einfachen Form auch zunächst einmal durchsetzbar (nur nicht ohne Weiteres im Ergebnis, siehe unten).

Bis hier ist die Sache noch überschaubar. Nun wird es aber schwierig.

Das Merkmal „Rasse“ korreliert eben auch mit Einkommen, Vorstrafen, Schulbildung und weiteren Merkmalen, bei denen der Zusammenhang nicht so nahe liegt. Auch, wenn der Algorithmus das Merkmal „Rasse“ nicht verwendet, wird er aufgrund dieser Korrelationen eine ungleiche Wirkung („disparate impact“) auf Weiße und Afroamerikaner haben. Nun, Pech, mag man sagen; wenn Afroamerikaner weniger verdienen als Weiße, werden sie Kredite auch im Mittel nur zu schlechteren Bedingungen bekommen, und dass sie weniger verdienen, kann dem Kreditgeber nicht angelastet werden. Wie aber ist es bei nicht so offensichtlichen Merkmalen, wie beispielsweise „ist ohne Vater aufgewachsen“? Ich weiß es nicht, vermute jedoch stark, dass dieser Umstand die Ausfallwahrscheinlichkeit eines Kredits erhöht. Das Merkmal kommt aber unter Afroamerikanern wesentlich häufiger vor als unter Weißen. Ist es „rassistisch“, es zu verwenden, wenn es eine ungleiche Wirkung hat?

Verbietet man einfach die Anwendung des Merkmals „Rasse“ als solches, setzt man dazu allerdings sofort einen Anreiz für Kreditgeber, die sich sonst ergebenden statistischen Auswirkungen dieses Merkmals anhand der sonstigen Eigenschaften, mit denen es korreliert, herzuleiten. Wenn das Merkmal „Rasse“ als solches relevant ist – meine beispielhafte Voraussetzung -, verschafft sich derjenige einen Vorteil, der dies geschickter macht als andere.

Nun kann die Gesellschaft sagen, diese Rekonstruktion eines solchen „verbotenen“ Merkmals wollen wir ebenfalls verhindern. Das könnte man rechtlich über weitere direkte Vorschriften über die Ausgestaltung entsprechender Algorithmen zu regeln versuchen oder über Vorschriften zu ihrem Ergebnis, wie immer das dann durchgesetzt wird (evtl. auf dem zivilrechtlichen Weg über Diskriminierungsklagen). Man kann sich aber leicht vorstellen, wie schwierig dergleichen um- und durchzusetzen ist, konzeptionell und rechtstechnisch.

Für die Gesellschaft stellen sich also folgende Fragen:

  1. Die unproblematische: Wie können wir verhindern, dass Algorithmen bereits im Sinne ihrer Entwickler falsch sind, also bestimmte Merkmale, auf die wir ein Augenmerk haben, falsch bewerten und damit bestimmte Leute diskriminieren? („Unproblematisch“ heißt hier: alle sind sich einig über das Ziel, nicht unbedingt über die Notwendigkeit oder den Weg).
  2. Die grundsätzliche: Wollen wir die Verwendung bestimmter, statistisch relevanter Merkmale an sich verhindern?
  3. Die weitergehende: Unter welchen Umständen und in welchem Maße wollen wir verhindern, dass Algorithmen eine ungleiche Wirkung auf verschiedene Gruppen haben, ohne an das definierende Merkmal der Gruppe an sich anzuknüpfen?
  4. Die technische: Wie regeln wir das Gewollte und wie verhindern wir Missbrauch und Umgehung?

Es fällt auf, dass diese Probleme vordergründig nicht von der Frage „Algorithmus“ oder „menschliche Einzelfallentscheidung“ abhängen. Die Schwierigkeit ist vorgelagert.

Ich würde mir eine vernünftige Diskussion dieser Fragen wünschen. In der ZEIT aber werde ich sie so bald wohl nicht finden. Ich weiß nicht, wer bei der ZEIT überhaupt in dieser Weise analytisch denkt. Die üblichen Autoren mit Hintergrund in Germanistik, Politologie oder Journalistik tun dies erfahrungsgemäß nicht. Dazu kommt eine von mir beobachtete Angst vor gedanklicher und begrifflicher Klarheit in Fragen von „Rassismus“, „Sexismus“, „Vorurteil“ und dergleichen, denn diese Klarheit wäre, wie gestern angemerkt, schädlich für das Narrativ und die einfache Weltsicht.

Advertisements