Achtung Diskriminierung!

Was passiert, wenn wir Algorithmen für uns entscheiden lassen

Ute Sommer  ·  Januar 2021, aktualisiert März 2026  ·  Kategorie: KI & Digitalisierung

Ist es vorstellbar, dass wir einer Zukunft entgegensteuern, wie sie in dem Science-Fiction-Roman «Der Würfel» von Bijan Mioni furchteinflössend erzählt wird? Werden die, die sich nicht an den Mainstream anpassen wollen oder können, bestraft und ausgeschlossen, weil Algorithmen Schlüsse ziehen, die Aussenseitermeinungen und -verhalten nicht berücksichtigen oder sogar bestrafen?

Die Antwort ist: Ja, das passiert schon hier und heute. Zwar nicht so resolut wie in China, wo Bürger von Regierungsbehörden mittels Algorithmen laufend bewertet werden, aber der Trend ist eindeutig: Algorithmen werden immer häufiger eingesetzt, um uns zu beurteilen und über uns zu entscheiden.

In vielen Bereichen entscheiden schon heute Algorithmen über uns

Tatsächlich werden auch in der westlichen demokratischen Welt Menschen durch Algorithmen in Klassen eingeteilt und nach ihren Eigenschaften bewertet, wie nachfolgende Fälle plakativ aufzeigen:^[2]

1. Robo-Richter sagen vorher, ob ein Straftäter rückfällig wird
   Dieser Algorithmus sucht nach Eigenschaften, die bei rückfälligen Straftätern häufig waren. Die jeweils relevanten Eigenschaften – bestimmt durch die Softwarefirma – sind Grundlage für die Bestimmung des Rückfallrisikos. Obwohl die Vorhersagezuverlässigkeit mit nur 61 % angegeben wird, ist die Risikoeinstufung entscheidend für das Strafmass. Dabei werden Schwarze fast doppelt so häufig fälschlicherweise als hohes Risiko eingestuft.^[3]
2. Amazon-Rekrutierungstool bevorzugt Männer
   Ein KI-System zur Bewerberauswahl bevorzugte männliche Kandidaten, da es auf historischen Daten aus einer männerdominierten Branche trainiert wurde. Lebensläufe mit dem Wort «Frau» wurden systematisch abgewertet.
3. Bewerberauswahlsoftware urteilt über Eigenschaften von Bewerbern
   Viele Unternehmen setzen käufliche Software ein, die Bewerber in zwei Klassen einteilt: erfolgreiche und nicht erfolgreiche. Die Kategorisierung basiert auf dem Prinzip der Allgemeingültigkeit, unabhängig von der Kultur und den Werten des jeweiligen Unternehmens.
4. Gesichtserkennungstool erkennt farbige Frauen nicht
   Der Selbstversuch einer farbigen Doktorandin zeigt, dass keine der käuflichen Gesichtserkennungssoftwares von IBM, Microsoft, Face++ und Kairos erkennen kann, dass sie eine farbige Frau ist. Sie konnte dies später anhand von tausenden von Datenpunkten im Rahmen ihrer Dissertation bestätigen.^[4]
5. Diskriminierung von Frauen bei der Vergabe von Kreditlimits
   Frauen erhielten bei der Apple Card signifikant niedrigere Kreditlinien als Männer, obwohl Einkommen und Bonität vergleichbar waren.

Die Arbeit der Algorithmus-Designer – zwischen technischem Know-how und ethischen Entscheidungen

Die Arbeit des Algorithmus-Designers besteht darin, bestimmte Fragestellungen in mathematische Modelle zu übersetzen, die den Algorithmen als eine Art Handlungsanweisung dient. Modelle können naturgemäss immer nur einen kleinen Ausschnitt einer komplexen Realität abbilden.

Ein Algorithmus kann nicht von sich aus zwischen «gut» oder «schlecht» unterscheiden. Das einfache Beispiel «Hund beisst Postboten = schlecht, Hund beisst flüchtigen Straftäter = gut» zeigt, wie vielschichtig sich die Festlegung selbst in einfachen Problemstellungen darstellt.

Kritisch zu sehen ist zudem die Programmierung von selbstlernenden Algorithmen. Sind diskriminierende Strukturen schon in den Basis-Daten enthalten, werden sie vom Algorithmus fortgeschrieben. Fehlen dem Algorithmus Daten, können ganze Bevölkerungsgruppen ausgeschlossen werden – wie das Beispiel der farbigen Doktorandin zeigt.^[5]

Liest man Erfahrungsberichte von Algorithmus-Designern, so erfährt man, dass die Designer oft nicht wissen, in welchem Kontext ihr für eine abstrakte mathematische Fragestellung erstelltes Programm später eingesetzt wird. Eine kritische Auseinandersetzung mit den zugrundeliegenden Annahmen findet damit nicht statt.

Algorithmen treffen «entseelte» Entscheidungen – aber wer ist dann für die Ethik verantwortlich?

Es stellen sich grundlegende Fragen, die einzelne Personen oder Gruppen nicht für die Allgemeinheit treffen sollten:

• Menschen können nicht beweisen, dass sie künftig einen guten Job machen werden oder nicht strafrückfällig werden. Ist es vertretbar, dass Algorithmen deren Zukunft auf der Basis von Durchschnittsdaten «vorhersehen»?
• Sind wir als Gesellschaft bereit, Kollateralschäden in Kauf zu nehmen? Soll kein Unschuldiger bestraft oder möglichst viele Kriminalfälle verhindert werden – auch wenn dabei Unschuldigen Unrecht geschieht?
• Was soll geschehen, wenn Algorithmen falsche Entscheidungen treffen? Wer trägt die Verantwortung, wenn Menschen aufgrund fehlerhafter Algorithmus-Entscheidungen ihr Zuhause verlieren?
• Braucht die Gesellschaft soziale Konzepte zur Entscheidungsgüte, um Diskriminierung von Frauen und Farbigen einzudämmen?
• Laufen Gesellschaft und Unternehmen nicht Gefahr, dass Monokulturen entstehen, wenn Algorithmen auf durchschnittlichen Vergangenheitsdaten basieren?
• Sollte es eine Kennzeichnungspflicht sowie das Recht auf Widerspruch und Offenlegung der Entscheidungskriterien geben, falls ein Algorithmus entscheidet?
• Soll ein Algorithmus überhaupt eigenständig entscheiden dürfen, wenn es um Entscheidungen geht, die Einfluss auf die Lebensumstände von Menschen hat?

Der Glaube: Algorithmen treffen rationalere, effizientere und damit bessere Entscheidungen als Menschen

Die Qualität der Entscheidungen der Algorithmen hängt von der Qualität und Quantität der Daten, den Annahmen zur Fragestellung und davon ab, was eine gute Entscheidung ausmacht. Der Algorithmus schliesst keine Kompromisse und nimmt keine ethischen Abwägungen vor.

Menschen dagegen treffen subjektive Entscheidungen, beeinflusst von Tagesbefinden, Emotionalität, Intuition und Erfahrungswissen. Wenn wir Algorithmen für uns entscheiden lassen, gehen wir davon aus, dass wir Menschen die schlechteren Entscheider sind. Die Beispiele zeigen jedoch plakativ, welche schwerwiegenden Folgen die nach menschlichem Ermessen unausgewogenen Entscheidungen der Algorithmen haben können.

Bedenklich ist auch, dass Algorithmen menschliche Kontrollen immer weiter ersetzen. Smart Watches checken unsere Gesundheitsdaten, Google kennt unsere Bewegungsprofile und Sensoren sollen künftig unsere Emotionen erfassen. Nicht gesellschaftliche Werte und Glaubenssätze bestimmen, wie die Algorithmen arbeiten, sondern vorwiegend die wirtschaftlichen Interessen der Softwarefirmen.

Zweifelsohne bedarf es einer politischen und gesellschaftlichen Diskussion sowie konkreter Regelungen. Die EU hat einen ersten Schritt gemacht und mit dem AI Act das weltweit erste umfassende Gesetz zur Regulierung von KI verabschiedet (in Kraft seit August 2024). So sind zum Beispiel Social Scoring und biometrische Videoüberwachung in öffentlichen Räumen verboten. Ein flächendeckender Schutz kann allerdings nicht gewährleistet werden – mangelnde Durchsetzungsmöglichkeiten und noch fehlende Kontrollinstanzen schränken die Effektivität erheblich ein.

Bleibt zu hoffen, dass dieses Szenario Science-Fiction bleibt.

Text von Ute Sommer, Januar 2021, aktualisiert März 2026