Was genau ist algorithmische Diskriminierung?

Ein Algorithmus ist eine Rechenvorschrift – eine Abfolge von Regeln, die ein Computer befolgt, um aus Eingabedaten ein Ergebnis zu berechnen. Moderne Algorithmen, insbesondere solche mit maschinellem LernenMachine LearningEin Teilgebiet der KI, bei dem Software nicht explizit programmiert wird, sondern selbständig Muster in Daten erkennt. Je mehr Daten, desto besser die Vorhersage – aber auch desto größer das Risiko, Vorurteile aus den Daten zu übernehmen., lernen diese Regeln selbständig aus riesigen Datenmengen. Sie erkennen Muster in vergangenen Daten und wenden diese auf neue Fälle an.

Algorithmische Diskriminierung bedeutet, dass solche Systeme bestimmte Personengruppen systematisch benachteiligen. Der entscheidende Unterschied zur klassischen Diskriminierung: Es gibt keinen einzelnen Menschen, der bewusst diskriminiert. Stattdessen reproduziert die Software Ungleichheiten, die bereits in den Daten stecken, mit denen sie trainiert wurde. Wenn ein Bewerbungsalgorithmus aus zehn Jahren Einstellungsdaten lernt, in denen überwiegend Männer eingestellt wurden, schließt er daraus: „Männliche Bewerber sind erfolgreicher" – und benachteiligt fortan Frauen.

Warum ist das so tückisch? Algorithmische Entscheidungen wirken objektiv und neutral, weil sie von einer Maschine stammen. Die Benachteiligung betrifft nicht Einzelne, sondern wirkt auf Millionen Menschen gleichzeitig – ein Skalierungseffekt, den die Antidiskriminierungsstelle des Bundes bereits 2019 detailliert dokumentiert hat.

Der Zusammenhang mit Tracking und persönlichen Daten ist direkt: Je mehr Daten über uns gesammelt werden – Standort, Surfverhalten, Einkäufe, soziale Kontakte – desto genauer können Algorithmen uns in Kategorien einordnen. Dabei werden scheinbar harmlose Datenpunkte zu Stellvertretern (Proxys)Proxy-VariableEin scheinbar neutrales Datenmerkmal, das indirekt auf ein geschütztes Merkmal schließen lässt. Beispiel: Postleitzahl als Proxy für ethnische Herkunft, Vorname als Proxy für sozialen Hintergrund, Gesundheitskosten als Proxy für Hautfarbe. für geschützte Merkmale: Die Postleitzahl verrät die ethnische Zusammensetzung eines Viertels, Suchbegriffe lassen auf den Gesundheitszustand schließen, der Vorname korreliert mit dem sozialen Hintergrund.

Die fünf technischen Mechanismen

01
Verzerrte Trainingsdaten
Wenn die Vergangenheit ungerecht war, lernt die Software diese Ungerechtigkeit. Häufigste Ursache.
02
Proxy-Variablen
Geschützte Merkmale werden durch scheinbar neutrale Daten ersetzt – etwa Gesundheitskosten statt Hautfarbe.
03
RückkopplungsschleifenFeedback LoopEin selbstverstärkender Kreislauf: Der Algorithmus trifft eine Entscheidung, die neue Daten erzeugt, die wiederum die nächste Entscheidung bestätigen. Beispiel: Mehr Polizei in einem Viertel führt zu mehr Festnahmen, was den Algorithmus bestätigt.
Mehr Polizeipräsenz → mehr Festnahmen → bestätigt den Algorithmus → noch mehr Präsenz. Selbstverstärkend.
04
Fehlgeleitete Optimierung
Der Algorithmus optimiert auf ein messbares Ziel, das nicht mit Fairness übereinstimmt.
05
Verzerrte Labels
Schon die „Wahrheit" in den Daten ist nicht neutral – wenn „Rückfälligkeit" durch rassistisch geprägte Polizeikontrollen gemessen wird.

Dokumentierte Fälle: Wo Algorithmen diskriminiert haben

Die folgenden Fälle sind durch investigativen Journalismus, akademische Studien oder behördliche Untersuchungen belegt. Sie zeigen, dass algorithmische Diskriminierung kein theoretisches Problem ist.

Kreditvergabe – Apple Card (USA, 2019)

Finanzsektor · USA · 2019
Apple Card: 20-faches Limit für den Mann
Tech-Unternehmer David Heinemeier Hansson berichtete öffentlich, dass seine Apple Card ihm ein 20-fach höheres Kreditlimit einräumte als seiner Frau – obwohl sie gemeinsam Steuererklärungen abgaben und sie den besseren Kredit-Score hatte. Apple-Mitgründer Steve Wozniak bestätigte Ähnliches. Goldman Sachs verwies wiederholt auf „den Algorithmus", ohne nähere Erklärung.
⚖ NYDFS-Untersuchung: Keine vorsätzliche Diskriminierung, aber erhebliche Transparenzmängel festgestellt (März 2021)

Recruiting – Amazon KI (USA, 2014–2017)

Recruiting · USA · 2014–2017
Amazons geheimes KI-Tool stufte Frauen systematisch ab
Amazon entwickelte ab 2014 ein KI-Recruiting-Tool, das Bewerbungen mit Sternen von 1–5 bewertete. Trainiert mit zehn Jahren überwiegend männlicher Bewerbungsdaten lernte das System, Lebensläufe mit dem Wort „women's" abzuwerten und Absolventinnen reiner Frauencolleges herunterzustufen. Amazon löste das Team 2017 auf, nachdem klar wurde, dass der Bias nicht korrigierbar war.
⚖ Veröffentlicht durch Reuters-Exklusivrecherche, Oktober 2018

Werbung und Wohnungsmarkt – Meta (USA/EU)

Werbung · USA/EU · 2016–2025
Facebook ermöglichte jahrelang Diskriminierung bei Wohnungsanzeigen
Facebook ermöglichte Wohnungsanbietern, Nutzer auf Basis von Ethnie, Religion und Herkunft gezielt von Anzeigen auszuschließen. ProPublica deckte dies 2016 auf. Im Juni 2022 einigte sich das US-Justizministerium mit Meta auf einen Vergleich: Meta musste sein „Special Ad Audience"-Tool abschalten – erster Fall unter dem US-Antidiskriminierungsgesetz für Wohnungswesen. 2025 verurteilte das niederländische Institut für Menschenrechte Metas Jobanzeigen-Algorithmus, der Stellen zu 79 % Frauen bzw. 91 % Männern ausspielte. Im Oktober 2025 folgte der französische Défenseur des Droits mit einem formellen Beschluss.
⚖ Erster europäischer Beschluss gegen einen Social-Media-Algorithmus wegen Diskriminierung (Oktober 2025)

Strafjustiz – COMPAS (USA, seit 2016)

Strafjustiz · USA · seit 2016
Rückfallrisiko-Algorithmus trifft Schwarze doppelt so oft falsch
Der COMPASCOMPASCorrectional Offender Management Profiling for Alternative Sanctions – ein in 46 US-Bundesstaaten eingesetzter Algorithmus zur Vorhersage von Rückfallrisiken bei Angeklagten. ProPublica wies 2016 eine rassistische Verzerrung nach., eingesetzt in 46 US-Bundesstaaten zur Vorhersage von Rückfallrisiken, wurde 2016 durch ProPublica untersucht. Ergebnis: Schwarze Angeklagte wurden mit einer Fehlerquote von 45 % fälschlicherweise als hohes Risiko eingestuftFalsch-PositivEine Person wird vom Algorithmus als Risiko eingestuft, obwohl sie es nicht ist. Bei COMPAS wurden schwarze Angeklagte fast doppelt so oft falsch als „hochgefährlich“ markiert wie weiße (45% vs. 23%). – weiße nur mit 23 %. Umgekehrt wurden weiße Angeklagte, die später doch rückfällig wurden, häufiger als geringes Risiko bewertet. Forscher an Stanford, Cornell und der CMU bewiesen mathematisch: Es ist unmöglich, einen Algorithmus gleichzeitig nach mehreren Fairness-Kriterien zu optimieren, wenn die Grundraten zwischen Gruppen unterschiedlich sind.
⚖ ProPublica „Machine Bias", Mai 2016 – löste weltweite akademische Debatte aus

Gesundheitswesen – Optum/UnitedHealth (USA, 2019)

Gesundheit · USA · 2019
200 Millionen Patienten, systematisch falsch bewertet
Ein Algorithmus von Optum/UnitedHealth, bei rund 200 Millionen US-Amerikanern jährlich eingesetzt, nutzte Gesundheitskosten als Proxy für den Gesundheitsbedarf. Da schwarze Patienten aufgrund systemischer Zugangsbarrieren im Schnitt 1.800 Dollar weniger pro Jahr ausgaben, stufte der Algorithmus sie systematisch als weniger krank ein. Nach Korrektur hätte sich der Anteil schwarzer Patienten, die zusätzliche Versorgung erhalten, von 17,7 % auf 46,5 % erhöht.
⚖ Obermeyer et al., veröffentlicht in Science, Oktober 2019

Aktuelle Fälle 2025: KI im Recruiting

Recruiting · USA/DACH · 2025
Mobley v. Workday – erste bundesweite KI-Sammelklage
Derek Mobley (afroamerikanisch, über 40, behindert) wurde nach über 100 Bewerbungen via Workday-KI abgelehnt – oft binnen Minuten. Die Klage wurde im Mai 2025 als bundesweite Sammelklage zugelassen. Workday räumte 1,1 Milliarden Ablehnungen im betreffenden Zeitraum ein. Workday wird auch in DACH-Unternehmen eingesetzt. Eine PNAS-Nexus-Studie (Mai 2025) mit 361.000 fiktiven Lebensläufen bestätigte: Alle 5 führenden KI-Modelle benachteiligten schwarze männliche Bewerber systematisch.
⚖ Sammelklage zugelassen Mai 2025 – Urteil ausstehend

Algorithmische Diskriminierung in Deutschland

Die Schufa: Deutschlands mächtigster Algorithmus

Die SchufaSchufaSchutzgemeinschaft für allgemeine Kreditsicherung – Deutschlands größte Wirtschaftsauskunftei. Berechnet aus gespeicherten Finanzdaten einen Bonitätsscore, der über Kreditvergabe, Wohnungsvermietung und Handyverträge entscheidet. speichert Daten zu rund 68 Millionen Personen in Deutschland und berechnet daraus BonitätswerteBonitätsscoreEine Zahl (bei der Schufa: 0–100%), die deine Kreditwürdigkeit ausdrückt. Je höher der Wert, desto wahrscheinlicher zahlst du laut Algorithmus deine Rechnungen. Entscheidet über Kredite, Mietverträge, Handyverträge – oft ohne dein Wissen., die über Kreditvergabe, Wohnungsvermietung und Handyverträge entscheiden. Die Berechnungsformel war jahrzehntelang geheim und vom BGH als Geschäftsgeheimnis geschützt (BGH, 28.01.2014, Az. VI ZR 156/13).

Das OpenSchufa-Projekt von AlgorithmWatch und der Open Knowledge Foundation (2018) versuchte, den Algorithmus durch CrowdsourcingCrowdsourcingAuslagerung einer Aufgabe an eine große Gruppe Freiwilliger. Beim OpenSchufa-Projekt spendeten 3.000 Menschen ihre Schufa-Auskunft, um den geheimen Algorithmus gemeinsam zu entschlüsseln. zu entschlüsseln: Über 30.000 Datenauskünfte wurden angefordert, rund 3.000 gespendet. Ergebnis: Ältere und weibliche Personen wurden tendenziell besser bewertet, häufige Umzüge wirkten sich negativ aus. Stiftung Warentest stellte fest, dass nur 11 von 89 Testpersonen vollständig korrekte Daten bei der Schufa gespeichert hatten.

⚖️
Meilenstein-Urteil EuGHEuGHEuropäischer Gerichtshof in Luxemburg – das höchste Gericht der EU. Seine Urteile sind in allen EU-Mitgliedstaaten bindend. Das Schufa-Urteil von 2023 ist ein Meilenstein für den Schutz vor automatisierten Entscheidungen., 7. Dezember 2023 (C-634/21): Das Schufa-Scoring ist eine „automatisierte Entscheidung" im Sinne von Art. 22 DSGVOArt. 22 DSGVODie zentrale EU-Vorschrift gegen automatisierte Einzelentscheidungen. Verbietet grundsätzlich Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen und rechtliche Wirkung entfalten – z.B. automatische Kreditablehnungen., wenn Banken sich maßgeblich auf den Score stützen. Betroffene haben das Recht auf menschliche Überprüfung und Anfechtung. Im Februar 2025 präzisierte der EuGH (C-203/22), dass Scoring-Anbieter die Bewertungslogik transparent erklären müssen – Berufung auf Geschäftsgeheimnisse reicht nicht.
März 2025 LG Bamberg (Az. 41 O 749/24): Erstes deutsches Urteil: vollautomatisches Schufa-Scoring grundsätzlich rechtswidrig nach Art. 22 DSGVO. 1.000 € Schadenersatz.
April 2025 LG Bayreuth (Az. 31 O 593/24): 3.000 € Schadenersatz. Schufa muss detailliert offenlegen, welche Daten wie gewichtet wurden.
April 2025 OLG Köln (Az. 15 U 249/24): Dreijährige Speicherfrist für beglichene Forderungen unzulässig – unverzügliche Löschung erforderlich. BGH-Revision anhängig.
Sept. 2025 Hamburg: Erstes signifikantes deutsches DSGVO-Bußgeld nach Art. 22 – 492.000 € für automatisierte Kreditkartenablehnung.
Sept. 2025 Österreich – DSB verbietet KSV1870-Scoring: Vollautomatische Ablehnung innerhalb einer Minute rechtswidrig. Auskunftei qualifiziert sich als „Entscheider" nach Art. 22 DSGVO.

Predictive PolicingPredictive PolicingVorausschauende Polizeiarbeit – Software, die auf Basis vergangener Verbrechensdaten vorhersagt, wo und wann zukünftige Straftaten wahrscheinlich sind. Kritik: Reproduziert bestehende Polizeipraxis und führt zu Über-Polizierung bestimmter Viertel.: Palantir-Software bei der deutschen Polizei

Mehrere Bundesländer setzen Software des US-Unternehmens PalantirPalantirUS-Technologieunternehmen, gegründet von Peter Thiel (PayPal). Liefert Datenanalyse-Software an Geheimdienste, Militär und Polizei weltweit. In Deutschland setzen mehrere Bundesländer Palantir-Software ein – trotz verfassungsrechtlicher Bedenken. zur polizeilichen Datenanalyse ein. Hessen war 2017 Vorreiter mit „hessenDATA" (Palantir Gotham). Nordrhein-Westfalen folgte mit dem System „DAR". Bayern startete im Dezember 2024 das System „VeRA" und schloss einen Rahmenvertrag ab, der anderen Bundesländern den Kauf ermöglicht.

🏛️
Bundesverfassungsgericht, 16. Februar 2023: Die automatisierte Datenanalyse-Vorschriften in Hessen (§ 25a HSOG) und Hamburg (§ 49 HmbPolDVG) wurden für verfassungswidrig erklärt. Offene Suchen nach rein statistischen Auffälligkeiten seien grundrechtlich nicht tragbar. Die Gesellschaft für Freiheitsrechte (GFF) hatte beide Verfassungsbeschwerden initiiert und reichte 2025 gemeinsam mit dem Chaos Computer Club eine Beschwerde gegen das bayerische VeRA-System ein.

Der AMS-Algorithmus in Österreich

Der Arbeitsmarktservice (AMS) Österreich entwickelte einen Algorithmus zur Einstufung von Arbeitssuchenden in drei Kategorien. Das System vergab für Frauen, Menschen mit nicht-EU-Staatsbürgerschaft, Behinderungen und Betreuungspflichten systematisch niedrigere Scores. Die österreichische Datenschutzbehörde erklärte das System 2020 für rechtswidrig. Im September 2025 hob das Bundesverwaltungsgericht dieses Verbot allerdings auf – mit der Begründung, Berater:innen könnten eingreifen. Von Datenschützer:innen wird das Urteil scharf kritisiert; es ist noch nicht rechtskräftig.

Was Art. 22 DSGVO für dich bedeutet

Artikel 22 der Datenschutz-Grundverordnung ist die wichtigste Rechtsgrundlage gegen algorithmische Diskriminierung. Er legt fest, dass du grundsätzlich das Recht hast, keiner Entscheidung unterworfen zu werden, die ausschließlich auf automatisierter Verarbeitung beruht – wenn diese rechtliche Wirkung entfaltet oder dich erheblich beeinträchtigt. Das betrifft automatische Kreditablehnungen, algorithmische Bewerberauswahl oder automatisierte Versicherungsentscheidungen.

⚖️ Deine drei Rechte bei automatisierten Entscheidungen
1
Eingreifen einer Person verlangen
Du kannst fordern, dass ein Mensch die automatisierte Entscheidung überprüft – kein Pro-Forma-Stempel.
Art. 22 Abs. 3 DSGVO
2
Eigenen Standpunkt darlegen
Du hast das Recht, deine Sichtweise einzubringen, bevor eine endgültige Entscheidung getroffen wird.
Art. 22 Abs. 3 DSGVO
3
Entscheidung anfechten
Du kannst die Entscheidung formal anfechten. Bei Nichtreaktion: kostenlose Beschwerde bei der Datenschutzbehörde deines Bundeslandes.
Art. 22 Abs. 3 DSGVO + Art. 77 DSGVO
Wichtige Einschränkung: Art. 22 greift nur bei „ausschließlich" automatisierten Entscheidungen. Ein pro-forma zwischengeschalteter Mensch kann den Schutz aushebeln – wie das österreichische AMS-Urteil 2025 zeigt. Er erfasst außerdem nur Entscheidungen mit „rechtlicher Wirkung oder ähnlich erheblicher Beeinträchtigung". Personalisierte Preise oder Newsfeeds fallen oft unterhalb dieser Schwelle.

Praktisch handeln: So schützt du dich

Deine Schufa-Daten prüfen

Unter meineschufa.de kannst du kostenlos eine Datenkopie nach Art. 15 DSGVO beantragen. Prüfe die gespeicherten Einträge auf Fehler – die Wahrscheinlichkeit ist hoch: Nur 11 von 89 Testpersonen hatten laut Stiftung Warentest vollständig korrekte Daten. Bei Fehlern: Widerspruch direkt bei der Schufa einlegen.

DSGVO-Rechte aktiv nutzen

Das wirksamste Werkzeug ist dein Auskunftsrecht nach Art. 15 DSGVODSGVODatenschutz-Grundverordnung – das EU-Datenschutzgesetz seit 2018. Gibt dir das Recht auf Auskunft, Löschung, Berichtigung und Widerspruch gegen automatisierte Entscheidungen. Verstöße: bis zu 4% des weltweiten Jahresumsatzes.. Jedes Unternehmen muss innerhalb eines Monats kostenlos mitteilen, welche Daten es über dich gespeichert hat und ob automatisierte Entscheidungsfindung zum Einsatz kommt. Fertige Musterbriefe findest du bei der Verbraucherzentrale und auf datenanfragen.de.

Weniger Daten hinterlassen

Für Eltern: Nach Art. 8 DSGVO ist in Deutschland für Online-Dienste bei Kindern unter 16 Jahren die Einwilligung der Eltern erforderlich. Kinder – auch als Erwachsene – können die Löschung von Daten verlangen, die während ihrer Kindheit erhoben wurden. Mehr unter klicksafe.de.

Was der EU AI Act jetzt ändert

Der EU AI ActEU AI ActDas weltweit erste umfassende Gesetz zur Regulierung Künstlicher Intelligenz, in Kraft seit August 2024. Verbietet bestimmte KI-Anwendungen komplett (z.B. Social Scoring), regelt Hochrisiko-KI und droht mit Bußgeldern bis 35 Mio. Euro oder 7% des Umsatzes. (Verordnung (EU) 2024/1689), am 1. August 2024 in Kraft getreten, ist das weltweit erste umfassende Gesetz zur Regulierung Künstlicher Intelligenz. Statt sich nur individuell zu wehren, werden nun systematische Anforderungen an die Entwickler und Betreiber von KI-Systemen gestellt.

Verbotene KI-Praktiken – seit Februar 2025

Seit dem 2. Februar 2025 sind acht Kategorien von KI-Systemen in der EU vollständig verboten:

Verboten ab sofort: Social ScoringSocial ScoringBewertung von Bürgern auf Basis ihres Sozialverhaltens durch staatliche Stellen – nach chinesischem Vorbild. In der EU seit Februar 2025 vollständig verboten. · Unterschwellige Manipulation · Individuelles Predictive Policing (nur auf Basis von Profiling) · EmotionserkennungEmotionserkennungKI-Systeme, die aus Gesichtsausdruck, Stimme oder Körperhaltung auf Emotionen schließen. Wissenschaftlich umstritten, da Gesichtsausdrücke kulturell unterschiedlich sind. Am Arbeitsplatz und in Schulen seit Februar 2025 EU-weit verboten. am Arbeitsplatz und in Bildungseinrichtungen · Biometrische KategorisierungBiometrieEinordnung von Menschen anhand körperlicher Merkmale (Gesichtsgeometrie, Hautfarbe, Gang) in Kategorien wie Ethnie, politische Überzeugung oder sexuelle Orientierung. In der EU seit Februar 2025 vollständig verboten. nach Ethnie, politischer Überzeugung oder sexueller Orientierung

Der Zeitplan im Überblick

Datum Was gilt
02.02.2025 Verbotene KI-Praktiken in Kraft + KI-Kompetenzpflicht für Betreiber
02.08.2025 Governance-Regeln, Pflichten für Allzweck-KI-Modelle (GPT, Gemini etc.)
02.08.2026 Volle Sanktionsbefugnisse: bis €35 Mio. oder 7 % des Jahresumsatzes
02.08.2027 Volle Pflichten für Hochrisiko-KI in Recruiting, Kredit, Versicherung

Weniger als 20 % der europäischen Arbeitgeber sind laut Littler Survey 2025 „sehr gut vorbereitet". Die EU-Kommission schlug im November 2025 mit dem „Digital Omnibus on AI" vor, bestimmte Hochrisiko-Fristen auf möglicherweise Dezember 2027 zu verschieben – noch in Verhandlung.

Deutschland: KI-Aufsicht in Vorbereitung

Das Bundeskabinett beschloss am 11. Februar 2026 das KI-Marktüberwachungs- und Innovationsförderungsgesetz (KI-MIG). Die BundesnetzagenturBNetzADeutsche Bundesbehörde für Netzregulierung – zuständig für Telekommunikation, Energie und Post. Wird durch das KI-MIG zur zentralen KI-Aufsichtsbehörde in Deutschland. Betreibt seit Juli 2025 einen AI Service Desk. (BNetzA) wird zentrale KI-Aufsichtsbehörde und betreibt seit Juli 2025 bereits einen AI Service Desk. Das Gesetz muss noch durch Bundestag und Bundesrat. Die vorgezogene Bundestagswahl im Februar 2025 hatte den Prozess verzögert.

Wichtig: AGG-Reform überfällig. AlgorithmWatch und 20 Organisationen fordern die Aufnahme von Algorithmen in § 3 AGGAGGAllgemeines Gleichbehandlungsgesetz – Deutschlands zentrales Antidiskriminierungsgesetz seit 2006. Verbietet Benachteiligung wegen Geschlecht, Ethnie, Religion, Behinderung, Alter oder sexueller Orientierung. Erfasst bisher keine algorithmische Diskriminierung explizit., ein Verbandsklagerecht und eine Beweislastumkehr. Ohne Reform des deutschen Gleichbehandlungsgesetzes fehlt wirksamer zivilrechtlicher Schutz.

Fazit

Algorithmische Diskriminierung ist kein Randproblem der Technologiebranche, sondern betrifft Alltagsentscheidungen von der Wohnungssuche bis zur Kreditvergabe. Das Jahr 2025 markiert dabei einen Wendepunkt: Erstmals verurteilten europäische Behörden Social-Media-Algorithmen wegen Diskriminierung. Schufa-Scoring ohne Transparenz wird von deutschen Gerichten zunehmend für rechtswidrig erklärt.

Das EuGH-Urteil zum Schufa-Scoring, das Bundesverfassungsgerichts-Urteil zu Predictive Policing und der EU AI Act markieren eine Zeitenwende: Erstmals entstehen verbindliche Regeln, die nicht nur individuelle Rechte stärken, sondern systemische Anforderungen an KI-Entwickler und -Betreiber stellen.

Für Einzelne gilt schon heute: Die DSGVO bietet wirksame Werkzeuge. Wer seine Datenspuren minimiert, seine Rechte kennt und kritisch hinterfragt, welche Algorithmen über das eigene Leben mitentscheiden, ist besser geschützt als die große Mehrheit.

Quellen & Belege
[1]
Antidiskriminierungsstelle des Bundes – Orwat-Studie (2019)
„Diskriminierungsrisiken durch Verwendung von Algorithmen" – 47 dokumentierte Beispiele algorithmischer Benachteiligung. Grundlagenwerk für deutsche Debatte.
antidiskriminierungsstelle.de
[2]
ProPublica – „Machine Bias" (COMPAS, Mai 2016)
Angwin, Larson, Mattu & Kirchner: Schwarze Angeklagte mit 45 % Falsch-Positiv-Rate bei Rückfallprognose-Algorithmus COMPAS. Grundlegende Investigativrecherche.
propublica.org
[3]
Obermeyer et al. – Healthcare-Bias (Science, Oktober 2019)
„Dissecting racial bias in an algorithm used to manage the health of populations" – 200 Millionen Patienten, systematisch falsch bewertet durch Proxy-Variable Gesundheitskosten.
science.org/doi/10.1126/science.aax2342
[4]
Reuters – Amazon scraps secret AI recruiting tool (Oktober 2018)
Jeffrey Dastin: Exklusivrecherche über Amazons KI-Recruiting-Tool, das Frauen systematisch abwertete und 2017 eingestellt wurde.
reuters.com
[5]
EuGH – Schufa-Urteil C-634/21 (Dezember 2023)
Schufa-Bonitätsbewertung ist „automatisierte Entscheidung" im Sinne von Art. 22 DSGVO, wenn Banken sich maßgeblich darauf stützen. Betroffene haben Anfechtungsrecht.
curia.europa.eu
[6]
EuGH – Dun & Bradstreet C-203/22 (Februar 2025)
Scoring-Anbieter müssen Bewertungslogik transparent erklären – Berufung auf Geschäftsgeheimnisse allein reicht nicht. Präzisierung des Schufa-Urteils.
curia.europa.eu
[7]
Bundesverfassungsgericht – Predictive Policing (Februar 2023)
1 BvR 1547/19 und 1 BvR 2634/20: Vorschriften zu automatisierter Datenanalyse in Hessen und Hamburg für verfassungswidrig erklärt. Offene statistische Suchen grundrechtlich unzulässig.
bundesverfassungsgericht.de
[8]
EU AI Act – Volltext (Verordnung (EU) 2024/1689)
Weltweit erstes umfassendes KI-Gesetz. In Kraft 1. August 2024. Verbote seit 2. Februar 2025, volle Sanktionsbefugnisse ab 2. August 2026.
artificialintelligenceact.eu
[9]
US DOJ – Meta / Fair Housing Act (Juni 2022)
Erster Fall, in dem algorithmischer Bias unter dem Fair Housing Act verhandelt wurde. Meta musste „Special Ad Audience"-Tool für Wohnungsanzeigen abschalten.
justice.gov
[10]
Niederländisches Institut für Menschenrechte – Meta Jobanzeigen (Februar 2025)
Jobanzeigen wurden zu 79 % Frauen bzw. 91 % Männern ausgespielt – Meta konnte Diskriminierungsvermutung nicht widerlegen. Erster europäischer Beschluss gegen Social-Media-Algorithmus.
cnn.com
[11]
LG Bamberg – Schufa-Scoring rechtswidrig (März 2025, Az. 41 O 749/24)
Erstes deutsches Urteil: vollautomatisches Schufa-Scoring grundsätzlich rechtswidrig (Art. 22 DSGVO). 1.000 € Schadenersatz zugesprochen.
lhr-law.de
[12]
noyb – KSV1870-Scoring verboten (September 2025)
Österreichische DSB verbietet vollautomatische Kreditablehnung innerhalb einer Minute. Auskunftei qualifiziert sich selbst als „Entscheider" nach Art. 22 DSGVO.
noyb.eu
[13]
AlgorithmWatch – AutoCheck-Ratgeber Diskriminierung
Praktische Anleitung, um algorithmische Diskriminierung im eigenen Alltag zu erkennen und dagegen vorzugehen. Inklusive Meldeportal für Fälle.
algorithmwatch.org/de/autocheck-ratgeber-diskriminierung/
[14]
GFF – Gesellschaft für Freiheitsrechte (Predictive Policing)
Initiatorin der Verfassungsbeschwerden gegen Predictive Policing in Hessen und Hamburg. 2025: neue Beschwerde gegen bayerisches VeRA-System gemeinsam mit CCC.
freiheitsrechte.org
[15]
Datenanfragen.de – DSGVO-Anfragen-Generator
Kostenloser Generator für DSGVO-Auskunftsersuchen mit vorausgefüllten Kontaktdaten für Hunderte Unternehmen. Open-Source-Projekt.
datenanfragen.de/generator/
[16]
EFF – Cover Your Tracks (Browser-Fingerprinting-Test)
Testet, ob dein Browser über Fingerprinting eindeutig identifizierbar ist. Entwickelt von der Electronic Frontier Foundation.
coveryourtracks.eff.org
[17]
Meine SCHUFA – Datenkopie kostenlos beantragen
Kostenlose Datenkopie nach Art. 15 DSGVO. Einmal jährlich kostenlos – prüfen auf fehlerhafte Einträge lohnt sich laut Stiftung Warentest sehr.
meineschufa.de/de/datenkopie
[18]
CNN – Mobley v. Workday KI-Sammelklage (Mai 2025)
Erste bundesweite Sammelklage gegen KI-gestütztes Recruiting. Workday räumte 1,1 Milliarden Ablehnungen ein. Auch in DACH-Unternehmen eingesetzt.
fairnow.ai/workday-lawsuit-resume-screening/