Manuela Machner hat den AMS-Chatbot selbst getestet: Als Frau bekam sie Sekretärinnenjobs, als Mann Führungspositionen. Eliot Mannoia erklärt, warum das kein Fehler der KI ist, sondern ein Spiegel der Gesellschaft, die sie trainiert hat. Und was wir dagegen tun können.
KI-Modelle haben Vorurteile, weil sie mit unseren Daten trainiert wurden, und unsere Daten spiegeln die Vorurteile der Gesellschaft wider. Jedes zweite KI-Modell hat durchschnittlich einen Gender-Bias, jedes vierte einen Rassen-Bias. Die Entwickler sind nicht böse, sie haben mit den Daten trainiert, die sie hatten. Die KI ist ein Spiegel der echten Gesellschaft, nicht die Ursache der Vorurteile.
Manuela Machner
Manuela Machner hat den österreichischen AMS-Chatbot selbst getestet. Sie hat ihren Werdegang als Geschäftsführerin eingegeben und bekam als Frau Sekretärinnenjobs vorgeschlagen. Dann hat sie denselben Text eingegeben und sich männlich gemacht. Plötzlich kamen Vorschläge für Geschäftsführerpositionen, Leitungspositionen und Vorträge halten. Das hatte sie nicht erwartet und zeigt den Gender-Bias in der Praxis.
Manuela Machner
KI kann Bias verstärken, wie beim AMS-Chatbot oder Amazons Recruiting-KI, die alle Frauen herausfilterte. Gleichzeitig kann KI helfen, Bias zu reduzieren: PwC arbeitet an einem Bias-Killer, der Bewerbungen neutralisiert. Google DeepMind hat mit KI das Protein-Folding-Problem gelöst und damit die personalisierte Medizin vorangebracht, wo Frauen und Männer oft unterschiedlich auf Medikamente reagieren.
Eliot Mannoia
Google hat Gemini so politisch korrekt programmiert, dass es geschichtliche Unwahrheiten gezeigt hat: eine schwarze Person als Nazi, amerikanische Präsidenten von anderen Kulturen repräsentiert. Sie haben es gut gemeint, aber es ist in die andere Richtung gegangen. Das zeigt, wie schwierig es ist, die Balance zwischen Korrektur und Überkorrektur zu finden.
Eliot Mannoia
KI-generierte Bilder fluten das Internet mit einer Normfrau und einem Normmann. Diese Bilder trainieren dann wieder die KI, was den Kreislauf verstärkt. Manuela schlägt einen Real Day vor: Alle Menschen posten echte Bilder, wie wir wirklich sind, in einer Menge, die die Datenbasis verändert. Weil wir uns sonst das Gegenüber so generieren, wie wir es wollen, nicht wie es wirklich ist.
Manuela Machner
**Eliot Mannoia:** Willkommen zur nächsten Folge von Mind / Machine. Ich bin Eliot Mannoia, digitaler Psychologe. Ich konzentriere mich auf emotionale Intelligenz, Verhaltenspsychologie und wie Technologie uns Menschen beeinflusst.
**Manuela Machner:** Hallo, ich bin Manuela Machner, KI-Coach für Tourismusunternehmen und begleite diese auf dem Weg in neue Technologien.
**Eliot Mannoia:** Heute haben wir ein sehr wichtiges Thema: Biases, also Voreingenommenheiten, die viele KI-Modelle mit sich bringen. Wir wissen: Jedes zweite KI-Modell hat durchschnittlich einen Gender Bias, jedes vierte einen Rassen-Bias. Dazu kommen Generations-Biases, Alters-Biases, kulturelle Biases bis hin zu sexueller Orientierung. Hast du da schon Berührungspunkte gehabt, Manuela?
**Manuela Machner:** Ja, mehr als man denken würde. Aber meistens in der umgekehrten Art und Weise. Die KI-Modelle haben diese Vorurteile, weil die Daten die Vorurteile widerspiegeln. Ich finde es immer ein bisschen schräg, wenn man sagt, die KI ist böse, die KI hat Vorurteile. Eigentlich ist es die böse Menschheit. Womit wurde sie trainiert? Mit unseren Daten.
Die KI ist ein Widerspiegel der echten Gesellschaft. Wir erwarten uns eine perfekte KI, die eine perfekte Welt widerspiegelt. Aber was macht die KI? Sie spiegelt unsere Denkweise wider, sie hat von uns gelernt. Das ist wie ein Kind, das in einem Umfeld mit Vorurteilen aufgezogen wird.
Jetzt tun die Entwickler alles, um diese Biases entgegenzusteuern. Und für mich ist das Genialste, wenn mir eine KI sagt: "Nein, Manuela, mach das nicht, du hast gerade einen Vorteil." Ich wollte für mein Buchprojekt ein Bild generieren, das Bias zeigt: Männer am Konferenztisch, Frau die den Kaffee bringt. ChatGPT hat mir gesagt, ich soll das überdenken, weil Frauen gleich viel können. Als ich erklärt habe, ich möchte genau das Thema thematisieren, hat er mir ein Bild erstellt, das ungefähr in den 1960er Jahren angesiedelt war. So ist er dem umgegangen.
**Eliot Mannoia:** Das mit Google Gemini, das ist jetzt schon einige Wochen her: Sie haben es so politisch korrekt programmiert, dass es dann wirklich geschichtliche Unwahrheiten gezeigt hat. Eine schwarze Person als Nazi, amerikanische Präsidenten von anderen Kulturen repräsentiert. Sie haben es gut gemeint, aber es ist in die andere Richtung gegangen.
Es gibt aber auch viele positive Ansätze. Google DeepMind hat mit KI das Protein-Folding-Problem gelöst: Wie Proteine sich in der Mikrobiologie falten. Das hilft bei der personalisierten Medizin. Wir wissen, dass Frauen und Männer anders auf Medikamente reagieren. Oft wurden Medikamente nur an Männern getestet. KI kann helfen, wenn man Geschlecht, Alter und andere Faktoren eingibt, um die ideale Medizin und Dosierung zu berechnen.
**Manuela Machner:** Das war auch beim AMS-Chatbot in Österreich so, der für Aufregung gesorgt hat. Ich habe es selbst getestet: Ich habe meinen Werdegang eingegeben, Geschäftsführerin und so weiter, und gefragt, welche Jobs er mir vorschlägt. Er hat vorgeschlagen, ich könnte Sekretärin in einem Tourismusbüro werden. Dann habe ich denselben Text eingegeben und mich männlich gemacht. Plötzlich kamen Vorschläge für Geschäftsführerpositionen, Leitungspositionen, Vorträge halten. Das hatte ich ehrlich gesagt nicht erwartet.
**Eliot Mannoia:** Inzwischen haben sie das ziemlich im Griff. Aber das wird eine große Herausforderung für Entwickler: Dadurch, dass die KI selbstständig antwortet, entstehen diese Probleme. Früher hat derjenige, der den Text schreiben musste, sich überlegt: Wie gender ich? Jetzt muss ein Entwickler, der damit vielleicht keinen Berührungspunkt hatte, sich plötzlich strategische Dinge überlegen.
**Manuela Machner:** Was ich auch gerne machen möchte, ist dieses Testing. Wie ein Hacker engagiert wird, um Schwachstellen zu finden. Ich bin auch Mitglied bei Women in AI. Kolleginnen haben klar gesagt: Bevor Dinge im öffentlichen Bereich online gehen, lasst es euch gegenchecken. Es gibt Expertinnen, die sich damit beschäftigen.
Das war nie im Fokus. Es ist genauso wie bei Chatbots, die auf Blödsinn mit Blödsinn antworten. Eine Kollegin hat gefragt, warum die Mur in Graz rosa ist. ChatGPT hat super geantwortet: wegen Algen und so weiter. Natürlich Blödsinn, die Mur ist nicht rosa. Aber ChatGPT wollte ihr nicht widersprechen und hat sich überlegt, was an anderen Gewässern zur rosa Einfärbung führt.
**Eliot Mannoia:** Ich glaube, bei KI haben wir noch mehr Möglichkeiten als bei menschlichen Biases. Wir haben alle Biases, auch unbewusste. Die werden schwieriger zu lösen sein. Da brauchen wir viel mehr Bildung. Bei den Systemen können wir es vielleicht schaffen, dass bei Bewerbungen neutrale Entscheidungen entstehen. PwC arbeitet an einem "Bias Killer", der alles, was mit Geschlecht oder Alter zu tun hat, herausnimmt, sodass Recruiter eine neutrale Bewerbung sehen.
**Manuela Machner:** Beim Recruiting gab es auch in den USA einen Fall: Ein Unternehmen hat ein KI-Modell mit ihren besten Mitarbeitern trainiert. Das Blöde war, das waren dann nur mehr Männer. Die KI hat alle weiblichen Bewerberinnen herausgefiltert, weil sie primär mit männlichen Lebensläufen gefüttert wurde. Für die KI existierte keine Frau als optimale Lösung.
**Eliot Mannoia:** In einer Boston Consulting Group / Harvard-Studie hat Amazon aufgehört, mit einer KI zu arbeiten, weil bestimmte Wörter im Lebenslauf wie "Capture" herausgefiltert wurden. Sobald man nach irgendetwas sucht, hat es eine Gewichtung, die vielleicht nicht ganz fair ist. Man verpasst vielleicht gutes Talent, nur weil bestimmte Wörter nicht im Lebenslauf stehen.
Aus evolutionärer und psychologischer Sicht wurden wir Jahrzehnte lang überfallen oder haben andere überfallen. Alles, was anders ist, wurde als Gefahr wahrgenommen. Das braucht Zeit, um sich zu ändern. Aber KI macht diese Biases so präsent, dass sie vielleicht ein Hilfsmittel sein kann, um zu erkennen: Da ist etwas nicht in Ordnung.
**Manuela Machner:** Auf der anderen Seite: KI-generierte Bilder fluten das Internet mit einer Normfrau und einem Normmann. Diese generierten Bilder trainieren dann wieder die KI. Wir müssten so etwas wie einen "Real Day" machen, wo alle Menschen echte Bilder posten, wie wir wirklich sind. Weil wir haben immer über Manipulation durch Medien geredet, Mädchen die nur schlanke Frauen sehen und dann Essstörungen bekommen. Jetzt ist es noch tragischer: Wir generieren uns das Gegenüber so, wie wir wollen.
**Eliot Mannoia:** Das ist ein sehr wichtiger Punkt. Zusammengefasst: Jedes Modell hat etliche Biases von Gender, Geschlecht, Rassen-Bias, kulturelle Biases. Es ist sehr wichtig, dass wir kritisch denken, welchen Content wir bekommen. Bei Bewerbungsgesprächen haben wir gesprochen. Und wie meine Mutter richtig gesagt hat: Das ist oft nicht die KI, die schlecht ist. Es ist wirklich nur ein Spiegel der Gesellschaft. Wir müssen daran arbeiten, was wir von uns geben.
**Manuela Machner:** Nächstes Mal: KI und Kunst. Ich freue mich schon darauf. Tschüss.
**Eliot Mannoia:** Baba.