#27 AI Act: Überregulierung oder notwendige Spielregeln?

Manuela Machner: AI Act, Überregulierung oder notwendige Spielregeln. Über das wollen wir uns heute unterhalten bei unserem Podcast Mind/Machine. Ich bin Manuela Machner, ich beschäftige mich primär mit Tourismus und künstlicher Intelligenz und begleite Unternehmen, KI einzuführen.

Eliot Mannoia: Hi, ich bin der Eliot Mannoia, digitaler Psychologe.

Ich konzentriere mich auf die Technologie, die KI und die Auswirkungen auf uns Menschen. Und das Ziel von diesem Podcast ist wie immer, kurze, knackige Gedankenanstöße zu vermitteln, und heute sind wir ganz gespannt auf dieses Thema.

Manuela Machner: Ja, wir sind zwar keine Juristen, aber der AI Act betrifft uns, glaube ich, alle.

Für alle, die noch keinen Plan haben, wovon wir überhaupt reden: Die EU hat sich ja geeinigt, das ist ja unglaublich, relativ schnell, muss man sagen, auf eine Gesetzesvorlage, die einen Einfluss darauf haben soll, wie KI-Systeme in Europa eingesetzt werden können. Und zwar haben sie es in folgender Weise untergliedert: Sie haben gesagt, es gibt Risikostufen, wie riskant sind KIs im täglichen Einsatz oder im tatsächlichen Einsatz.

Und je nachdem, wie groß das Risiko ist, umso mehr Vorgaben gibt es oder auch Verbote oder Regulierungen. Und wir sind weltweit die Ersten, die sich darüber Gedanken gemacht haben. Was natürlich auch dazu führt, dass nicht jeder so begeistert ist darüber, dass Europa bei der Regulierung der Erste ist und vielleicht nicht bei der Entwicklung von KI-Systemen.

Wie geht es dir damit?

Eliot Mannoia: Ja, ganz gemischt. Aus Usersicht finde ich es super. Ich finde es wirklich einen Meilenstein und ich bin sehr beeindruckt, wenn man zurückblickt im digitalen Bereich, auch mit Social Media und Algorithmen und wie lange das gebraucht hat.

Wir haben wirklich schon gewusst, dass es die Mental Health von Teenagern beeinflusst, und trotzdem waren wir da sehr spät eigentlich beim Nachadjustieren. Also ich finde es eigentlich Wahnsinn, dass wir da so zeitig... Ich meine, die KI gibt es ja schon seit Längerem, aber dass wir da so schnell agiert haben, finde ich spannend.

Ich finde auch diese über vierhundert Seiten wirklich einen Wahnsinn, dass das so schnell gemacht wurde, von der Risikobasierung bis hin zur Kennzeichnungspflicht. Aber aus Unternehmersicht, kann ich mir vorstellen, ist es natürlich nicht super für manche. Ich weiß, dass Sepp Hochreiter, eine Legende in der KI-Welt, zum Beispiel ein neues Modell hat, angeblich, das wirklich konkurrenzfähig und super ist, aber er kann es nicht aus dieser Sandbox rausnehmen und kommerziell einbringen, weil es halt nicht allen Anforderungen entspricht, und das finde ich dann halt schade, wenn wir da zu sehr, zu früh regulieren.

Ich weiß, man hat das klassische Beispiel vom Auto, wo erst fünfzehn Jahre nach dem Auto der Sicherheitsgurt kam oder dieser Nackenschutz. Also ich weiß, dass man sich im Nachhinein, also vielleicht haben wir zu viel zu früh... Wie gesagt, ich finde es gut aus Usersicht und ich finde es wirklich spannend, was Europa da geschafft hat, aus so vielen Mitgliedstaaten so einen Konsens zu schaffen, finde ich wirklich eine tolle Leistung.

Vielleicht können wir bei der Umsetzung noch irgendwie was machen, um den europäischen Unternehmern da auch noch diesen Raum zu lassen. Vielleicht.

Manuela Machner: Ja, ich habe auch zwei Herzen in der Brust bei der Geschichte. Das eine ist, eigentlich nervt es mich total, dass wir alles regulieren. Ich habe schon ein bisschen das Gefühl, wir beschützen uns vor allen und jedem und immer und der Mensch muss selber eh nichts mehr, selber vorsichtig sein und aufpassen, und sagen: „Ja, da muss ein Gesetz her, das mich beschützt."

Auf der anderen Seite muss man schon sagen, wenn man natürlich sieht, was alles möglich ist mit KI-Systemen, angefangen vom Klonen von Menschen, Stimmen, Bildern, was auch immer, ist natürlich das Risiko der Manipulation eine extrem große Geschichte. Und das ist auch so eine spannende Sache.

Als Hochrisikokategorie ist ja das Thema Manipulation eingestuft, also wenn KI-Systeme manipulieren. Und da frage ich mich aber: Wo fängt es an und wo hört es auf? Ist es dann nur die Manipulation von KI-Systemen? Jedes Marketing aus meiner Sicht ist Manipulation. In Wirklichkeit jedes Gespräch.

Wenn wir zwei miteinander reden und uns austauschen, dann manipulieren wir ja unterbewusst irgendwo die Meinung des anderen. Und Marketing ist überhaupt darauf aufgesetzt zu sagen: "Ja, kauf dieses Eis und nicht das andere oder dieses Handy und nicht das andere." Und jetzt sagen wir: Na ja, die KI darf nicht manipulieren.

Also ich weiß nicht, wie willst du das in der Realität umsetzen? Das finde ich spannend. Eine andere Geschichte, die ich mir angeschaut habe, ist natürlich das Thema Social Screening, das ganz spannend ist. Damit ihr eine Vorstellung habt: diese Bewertung, wie du dich verhältst, wenn dann plötzlich Institutionen oder öffentliche Einrichtungen oder vielleicht auch Arbeitgeber dich bewerten aufgrund deines Verhaltens auf Social Media oder im digitalen Raum.

Das ist auch etwas, was nicht zugelassen sein wird oder halt inakzeptabel ist. Das finde ich an sich schon sehr sinnvoll. Wobei ich frage mich, es gibt ja jetzt schon Algorithmen, die berechnen, wie kreditfähig bin ich.

Eliot Mannoia: Genau.

Manuela Machner: Fällt das dann auch da rein? Also...

Eliot Mannoia: Und deswegen, da kommt es mit der Umsetzung dann wirklich auf den Punkt. Wo ist da die Grenze? Wie ich vorher erwähnt habe, von der digitalen humanistischen Seite finde ich es wirklich spannend und sehr gut, dass viele Sachen, so diese Menschenrechte, da auch beschützt werden, oder Menschen mit Einschränkungen. Und von der Innovationsseite, da hoffe ich halt, dass es uns nicht zu sehr einschränkt.

Ich weiß, dass die in den USA eigentlich schon uns auch Sachen abschauen. Es wird wirklich auch international als positiv oft empfunden, was wir machen. Ich weiß, dass die DSGVO, GDPR, zum Teil in Kalifornien nachgemacht wurde. Der California Act hat sehr viele Ähnlichkeiten mit der DSGVO, und auch jetzt dieses Jahr, glaube ich, in New York haben sie ein Gesetz eingebracht in Bezug auf Recruitment, dass eine Firma nachweisen muss, wie sie auf Personen kommen und wie viele sich beworben haben, aus welchen ethnischen Hintergründen und wer dann die Rolle bekommen hat.

Das müssen sie offenlegen und so. Also ich glaube, es ist nicht so, dass wir nur regulieren und die anderen haben kein Interesse dran. Ich glaube, da ist schon auch, du warst ja vor Kurzem auch auf der Konferenz in Amerika.

Manuela Machner: Ja, also in San Francisco war ich bei einer Gen-AI-Konferenz und da war es ganz spannend.

Da waren ja primär Amerikaner dort und da haben die Speaker immer wieder betont, dass sie in der Entwicklung darauf Wert legen, mit welchen Daten sie auch arbeiten. Also sie sind auch nicht mehr so, dass sie alles von dir als Daten protokollieren, weil sie einfach wissen, dass in Europa das Thema Datenschutz halt ganz groß ist.

Und das war nicht so, deshalb bin ich eigentlich überrascht. Es war nicht so dieses: Ja, die depperten Europäer, die machen ihre Sache und das interessiert uns nicht, sondern sie haben schon gesagt: Na ja, es ist ein Faktor. Wir wollen skalieren, wir wollen unsere Produkte auch in Europa anbieten.

Wir beziehen diese Überlegungen schon mit ein, die Europa da macht. Wobei das ja auch unterschiedlich ist von der Position der Größenordnung der Unternehmen, das muss man auch sagen. Also ich glaube nicht, dass OpenAI jetzt einen völligen Umschwung in der Entwicklung macht, wenn Europa sagt, dieses oder jenes darf nicht.

Also eine Entwicklung in Richtung AGI wird sich nicht stoppen lassen, dadurch, dass Europa sagt, bei uns kommt das nicht auf den Tisch. Auf der anderen Seite haben wir die Diskussionen jetzt mit Apple gehabt, Apple kündigt den Agent und ich weiß nicht was an, und dann ist da die Regulierung.

Da ist es nicht um einen AI Act gegangen, sondern um ein Data oder wie heißt der? Digital?

Eliot Mannoia: Digital Services Act, ja.

Manuela Machner: Genau. Wo dann Apple sagt: Na ja, unter den Bedingungen werden wir das nicht in Europa ausrollen können. Also das ist dann schon die Frage. Natürlich kann man sagen, super, die großen Konzerne sollen das in den USA, in China und sonst wo machen und wir machen unser eigenes Ding in Europa.

Nur so funktioniert halt internationale Marktwirtschaft nicht.

Eliot Mannoia: Ja, aber bei Apple, glaube ich, haben sie auch die Sprachen noch nicht. Ich glaube, die haben noch nicht die Sprachmöglichkeiten, und ich glaube, deswegen. Ich glaube, es hapert auch-

Manuela Machner: Vielleicht ist es manchmal auch ein bisschen eine Ausrede zu sagen, ja, die Regulierung ist so ein Problem, wir täten es ja tun und wir könnten ja.

Das kann durchaus auch sein. Was aber wichtig ist, und ich glaube, das ist das Wichtige, dass allen unseren Entwicklern bewusst ist, inwieweit das eine Rolle spielt, sobald sie mit KI-Systemen irgendwas entwickeln, nicht nur die Datenschutzthematik, sondern auch diese Risikobewertung in diesem AI Act.

Wo fallen sie tatsächlich hinein? Weil das ist, glaube ich, noch die Herausforderung, sich selber da wiederzufinden. Ist das völlig gleichgültig wie in einem Navigationssystem? Habe ich da keine Risikofaktoren? Oder ein Chatbot, muss ich da Offenlegungen machen? Welche Art von Offenlegungen?

Kann ich das überhaupt? Viele haben ja entwickelt auf Basis von OpenAI und ChatGPT, da wird es auch noch spannend werden. Was bedeutet das jetzt in Bezug auf den AI Act? Also wenn ich es mir anschaue.

Eliot Mannoia: Nicht nur diese Risikoeinstufung, aber auch, was du gesagt hast, dieses Offenlegen und diese Nachvollziehbarkeit.

Ich glaube, das ist auch eine ziemliche Hürde, weil diese berühmten Black Boxes, also welche Datenmengen, wie nachvollziehbar ist eine Antwort? Und da, glaube ich, ist das auch ein Thema, wo sich Firmen schwertun.

Manuela Machner: Ja, absolut. Für alle, denen das nicht so bewusst ist: Die KI-Systeme kombinieren ja unendliche Datenmengen miteinander und wissen tatsächlich oft gar nicht mehr, was sie womit kombiniert haben, um zu dieser Aussage zu kommen.

Es ist halt eine Wahrscheinlichkeitsrechnung dahinter. Und wenn die KI selbst nicht weiß, wie sie zu der Aussage kommt, ist es ein bisschen schwierig herauszufinden, was ist da die Quelle gewesen? Oder was war der Gedankenansatz? Und das ist ja nachvollziehbar. Überlegt es euch selbst bei euch.

Sie imitieren ja unser menschliches Denken, unser neuronales Netzwerk im Gehirn. Wisst ihr noch, woher ihr wisst, dass ein Hund bellt und Wauwau macht?

Eliot Mannoia: Na ja, gute Analogie. Ja, super Beispiel. Stimmt.

Manuela Machner: Ja, und das ist jetzt das Problem für die KI-Systeme. Sie sollen argumentieren und sagen: Ja, das wäre so, wie wenn ich sagen muss: Ja, und meine Mama hat vor, ich sage jetzt nicht, wie vielen Jahren, gesagt, das ist ein Wauwau und der bellt oder beißt oder ist zum Streicheln oder keine Ahnung.

Also es geht ja bei uns auch nicht wirklich. Es wird absolut spannend, wie wir uns da weiterentwickeln. Das, was mich ein bisschen aufregt an der Geschichte, das muss ich schon sagen, wir haben jetzt in Europa schon, wie soll man sagen, wir haben schon das Problem mit dem Mindset, dass wir uns weiterentwickeln, dass wir sagen, wir sind risikofreudig.

Es ist ja bei uns nicht unbedingt so, dass du unterstützt wirst, und damit meine ich jetzt nicht öffentliche Einrichtungen oder sonst was. Scheitern ist in Europa, zumindest in Österreich, ja nicht unbedingt gut angesehen. Also einfach nur probieren und experimentieren mit dem Risiko, es funktioniert nicht.

Das funktioniert sowieso schon mal nicht oder sehr schwer. Das heißt, der Innovationsgedanke ist schon einmal viel, viel schwieriger.

Und die Angst, die ich habe, ist, dass durch solche Maßnahmen von vornherein jegliche Innovation noch mehr erschwert wird. Das heißt, bevor du irgendwelchen Ideen überhaupt nachgehen kannst, ich meine, Forschung und Entwicklung ist da ja ausgenommen in diesen AI-Themen, aber wenn du als Unternehmer oder Start-up sagst, ja, ich möchte einfach das ausprobieren und machen und Risikokapital, das du eh nicht hast in Europa in dem Ausmaß, verwenden, und du musst dich zuerst darum kümmern, wie du juristisch alles löst, dann glaube ich, gibst du schon mal auf, bevor du angefangen hast.

Oder es wird der Weg noch mühsamer. Und das finde ich sehr schade.

Eliot Mannoia: Ja, da würde ich wirklich hoffen, dass Regulatoren, Behörden sich auch vielleicht mit Mistral und auch dieser deutschen KI-Firma und mit, es gibt auch in Österreich ein paar KI-Firmen schon, dass sie sich einfach mit diesen KI-Start-ups auch sehr austauschen, wie sie am besten zusammenarbeiten können.

Also da hast du vollkommen recht. Wir müssen schauen, dass wir die Innovation fördern und nicht einbremsen. Gut, also wir sind wieder am Ende von diesem spannenden Thema. Was haben wir denn alles besprochen? Der AI Act, der jetzt im Dezember 23 beschlossen wurde auf EU-Ebene, über vierhundert Seiten, da werden die Aktivitäten von der KI risikomäßig eingestuft, von Gesichtserkennung und Biometrics bis hin zu nur Filtern und Spamfiltern und so.

Dann auch eine Kennzeichnungspflicht, ob was KI ist, und eine Nachvollziehbarkeit, Transparenz. Es ist sehr gut gemeint, aber wir sind da beide sehr gespalten. Auf der menschlichen Seite: super, digitaler Humanismus. Es ist wirklich, mit Demokratie und mit Deepfakes und Biases und was da entstehen kann, sehr wichtig.

Auf der Innovations- und wirtschaftlichen Seite: Was tun wir uns da ein bisschen an? Oder ist es zu früh, zu viel? Also ganz, ganz wichtiges Thema und man sieht, in fast jedem Aspekt der Gesellschaft spielt es irgendwie eine Rolle und beeinflusst uns. Und dann, ja, wie du auch gerade eben gesagt hast, wie schaut es aus, wenn wir uns zu sehr einbremsen, wenn wir eh schon nicht diesen Pioneering Spirit haben und eher so ein: Scheitern ist schlecht, lass uns nicht scheitern.

Wie können wir da dafür sorgen, dass wir das nicht zu sehr einbremsen? Ja.

Manuela Machner: Ja, also das nächste Mal haben wir uns gedacht, reden wir über das Thema Zukunft der AI. Was steht uns bevor? Ein bisschen einen Blick in die Glaskugel wollen wir machen und ein bisschen spintisieren, was so die AI uns in den nächsten Jahren bringen wird.

Ja, wir freuen uns, wenn ihr uns wieder zuhört, zuschaut. Bis bald.

Eliot Mannoia: Ja, ciao.