
Ein Mitarbeiter verlässt Anthropic mit einem öffentlichen Posting auf X, Sam Altman und Elon Musk steigen in die Debatte ein, Medien kochen das Thema hoch. Manuela Machner hatte sogar Kunden am Telefon, die fragten, ob KI-Trainings überhaupt noch Sinn machen. In dieser Folge ordnen Manuela Machner und der digitale Psychologe Eliot Mannoia ein, worum es bei den Warnungen wirklich geht: um selbstverbessernde Systeme in den Laboren, um Guardrails, die zu wenig getestet werden, und um offene Modelle wie Qwen, bei denen sich die Schutzmechanismen entfernen lassen. Nicht gemeint sind die Werkzeuge, mit denen Betriebe und Privatpersonen täglich arbeiten. Dazu: was der AI Act abdeckt, warum Eliot Mannoia eine internationale Prüfstelle nach dem Vorbild der Atombehörde fordert und warum die größere Gefahr derzeit beim Menschen mit schlechten Absichten liegt.
Themen: KI & Gesellschaft, Technik & Tools
Die Risiken sind real, betreffen aber vor allem die Entwicklung der leistungsstärksten, selbstverbessernden Systeme in den Laboren. Die KI-Tools, mit denen Betriebe und Privatpersonen im Alltag arbeiten, sind nicht Gegenstand der aktuellen Warnungen. Die größere Gefahr liegt derzeit in der Kombination aus Mensch mit schlechten Absichten und KI, nicht in einer KI, die von selbst zerstörerisch handelt.
Manuela Machner und Eliot Mannoia
Guardrails sind Leitplanken, also Richtlinien, an die sich KI-Systeme halten müssen und die bestimmte Dinge verbieten, etwa nichts zu tun, was Menschen schadet. Westliche Anbieter geben sie ihren Systemen mit. Kritisch ist, dass diese Grenzen zu wenig Zeit haben, um ausreichend getestet zu werden.
Manuela Machner
Bei offenen Modellen wie dem chinesischen Qwen kann jede Person das Modell herunterladen, verändern und die Guardrails entfernen. Ohne diese Leitplanken ließe sich etwa fragen, wie man biologische oder chemische Waffen baut. Anders als bei der Atomenergie braucht es dafür kein seltenes Material, ein solches Modell läuft lokal und sogar ohne Internet.
Eliot Mannoia
Die Debatte löste ein Mitarbeiter aus, der Anthropic mit einem öffentlichen Posting auf X verließ. Danach stiegen Sam Altman, Elon Musk und andere ein. Die Anbieter könnten neue Modelle selbst länger testen. Erste Kommentare sehen in der gemeinsamen Kommunikation auch Interessen rund um Börsengänge, gleichzeitig sind Absprachen unter Konkurrenten kartellrechtlich heikel.
Manuela Machner
Nur bedingt. Der europäische AI Act wurde lange belächelt, heute würden sich viele eine Regulierung wünschen. Er richtet sich aber vor allem auf Ethik, Transparenz und Kennzeichnungspflichten gegenüber Endverbraucherinnen und Endverbrauchern, nicht auf die Entwicklung in den Laboren. Eliot Mannoia schlägt deshalb eine unabhängige internationale Prüfstelle nach dem Vorbild der Atombehörde vor, an der auch China beteiligt sein muss.
Manuela Machner und Eliot Mannoia
Nein. Sinnvoller ist ein bewusster Umgang: Systeme gezielt auswählen, etwa Mistral, Claude, ChatGPT oder Copilot, und auf Datenschutz und die Werte der Anbieter achten. Wer KI aus Angst stoppen will, stoppt auch ihren Nutzen in Medizin, Forschung und Umwelttechnik. Die Gefahr geht nicht vom eigenen ChatGPT-Account aus.
Manuela Machner
Sechs Punkte, mit denen du Warnungen und Schlagzeilen zu KI sachlich einordnest und Risiken ernst nimmst, ohne in Angst zu verfallen.
Eliot Mannoia: Hallo und willkommen zur nächsten Folge von Mind/Machine. Mein Name ist Eliot Mannoia, digitaler Psychologe.
Manuela Machner: Und ich bin Manuela Machner, Spezialistin für KI im Tourismus. Unser Podcast ist ja eigentlich so eine KI-Plauderei, würde ich mal sagen, wo wir die verschiedensten Themen rund um das Thema KI aufgreifen. Heute ein bisschen ein Thema, das uns, glaube ich, allen im Magen liegt und mit dem wir uns beschäftigen. Das Thema: Bringt uns jetzt die KI wirklich um?
Also ein bisschen überspitzt formuliert. In den letzten Tagen und Wochen überschlagen sich ja Aussagen von allen möglichen Leuten, durchaus auch von Einflussreichen, beziehungsweise eigentlich von denjenigen, die die Macht in der Hand haben, die sagen: Wir müssen mit der KI, oder mit der Entwicklung der KI, das muss man jetzt auch sagen, vorsichtiger werden. Wir reden also nicht von der KI, die wir jetzt bei ChatGPT nutzen.
Wie empfindest du das? Wie geht es dir, Eliot, damit, dass über das Thema, mit dem wir so viel arbeiten und über das wir so viel reden, plötzlich ein bisschen wie am Anfang, wir hatten diese Phase zwischendurch auch schon einmal, die Angstmache ganz stark im Raum steht? Ich glaube, vor ein, zwei Jahren war es auch, wo Elon Musk groß geredet hat, wir müssen das alles stoppen.
Eliot Mannoia: Genau.
Manuela Machner: Wie geht es dir jetzt damit, gerade als digitaler Psychologe, mit diesen Ängsten, die da geschürt werden?
Eliot Mannoia: Ja, ich glaube, die Wichtigkeit ist schon da. Die Risiken sind nicht ohne. Ich finde, wie damit umgegangen wird, ist vielleicht nicht sehr verantwortungsvoll. Angstmacherei ist nicht sinnvoll. Es wurde jetzt auch schon entdeckt, dass da auch andere Länder ein bisschen eine Rolle spielen, mit Accounts, und da auch ein bisschen Sauerstoff ins Feuer geben. Natürlich gab es die Bedenken von Ex-Mitarbeitern, wie von diesem einen Safety Engineer, und dann von den Tech-CEOs. Aber es wurde angeblich auch ein bisschen von Ländern mitbewegt, ich lasse das einfach mal so im Raum stehen.
Manuela Machner: Gut.
Eliot Mannoia: Ja, die Risiken sind schon da, aber das sage ich auch meinen Kunden: Die Menschen machen mir eigentlich mehr Angst. KI ist so umfassend, als wenn ich jetzt sage, ich habe Angst vor Menschen. Ja, es gibt gefährliche Menschen, es gibt Betrüger, aber es gibt auch ganz viele nette Menschen, und es gibt auch Menschen, die etwas bauen wollen.
Und in der Welt der KI gibt es auch KI, die Mathe löst. Es gibt KI, die medizinische Fortschritte voranbringt, KI, die uns neue Energiemöglichkeiten bringen kann. Ich glaube, dass die sinnvolle KI in den nächsten drei bis fünf Jahren, und ich rede jetzt nicht von ChatGPT oder so, das ist auch sinnvoll, sondern wirklich von Medizin, Materialforschung und Forschung, mehr positive Veränderungen möglich machen kann, als sich zum Beispiel manche Politiker, die wir kennen, in den nächsten drei bis fünf Jahren ändern werden. Ich lasse jetzt auch die Namen weg, aber ich glaube, wir wissen alle, um wen es geht. Die Menschen werden in den nächsten fünf Jahren nicht plötzlich auf die Umwelt achten. Aber in fünf Jahren könnten wir vielleicht mit neuen Technologien dafür sorgen, dass wir die Umwelt sauberer halten oder sauber machen können, besser recyceln können, bessere und sauberere Batterien haben, statt Lithium vielleicht Natrium-Batterien und so weiter. Deswegen ist es für mich ein sehr wichtiges Thema. Wenn wir plötzlich sagen: „Stoppt KI", und wir stoppen dann die Sachen, die Medizin, Forschung und Umwelt retten können, macht mir das Sorge. Wenn wir das stoppen, werden wir in fünf Jahren trotzdem noch die Menschen sein, die wir sind.
Und das ist auch ein Thema, wenn jetzt zum Beispiel die USA stoppen. Ich höre oft den Ausdruck, die Tech-Bros haben alles in der Hand. Das ist nicht richtig. Sie haben vieles in der Hand, und das ist auf jeden Fall zu viel konzentrierte Macht. Aber lasst uns auch daran erinnern, dass genau diese Firmen wie OpenAI und Anthropic ihre Modelle zum Beispiel zuerst Sicherheitsmaßnahmen unterzogen haben.
Die haben ihre Modelle zuerst an bestimmte Firmen oder an die Regierung gegeben, damit diese sie auf Sicherheit prüfen können. Die amerikanischen Firmen zeigen also zumindest, dass sie verlangsamen und nicht alles gleich veröffentlichen. Und gleichzeitig kommt China und wirft Open-Source- und Open-Weight-Modelle auf den Markt, und dann sagen wir, dass die Tech-Bros alles in der Hand haben.
Das stimmt gar nicht. Es wird sehr viel in der ganzen Welt gemacht, nicht nur in Amerika. Natürlich ist zu viel Macht konzentriert, aber wir müssen es wirklich gesamtheitlich betrachten. So, das war jetzt sehr lang ausgeholt. Wie siehst du das, Manuela?
Manuela Machner: Das passt super. Absolut richtig. Ich glaube, man muss diese ganzen Dinge auch ein bisschen einordnen für Menschen, die sich nicht so stark damit beschäftigen. Die große Aussage war ja eigentlich, dass die Sorge nicht unsere Tools betrifft, die wir jetzt hier benutzen.
Ich habe auch wirklich Kunden, die mich angerufen und gesagt haben: „Sollen wir überhaupt noch Trainings für KI machen, wenn die KI uns dann schadet?" Also vielleicht noch einmal heruntergebrochen: Diese ganzen Aussagen, die von den Medien jetzt auch sehr hochgekocht werden, weil sie natürlich extrem polarisierend sind und dadurch extrem viel Aufmerksamkeit bekommen, betreffen nicht das, was ihr im Normalfall auf eurem Computer installiert habt. Außer ihr seid super Gurus, aber dann hört ihr euch unseren Podcast eh nicht an.
Das, wovon wir hier sprechen, sind diese Ängste, die es gibt, weil diese Systeme selbstverbessernde Systeme sind. Das heißt, sie werden immer besser, sie verbessern sich selbst. KI-Code wird ja eigentlich von KI geschrieben und nicht mehr nur von Entwicklern, schon bei weitem nicht mehr.
Eliot Mannoia: Genau, recursive.
Manuela Machner: Und das ist das, wovor auch die Entwickler sagen, dass sie eigentlich Angst haben, weil man keinen Einblick mehr hat, was tatsächlich im Code steht. Und die große Thematik ist: Es gibt so etwas, das nennt man Guardrails, ich hoffe, ich habe es richtig ausgesprochen. Das sind diese Grenzen, und das hast du so schön gesagt, die die westlichen KI-Systeme zumindest versuchen, ihren Systemen mitzugeben.
Das heißt, es sind Richtlinien, an die sich die KI-Systeme halten müssen und die bestimmte Dinge gar nicht tun dürfen. Also nichts, was einem Menschen schadet, und so weiter. Diese Grenzen und Richtlinien müssen natürlich getestet werden. Und was mir bei dem, was die Westlichen jetzt von ihren eigenen Systemen sagen, ein bisschen aufstößt: Wenn die eigenen Leute sagen, wir müssen langsamer sein, dann sage ich: „Na ja, seid mir jetzt nicht böse, aber ihr habt eure Entwickler da sitzen.
Ihr könntet jederzeit sagen: Bitte, Leute, wir gehen mit einem neuen Modell ein halbes Jahr lang nicht auf den Markt. Wir testen das so lange." Das große Thema ist, dass diese Begrenzungen, so wie ich es verstanden habe, offensichtlich zu wenig Zeit haben, um wirklich auszutesten, ob diese Grenzen funktionieren.
Also ob da nicht irgendetwas passiert, ob die KI nicht eigenständig Dinge macht, von denen kein Entwickler ausgegangen ist, dass sie sie tun kann, geschweige denn, dass sie sie ohne Auftrag tut. Und das ist eigentlich die eine Seite. Sie hacken oder ...
Eliot Mannoia: Oder sie machen es zu streng. Bei Claude zum Beispiel haben sich dann alle beschwert, dass bei biologischen Fragen nichts zurückkommt. Vor ein paar Wochen noch haben sich die Leute beschwert, dass es zu eingeschränkt ist.
Manuela Machner: Ja, gerade wir Menschen, was wollen wir? Das ist es: Wir wollen einerseits keine Datenschutzverletzung, aber wir regen uns auf, wenn ChatGPT uns einen Liedtext nicht gibt, weil er sagt, er würde damit eine Rechtsverletzung begehen.
Eliot Mannoia: Genau.
Manuela Machner: Das kommt ja auch noch dazu.
Aber abgesehen davon ist das, glaube ich, eigentlich der Kern der Diskussion jetzt im Westen. Und das, was du gerade angesprochen hast, ich weiß nicht, ob du das am Schirm hast, aber wahrscheinlich schon: Qwen, das ist ein chinesisches Modell, hat jetzt auch ein supertolles Open-Source-Modell herausgebracht.
Was bedeutet das? Ihr alle könntet, wenn ihr es könnt, dieses Modell einfach nutzen. Und die Ersten, die es gemacht haben, haben eine Variante davon gemacht. Man kann damit arbeiten und es für sich verändern, also nicht das Ursprungsmodell, aber für sich. Und sie haben eine Variante gemacht, bei der sie alle Guardrails aus diesem superintelligenten Tool herausgenommen haben.
Das heißt, das Tool selbst hat im Open-Source-Bereich Grenzen. Aber dadurch, dass es offen ist, dass jeder mitentwickeln und helfen kann, wird es natürlich kritisch, wenn dann irgendjemand hergeht und die Guardrails wegnimmt, also diese Regeln und Grenzen, was die KI nicht darf. Deswegen ist auch Open Source so ein Thema, wo ich sage: Es ist voll genial, wenn man gemeinschaftlich an etwas arbeitet. Aber wenn jemand eine Kopie von so einem intelligenten System macht, die dann keine Grenzen kennt, wird es schon spannend.
Eliot Mannoia: Ja, also ...
Manuela Machner: Fertig. Du kannst gerne.
Eliot Mannoia: Den Ansatz von Open Source finde ich grundsätzlich toll, weil die Qualität von Sachen oft besser wird. Bei KI ist das aber eine Technologie, wo das aus einer logischen Schlussfolgerung einfach nicht akzeptabel ist. Nur um ein Beispiel zu geben: Ohne diese Leitplanken, diese Guardrails, könnte man fragen, wie man eine biologische oder eine chemische Waffe baut. Das ist die erste Logik. Wenn ich damit eine Waffe machen kann, dann kann man das nicht einfach am Markt offenlegen. That's it. Mehr braucht man nicht zu überlegen. Man kann, genau wie du gesagt hast, diese Guardrails entfernen und dann Sachen damit machen. Es gibt, glaube ich, immer diese vier, fünf Hauptgefahren, die besprochen werden: biologisch, chemisch, radiologisch, also radioaktiv, und Cyber.
Und ich glaube, es gibt vielleicht noch eine andere. Aber man kann dann diese vier Sachen machen, und deswegen ist Open Source für diese Technologie einfach fehl am Platz.
Manuela Machner: Vor allem in dieser Größenordnung. Wir reden jetzt nicht mehr von Sprachmodellen, die schöne Texterl schreiben, sage ich jetzt einmal, sondern von Systemen, die einfach eine Intelligenz haben und auch ein allumfassendes Wissen, das schon sehr, sehr viel abdeckt.
Eliot Mannoia: Ob das jetzt ein Teenager ist, der im Zimmer sitzt und auf seine Schule oder die Uni wütend ist, oder jemand mit irgendwelchen religiösen Ideen oder politischen Ansichten. Es ist einfach so zugänglich.
Manuela Machner: Und ich finde es spannend, dass wir jetzt alle über OpenAI, Anthropic und Co. reden und diese Seite eigentlich viel mehr untergeht. Was ich aber trotzdem auch an dieser Diskussion der Großen ganz spannend gefunden habe: Erstens finde ich es, so wie du gesagt hast, einen Wahnsinn, dass ein Mitarbeiter, ich glaube, das war Jacob Coxon, jetzt habe ich schnell nachgeschaut, ein Twitter- oder X-Posting abgegeben hat, dass er gekündigt hat, weil er das nicht mehr vertreten kann und weil er glaubt, dass das so gefährlich ist.
Und er hat etwas Riesiges losgetreten. Das Spannende ist, dass auch Sam Altman und alle anderen da eingesprungen sind, Musk sowieso, und das in Wirklichkeit noch mehr schüren. Wenn man sich das aber dann anschaut, denke ich mir manchmal: Warum tut das jemand, der selbst die Macht in der Hand hat?
Da gibt es viele Spekulationen, die ich überhaupt nicht einschätzen kann. Aber dass es nicht nur um echte Gefahr geht, sondern dass diese Kommunikation so zu führen vielleicht auch andere Hintergründe hat. Es gibt ja auch das Spannende, dass die drei Großen hier plötzlich übereinstimmend sagen: „Ja, wir müssen gemeinsam schauen", und was weiß ich.
Und da gibt es die ersten Kommentare, die sagen: Für einen Börsengang ist das eine spannende Entwicklung, wie man hier kommuniziert. Oder auch kartellrechtlich: Dass die drei sich zusammentun, ist kartellrechtlich ja eigentlich ...
Eliot Mannoia: Ja, gefährlich.
Manuela Machner: ... nicht optimal, wenn ich es einmal so sage. Das dürfen sie auch nicht. Also die Rechtslage ...
Eliot Mannoia: Für alle drei, und sie haben schon ein Antitrust-Verfahren.
Manuela Machner: Genau. Da muss man sagen, die haben tatsächlich ein Problem. Aber die öffentliche Stimmung würde heute natürlich sagen: Die müssen sich zusammentun, die müssen eine gemeinschaftliche Lösung finden, die müssen gemeinsam agieren. Und vielleicht ist das auch etwas, das ihnen in die Hände spielt.
Und ich habe erst jetzt gehört, ich weiß nicht genau, wann das war, in den letzten Tagen, dass Anthropic, das ist der Besitzer von Claude, angeblich Lücken bei OpenAI gefunden hat und OpenAI diese schließen konnte.
Das sind ganz spannende Entwicklungen, wenn sie gegenseitig ihre KI-Systeme und Codes knacken, auf Lücken stoßen und diese wiederum sicherer machen. Aber grundsätzlich zur Angst zurück: Ich glaube, dass die großen Konzerne bei aller Liebe auch nicht das Bedürfnis haben, weltzerstörende Programme zu entwickeln oder auf den Markt zu werfen, weil sie selber halt auch auf dieser Welt leben, sage ich jetzt einmal.
Eliot Mannoia: Absolut. Und wir können die Sicherheit auch nicht der Privatwirtschaft überlassen. Das muss irgendwie auf Regierungsebene passieren, dass man so eine Art Atombehörde, wie bei der UNO, also eine unabhängige internationale Einheit, so schnell wie möglich aus dem Boden stampft.
Ich weiß nicht, ob das jetzt zehn Expertinnen und Experten sind, die sich als Unabhängige diese Modelle anschauen, so wie es jetzt zumindest in den USA schon gemacht wird: Bevor ein Modell veröffentlicht wird, wird es, ich weiß nicht, einen oder zwei Monate vorher zum Testen geschickt.
Manuela Machner: Passiert das noch? Ich dachte, diese Behörde wurde in den USA abgeschafft, oder? Wurde das nicht abgeschafft?
Eliot Mannoia: Nein, sorry, ich vermische hier zwei Sachen. Das Vorher-Testen machen die Firmen selbstständig, wie Anthropic, an verschiedenen Unis und bei verschiedenen Firmen.
Manuela Machner: Ja, genau.
Eliot Mannoia: Wovon ich bei einer Behörde rede, ist eine Idee, die es so jetzt noch nicht gibt.
Manuela Machner: Na, es hat doch in den USA schon etwas gegeben.
Eliot Mannoia: Das hat es gegeben. Ich weiß nicht, ob es das noch gibt. Aber ich rede eher davon, weil wir China auch dabei bräuchten. Sonst macht es keinen Sinn. Es macht ja keinen Sinn, was ich vorher erzählt habe, wenn Fable und Claude Sachen zurückhalten und dann China das Open Source und Open Weight auf den Markt wirft. Das macht dann keinen Sinn.
Manuela Machner: Wobei ich glaube, dass die Regierung in China gar nicht so dagegen wäre. Ich habe erst einen Artikel gelesen, dass auch die chinesische Regierung hier Bedenken hat, weil es für sie natürlich auch politisch spannend wird, wenn eine eigenständige KI, unter Anführungszeichen, die nicht gesteuert ist, in ihrem Land herumeiert. Die chinesischen KI-Systeme haben ja auch andere Guardrails. Da geht es nicht nur darum, dass sie keine Waffen steuern dürfen, sondern diese Systeme sind auch sehr vorsichtig bei kritischer chinesischer Geschichte oder bei Staatskritik, sage ich jetzt einmal.
Eliot Mannoia: Ja.
Manuela Machner: Und wenn diese Guardrails fallen, dann ist das für China natürlich nicht unbedingt das, was sie wollen.
Eliot Mannoia: Genau.
Manuela Machner: Die haben also durchaus auch Eigeninteresse. Ich rede jetzt nicht einmal von der Sicherheit, sondern eher vom eigenen Wohl. Aber das Lustige ist: Als wir in Europa unseren AI Act bekommen haben, mit all diesen Regulierungsthematiken, wurde das international sehr oft belächelt oder auch als starkes Handicap gesehen.
Und es erschwert natürlich manche Dinge vielleicht. Aber ich glaube, momentan hätte man weltweit sehr oft sehr gerne zumindest eine Regulierung, wie weit etwas gehen darf. Das deckt der AI Act jetzt nur bedingt ab, aber zumindest auch entwicklungstechnisch.
Eliot Mannoia: Der AI Act war oft sehr stark auf den Menschen fokussiert, also auf Ethik, Transparenz und Kennzeichnungspflicht. Auch für Organisationen, aber oft mit Hinblick auf die Endverbraucherinnen und Endverbraucher. Was wir jetzt besprechen, ist wirklich eher die Entwicklung, bevor es überhaupt zu den Endverbrauchern kommt.
Manuela Machner: Ja, und keiner von uns weiß, was in den Laboren tatsächlich passiert. Aber man muss sagen, es hat immer schon Technologien gegeben, die besonders gefährlich waren, die gut und gefährlich sind. Wenn du dir die Atomenergie anschaust, haben wir auch diese beiden Seiten, die möglich sind.
So wie du gesagt hast: Die medizinischen Entwicklungen und all das, was hier passiert und uns allen zugutekommt, sind genauso positiv.
Eliot Mannoia: Ja, nur war die Nuklearenergie nicht so zugänglich. Das ist der Punkt. Nicht jeder hat angereichertes Plutonium und die ganzen Materialien, um eine Kernspaltung zu machen. Aber mit KI ist es so, dass man ein Modell von China einfach lokal laufen lassen kann, sogar ohne Internet, in einem Keller, wo man irgendetwas basteln kann. Das ist ein Riesenunterschied.
Manuela Machner: Na ja, gut, wobei man sagen muss: Auch bei den klugen Systemen, die Open Source sind, sind wir noch nicht in der Stufe, von der jetzt gesprochen wird, also bei menschenzerstörenden Systemen. Es braucht also keiner von uns unmittelbar Angst zu haben, was die KI uns tun wird, und es wird kein Terminator kommen, auch wenn man momentan ein bisschen davon ...
Eliot Mannoia: Naja, ich glaube, in den nächsten Jahren ist eher der Mensch mit KI gefährlich, also die Kombination: Menschen mit schlechten Absichten. Ich glaube, die KI selbst ist unabhängig davon noch nicht auf einem zerstörerischen Weg.
Manuela Machner: Ja, zumindest hoffen wir das auch. Die KI ist nur ein Spiegel unserer Gesellschaft. Das ist vielleicht auch so cool, weil sie alles von uns weiß, weil wir sie mit den Daten im Internet gefüttert haben und alles über uns Menschen im Netz steht.
Die KIs haben alles von uns gelernt, aber dadurch natürlich auch alle unsere Eigenschaften, welche Eigenschaften es grundsätzlich gibt, und das sind nicht nur die guten. Gerade das Internet ist vielleicht nicht nur der Spiegel von Freundschaft und sozialem Miteinander, sondern durchaus auch von anderem.
Und was können wir jetzt selber damit machen? Ich glaube, keiner von uns ist der Überzeugung, dass wir die großen Entwicklungen hier stoppen können. Ich glaube aber schon, dass es darauf ankommt, wie wir selbst agieren, wie sicher wir agieren, das heißt, ob wir unsere Systeme eher positiv oder negativ füttern, sage ich jetzt einmal.
Wir achten auch darauf, dass wir keine Grenzen überschreiten, die nicht notwendig sind. Und bei der Systemauswahl sollte man sich schon klarmachen: Welches System nehme ich? Ob das jetzt Mistral aus Frankreich ist, Claude von Anthropic, ChatGPT oder Copilot. Ich denke, es gibt genug Auswahl. Und moralisch gesehen bin ich da eher vielleicht noch ein bisschen auf der Claude-Seite, wo ich sage: Das ist für mich das System, das zumindest nach außen den Anschein macht, am moralischsten zu agieren, wenn man das überhaupt so sagen kann.
Eliot Mannoia: Ihr Verhalten zeigt das schon.
Manuela Machner: Sie haben den Auftrag vom Kriegsministerium abgelehnt.
Eliot Mannoia: Genau, sie haben am Anfang den Auftrag vom Pentagon abgelehnt, weil er ihren Werten nicht entsprochen hat. Da ging es um zwei Sachen, Massenüberwachung und autonome Waffen. Und OpenAI ist gleich hereingekommen und hat gesagt: „Wir machen es." Und sie sind, soweit ich weiß, bis jetzt auch die Einzigen, die die Menschenrechte, die Declaration of Human Rights und andere Dokumente in die KI eingespeist haben, sodass die KI auch diesen ethischen Rahmen hat. Und wenn man sich bei Claude anmeldet, ist im Anmeldeprozess ziemlich prominent ein Schritt dabei: Teilst du die Daten zum Trainieren des Modells? Bei ChatGPT ist das nicht so. Da musst du das erst im Nachhinein finden, nicht ganz transparent.
Da gibt es schon einige Sachen. Und auch Dario Amodei, der Chef von Anthropic, hat sich zum Beispiel zuerst geäußert, und dann haben Elon Musk, Sam Altman und Demis Hassabis von Google DeepMind zugestimmt. Aber Dario war zumindest der Erste.
Manuela Machner: Na ja, es war auch sein Mitarbeiter.
Eliot Mannoia: Ja, aber er hat sich auch schon vor Jahren beim World Economic Forum geäußert. Er äußert sich seit Jahren immer wieder zu diesen Themen.
Manuela Machner: Ja, das Gefühl habe ich auch bei Claude. Ich habe einmal einen Prompt gemacht, weil ich ein Szenario nachstellen wollte, und habe Claude gesagt, er soll mir ein Fake-Schriftstück von etwas machen. Ich wollte zeigen, wie das im Vergleich aussieht. Und Claude hat mir gesagt, das tut er nicht.
Das wäre rechtlich nicht in Ordnung. Und ich habe gesagt, ich brauche es ja nur zum Gegenüberstellen, damit man sieht, wie das Angebot korrekt aussieht und wie es gefakt aussehen würde. Und er hat gesagt, das ist egal. Er tut das nicht, weil das nicht seinen Richtlinien entspricht.
Ich war wirklich überrascht, weil ich mir überhaupt nichts dabei gedacht habe. Ich wollte auf der PowerPoint halt die zwei Varianten gegenüberstellen. Und er hat gesagt: „Nein, so einen Text zu verfassen, würde aus meiner Sicht rechtliche Rahmenbedingungen verletzen", und er tut das nicht.
Eliot Mannoia: Super.
Manuela Machner: Dann habe ich ChatGPT gefragt, ob er es mir gegenüberstellt, damit ich es auf der PowerPoint zeigen kann, und das war überhaupt kein Problem. So viel dazu.
Ich war da ganz vorsichtig und habe mir gedacht, nicht dass Claude glaubt, ich brauche das wirklich oder ich will ihn jetzt austricksen. Und habe gesagt: „Passt, nein, mach es eh nicht." Da sieht man schon, dass da Grenzen sind, die auch absolut richtig sind, muss man auch sagen.
Eliot Mannoia: Yep.
Manuela Machner: Zusammengefasst ist zu dem ganzen Thema, glaube ich, Respekt das, was grundsätzlich in Bezug auf KI-Systeme wichtig ist. Auch Respekt vor dem, was da gerade alles passiert. Aber nicht jetzt aus Angst sagen: „Oh mein Gott, die Welt geht unter."
Ich glaube, wir haben in unserem Leben schon öfters Situationen erlebt, in denen wir Dinge nicht mehr einschätzen konnten und Zeit für Angst oder Bedenken war. Nicht hineinsteigern, bitte fangt nicht an, jetzt alles nur schlechtzureden. Seht trotzdem noch die guten Dinge. Und die Gefahr geht nicht von eurem ChatGPT-Account aus.
Vielleicht auch das noch: Der wird euch jetzt nicht hacken und irgendwelche Zerstörungen anrichten. Davon war bei den ganzen Themen überhaupt nicht die Rede.
Eliot Mannoia: Und auch die andere Seite sehen, ob das jetzt Medizin, Materialforschung, Chemie oder Physik ist, und dass KI einfach so ein umfassendes Thema ist, dass man nicht alles in einen Topf werfen kann. Die Risiken sind da, und wir müssen Gespräche führen und darüber reden, das ist auf jeden Fall wichtig.
Bitte schreibt uns Kommentare, gerne auch Fragen. Wir sind sehr neugierig, was ihr dazu denkt, und immer offen für Fragen.
Manuela Machner: Dann freuen wir uns auf die nächste Folge von Mind / Machine. Macht es gut. Alles Liebe, ciao.
Eliot Mannoia: Ciao!