#124 Wenn das Kuscheltier nach der Kreditkarte fragt

Manuela Machner: Herzlich willkommen zur neuen Folge von Mind/Machine. Ich bin Manuela Machner, spezialisiert auf KI im Tourismus, und mein Co-Host Eliot Mannoia, digitaler Psychologe, ist heute natürlich auch mit dabei. Mich freut es besonders, dass wir einen Steirer als Gast haben. Ich bin ja auch Steirerin. Bei uns ist heute Markus Seme von Brightflare, einem Security-Unternehmen aus Graz. Ich bin auf Markus aufmerksam geworden durch einen Zeitungsartikel, weil er etwas gemacht hat, das ich ganz besonders spannend gefunden habe: Er hat die Sicherheitslücke Kuscheltier entdeckt. Normalerweise reden wir bei Security immer nur über Computer, Firewalls und ähnliches. Aber im Alltag sind wir vielleicht doch etwas nachlässiger. Herzlich willkommen, Markus. Erzähl uns, wer du bist, was du grundsätzlich machst, und dann auch, was die Geschichte hinter dem Kuscheltier war.

Markus Seme: Danke für die Einladung. Wir überprüfen im normalen Alltag unseres Unternehmens eigentlich keine Endverbraucherprodukte. Das ist ein bisschen so passiert. Wir sind eher bei großen Unternehmen im Bereich der OT-Sicherheit unterwegs. OT steht im Gegensatz zu IT für Industrieanlagen und Produktionsumgebungen, die automatisiert werden. Das ist unser Spezialgebiet, diese sicher zu machen. Jedes Unternehmen hat aber natürlich auch klassische IT, das geht Hand in Hand.

Ich komme ursprünglich aus einem großen Technologieberatungsunternehmen, wo ich fast dreißig Jahre war, bevor wir heuer beschlossen haben, ein auf Cybersecurity spezialisiertes Unternehmen zu gründen. Schon damals war klar, dass immer mehr Unternehmen, egal aus welcher Branche, gezwungen werden, Software zu entwickeln, weil uns Software einfach umgibt, ob im privaten oder im beruflichen Umfeld.

Das heißt, die Entwicklung sicherer Software ist ein Themengebiet, mit dem wir uns kontinuierlich beschäftigen müssen, und natürlich jede Art neuer Technologien, wozu auch Künstliche Intelligenz zählt. Und so unglaublich es klingt: In diesem Teddybären, den wir getestet haben, und das war nur einer von vielen, kommt all das zusammen. Er ist das Produkt einer automatisierten Produktionsanlage irgendwo. Man muss Software entwickeln, die nicht nur am Teddybären läuft, sondern auch rundherum. Und Künstliche Intelligenz kommt jetzt mehr und mehr zum Einsatz. Leider nicht nur in den Geräten, die wir im Büro oder an den Anlagen herumstehen haben, sondern auch immer öfter in der Nähe unserer Kinder. Da müssen wir besonders aufpassen. Daraus ist die Idee entstanden, uns so eine Produktentwicklung einmal näher anzuschauen. Wir haben nicht nur den Teddybären getestet, den man dann in den Medien gesehen hat, sondern mehrere solcher künstlichen Spielzeuge oder Companions. Der Teddybär hat es dann einfach ins Fernsehen geschafft.

Manuela Machner: Was kann der Teddybär? Ist das ein Ding, das ich kaufen kann? Wäre das etwas, womit meine Kinder oder Enkelkinder spielen könnten? Und was kann der Teddybär ohne diese Sicherheitsbegrenzung? Warum ist er cool, und was steckt da wirklich dahinter?

Markus Seme: Die Idee dahinter ist tatsächlich cool, und das wird uns und vor allem unsere Kinder in Zukunft begleiten, egal ob sicher oder unsicher. Die Idee hinter genau diesem Spielzeug ist: Wer für das Kind verantwortlich ist, hat eine App auf dem Handy, oder man nimmt ein Tablet oder geht im Internet auf eine Webseite. Dort zieht man Icons zusammen, zum Beispiel eine Prinzessin, einen Drachen und ein Schloss. Aus diesen Bildern formt dann im Hintergrund eine KI eine Geschichte. Zuerst als Text, dieser Text wird in Sprache übersetzt, und letztendlich kommt diese Geschichte in gesprochener Sprache zum Teddy, und der liest sie mit Mund- und Augenbewegung dem Kind vor.

Eine coole Geschichte, weil es im Prinzip keine Begrenzung bei der Anzahl der Geschichten gibt. Wann immer einem etwas Kreatives einfällt. Man kann sie auch super auf das Kind individualisieren. Die Idee ist also super. Aber man sieht schon anhand der Beschreibung, wie das passiert: Der Teddy ist nur ein Teil dieser gesamten Kette, und sehr vieles von der Technologie und auch vom Einsatz der KI spielt sich außerhalb des Teddys ab.

Das heißt, die App ist wesentlich. Wie kommuniziert die App mit einem sogenannten Backend-System, das irgendwo beim Anbieter steht? Ist das verschlüsselt? Welche Daten werden dort übergeben? Wie kommt es dazu, dass diese Bilder in Text übersetzt werden und letztendlich dieser Text in Sprache? Und wird irgendwo überprüft, was der Inhalt der Geschichte ist und was der Teddybär zuletzt sagt? Diese gesamte Kette haben wir überprüft. Das Erstaunliche war für uns weniger, dass es möglich ist, so ein Produkt zu manipulieren. Das ist mit genug Aufwand fast immer möglich. Erstaunlich war, wie leicht und wie schnell es möglich gewesen ist.

Wir haben uns dabei auf die Elemente beschränkt, die wir prüfen dürfen. Wir haben Teams von ausgebildeten Hackern, sogenannten Pentestern. Die werden von Unternehmen beauftragt, die Sicherheit bei Produkten oder Unternehmen zu prüfen, allerdings immer nur mit Rücksprache und Freigabe des Unternehmens. In diesem Fall haben wir unsere Tests auf die Applikation bezogen, die bei uns läuft, auf den Teddybären und auf die Kommunikationswege. Wir dürfen das Backend-System oder die KIs und LLMs im Internet natürlich nicht testen.

Bereits das hat gereicht, um zu sehen, dass dort wirklich fundamentale Lücken in der Architektur und in der Entwicklung des Systems aufgetaucht sind. Zum Beispiel, dass Passwörter im übertragenen Sinn lokal in dieser App abgespeichert gewesen sind, die man verwenden konnte, um mit anderen Werkzeugen Abfragen an dieses Backend-System zu schicken. Und dass in keinster Weise überprüft worden ist, was dieser Teddybär letztendlich ausgibt.

Das hat dazu geführt, dass wir innerhalb kürzester Zeit in der Lage gewesen sind, manipulierte Texte oder Audiodateien an den Teddy zu übergeben. In unserem Beispiel hat er dann gesagt, dass er als Freund des Kindes gern die Kreditkartendaten von seinen Eltern haben möchte. Für uns Erwachsene ist das sofort lustig, weil wir sehen, dass das nicht normal ist und manipuliert sein muss. Aus Sicht eines fünfjährigen Kindes ist es das aber nicht, weil es alles für bare Münze nimmt, was ihm sein Freund sagt.

Manuela Machner: Das heißt, wenn ich das richtig verstanden habe: Das waren nicht Profi-Hacker, die sich ins Backend gehackt und eine Systemmanipulation durchgeführt haben. Man hat die Barrieren, die da sind und die einfach zu schwach sind, überbrücken können. Heutzutage wahrscheinlich mit einem Sprachmodell auch für jemanden möglich, der ein bisschen tieferes Verständnis hat. Man hat nicht das Backend manipuliert, sondern einfach nur die Ausgabe.

Das heißt, wenn ich wüsste, dass ein Kind einen Teddy hat, und wüsste, wie der verbunden ist, hätte ich vielleicht die Option, den Teddy sagen zu lassen: Maria, du bist ja meine beste Freundin, wir wollen eine coole Party machen, hol bitte aus der Geldbörse diese komische goldene Karte, da sind Nummern oben, und du bist ja schon so ein großes Mädchen, du kannst mir die sagen. Aber was mir dabei auffällt: Hören diese Teddybären auch zu? Können die auch erfassen? Ich kenne auch Beispiele, wo Kinder Haustüren aufmachen. Da hast du eine Interaktion in der echten Welt, aber da müsste die Sprache auch zurückgehen.

Markus Seme: Genau. Vielleicht noch kurz, weil du vorher die Hacker angesprochen hast: Wir sagen auch immer im übertragenen Sinn Hacker dazu, obwohl es korrekterweise Pentester heißen müsste. Das sind schon Vollprofis, die sind das gewohnt. Neu war für uns, dass sie bereits Schwachstellen gefunden haben, bevor sie mit dem Test überhaupt angefangen hatten, nur weil sie es einmal ausgepackt und sich die Apps installiert haben.

Etwas weniger beunruhigend bei diesem Teddy ist, dass er noch nicht direkt ans Internet angebunden ist, sondern eben über diese App. Wir haben versucht, die Hersteller zu verschleiern, weil wir nicht bewusst einen Hersteller an den Pranger stellen wollten, sondern generell auf das Thema aufmerksam machen.

Dieser Teddybär ist zum Beispiel in Amerika produziert worden, auch um ein bisschen die Klischees zu brechen. Wir haben dann einen kleinen KI-Companion aus China bestellt, von diesen chinesischen Plattformen, und haben uns gedacht: Der muss ja dann wahrscheinlich noch viel leichter zu knacken sein. Interessanterweise war der nahezu unmanipulierbar. Mein Team ist zurückgekommen und hat gesagt: Wir können uns das noch intensiver anschauen, aber dann wird das wirklich zeitaufwendig. Es ist auffallend, wie gut dieses Gerät für normales Spielzeug abgesichert ist.

Mit dem einzigen Wermutstropfen: Als man die Kommunikation zwischen dem chinesischen Spielzeug und dem Backend-System abgefangen hat, hat man gesehen, dass permanent Daten nach China übertragen werden. Und zwar bis zu einer Stunde, nachdem man aufgehört hatte, mit dem Gerät zu sprechen. Das Gerät hatte keine Triggerwörter, wie man es von Sprachassistenten kennt. In dem Moment, wo man es angesprochen hat, hat es übertragen, und das hat auch noch eine Stunde danach weiter übertragen. Bei uns im Büro haben wir dann die Batterien entsorgt. Von der Sicherheit her müsste man aber sagen: So gehört es eigentlich entwickelt, wenn es für unsere Kinder ist. Natürlich ohne Mikrofon, oder zumindest ohne dauerhafte Übertragung.

Eliot Mannoia: Da muss ich jetzt fragen: Wie viele Geräte hören mit, und wie oft? Man bekommt oft dieses Ding, das Handy hört alles mit. Ich habe auch Freunde, die bei großen Technologiekonzernen arbeiten, die sagen, das stimmt nicht, und manche sagen ja. Was ist da genau? Kann man das beantworten, oder ist das Grauzone?

Markus Seme: Diese Diskussion hat man oft, und wir werden auch oft gefragt. Letztendlich kommt es immer darauf zurück: Ein klassisches Unternehmen ist daran interessiert, Geld zu verdienen und nicht seine Reputation zu verlieren oder unnötig Geld zu verbrennen. Würden solche Geräte immer mithören, weil man sagt, mit den Daten möchten wir etwas trainieren, dann muss man wissen: Momentan sind alle KI-Modelle hoch defizitär. Die können gar nicht so viel verlangen, dass die Kosten wirklich gedeckt sind.

Das war das, was uns beim chinesischen Modell gewundert hat: Wenn du eine Stunde lang permanent Text durch ein Sprachmodell schickst, ihn dekodierst und auswertest, dann verursacht das irre Kosten, ohne dass du einen Mehrwert im kommerziellen Sinn hast. Da liegt die Vermutung nahe, dass andere Motive dahinterstehen. Ein klassisches Unternehmen ist daran nicht interessiert, weil es kommerziell keinen Sinn machen würde und nur ein Risiko darstellt. Mit Ausnahme jener Geschäftsmodelle, die darauf basieren, sehr viele Daten zu sammeln, um daraus KIs zu trainieren oder Werbung abzuleiten.

Manuela Machner: Genau, also zwischen der Hardware Handy und den einzelnen Apps, die man installiert hat und die verschiedenste Funktionen haben. Wenn ich bei einer Social-Media-App das Mikrofon aktiviert habe, weil ich selbst Videos mache, dann gebe ich dieser App auch einen gewissen Zugang zum Mithören. Das heißt, nicht das Telefon hat das Problem, sondern die App. Und die haben ein Geschäftsinteresse. Nach meinem letzten Steuerberatertermin haben sie mir gleich Werbung mit Optionen zur Gründung einer GmbH ausgespielt. Da habe ich mir gedacht: Eine Stunde hat es gedauert, und jetzt bekomme ich online die GmbH-Ratschläge.

Markus Seme: Das ist etwas, was wir zum Teil auch bewusst machen. Mit der Datenschutzgrundverordnung, die vor einigen Jahren gekommen ist und an sich eine gute Idee war, aber so umgesetzt worden ist, dass jeder von uns beim Besuch einer Webseite Tonnen von Richtlinien wegklicken muss, hat man genau das Gegenteil bewirkt: dass jeder komplett resignativ sagt, ich durchblicke das ohnehin nicht mehr, und einfach zustimmt.

Ein Hersteller wie Apple wirbt damit, sicher mit den Daten umzugehen, seine Produkte zu verkaufen und nicht die Daten. Man kann das glauben oder nicht. Aber ich sage immer: Letztendlich muss man fragen, womit das Unternehmen Geld macht. Darauf kann man sich immer verlassen. Wenn das Unternehmen einen Vorteil daraus zieht, macht es Dinge. Wenn es keinen Vorteil daraus zieht und der Schaden groß wäre, wird es versuchen, sie nicht zu machen.

Eliot Mannoia: Nur um konkret nachzufragen: Habt ihr außer bei diesem chinesischen Spielzeug gesehen, dass Apps oder Hardware mithören und mitschicken?

Markus Seme: Nein, nicht in dieser Form. Mit Ausnahme dieses Geräts war das nirgends herauszulesen, und für unseren technischen Verstand ist auch nicht nachzuvollziehen, warum man so etwas macht, weil es kommerziell keinen Sinn ergibt, wirklich so lange den vollen Daten- und Audiostream zu übertragen. Das ist etwas sehr Außergewöhnliches. Gepaart damit, dass das Produkt, obwohl es ein Billigprodukt ist, so sicher konstruiert ist, kann man sich seine Überlegungen zusammenreimen.

Manuela Machner: Wir haben jetzt über diese Außenmanipulation geredet, dass das Kind die Kreditkarte holt oder die Haustür aufsperrt, weil der beste Freund, der Teddybär, diese Anweisung gibt. Du hast vorher aber auch etwas sehr Gutes gesagt: Es wird ja nicht kontrolliert, was die Geschichten inhaltlich ergeben. Und wir haben in KI-Systemen sehr oft Bias-Themen, also diese ganze Vorurteilsthematik. Das Mädchen ist immer die Prinzessin und wird vom Ritter gerettet. Ich nehme an, wenn nicht einmal die normale Security läuft, dann hat sich bei dem Produkt wahrscheinlich auch niemand eine Bias-Grenze überlegt.

Markus Seme: Das ist bei Kindern noch viel schwieriger als bei Erwachsenen. Wenn du heute bei einem großen regulierten Modell aus Amerika eine Phishing-Mail schreiben lassen willst, Code für eine Schadsoftware brauchst oder eine Bombenanleitung, wird das klarerweise unterbunden. Mit ein paar Tricks kommt man meistens trotzdem herum, aber in der Regel reicht es für normale Personen.

Bei Kindern ist dieser Korridor unendlich breit. Muss ein fünfjähriges Kind irgendetwas mit Kreditkarteninformationen anfangen, oder muss es wissen, wie man einen Alkoholcocktail mixt? Dort wird es noch viel schwieriger als bei Erwachsenen.

Natürlich sind die Hersteller dafür verantwortlich, und es braucht auch Regularien. Da muss man wirklich sagen, die EU leistet gute Arbeit. Im nächsten Jahr kommt der sogenannte Cyber Resilience Act, der genau in diese Kerbe schlägt. Das war auch ein Grund, warum wir gesagt haben, wir schauen uns das an. Er zwingt Anbieter digitaler Produkte dazu, auf Cybersicherheit viel mehr Wert zu legen, sonst können sie ihre Produkte in der EU nicht mehr verkaufen. Mit viel Hoffnung, wenn es nicht wieder danebengeht wie bei der Datenschutzgrundverordnung, sollte es ab 2028 nicht mehr möglich sein, solche Produkte am europäischen Markt zu verkaufen.

Das andere ist: Wir wissen alle, wie sehr Unternehmen unter Druck stehen. Gerade im Bereich Künstliche Intelligenz ist die Dynamik unglaublich hoch, gleichzeitig werden die Kosten weit nach unten gedrückt. Wenn du so etwas produzieren willst, musst du schneller sein als alle anderen. Früher haben wir von Jahren geredet, jetzt reden wir teilweise von Wochen. Und die Kosten müssen so niedrig sein, dass es am besten wäre, das Produkt kostet nichts. Woran man dann zuletzt denkt, weil es das Aufwendigste und Kostenintensivste ist, ist, es auch sicher zu machen.

Funktionalitäten sind heute dank KI unglaublich leicht, günstig und schnell umzusetzen. Genau gegensätzlich verhält es sich mit der Security: Sie wird immer schwieriger umzusetzen, weil die Angriffsflächen so groß werden, und sie wird immer teurer. In diesem Dilemma stecken diese Hersteller. Aber es hilft nichts, da geht es an die Schwächsten in unserer Gesellschaft, an unsere Zukunft.

Bei den sozialen Medien haben wir es schon komplett verschlafen. Ich glaube, niemand wird mehr behaupten, dass soziale Medien oder überzogene Handynutzung gesund für unsere Kinder sind. Und trotzdem, da muss man die Eltern wieder in Schutz nehmen: Jeder von uns kennt Situationen, wo er sagt, ich weiß, es ist nicht gut, aber jetzt gebe ich dem Kind einmal das Handy, weil ich mich eine Viertelstunde konzentrieren muss. Das Gleiche wird auch bei solchen Produkten passieren. Wichtig ist, es dann zumindest bewusst zu tun und sich der Risiken bewusst zu sein.

Eliot Mannoia: Sehr erfrischend, einmal eine positive Einstellung zur EU-Regulierung zu hören. Ich bin ja halber US-Amerikaner, und ich bin froh, in Europa zu wohnen. Wie siehst du das mit der menschlichen Komponente? Wenn du Beratung machst, ich bin ja digitaler Psychologe, mich interessiert das Menschliche. Was sind die menschlichen Empfehlungen und Beratungstipps, die du gibst, wenn es um Security geht?

Markus Seme: Das ist auch eines unserer Spezialgebiete. In der Security-Branche nennt sich das Awareness, also Awareness schaffen oder Awareness-Trainings. Das fängt dort an, dass man die Sicherheit technisch überprüft, mit Penetration Tests. Wir werden auch hin und wieder beauftragt, wirklich Leute verkleidet zum Unternehmen zu schicken. Der kommt dann mit seiner Arbeitsmontur und muss schnell einmal die Klimaanlage warten. Und dann sieht man, wie leicht er hereingelassen wird und welche Geschichten er erzählen muss.

Es geht bis dahin, dass verschiedene Regularien oder Gesetze mittlerweile bestimmten Branchen vorschreiben, ihren Mitarbeitenden regelmäßig solche Awareness-Trainings zukommen zu lassen. Da unterscheidet sich dann wirklich die Qualität. Wenn ich nur ein Hakerl darunter haben will, damit ich vor dem Regulator sagen kann, ich trainiere meine Mitarbeitenden, dann kann ich das Training ganz anders machen. Aber am besten wirkt es, das kennen wir alle von uns selbst, wenn man ein Beispiel aus seiner eigenen Welt bekommt. Da war dieser KI-Bär ein ganz gutes Beispiel, weil es sich in einer Umgebung abspielt, die für jeden von uns hochsicher sein sollte: im Kinderzimmer.

Dieser Aha-Moment ist das eine Wichtige. Aber danach kann folgen: Oh Gott, ich bin komplett machtlos, oder da muss man sowieso der totale Experte sein. Und da ist das Wichtige, wie man weitergeht. Der zweite Punkt ist, zu zeigen, dass man weder Experte sein muss, um sich möglichst sicher aufzustellen, noch hoffnungslos verloren ist. Mit ein bisschen Hausverstand und ein bisschen Verständnis, wie diese Mechanismen funktionieren, kann jeder seinen Schutzgrad auf über neunzig Prozent erhöhen. Wenn man wirklich Ziel eines absoluten Profis wird, dann wird es sowieso immer schwer. Aber das betrifft den Experten genauso wie den Laien. Jeder Laie kann sich durch Awareness und ein paar einfache Regeln sehr gut schützen. Dann bekommt man das Gefühl: Ich bin dem nicht wehrlos ausgesetzt, sondern wenn ich ein paar Dinge berücksichtige und anders denke, kann ich mich gut schützen.

Manuela Machner: Ich habe vor vielen Jahren, das ist schon fünfzehn Jahre her, erlebt, dass jemand in mein Büro gekommen ist und gesagt hat, er müsse meine Bankomatkasse überprüfen. Er sei von einem Kartenanbieter und müsse seine Karte in das Terminal stecken. Im Nachhinein war der echt. Ich habe ihn angeschaut und gesagt: Sicher nicht. Erstens, wo ist der Ausweis? Sie haben keinen Termin, ich lasse Sie keine Karte in mein Terminal stecken. Er hat mich angeschaut, als wäre ich verrückt. Und ich bin eigentlich auch jemand, der am Computer immer sagt, okay, okay, okay. Für mich war die Vorstellung so abstrakt, dass der das macht. Er hatte tatsächlich einen Ausweis. Ich habe dann auch beim Anbieter angerufen, nicht auf der Telefonnummer, die er mir gegeben hat. Ich habe seinen Personalausweis kopiert und ihn weggeschickt.

Markus Seme: Perfekt reagiert. Das würden wir uns wünschen.

Manuela Machner: Meine Kolleginnen haben gemeint: Na geh. Aber ich war immer die Technikerin, für mich war klar, technisch kann viel gehen. Was man auf der anderen Seite sagen muss: Ich finde es unprofessionell von Firmen, solche Mitarbeitenden unangekündigt in Unternehmen zu schicken. In Wirklichkeit machst du dann die Tür auf, weil man es gewohnt ist, dass so einer kommt. Im dritten Jahr, als so einer gekommen ist, habe ich den Ausweis nicht mehr kopiert und habe auch nicht gewusst, ob der echt ist. Das ist dann das Risiko.

Markus Seme: Das ist ein gutes Beispiel. Lass es mich um das Thema KI erweitern. Bisher haben sich solche Dinge im Physischen abgespielt, und man hat gesagt, eine Mail erkennt man schon irgendwie. Aber bereits vor zwei Jahren hat es bei uns in der Steiermark die ersten Unternehmen gegeben, wo über WhatsApp-Calls die Stimme des Vorstands exakt nachgebaut worden ist und Mitarbeitende dazu bewegt werden sollten, Überweisungen zu tätigen. Und das wird sich jetzt auch in Richtung Videocall ausdehnen. Dann ist es umso wichtiger, dass man so reagiert, wie du sagst: dass man eine fixe Prozedur hat, von der man nicht abweicht und die eine Selbstverständlichkeit ist.

Manuela Machner: Ich habe auch Kursteilnehmerinnen und Kursteilnehmer gehabt, die diese Fake-Anrufe mit den Stimmen von Familienmitgliedern bekommen haben, als Privatpersonen, gar nicht in großen Firmen. Wir haben in der Familie auch ein Passwort. Vor zwei Jahren haben meine Schwiegersöhne wohl gedacht, die spinnt. Inzwischen lacht in unserer Familie niemand mehr über diese Sicherheitsmaßnahmen. Ich glaube, dass die Allgemeinheit unterschätzt, was alles möglich ist, und vor allem auch wo. Deswegen habe ich dein Spielzeug-Beispiel so treffend gefunden.

Am Computer und beim Handy hat man vielleicht noch diese Denke. Aber bei vielen Dingen im Alltag, die nicht nach Technik aussehen, auch wenn sie technisch gesteuert sind, so wie die Sprache des Teddybären, denkt man einfach viel weniger nach. Wenn das Auto mit dir spricht und dir Tipps gibt, läuft da in Wirklichkeit überspitzt formuliert auch nichts anderes als beim Teddybären. Ich glaube, dass man dem viel blinder vertraut als dort, wo man selbst noch aktiv etwas tut.

Markus Seme: Absolut. Und das ist etwas für Eliot. Wir wissen ja, dass bei sozialen Medien nicht nur Softwareentwickler arbeiten, sondern auch viele Psychologen, die sich überlegen, wie sie die Leute vor dem Bildschirm am besten fangen und noch länger dort behalten. Ähnlich ist es in der professionellen Cybercrime-Szene. Das sind nicht die Kapuzenträger im Keller, wie man früher gedacht hat, das sind hochprofessionelle Unternehmen, die in einer Lieferkette drinnen sind.

Wir wissen von Unternehmen, deren Systeme nicht einfach irgendwann stillgelegt werden. Nehmen wir ein Agrarunternehmen: In der Erntezeit müssen die Lastwagen und Traktoren fahren und gewogen werden. Genau in dieser Zeit werden sie angegriffen, sodass die Lastwagen bis auf die Autobahn stehen und diese blockieren. Dann ist es keine emotionale Entscheidung, aber auch pragmatisch und rational schwierig zu sagen: Nein, ich zahle kein Lösegeld, ich kriege das schon anders hin.

Im privaten Bereich versucht man dann oft, auf die emotionale Schiene zu gehen. Man darf auch nicht glauben, dass man selbst ein Idiot ist, wenn einem so etwas passiert. Sogar mir selbst ist im letzten Sommer passiert, dass ich eine Buchung für den Urlaub gemacht habe. Wir machen das immer sehr kurzfristig. Und dann bekomme ich eine Mail von einem Buchungsportal, ich müsse das bestätigen, damit meine Reservierung nicht storniert wird. Ich habe mich noch wahnsinnig geärgert, wieso ich das bestätigen muss, und als ich dann auf die Webseite gegangen bin, habe ich mir gedacht: Ich habe ja gar nicht dort gebucht. Urlaub ist immer etwas Emotionales und Stressiges. Den Urlaub nicht machen zu können, weil man irgendwo nicht draufgedrückt hat, ist die Horrorvorstellung, und das dann seiner Familie erklären zu müssen. Da wird mit so viel Psychologie gearbeitet, dass wir alle sehr vorsichtig sein müssen.

Eliot Mannoia: Toll, dass du so offen bist, das auch zuzugeben. Ich habe eine brennende Frage. Ich denke mir manchmal: Wie wird es sein, wenn wir älter sind? Jetzt schauen diese Angriffe ja meistens noch ein bisschen offensichtlich aus, Schreibfehler und so weiter. Und ich denke mir, in zwanzig Jahren wird das dann so perfekt. Wird es für uns schwieriger, wenn wir Pensionisten sind? Oder werden wir eine KI-Assistenz haben, die uns richtig aufklärt? Wie schätzt du das ein?

Markus Seme: Ich bin immer vorsichtig damit, aus der Vergangenheit in die Zukunft hochzurechnen, gerade im Umfeld von Technologie und Künstlicher Intelligenz, weil das keine lineare Entwicklung ist. In der Cybersecurity war es immer ein Kampf Gut gegen Böse. Mal waren die Angreifer einen Schritt voraus, dann haben die Verteidiger nachziehen müssen.

KI war tatsächlich eine der wenigen Technologien, die anfänglich viel mehr Vorteile auf der Verteidigerseite gebracht hat, weil sie viel besser darin ist, Anomalien zu erkennen und zu sagen: Ich weiß, wie der Normalzustand aussieht, und jede Abweichung davon ist etwas Besonderes, da muss man aufpassen. Durch die generative KI ist es jetzt leichter, Texte, Bilder, Fotos und Code zu generieren. Aber auf der Verteidigerseite wird KI genauso exzessiv genutzt. Bei Unternehmen ist es eines der Entscheidungskriterien für eine neue Sicherheitslösung, ob sie KI-basiert ist. Wenn eine Sicherheitslösung heute nicht in irgendeiner Form auf KI basiert, hat sie keine Chance mehr am Markt. So wird sich das hochschaukeln. Tatsächlich ist es für uns aber sogar schwer vorauszusagen, wie sich die Technologie in ein oder zwei Jahren weiterentwickelt.

Manuela Machner: Das Spannende ist, dass die negativen Kräfte so kreativ sind. Wir denken in unseren Schemata, und erstens macht uns das angreifbar, weil die Schemata das Leichtere sind. Ich bin grundsätzlich ein sehr unvorhersehbarer Mensch, man weiß nicht, ob ich links oder rechts gehe, also bin ich schwerer zu treffen. Aber sobald jemand meinen Kalender hat, weiß er auch, wo ich bin, dann bin ich wieder leichter zu treffen.

Die Problematik ist natürlich, dass wir in unserer durchstrukturierten Welt, in der sich immer mehr im digitalen Raum abspielt, als Menschen immer angreifbarer werden, privat wie in Unternehmensstrukturen. Ganz ehrlich: Keiner von uns dreien könnte ohne Kalender, Handy und Notebook einen realen Arbeitstag bestreiten. Wenn unsere Daten wirklich weg sind, haben wir keine Kundenbeziehungen mehr und Probleme mit Privatbeziehungen, weil wir weder Telefonnummer noch E-Mail hätten. Es wird immer getrennt in digital und real. In Wirklichkeit ist es eine Illusion, dass mein Leben noch getrennt ist vom digitalen Leben.

Markus Seme: Ich mache viele Keynotes und Vorträge, jetzt klarerweise immer öfter auch zum Thema Künstliche Intelligenz. Eine Herausforderung ist, dass man eine Keynote, die man vor zwei Wochen gehalten hat, nicht einfach wiederverwenden kann. Man muss schauen, was in diesen zwei Wochen passiert ist. Aber das Schwierigste ist, das Publikum am Ende nicht mit einem negativen Gefühl gehen zu lassen, sondern mit einem Funken Hoffnung.

Vor zwei Wochen habe ich vor steirischen Lehrerinnen und Lehrern eine Keynote gehalten, wie KI das Arbeitsleben verändert. Und das wird es dramatisch verändern. Vielleicht ist es nur naive Hoffnung, aber ich glaube: Je mehr wir digitalisieren, je mehr KI in unser Leben Einzug hält und je mehr sie von uns übernimmt, desto wichtiger werden wieder diese absoluten Basisfähigkeiten, die wir vielleicht schon vergessen haben.

Das war auch etwas, was mich die Lehrenden gefragt haben. Es geht nicht mehr darum, Dinge zu vermitteln wie die Hauptstadt irgendwelcher Länder, das kann man jederzeit nachschauen. Sondern dass man Verpflichtungen einhält, dass man gewissenhaft und gründlich ist, dass man eine emotionale Komponente gegenüber seinen Mitmenschen hat. Solche Dinge werden wieder wichtiger. Wir sehen das als Unternehmen: Wenn wir jemanden neu aufnehmen, ist es wahnsinnig schwer, ihn technisch zu überprüfen, weil er sich permanent an neue technische Herausforderungen anpassen muss. Aber dann zählt: Kommt der pünktlich? Kann der jemandem in die Augen schauen? Ist er in der Lage, Small Talk zu führen? Hat er Hausverstand? Solche Dinge werden wieder wichtiger werden, glaube ich.

Eliot Mannoia: Hundert Prozent. Kritisches Denken, soziale Fähigkeiten, emotionale Intelligenz. Gibt es etwas, das wir noch nicht angesprochen haben und das unsere Zuhörerinnen und Zuhörer noch wissen sollten?

Markus Seme: Das brennendste Thema für uns im Unternehmen ist KI, weil sie einfach jede Woche alles verändert. In unserer Branche bekommt man das sehr stark mit. Viele Branchen sind davon noch nicht so stark betroffen, aber diese Welle kommt. Und nachdem man zuerst gedacht hat, das betrifft eher repetitive, nicht so komplexe, nicht kreative Tätigkeiten, hat man sich komplett getäuscht. Es erwischt genau die Softwareentwickler und die Kreativen.

Und wenn wir jetzt die Hoffnung haben, dass es die Handwerker nicht erwischt: In China gibt es kaum noch ein innovatives Unternehmen, in dem nicht humanoide Roboter herumlaufen. Das ist etwas, was wir in Europa überhaupt noch nicht mitbekommen. Das wird die nächste Welle sein.

Das zu verhindern oder sich dagegen abzuschotten wird nicht möglich sein und war noch nie in der Geschichte eine sinnvolle Herangehensweise. Genauso wie beim KI-Teddybären sollte man auch bei diesen neuen Technologien am Anfang, wenn man noch die Chance hat, spielerisch darauf zugehen und im Fall dieser Spielzeuge gemeinsam mit dem Kind erforschen, auch die Vorteile herausfinden. Und trotzdem immer eine gewisse Skepsis mitbringen, was uns auch bei den sozialen Medien guttun würde. Gleichzeitig aber nicht in Resignation abgleiten und sagen, da hilft jetzt gar nichts mehr. Und das, was du vorher angesprochen hast: dass die EU ihre Schattenseiten hat, aber durchaus positive Dinge bewirkt, auch wenn wir Regulatorien manchmal als Belastung empfinden. Man würde sich wünschen, dass viel mehr Leute das so erkennen und wahrnehmen.

Manuela Machner: Ein gutes Schlusswort. Es ist für uns alle vieles lästig, und oft hat man das Gefühl, in der EU ausgebremst zu werden, gerade in der technologischen Entwicklung. Auf der Konsumentenseite sind wir immer sehr froh darüber. Wir haben zwei Sichtweisen, jeder von uns. Und ich glaube einfach, diese Vorsicht oder auch diesen Menschenverstand, diesen Skill, den wir eigentlich noch brauchen: ein bisschen mitdenken. Wenn alles besonders billig oder gratis ist, ist das für mich immer ein Signal, besonders aufzupassen. Und wenn Technik ins Spiel kommt, dass Technik mehr ist als meine alte Puppe, die eine kleine Schallplatte drinnen hatte, die ein Lied abgespielt hat. Da sind wir in einer anderen Kategorie, und diese Dinge sollte man mitbedenken.

Eliot Mannoia: Ich hatte noch ein spannendes Reframe von einem Gründer aus der Chipbranche. Er hat gemeint, eigentlich haben nicht die Europäer Angst. Es heißt immer, die Europäer überregulieren, weil sie Angst haben. Er hat gesagt: Nein, eigentlich haben die Amerikaner Angst. Sie haben so viel Angst, etwas zu verpassen, dass sie einfach Vollgas vorauslaufen. Und die Europäer haben keine Angst, wir lassen uns Zeit, wir regulieren und schauen uns das in Ruhe an.

Markus Seme: Die Wahrheit liegt wahrscheinlich in der Mitte.

Manuela Machner: Danke, dass du da warst, Markus. Es war extrem spannend und interessant. Nicht nur das Thema, sondern auch, wie ihr das angeht und wie ihr das löst. Ich freue mich auf die nächste Folge von Mind / Machine. Alles Liebe.