Ist Datenschutz so das Totschlagargument innerbetrieblich, Diskussionen irgendwie abzukürzen? Will ich nicht, weil Datenschutz geht nicht, muss ich mich nicht beschäftigen. Das sehen wir ja auch in vielen technischen Bereichen zu sagen, oh, das ist riskant, das einzusetzen, deswegen setze ich es gar nicht ein. Also diese Schatten IT, die da heranwächst in vielen Unternehmen, die ist eigentlich das viel größere Problem. Und dann lebst Du in 1 Welt am Schluss des Tages, wo für dein individuelles Leben ganz maßgebliche Entscheidungen von Maschinen getroffen werden und nicht mehr von Menschen.
Dr. Sebastian Kraska:Die Frage, die man spitz stellen kann, brauchte es wirklich eine KI Verordnung.
Christoph Magnussen:Heute nehmen wir die wichtigste Folge AI to the DNA auf, die es gibt für den deutschen Markt. Ich sitze nämlich im Café Datenschutz. Yes Leute, das ist kein Gag, sondern ganz ernst gemeint, ich bin hier bei Dr. Sebastian Kraska, denn die Frage nach, darf ich das überhaupt mit KI? Das ist die häufigste Frage auf Youtube und die klären wir heute ein für alle Mal und deswegen nehmen wir uns Zeit, freut euch auf eine extrem spannende Folge AI to the DNA.
Christoph Magnussen:Wir klären hier jeden Aspekt und da ist richtig viel drin für euch zu Hause, in den Firmen und für alle, die vom Tool-Touristen zum AI- Anwendungsweltmeister werden wollen. Anwendungsweltmeister ist Stichwort. Falls euch die Panflöte im Hintergrund auffällt und die Fangesänge, das ist das Rückspiel Real Madrid, was stattfand. Also ab und zu wird ihr mal was hören, aber wir haben uns sehr viel Mühe gemacht, das nicht. Nur falls ihr euch fragt, wir sind hier in der Münchener Innenstadt.
Christoph Magnussen:Die wohl wichtigste Folge AI to the DNA findet hier statt. Ich saß gute 7 Stunden im Zug, von Hamburg nach München zu fahren, diese Folge aufzunehmen. Ich freu mich sehr. Danke, dass wir da sein dürfen, lieber Sebastian.
Dr. Sebastian Kraska:Willkommen in München trotz Streik und freut mich sehr, dass Du den Weg hierher auf dich genommen hast.
Christoph Magnussen:In deinem Datenschutzcafé vorne war es etwas eng für den Dreh, aber das haben wir ja schon vorher gezeigt. Insofern könnt ihr mir vorstellen, wir haben eine lange und enge Verbindung, denn Du bist nicht nur Datenschutzbeauftragter, auch unser Datenschutzbeauftragter. Du bist nämlich 1 der besten des Landes, deswegen haben wir dich gewählt, schon viele, viele, viele Jahre. Und deswegen bist Du unser Go to, wenn's die kritischen Fragen geht, weil Du auch eine der Stimmen bist, die in Brüssel auch viel gehört werden, die auch vermitteln zwischen transatlantischen Unternehmen und hier. Und Du kannst Licht ins Dunkel bringen.
Christoph Magnussen:Und deswegen ist diese Folge, weil wirklich auf Youtube mit Abstand die meisten Kommentare zum Thema Datenschutz kommen, die Folge, auf die ich mich gefreut
Dr. Sebastian Kraska:Ich tu mein Bestes. Ich hoffe, ich kann den Ansprüchen gerecht werden.
Christoph Magnussen:Bei uns geht's darum, in dem Format, Du kennst es ja bisschen, ich sag ja immer vom vom Tooltourist zum AI Anwendungsweltmeister oder Weltmeisterin zu werden. Und viele Menschen trauen sich nicht mal zum Training sozusagen, weil sie sagen, ich kann das ja nicht benutzen oder in der Firma dürfen wir es nicht benutzen. Ich würd gern, dass wir am Anfang einmal mit den häufigsten Vorurteilen aufräumen, die Du kennst. Und vielleicht, bevor Du es machst, sag mal ruhig 2, 3 Sätze für jemanden, der dich nicht kennt und sagt, Datenschutz, ja, ich sag das immer wieder, aber tja, irgendwie, das schwingt so mit, aber mehr nicht.
Dr. Sebastian Kraska:Also mein Name ist Sebastian Kraska. Ich hab ein Unternehmen zusammen mit meinem Vater gegründet, die IITR Datenschutz GmbH. Und wir unterstützen Unternehmen als Datenschutzbeauftragte und im Bereich Informationssicherheit mit entsprechender Software, Dokumentationssoftware, E-Learning-System und Auditsystem und haben da hier ein kleines spezialisiertes Team, mit dem wir Unternehmen durch diesen Dschungel versuchen zu führen.
Christoph Magnussen:Und das machst Du auch als Anwalt eben auch nicht erst seit gestern, sondern Du bist eben auch im Rechtsbereich da eine der Stimmen, die auch viel dazu sagen. Du hast ja auch Youtubekanal.
Dr. Sebastian Kraska:Genau, also ich ich hab ich bin Rechtsanwalt und Diplomkaufmann, hab also Jura und BWL studiert und hab mich während des Jurastudiums schon in das Gebiet des Datenschutzrechts langsam verloren. Das war jetzt 2003, als ich mit dem Studium anfing und 2009, als ich fertig war. Also lange her, mache das Datenschutzrecht seitdem und hab dann also auch die verschiedenen Entwicklungsphasen, auch die ganze DSGVO Implementierung und so weiter da verfolgt. Und ja, richtig, wir haben auch einen Youtube Kanal, den wir hier ein Zimmer weiter drehen und über den wir versuchen, wenn heißt Kaffee Datenschutz quasi in der Länge, die es braucht, ein Cappuccino zu trinken, komplexe Dinge zu versuchen, einfach kompakt darzustellen. Das ist ja ein wenig auch aus meiner Sicht die Kunst.
Dr. Sebastian Kraska:Ich sag mal, grad in der Digitalregulierung ist es einfach, Komplexität hinzuzufügen, ja, und es auch einfach, nein zu sagen. Die Kunst ist eher darauf, das Ganze verständlich und praxisgerecht umsetzbar zu machen. Und das ist der Ansatz, den wir auch versuchen.
Christoph Magnussen:Und wir haben vielleicht einmal zur Einordnung mit dir das schon sehr lange gemacht. Deswegen die die Beziehung zwischen Blackboat und deinem Unternehmen ist nicht einfach nur, wir rufen nicht ab und zu mal an, sondern ich habe von Anfang an gesagt, Datenschutz ist für uns ein elementarer Kern dessen, was wir tun. Das heißt, du und ich haben auch häufig darüber gesprochen, wenn neue Technologien kommen, was passiert da jetzt gerade? Und das war für mich der entscheidende Punkt, weil Du eben technisch auch sehr gutes Verständnis hast von den Themen, musst Du ja auch, das einordnen zu können. Das ist etwas, was mir häufig auffällt, dass es bei Menschen fehlt.
Christoph Magnussen:Und ich weiß, so haben wir damals sehr früh DSGVO oder jetzt AI Act und so weiter besprochen. Kannst Du aber genau da einmal ansetzen? Weil ich hab das Gefühl, dass diese technische Unwissenheit häufig dazu führt, dass Leute sagen, ah, kenne ich mich nicht mit aus, aber dann haben sie eine starke Meinung, wenn's Datenschutz geht. Das ist das gleich 1 der ersten Probleme, denen Du begegnest, dass Du sagst, das müssen wir einmal aufräumen oder wo würdest Du sagen, wo soll man ansetzen?
Dr. Sebastian Kraska:Ganz viel auf den Datenschutzkonferenzen international zumindest, die ich im letzten Jahr besucht habe, war haben den Einstieg gewählt zum Thema Mentalität, fand ich ganz interessant. Juristische Konferenzen, die aufmachen mit Mentalität, ich und ich mach gleich den Bogen zu dem zu deiner Frage, aber der Versuch zu sagen, das geht alles nicht, weil Risiko ist für sich auch riskant. Und vielleicht brauchen wir auch gerade auch in Deutschland eine gewisse Rejustierung, wie wir ein Unternehmen mit dem Thema Risiko umgehen. Und das sehen wir ja auch in vielen technischen Bereichen zu sagen, oh, das ist riskant, das einzusetzen, deswegen setze ich es gar nicht ein, ist vielleicht dann am Schluss auch der tatsächlich riskantere Weg. Aber das vorweggenommen zum Thema Datenschutz.
Dr. Sebastian Kraska:Also es ist ein wenig eigentlich, ich sag mal, verloren gegangen, das Wissen in der Breite, für was das Datenschutzrecht eigentlich steht. Es ist nämlich eigentlich entwickelt worden als Abwehrrecht des Einzelnen gegen staatliche Überwachung. Also ein Demokratieermöglichungsgesetz, wenn Du so Was
Christoph Magnussen:auch sehr Sinn macht, ja.
Dr. Sebastian Kraska:Was auch sehr Sinn macht. Und es ist aber ich sag mal, dieser eigentliche Ansatz ist in Regulierung und ein ein bisschen ertrunken. Ich will es nur immer wieder auch betonen, dass das Datenschutzrecht im Kern wirklich einen einen sinnvollen und und und relevanten Ansatz hat.
Christoph Magnussen:Ob
Dr. Sebastian Kraska:wir den mit so viel Regulierung, ich sag mal, ertrunken haben oder ob das ein bisschen, das ist eine andere Diskussion und ob die öffentliche Hand sich da vielleicht auch ein bisschen anders aufgestellt hat, als sie hätte sollen, andere Diskussion. Aber der das eigentliche Wesensmerkmal und der eigentliche Kern, der ist da und der ist auch aus meiner Sicht schützenswert und den sollten wir versuchen, als Gesellschaft aufrechtzuerhalten. Das nur vorweg geschickt. Jetzt zu deiner Frage, hört man Datenschutz als so Allgemeinargument geht nicht? Ja, natürlich.
Dr. Sebastian Kraska:Es ist viel Also ich
Christoph Magnussen:gebe dir ein Beispiel, ne? Also Youtube Video kann man hier in meinen Kommentaren durchgehen. Ich erkläre was zu Claude oder Claude Code und dann kommt immer gleich der erste Satz, ist ja nett, aber bei uns geht das nicht, weil ist ja Claude und geht in die USA. Ja. Das ist der typische Satz.
Christoph Magnussen:Und da kannst Du Claude austauschen mit Google, ChatGPT und Co.
Dr. Sebastian Kraska:Die Diskussion ist jetzt halt häufig auch geprägt von gefährlichem Halbwissen oder vielleicht dann auch ist Datenschutz so das Totschlagargument innerbetrieblich, Diskussionen irgendwie abzukürzen. Will ich nicht, weil Datenschutz geht nicht, muss ich mich nicht beschäftigen, fertig. Also insofern hört man das schon. Zu deiner Frage zu kommen, was sind grundsätzliche Missverständnisse, wenn's jetzt das Thema KI-Einsatz geht? Es gibt schon Möglichkeiten, das machen auch, ist nicht meine Privatmeinung, machen auch die Aufsichtsbehörden immer wieder klar, Rahmenbedingungen, unter denen Du natürlich KI Systeme datenschutzkonform einsetzen kannst.
Dr. Sebastian Kraska:Wir können nachher mal auf die Details dann zu sprechen kommen, aber dieses Pauschalargument, das würde ich zurückweisen.
Christoph Magnussen:Also gerade in Hinblick, vielleicht kannst Du das mal bisschen auseinanderpflücken, weil in vielen Firmen entsteht dann auch eine ein Normalisierungseffekt. Das heißt, nehmen wir mal, Microsoft ist gesetzt seit Corona gefühlt in vielen Firmen und sagen, wir benutzen Microsoft Teams, deswegen machen wir jetzt den Copiloten, macht ja erst mal Sinn. Und damit ist es fein, weil die Server sind in Deutschland und das Ding ist datenschutzkonform. Claude könnt ihr nicht verwenden oder könnt ihr nicht verwenden, weil die Server sind woanders und so geht nicht. Das ist dann das Argument.
Christoph Magnussen:Und der Effekt entsteht ja dann, dass dann Microsoft gesetzt genommen wird. Ist auch fein und wie gesagt, nichts gegen nichts gegen irgendeines dieser Unternehmen, weil wir arbeiten alle täglich mit denen. Ich sag einfach dann wird's als normal angenommen, ich speicher alles dort und das passt schon. Das ist dann auch noch sicher.
Dr. Sebastian Kraska:Mhm.
Christoph Magnussen:Oder strategisch sicher vor dem Zugriff von anderen Regierungen und so weiter. Das hat ja nichts mit dem Datenschutz zu tun.
Dr. Sebastian Kraska:Gucken wir uns mal die Anforderungen an, die das Datenschutzrecht an uns stellt und jetzt mal ganz unabhängig von KI oder nicht. Früher hatten wir die Rechner bei uns im Unternehmen, quasi im Keller, ja, so. Dann kam irgendwann der ganze Trend, das auszulagern. Das Datenschutzrecht kannte diese Auslagerungsvorgänge schon immer, heißt Auftragsverarbeitung. Ein anderer verarbeitet Daten in meinem Auftrag auf meine Weisungen entsprechend.
Dr. Sebastian Kraska:Ich bleib datenschutzrechtlich dafür verantwortlich, der andere muss tun, was ich ihm quasi anweise. Ist meine verlängerte Werkbank, so. Und wenn ich mit dem anderen einen Auftragsverarbeitungsvertrag abschließe, jetzt stark vereinfacht gesprochen, darf ich dem die Daten geben, die er dann in meinem Auftrag auf meine Weisung verarbeitet. So. Ist, ich sag mal, auch in seinen Anforderungen und so weiter relativ klar in der DSGVO beschrieben, so.
Dr. Sebastian Kraska:Wenn ich jetzt die Daten in irgendeiner Weise ihm gebe und er möchte sie nicht nur dafür einsetzen, Datenverarbeitungsvorgänge für mich durchzuführen, sondern er möchte sie auch für eigene Zwecke einsetzen, brauchst dafür eine separate Rechtsgrundlage. Soweit ja eigentlich auch noch sinnvoll, ne, weil er Du Du gibst ihm deine Buchhaltungsraten und jetzt geht er her und sagt, ist ja total interessant. Mit deinem Buchhaltungssatz mach ich noch irgendwas anderes mit, wirst Du wahrscheinlich auch sagen. Schwierig. Schwierig.
Dr. Sebastian Kraska:Musst Du mich fragen, muss ich klären, darfst Du das oder dergleichen. So. Das jetzt mal übertragen angewandt auf eine KI Auslagerung. Ein anderer, Du kannst deine Daten einem anderen geben, der weisungsgebunden die Daten für dich verarbeitet. Wenn's aber darum geht, dass der sagt, Mensch, ist total spannend, was Du mir hattest an Daten gegeben hast, damit trainier ich jetzt meine Modelle, dann wird's diffizil.
Dr. Sebastian Kraska:Also da ist schon die erste Differenzierung bei den KI Anwendungen zu sagen, ja, Du darfst Dienstleister einsetzen, die in deinem Auftrag weisungsgebunden die Daten für dich verarbeiten. Die dürfen die aber nicht für eigene Zwecke, zum Beispiel nicht für eigenes Training der Modelle verwenden.
Christoph Magnussen:Ein konkretes Beispiel, was wir immer gesagt haben, Anfangstage gab es noch keinen Firmenaccount. Das heißt, da musste man händisch das Training ausschalten, das auf den eigenen Daten trainiert wird. Trotzdem hatte man dann keine Auftragsdatenverarbeitung mit OpenAI , die gab es zu dem Zeitpunkt noch nicht. Das hatte gefehlt. Und jetzt ist es so bei den Businesstools Codex, Claude Code, ChatGPT Business und so weiter gibt es A keine Möglichkeit, Training einzuschalten, damit genau dieses Weiterverarbeiten nicht passiert und B ich hab eine Auftragsverarbeitungsarbeitung.
Christoph Magnussen:Das
Dr. Sebastian Kraska:Korrekt. Genau. Also bei den ganzen Geschäftsprodukten der großen Anbieter ist das mittlerweile implementiert. Du kriegst Auftragsverarbeitungsvertrag, die sichern dir das zu und kein Training der eigenen Modelle. Heißt auch schon, wenn Du in einem Unternehmen bist und die sagen, ist alles des Teufels, setzen wir nicht ein und die Leute setzen dann anstelle dessen ihre privaten ChatGPT Accounts ein, wo das genau schwierig.
Dr. Sebastian Kraska:Also diese Schatten IT, die da heranwächst in vielen Unternehmen, die ist eigentlich das viel größere Problem. Und sie findet in quasi nicht nur Accounts statt, die Du nicht kontrollierst, sondern wo Du im Regelfall auch noch damit rechnen musst, dass mit deinen Daten quasi deren Modelle antrainiert werden. Also das erst mal so vorweg das kleine Einmaleins. Jetzt dann zu deiner Frage mit den außereuropäischen Datentransfers und ich hab doch die Sachen in Frankfurt im Rechenzentrum und dann ist doch alles gut und dort nicht. Die Frage ist etwas diffiziler.
Dr. Sebastian Kraska:Die Frage ist auch etwas größer wahrscheinlich. Sie berührt die ganze Frage der Auslagerung von Datenverarbeitungsvorgängen von der Europäischen Union aus, insbesondere an die Vereinigten Staaten, wo die ganze Technik steht und dieses Verhältnis und diese Abhängigkeiten dort. Ich ich beginne mit der kurzen Antwort und dann können wir können wir da tiefer einsteigen. Es ist momentan so, dass man sich auf einen politischen und einen formalen Kompromiss zwischen der Europäischen Kommission letztlich und der amerikanischen Seite geeinigt hat, dass man mit diesen US Anbietern arbeiten darf und dass das aus datenschutzrechtlicher Sicht zulässig ist, auch Auftragsverarbeiter einzusetzen, die sich in den USA befinden, jetzt ganz kurz gesagt. Das heißt, momentan ist die formale Situation so, dass die Datenschutzaufsichtsbehörden diese Themen nicht aktiv aufgreifen, weil es eine verbindliche Entscheidung der Europäischen Kommission gibt, die quasi die Angemessenheit des Datenschutzniveaus vereinfacht gesprochen in den USA bestätigt.
Dr. Sebastian Kraska:Das ist Gegenstand 1 Gerichtsverfahrens, das vor den EuGH geht. Wir hatten ja schon 2 EuGH Verfahren, kennt vielleicht der ein oder andere Zuseher Zuhörer. Max Schrems hieß der Aktivist, der aus Österreich das da durchgeklagt hatte. Es kann also durchaus sein, dass wir noch eine dritte Niederlage vor dem EuGH zu dem Thema erleben wird, wenngleich das Vorverfahren, das wir jetzt gesehen haben, im Grundsatz die Kommissionsentscheidung bestätigt hat.
Christoph Magnussen:Das heißt also, und das ist auch etwas, was ich immer wieder versuche zu erklären, es gibt eben diese rechtliche Grundlage, auf der es möglich ist, natürlich das zu benutzen. Und dann gibt es ja noch ein weiteres Argument, was es ein bisschen einschränkt, wo Leute dann sagen, wir haben jetzt zudem auch noch unsere Server in Frankfurt stehen. Die gehören zwar Microsoft, stehen aber
Dr. Sebastian Kraska:in Ja. Das Serverstandortargument. Ich würde sagen, es ist eher ein psychologisches. Hab ich jetzt auch gesagt. Es hat dann vielleicht auch zu tun mit Latenz und es hat sicherlich auch was damit zu tun, wo lokale Steuern anfallen.
Dr. Sebastian Kraska:Das heißt, es gibt natürlich schon aus der europäischen Sicht her eher den Wunsch zu sagen, gebt uns ein Stück vom Kuchen ab,
Christoph Magnussen:gebt uns
Dr. Sebastian Kraska:Serverkapazität auch nach Europa ab, was dann auch gewisser Besteuerung unterliegt. Also ich will nicht sagen, dass das formales Entscheidungskriterium ist, aber es ist natürlich in dem politischen Spiel, in dem wir uns dann natürlich da auch immer befinden, durchaus ein Aspekt. Wenn Du aber mich ganz hart fragst, was macht es unter bestimmten US Gesetzen, die da ja immer wieder zitiert werden, CLOUD Act beispielsweise, was macht es hart für einen Unterschied, ob dir das Datum in Rechenzentrum in Frankfurt liegt oder im Rechenzentrum in den USA? Wird die Luft dünn? Die Frage so zu beantworten, zu sagen, dass das Riesenunterschiede sein, das ist nicht
Christoph Magnussen:Das heißt, theoretisch muss man sagen, hat die US Regierung gleiches Recht, in beiden Fällen zu agieren oder nicht zu agieren.
Dr. Sebastian Kraska:Grundsätzlich gleiches Recht, in beiden Fällen gleich zu agieren. Du hattest vorhin Microsoft genannt, da gibt's ja auch einige Publikationen dazu, die dann versuchen, allerdings noch nicht jetzt höchstrichterlich in den USA getestet, inwieweit das hält, zu sagen, wir entkoppeln die europäischen Entscheidungswege unserer Institution so weit, dass sie 1 solchen Zugriffs einem solchen Zugriffsverlangen der US Seite dann quasi entwunden wären, ist aber nicht getestet. Also man man muss, glaube ich, konstatieren, dass man da eine gewisse Abhängigkeit dann schon hat an der Stelle, wenn man amerikanische Anbieter wählt. Das ist aber letztlich eine Abhängigkeit, in die wir uns als Kontinent insgesamt in den letzten 10, 15 Jahren begeben haben. Und die politische Diskussion ist ja jetzt auch im Licht der aktuellen US Administration sehr stark auf dem Topos europäische Souveränität und dergleichen und wir müssen uns vollständig unabhängig davon aufstellen.
Dr. Sebastian Kraska:Wenn wir allerdings jetzt auch an die jüngsten Veröffentlichungen schauen, auf welche Anbieter der Bund setzt, auf welche Anbieter wir im Sicherheitswesen setzen, was die Datenverarbeitungsvorgänge angeht, ist da noch kein, ich sag mal, maßgeblicher Richtungswechsel bislang zu festzustellen. Ja, also zu sagen, wir machen das nicht aus Datenschutzsicht, weil wir die US Transfers nicht wollen, das ist zumindest aus formalen Gesichtspunkten derzeit so nicht notwendig.
Christoph Magnussen:So kann man
Dr. Sebastian Kraska:als Unternehmen jetzt.
Christoph Magnussen:Ja. Ja. Nun, Du hast mir mal vor Jahren auch erklärt, wenn man's eben aufteilt und sagt, wir machen's aus strategischen Gründen nicht. Ja. Oder wir haben noch mal einen gesonderten Sicherheitsschutzbereich beispielsweise.
Christoph Magnussen:Dann haben wir ein anderes Thema. Also das ist ja auch 1 der Punkte, die zum Beispiel Schleswig Holstein beginnt jetzt ja Open Source einzuführen. Da glaube ich, ist eher das ganze Change Management sehr anstrengend, weil die von den Servern runter wollen. Da geht es auch Kosten. Aber Du kannst natürlich auch in Richtung Sicherheit gehen und sagen, wir gehen wieder zurück auf eigene Server, so 1 Verarbeitung von so 1 Verarbeitung abzusehen.
Christoph Magnussen:Das ist aber ein anderer Bereich dann.
Dr. Sebastian Kraska:Auch München war ja mal ganz groß in dem Open Source Bereich. Ist dann auch wieder Retour zu Microsoft gegangen.
Christoph Magnussen:Das ist ja übrigens nicht durchgezogen, na ja, dachte ich nämlich auch. Das war, wir haben noch mal, glaube ich, vor Jahren drüber gesprochen, wurde es mir jetzt mal erzählt. Ja. Und jetzt ist alles wieder zurück.
Dr. Sebastian Kraska:Ich weiß nicht, ob Sie alles wieder Retour, aber diese wir gehen komplett auf Linux Strategie zumindest ist dann wieder gedreht worden. Ich würde das ganze Thema eher unter die Überschrift Risikosteuerung stellen. Denn ob es wirklich sicherer ist zu sagen, ich habe alles in Europa oder ich habe alles dort oder ich habe alles im Keller, das ist in Zeiten global vernetzter Systeme ohnehin eine Diskussion, die man unterschiedlich betrachten kann. Und wenn wir uns die Krisen der vergangenen Jahre, dass ich Kriege, Pandemie und Energie und so weiter angeschaut haben, dann würde ich das Thema eher unter Risikosteuerung, Abhängigkeiten, Alternativen betrachten wollen. Die das regulative Risiko mit den USA ist ja nur ein Teil dessen.
Dr. Sebastian Kraska:Also dass jetzt der EUGH sagt, geht doch nicht und dann ist man wieder in rechtlicher Unsicherheit und so weiter. Es sind ja auch andere Szenarien noch denkbar, die einen treffen können, wenn man sich von einem einzelnen Anbieter, von einem einzelnen Textdeck abhängig gemacht hat. Also es ist eher die Frage, in welchen Alternativen denke ich? Was hab ich da an Möglichkeiten? Und die Frage der Souveränität, das ist dann eher eine geopolitische Frage, wie man sich da aufstellt, weniger jetzt eine, die ein kleines Unternehmen beispielsweise dann für sich zu beantworten hat.
Christoph Magnussen:Wenn Du jetzt aber mal konkret die Toolseite nimmst, mit der wir's zu tun haben. Vor 3 Jahren haben Menschen angefangen, Copy Paste E-Mails rein zu kopieren und wie gesagt, ich teile deine Einschätzung der Realität in den meisten Unternehmen, wenn Leute nichts zur Verfügung gestellt bekommen, nehmen sie ihre eigenen Accounts. Schlimmstenfalls nehmen sie Free Accounts. Das ist dann gar nicht mehr sicher. Hinterfragt aber auch niemand mehr, dass gegoogelt wird beispielsweise.
Christoph Magnussen:Das war damals, als Google dann größer wurde, auch ein Riesenthema noch. Das wird überhaupt nicht hinterfragt, sondern wir gewöhnen uns daran. Es wird normal. Das ist dieser Normalisierungseffekt. Und jetzt hast du seit ein paar Monaten Systeme, die dann autonom agieren können.
Christoph Magnussen:Ich hab hier vorhin Beispiel genannt. Ich hatte einen Fall, hab gesagt, okay, ich teste mal das Agent System, also Agent Harness, sprich Claude Code ist so ein System, Codex ist so ein System und die wiederum sind die Grundlage für Systeme wie Claude Cowork oder auch Microsoft Copilot als Co Work, also die halt mehr machen können, als nur einen Chat zu beantworten. Bedeutet, ich als User gibt dem System Auftrag und das System hat Freigabe, in meine Mails zu schauen, in Drivedokumenten zu schauen, sich vielleicht den Kalender anzugucken und selber zu überlegen, das brauche ich, daraus schließe ich die Antwort. Wo sind die wichtigsten Stellhebel? Bei diesen Systemen dann zu sagen, okay, wir haben zwar diesen Vertrag und wir wissen auch im Bereich Sicherheit, aber wir wollen auch gleichermaßen sicherstellen, dass wir nicht einfach der ganze Zeit sagen, ist kein Problem, wir können jetzt alles reinladen, passt schon.
Christoph Magnussen:Aber wenn man den Leuten sagt, nee, dürft ihr nicht, dann machen sie es ja wieder nicht. Also Du benutzt ja dieses System nicht. Du musst ja irgendwas finden, damit diese agentischen Systeme wissen, woran müssen sie sich halten. Gibst Du denen die Datenschutzgrundverordnung als prompt?
Dr. Sebastian Kraska:Also mir ist erst mal wichtig festzuhalten, dass wir als Zwischenfazit auch in Bezug auf die ganzen Kommentare, die euch da auf den vorherigen Videos erreicht haben, dass das Datenschutzrecht dem Einsatz von KI als solcher nicht entgegensteht und dass wir mit den gängigen großen Anbietern Datenschutzverträge abschließen können, die uns einen rechtskonformen Einsatz dieser Tools ermöglichen. Dass es wichtig ist, dass die nicht die Daten auf unseren, also dass die nicht ihre Modelle auf unseren Daten trainieren, ja. Und dass der Ort der Datenverarbeitung ist ein zusätzliches Kriterium, aber es ist nicht
Christoph Magnussen:Na, aus der
Dr. Sebastian Kraska:vollständige Gang aus jedem Zugriffsrecht, was zum Beispiel US Administration angeht.
Christoph Magnussen:Faustregel, diese Businessverträge kosten immer Geld. Also wenn ich den Freevertrag habe, kann man sehr sicher sein, dann ist das kein
Dr. Sebastian Kraska:Ja, Du kennst das Bonmot ja, wenn das frei ist, bist Du das Produkt. Ja. Also ja klar, das genau. Die jetzt zu deiner Frage der der praktischen Implementierung.
Christoph Magnussen:Wenn ein System mehr machen kann
Dr. Sebastian Kraska:als nur ich stell
Christoph Magnussen:eine Frage und bekomm eine Antwort. Ja.
Dr. Sebastian Kraska:Auch dort gilt erst mal auch der Einsatz back to the basics von KI-Tools sollte nicht grundlegende IT Sicherheitsstandards infrage stellen. Also es gilt das gleiche Rechte und Rollenkonzept nach wie vor. Du sollte Du Du Du wirst in deinem Unternehmen, bei dir weiß ich's, in im Regelfall ein Rechte- und Rollenkonzept. Nicht jeder darf alles sehen, sinnhafter Weise hinterlegt haben, sondern nach dem Erforderlichkeitsprinzip, jeder sieht nur das, was er für seine Arbeit braucht. Konzept darf auch nicht durch den Einsatz von einem KI System, dass Du da reinklingst, ausgehebelt werden, dass Du sagst, ach ja, guck mal, wenn ich darüber gehe, dann kriege ich alles, was die anderen sehen, was ich sonst nicht erhaben durfte.
Christoph Magnussen:Das rein technisch, das machen die meisten der großen Anbieter und dadurch, dass ich bei uns selber Systeme aufgesetzt habe, begibt man im Prinzip das rechte System, was an der E-Mail klassischerweise hängt oder SharePoint oder wo auch immer mit in das System rein. Das heißt, ich kann mit meiner Anfrage gar nichts anderes tun als das, was ich schon dort sehe.
Dr. Sebastian Kraska:Ich erwähne das nur, weil man sieht in der Praxis ja unterschiedliches.
Christoph Magnussen:Habe ich auch schon mal gehört.
Dr. Sebastian Kraska:Und nicht. Genau, hat man schon mal gehört, dass es auch anders ist. Aber das also als als als als Grundlage. Ansonsten ist, was die was die Datenschutzgrundverordnung angeht, das Legislative, das gesetzliche Konzept derzeit so, dass die KI dir zuarbeiten kann, aber sie soll menschliche Entscheidung nicht ersetzen. Das ist mal so der regulative Grundsatz.
Christoph Magnussen:Warte mal, das ist das ist superwichtiger Satz. Sag den noch mal bitte. Diese KI soll dir zuarbeiten?
Dr. Sebastian Kraska:Momentan unterliegen wir vom Regelungsmodell der Vorstellung, dass KI dir zuarbeiten soll, aber menschliche Entscheidung nicht ersetzen soll.
Christoph Magnussen:Und da will ich einmal bleiben. Ich habe die letzten Wochen intensivst mich damit auseinandergesetzt, was passiert, wenn du diese Agency Systeme skalierst,
Dr. Sebastian Kraska:zu
Christoph Magnussen:gucken, welcher Teil deiner Arbeit bleibt noch bei uns. Und bin immer wieder gekommen und ich habe gerade auf dem Weg hierher im Zug an 1 internen App für uns gebaut, die Agent Harnessis, also verschiedene Agent Harnessis zusammenzieht und es den Usern möglich macht, die nicht technisch versiert sind, sehen, was macht der Agent gerade? Weil es ja verschiedene sind, die agieren. Warum? Weil für mich folgende Sachen meiner Meinung nach absolut immer beim Menschen bleiben werden.
Christoph Magnussen:Das ist einmal der Intent, also die Richtung, bevor es zu 1 Entscheidung geht, steuer ich die Richtung des Agents mit meinem Prompt.
Dr. Sebastian Kraska:Ich
Christoph Magnussen:hab die Entscheidungshoheit danach und ich hab die Haftung danach. Das wären für mich die Punkte, die, kann ich mir auch nicht vorstellen, an eine KI-Ab gegeben werden könnten. Deswegen war ich jetzt erst mal, wir können ja bei der Entscheidung bleiben, aber für mich ist das 1 der wesentlichen Punkte, die beim Menschen bleiben werden.
Dr. Sebastian Kraska:Recht ist keine Naturwissenschaft. Recht ist Sozialwissenschaft an der Stelle. Recht gibt wieder, was wir als Gesellschaft uns an sozialen Regeln geben, orientiert an höheren Zielen in der Hoffnung, da ein sinnvolles und gedeihliches soziales Miteinander zu organisieren. Was ich nur sagen möchte ist, an Regeln kann man schrauben. Und Du hast selbst vorhin gesagt, ja, also da wurde das eingeführt und plötzlich ist die Akzeptanz eine andere und vielleicht verändert da Technik auch, wie wir unsere Regeln gestalten
Christoph Magnussen:Ja.
Dr. Sebastian Kraska:Möchten. Dieses Konzept, das also der die die Vorschrift heißt Artikel 22 DSGVO, automatisierte Einzelentscheidung, sehr technisch formuliert. Aber das ist diese diese Vorstellung und die kommt so aus der Science Fiction Literatur, wenn ich das richtig in Erinnerung habe, aus Frankreich aus den Siebzigerjahren quasi diese Vorstellung, dass wir Subjekt der Entscheidungen von Maschinen werden. Also diese diese diese negative Zukunftsvision damals, die aber dann doch so präsent war, dass sie also die Jahrzehnte gedauert hat und dann letztlich auch ihre ihren Einfluss in die DSGVO gefunden hat und da eigentlich auch mehr oder weniger unbeachtet jetzt paar Jahre rumlag, bis KI so hochkam und dann gesagt wurde, okay, das das läuft auf eine ziemliche Kollision mit dieser Vorschrift in vielen Fällen hinaus. Denn die Frage, die wir uns natürlich stellen müssen, ist, in ganz vielen Anwendungsfällen läuft es dann halt eben darauf hinaus, wenn wir die Effizienz vollheben möchten, dass es kein Mensch mehr ist, der entscheidet, sondern tatsächlich die Maschine.
Dr. Sebastian Kraska:Und die Frage, die wir uns jetzt mal ganz abstrakt von den Regeln stellen möchten stellen müssen, ist als Gesellschaft, ist wollen wir dieses Szenario? Sehen wir da Risiken in diesem Szenario? Und was sind die Abhilfemaßnahmen, die wir dann für solche Szenarien schaffen? Sagen wir, nee, Du darfst nicht die Maschine entscheiden lassen? Oder sagen wir im Umkehrschluss, doch, wir lassen die Maschine entscheiden, machen dann aber vielleicht sone Kontrollschleife, ja?
Dr. Sebastian Kraska:Ich also ich ich und ich ich antworte deshalb so vorsichtig bei dieser Frage rund diese Vorschrift, weil sie ist Gegenstand momentan auch von politischen Verhandlungen. Die Europäische Kommission hat Teilen auch in Druck auf von der amerikanischen Seite ein relativ großes Deregulierungsvorhaben auch auf den Weg gebracht im Digitalbereich. Und 1 der Vorschläge ist, diesen Artikel 22 DSGVO umzubauen, zurückzuschrauben. Und da verhandelt gerade Europäischer Rat, Europäisches Parlament und Europäische Kommission verhandeln gerade an dieser Stelle.
Christoph Magnussen:Warum ich da so festhänge, ne, also jetzt zum Gedanke, jetzt sind wir schon an, ey, an wirklichen Kernthema, denn rein technisch verstehe ich das Argument, dass man sagt, wir kriegen die Effizienz nur, wenn es auch automatisch durchläuft. Und dass es Teilschritte gibt, die automatisch durchlaufen, weil ich nehmen wir mal Beispiel. Was habe ich vorhin gemacht? Ich habe vorhin, ich habe, als ich die App quasi ausgerollt habe, musste ich mehrere Schritte machen. Du musst einmal ein Deployment machen, du musst einmal Repository hochladen und für Nichttechniker, also so.
Christoph Magnussen:Es wäre wie wenn du die den Ordner erstellst, für wo die Powerpoints nachher drin liegen, die Recherchen reinlädst und schreiben lässt. Das heißt, ich habe dem Agent erlaubt, für die Zeit des Projektes Ordner anzulegen in diesem Ordner. Also ich habe ihm einen Workspace gegeben und in diesem Ordner darf er das tun. Das heißt, ich habe entschieden, aber ich hab ihm so wie einem Mitarbeitenden einen Rahmen gegeben, in dem er agieren kann. Weil das ist ja auch wie in Firmen.
Christoph Magnussen:Kannst nicht sagen, und jetzt schraub rechts und jetzt schraub rechts und jetzt nimmst du den Bohrer und dann machst du so. So, das ist ja quatschig. Und diese Entscheidung, glaube ich, werden wir weiterhin führen, weil beispielsweise bei aller Effizienz und ich weiß, was ich für Rieseneffizienzfan bin, hast Du diese Richtung, Direction, Intent, die Du immer wieder nachsteuern willst, zumindest meine Erfahrung, weil auch zum Beispiel so was wie Taste, also Geschmack gefällt mir das. Das kann natürlich ein Agent vorschlagen, aber das sieht man ja auch so wunderbar an den Claude Code Leaks jetzt, warum alle Apps gleich aussehen und alle Präsentationen. Es ist de facto nur Prompt, der drinsteht.
Dr. Sebastian Kraska:Das heißt,
Christoph Magnussen:auch da ist wieder Taste reingegeben. Und die Tools an sich haben diesen Taste nicht, die können sich den antrainieren. Und deswegen finde ich es so spannend und frage mich, ob man das nicht nuancierter nachher betrachten müsste. Weil da sind wir eigentlich hast Du es genannt, wir sind in dem sozialwissenschaftlichen Bereich drin, in dem wir das ausdiskutieren müssen. Dafür müssten aber mehr Menschen verstehen, wie das funktioniert.
Dr. Sebastian Kraska:Ich find deinen Ansatz und vielleicht kannst Du ihn ja noch mal auch genauer beschreiben, auf jeden Fall sinnvoll, den Du auch im Vorgespräch kurz skizziert hast, zu sagen, ich definiere den Rahmen und ich kontrolliere das auch und ich bleibe quasi als Mensch derjenige, der hier die Oberaufsicht führt über diese Themen. Das und das kann ich auch nur Kunden, Unternehmen raten, in dieser Form zu agieren. Ich will nur sagen, wenn wir das Bild größer aufziehen, dass es diese Diskussion eben gibt, das noch weiter zu öffnen und dass KI Systeme halt nicht nur implementiert werden unter der Rahmengesetzgebung und Oberaufsicht 1 Menschen, dem Menschen, dem wir an der Stelle eben immer noch mehr vertrauen als der Maschine. Das ist ja das zugrunde liegende, die zugrunde liegende Annahme in seiner Fehlertoleranz, in seiner Entscheidungsqualität. Aber es gibt eben auch eine andere Entwicklung.
Dr. Sebastian Kraska:Ich mache ein ganz konkretes Beispiel Bewerbungen. Bewerbungsscreening. Ein KI-Tool, das alle eingehenden Bewerbungen vorqualifiziert, passt gut, passt mittelmäßig, passt schlecht auf die ausgeschriebene Stelle. Das gibt es ja schon. Die Frage ist, sagt das Tool dann auch allen, die schlecht passen, automatisch ab?
Dr. Sebastian Kraska:So. Und wenn Du das jetzt durchskalierst auf die gesamte Arbeitswelt, heißt das, dein Zeug, das liest überhaupt kein Mensch mehr. So, ja. Und das kannst Du in anderen Bereichen, ich sag mal im Bereich der Krankenvorsorge, Versicherbarkeit von Leistungen und so weiter natürlich dann auch beliebig ausrollen. Und dann lebst Du in 1 Welt am Schluss des Tages, wo für dich doch für dein individuelles Leben ganz maßgebliche Entscheidungen von Maschinen getroffen werden und nicht mehr von Menschen.
Dr. Sebastian Kraska:Das ist also das ist die gesellschaftliche Frage, die wir uns stellen müssen. Zu deiner Frage der Haftung am Schluss des Tages. Haftung ist ein juristisches Problem, das heißt, soweit Du es kalkulieren kannst, kannst Du es auch dann letztlich anders lösen. Also Du weißt die gleiche Diskussion bei den selbstfahrenden Autos ja momentan, wo es ja auch starke Vorbehalte hier gibt und auf der anderen Seite des Atlantiks die Dinger schon fahren. Und da war ja auch lange die Frage, okay, wer entscheidet dann?
Dr. Sebastian Kraska:Wer haftet dafür? Aber das sind schon Fragen, die Du da klären kannst und das Argument jener, die also dem selbstfahrenden Auto dann da quasi immer den Vorzug geben, argumentieren dann ja so, dass sie sagen, ja, aber auch der menschliche Fahrer irrt. Also Du darfst nicht Fehlerfreiheit verlangen, sondern einfach nur besseres statistisches Ergebnis. Ich ich will mich da jetzt nicht, ich sag mal, auf der einen oder anderen Seite positionieren. Momentan ist die Regel sozusagen, der Mensch muss im Driverseat sein, der der Mensch muss die letzte Entscheidung führen und hat damit auch die Haftung und Verantwortung und KI kann ihm zuarbeiten.
Dr. Sebastian Kraska:Ich sehe aber aus den Mandanten und ich sehe auch so aus der technischen Entwicklung natürlich den starken Wunsch, das noch anders und mehr zu implementieren. Und ich sehe die Gespräche in Brüssel, die sagen, okay, die Kommission, die ganz klar sagt, wir müssen da an diese Schranke ran und wir müssen sie absenken.
Christoph Magnussen:Wenn so ein System funktioniert, werden Menschen es auch benutzen. Ganz klar. Also kannst du. Komme was da wolle. Und deswegen finde ich solche Regelungen so wichtig, dass man überlegt, sind die jetzt rein aus juristischer Perspektive? Ist das eine juristische Finesse oder sind die eben auch wirklich sinnvoll?
Christoph Magnussen:Also sind das sinnhafte Steuerungsinstrumente, wo Du sagst, hey, ja, natürlich kannst Du deine Bewerbung vorsortieren lassen, aber das ist das ist das ist das ist etwas, wo Du zumindest selber noch dem Agent sagen musst, mach das so oder mach das so. Also Du gibst eine Richtung.
Dr. Sebastian Kraska:Also wenn Du mich persönlich fragst, ich halte diese Regel für sinnvoll. Und wir brauchen Schutzmechanismen, wenn wir 1 Welt ausgesetzt sind, die ausschließlich digital funktioniert und in die Richtung laufen wir ja und für uns essenzielle Dinge quasi nicht mehr von Menschen, sondern Maschinen entschieden werden. Und das ist ja auch ein Szenario, das nicht ganz unrealistisch ist als Entwicklung. Da brauchen wir ein Korrektiv. Und das ist aus meiner Sicht schon ein sinnhaftes Korrektiv an der Stelle, ja.
Dr. Sebastian Kraska:Ansonsten jetzt, wenn Du so, es gibt ja diesen Witz, 9 von 10 Leuten haben kein Problem mit Mobbing, ja, so okay. Also es geht natürlich immer den Schutz der Minderheit an der Diejenigen eben, die also die negativen Auswirkungen dieser Entscheidung dann zu tragen haben. Und da braucht es schon irgendeine Form von Korrektiv und Transparenz an der Stelle.
Christoph Magnussen:Als jemand, der nachher in dem im Unternehmen das navigiert, weil es ja eben nicht ganz einfach ist und wir sind ja mit der Frage gestartet, einmal was, also so sind wir ja reingekommen, was gibt's für Falschannahmen? Jetzt hast Du bisschen aufgelöst. Was musst Du eigentlich für Grundlagen schaffen? Ich versuche immer zu unterscheiden zwischen, es gibt Fluglotsen und es gibt Schiffslotsen. Und ich hab mich immer gefragt, wo unterscheiden sich diese beiden?
Christoph Magnussen:Son son Fluglotse, der hat natürlich, also der kann halt auch, das Schiff kann's auch nicht sagen, halt an, die haben zu langen Bremsweg. Aber was ich zumindest weiß von den Lotsen, ist die die gerade die Schiffslotsen, wenn's in internationale Schiffe und dann Gewässer geht, die müssen sich rechtlich sehr gut auskennen. Die sind ja auch verantwortlich für das Schiff, sobald die auf das Schiff gehen. Das ist dann quasi vom Lotsen übernommen. Und Fluglotsen sitzen ja immer auf Distanz und haben relativ viel durch saubere Prozesse zu agieren.
Christoph Magnussen:Und wie gesagt, ich find's noch recht harmlos, wenn Leute sagen, ich copy paste jetzt etwas in ChatGPT oder Copilot oder wo auch immer rein, weil das sind immer Einzelfälle. Da da ist da hat Mensch entschieden, ich mach das jetzt. Wenn jetzt aber eben ein System autonom agiert, braucht es ja diese größere Regularik. Und da würde mich eben interessieren, neben dem ja, wir schreiben das in der Datenschutzgrundverordnung, ist denjenigen, die das schreiben, bewusst, was das technisch bedeutet, an welcher Stelle man so ein System beeinflussen oder einschränken kann? Weil es gibt ja prompt injection kaum zu verhindern, weil es ja technisch was anderes ist als bei Datenbank, wo Du den Code von den Daten getrennt hast.
Christoph Magnussen:Hier vermischt sich das auf einmal. Das heißt, es ist ja technisch gar nicht so einfach, das dann auch wirklich 100 Prozent einzuschränken.
Dr. Sebastian Kraska:Da jetzt als Jurist wieder zu antworten, Du bleibst als Unternehmen für die Datenverarbeitungsvorgänge verantwortlich. Ob das dein Mitarbeiter ist oder deine KI Maschine, die Du da reingebaut hast oder so. Das heißt, das ist erst mal die Verantwortlichkeit liegt bei dir jetzt also quasi als Geschäftsführer an der Stelle. Das heißt, Du musst das so implementieren, dass die Grundspielregeln eingehalten werden. Wir hatten schon gesagt beim Thema Auftragsverarbeitung Vertrag, wir hatten kein Training von fremden Daten, wir hatten Rollen- Rechtekonzept, muss beibehalten bleiben.
Dr. Sebastian Kraska:Und wenn Du das System auf Datenbestände lässt, also dein Beispiel glaube ich geht eher in Richtung Coding, aber wenn wir jetzt also sagen quasi agentische Arbeit in datenhaltenden Systemen,
Christoph Magnussen:ja,
Dr. Sebastian Kraska:musst Du quasi analog zu dem Anlernen 1 Beschäftigten, was er tun und was er nicht tun darf, dem System entsprechende Gardrails mitgeben, was Ja. Nachvollziehbarkeit angeht, was Daten löschen oder nicht löschen angeht, Duplizieren von Daten und dergleichen. Da gelten die gleichen Grundspielregeln, als ob Du einen Beschäftigten hast, wie wenn Du ein KI System dort
Christoph Magnussen:Oh, das ist schön.
Dr. Sebastian Kraska:Dann in deine also agentisch quasi operieren lässt in deinen Und wenn da Fehler passieren, musst Du für beides gerade stehen.
Christoph Magnussen:Was ja auch richtig ist. Und ich denke mir eben nur, was was für eine riesige Chance eigentlich, also das muss man sich mal klarmachen, ne, wenn Ich sehe das bildlich vor Augen, dass das passieren wird. Also diese Sachen sind nur so nützlich, dass Menschen die nicht aufgeben wollen. So, das sehen wir jetzt in der Kurve, die ich gerade gezeigt habe, in ChatGPT. Und jetzt haben wir den zweiten quasi ChatGPT Moment mit Claude Code Kodex und Applikationen, die eben mehr als nur das LLM zusammenhalten.
Christoph Magnussen:Und diese Nützlichkeit wird dazu führen, dass es Alltag wird. Und jetzt kannst Du als Jurist das erste Mal Vorgaben schreiben als Prompt, die dazu führen, dass das System sicher ist. Die müssen aber auch so gut geschrieben sein, dass der User nicht sagt, die lösche ich jetzt raus oder die umgehe ich, sondern die müssen auch nützlich und hilfreich sein. Und da kommen wir jetzt zurück zu dem Kern, wofür war der Datenschutz eigentlich da? So, und das finde ich so hochinteressant.
Christoph Magnussen:Weißt Du, da müssen sich diese ganzen Juristen, die es vorher geschrieben haben, sich abzusichern, eigentlich drehen in Richtung und sagen
Dr. Sebastian Kraska:Ich definiere die Frage. Den
Christoph Magnussen:Intent. Nutz das System. Ich hab's so definiert, dass es nützlich ist und nicht absoluten Blödsinn baut. Weil die Diskrepanz, die seh ich schon. Was was ganz anderes, ChatGPT zu benutzen als 'n Agent, der halt in der Lage ist, mehr Dinge zu tun.
Christoph Magnussen:Und ich glaub, das wird in Unternehmen, die sich nicht drum kümmern und die dann irgendwann den Druck haben, heute müssen wir das einführen. Das geht halt nicht auf Knopfdruck, weil das hat ja dann nicht mehr mit ich roll System aus zu tun, sondern ich überlege mir mein Operating System in der Firma. Was steht da drin? Wie bei Operating System am Rechner. Da kann ja auch nix reinkommen, was nicht rein soll.
Christoph Magnussen:So ist es ja auch geschrieben. Ja. Dafür ist ja da.
Dr. Sebastian Kraska:Aber da macht dir das Datenschutzrecht keinen Strich durch die Rechnung. Nee, nee, genau, was ich versuche, was ich versuche. Sagen, genau. Also Du es gelten die gleichen Spielregeln wie bislang und so wie Du einem Beschäftigten quasi gewisse Gardrails mit an die Hand gibst, dann auch einem KI Agenten, ja. Und das vielleicht als Botschaft auch für die Youtubekommentare.
Dr. Sebastian Kraska:Ja,
Christoph Magnussen:ich sag mal, ihr könnt natürlich auch Systeme, also von Hugging Face gibt's genug Open Source Large Language Models aus China, ganz hervorragend. Da sagen die Leute, ihr habt auch kein chinesisches Modell. Ihr sagt, du lädst es ja runter und lässt es auch noch lokal laufen. Das ist ja dann nicht in China, also wenn nicht in China daran verarbeitet, sondern quasi bei dir. Du nutzt nur das Modell.
Christoph Magnussen:Aber Stichwort China, mit China gibt es bisher kein solches Abkommen, dass wir das quasi im großen Stil nutzen können. Wie machen das denn Unternehmen, die in China deutsche Unternehmen hatten damals? Haben die denn, die haben dann Jointventures dort gegründet, dann rechtlich dort zu sein. Ja, wahrscheinlich.
Dr. Sebastian Kraska:Größeres Thema.
Christoph Magnussen:Das müssen wir mal beleuchten, weil es gibt eigentlich nicht so viele Optionen zwischen US System und chinesischen System. Wir haben noch nicht so richtig viele hier.
Dr. Sebastian Kraska:Also erst mal vorweg, mit den USA gibt es diese dieses politische Agreement gibt es diesen Angemessenheitsbeschluss, den gibt es mit China nicht. Ja. Es gibt einzelvertragliche Möglichkeiten, Verträge quasi, die Du mit einem außereuropäischen Unternehmen schließen kannst, mit denen Du die Anwendbarkeit und Durchsetzbarkeit europäischen Datenschutzrechts exportierst
Christoph Magnussen:auf das Du setzt das nicht verloren. Es gibt Möglichkeiten Es
Dr. Sebastian Kraska:gibt Verträge, mit denen Du quasi das Datenschutzrecht von hier nimmst und exportierst.
Christoph Magnussen:Okay.
Dr. Sebastian Kraska:So, okay. Und so was kannst Du mit chinesischen Unternehmen abschließen.
Christoph Magnussen:Das müssten die aber sich denn drauf einlassen.
Dr. Sebastian Kraska:Genau, müssten die sich drauf einlassen. Und Du musst in diesem Vertrag prüfen, ob das Unternehmen, mit dem Du das machst, überhaupt in der Lage ist, aufgrund der das Unternehmen umgebenden insgesamten Rechtslage diesen Pflichten zu entsprechen.
Christoph Magnussen:Also ob nicht
Dr. Sebastian Kraska:Vorsichtiges Fragezeichen in manchen Ländern. Ich muss
Christoph Magnussen:mir das jetzt wirklich vorstellen.
Dr. Sebastian Kraska:Ja. Und insgesamt muss man sagen, dass dieses ganze Datentransfer Thema dann auch stark eine wirtschaftspolitische Komponente hat. Wir haben lange mit Russland Daten ausgelagert. Dann kam die Krim, dann haben wir immer noch mit Russland Daten ausgelagert. Dann kam der Angriff, der breitere Angriff auf die Ukraine.
Dr. Sebastian Kraska:Dann haben wir gesagt, nee, jetzt nicht mehr. Also ich will nur sagen, das hat ein gewisses politisches
Christoph Magnussen:Wir hatten vorher ein Abkommen mit Russland,
Dr. Sebastian Kraska:das Nee,
Christoph Magnussen:wir hatten
Dr. Sebastian Kraska:kein Abkommen, aber es wurde aufsichtsrechtlich nicht problematisiert, das mit diesen Verträgen zu lösen.
Christoph Magnussen:Ah, das konnte man machen. Ja, okay.
Dr. Sebastian Kraska:So. Das es es wurde nicht es wurde nicht problematisiert. Mhm. Und dann kam der breitere Angriff auf die Ukraine. Mhm.
Dr. Sebastian Kraska:Und dann wurde gesagt, jetzt geht's nicht mehr.
Christoph Magnussen:Mhm.
Dr. Sebastian Kraska:Also ich will nur sagen, das hat ein gewisses politisches Element. Bei China ist momentan auch Ruhe, so in der aufsichtsrechtlichen Positionierung.
Christoph Magnussen:Wenn
Dr. Sebastian Kraska:sich die weltpolitische Lage ändert, könnte ich mir auch gut vorstellen, dass dann gesagt wird, jetzt nicht mehr. Also das hat einen das hat eine wirtschaftspolitische Komponente an dieser Stelle.
Christoph Magnussen:Und dann gehen wir mal einmal zurück aufs Risiko, wenn ich jetzt als Unternehmer entscheiden muss,
Dr. Sebastian Kraska:nicht KI-Verhinderer.
Christoph Magnussen:Das ist klar, dass das ist auf jeden Fall, dass das nicht geht. Aber ich hab dann eben auch nicht viele Alternativen. Also let's be very realistic und clear. Momentan sind die führenden Systeme im KI Bereich USA. Führenden Systeme in der Cloud USA, Clearly.
Christoph Magnussen:China hat die Kapazität, das selber für sich aufzubauen. Europa nicht. Weder Energie noch die Labs. Wir hatten einen Podcast, der daran arbeitet, dass wir diese Labs bekommen. Johannes Otterbach, gute Folge, super Folge.
Christoph Magnussen:Empfehle ich sehr, wenn man da mal einsteigen will, die das finanzieren. Aber der Aufbau braucht er noch. Wenn ich jetzt aber Risiko abwäge, welche Sachen sollte ich vorbereitet haben, weil Du sagst, da kommt jetzt noch das und das und das oder nee, in Wirklichkeit hat sich das jetzt so eingependelt und wir sind schon so abhängig, da kommt gar nichts mehr anderes. Also gibt es Dinge, wo Du sagst, die sollte man schon im Blick haben, das wäre kein tragbares Risiko als Unternehmer, da jetzt alles da drauf zu setzen auf die auf das eine Pferd?
Dr. Sebastian Kraska:Also China würde ich mich nicht von Anfang angeln, Was Aber chinesische Modelle, die man ja angeht.
Christoph Magnussen:Lokal laufen lässt, ist ja nicht, ich betreib's in China, sondern. Genau.
Dr. Sebastian Kraska:Das das ist vertretbar. Das ganze Thema US Abhängigkeit würde ich unter dem Thema Risikosteuerung,
Christoph Magnussen:wie
Dr. Sebastian Kraska:vorhin ausgeführt und das ist abhandeln und das ist stark unternehmensindividuell. Wenn Du einen Unternehmen in einem regulierten Bereich bist, das momentan keinen außereuropäischen Footprint hat, würde ich versuchen diese Strategie weiterzufahren. Wenn Du Tochterunternehmen von einem US Konzern bist und deine Daten ohnehin komplett in der Cloud ist sind, ist es nicht nachvollziehbar zu sagen, ich behalte mir aber vor, nicht bestimmte KI Systeme wegen der Datentransferthemen einzusetzen.
Christoph Magnussen:Das ist
Dr. Sebastian Kraska:dann schießt Du dir einen eigenen Fuß. Also das ist ein bisschen abhängig vom eigenen Risikoprofil an der Stelle. Wenn Du die Möglichkeit hast, darauf Einfluss zu nehmen, würde ich immer europäische Datenhaltung präferieren, auch von den US Anbietern. Weniger aus den formal genannten Aspekten, die wir vorhin kurz skizziert haben, als dass es dann eher in das politische Feld fällt, von dem man sagen kann, okay, das wollen wir beibehalten. Diesen das diesen Teil problematisieren wir nicht.
Christoph Magnussen:Vermutlich ist das auch 1 der Punkte, die Menschen ansprechen, wenn sie sagen, wir wollen es nicht wegen Datenschutz, dass sie das mit rein vermischen. Weil Du ja auch sagtest emotionale Entscheidung.
Dr. Sebastian Kraska:Emotional vielleicht auch Angst vor Veränderung, Angst vor Arbeitsplatzverlust ist ganz real. Sehen wir in vielen Verhandlungen zu Betriebsvereinbarungen. Die Angst vor der Technik ist an sich nur das vorgeschobene Argument oder die Vorbehalte, die man hatte. Dahinter stehen andere arbeitsplatzbezogene Ängste.
Christoph Magnussen:Ja. Wenn Du jetzt solche Risikoentscheidungen aber nimmst und jetzt sehen wir ja die Beispiele Bayern oder Schleswig Holstein jetzt gerade oder andere Firmen. Hast du denn Beispiele von Firmen, die, du hast jetzt 2 aus dem Spektrum genannt, waren schon vorher Open Source versus sind US Tochterunternehmen. Das meiste ist ja irgendwo dazwischen. Siehst du denn jetzt gerade im KI Bereich wirklich große Vorstöße und Bemühungen, dass große Firmen sagen, ja, wir bauen parallel zur Partnerschaft mit, weiß ich nicht, Anthropic und OpenAI auch noch eigene Rechenkapazitäten.
Christoph Magnussen:Die Telekom hat hier in München, glaube ich, 10000 GPUs, da renten wir bisschen was. Und dann machen wir noch paar eigene in den Keller. Und das bauen wir auch seriös ernsthaft auf.
Dr. Sebastian Kraska:Ich glaub, das Rennen die Modelle ist verloren. Aber das Rennen die Implementierung ist noch offen.
Christoph Magnussen:Und
Dr. Sebastian Kraska:da ergeben sich Chancen auch grad für die mittelständisch geprägte deutsche Wirtschaft. Also das den den Funken Hoffnung hab ich noch, dass wir in der in der Anwendung der Modelle, in der Effizienzsteigerung und so weiter, dass wir dass wir dort in irgendeiner Form dann auch eine Rolle spielen.
Christoph Magnussen:Ich hab Paper in die Hand bekommen von, ich weiß gar nicht, wer das geschrieben hat, aber es ging Reg Systeme. Und ich meine, offizielles Paper, wo dann erklärt war, dass ja durch RAG Systeme, also kurze Erklärung für die, die sagen, aber ist mir zu technisch, ein Teil Wissen ist in 1 Datenbank ausgelagert, meinetwegen Sharepoint und so weiter, die aber so indiziert werden, dass ein Large Language Model damit arbeiten kann. RAG, Retrieval Augmented Generation, das bedeutet, die KI kann deutlich präziser auch referenzieren auf die Punkte. Und da stand eben drin, dann ist es kein Problem datenschutzrechtlich, weil man ja kontrollieren kann, was geht denn quasi rein und raus. Und da habe ich gedacht, das stimmt aber nicht so ganz.
Christoph Magnussen:Also das ist die halbe Wahrheit, weil ja das generative Modell deutlich mehr auch durchscannen muss, nachher auch die Outputs zu generieren. Das heißt, es ist sehr schwer kontrollierbar, was exakt wird alles nachgelesen. Da ist mir einfach aufgefallen, dass sich dieses Feld so schnell bewegt, dass ich mir nicht vorstellen kann, dass Behörden vernünftig damit hinterherkommen. Was ist der Stand des Technikwissens in Behörden, Aufsichtsbehörden bei den Leuten, die solche Sachen schreiben müssen? Sind die alle top notch dabei oder was ist dein Eindruck?
Dr. Sebastian Kraska:Ich also ich wage jetzt kein Pauschalurteil über den kompletten öffentlichen Sektor an der Stelle. Ich kenne sehr viele Leute, die sehr bemüht sind, da das auch in der Praxis in irgendeiner Weise handhabbar zu halten. Also ich will jetzt hier keinen Behörden Bashing oder oder so was Pauschales betreiben. Ist es so, dass wir im öffentlichen Sektor noch mal anderen Regularien auch teilweise unterliegen, die es noch mal etwas komplexer machen, das zu implementieren. Aber ich meine, es gibt ja Initiativen jetzt auch mit dem Bundesdigitalministerium und so weiter, die versuchen da gewisse technische Standards zu schaffen, die Du dann auch hoffentlich dann in die Breite durchgehen kannst.
Dr. Sebastian Kraska:Klar, wenn Du jetzt, ich sag mal, aufm Land in kleines Landratsamt gehst und fragst, wie ist hier euer Wissen zu KI Modellen? Das wird wahrscheinlich dann stark davon abhängen, wen Du vor dir hast. Aber da wird man dann wahrscheinlich über Landes- oder Bundesebene versuchen, gewisse Unterstützung zur Verfügung zu stellen.
Christoph Magnussen:Aber gerade weil ja diejenigen auch, die die Regularik schreiben, nehmen wir mal den AI Act beispielsweise, ja zumindest tief genug drinstecken müssen. Und du sagtest selber, das ist nicht nur nicht leicht, sondern teilweise auch ein bisschen überholt.
Dr. Sebastian Kraska:Ja, der AI Act.
Christoph Magnussen:Jetzt hab ich jetzt hab ich das vierte große Camp Fotograf. Ist wichtig. Es ist ist wie gesagt,
Dr. Sebastian Kraska:es eine ganze Vielzahl an wohlgemeinten rechtlichen Vorgaben, die, wenn Du sie für sich betrachtest, auch auch sinnhaft sind in ihrem Ansatz zu sagen, da kommt was und das versuchen wir irgendwie einzufangen. Bevor wir jetzt auf den AI spezifischer eingehen, nur nur 2 Gedanken. Wir haben mittlerweile so viel Digitalregulierungsvorgaben geschaffen, dass Unternehmen wie Behörden, die es umsetzen sollen, ein bisschen in der eigenen Komplexität ertrinken. Wir haben das Rad ein bisschen zu weit gedreht, würde ich sagen. Und teilweise sind die gesetzlichen Vorgaben auch nicht schlussfrei aufeinander abgestimmt.
Christoph Magnussen:Also für die Realität bedeutet viel zu viel erfüllen als Unternehmen, was gar nicht geht und teilweise widersprechen sich die
Dr. Sebastian Kraska:Zu viel und zu wohl gemeint und dann am Schluss haben wir unterm Strich weniger, als wenn wir gar nichts gemacht hätten an Regulierungen, weil
Christoph Magnussen:Nach fest kommt ab.
Dr. Sebastian Kraska:Ja, son bisschen, ja.
Christoph Magnussen:Okay.
Dr. Sebastian Kraska:Dann der zweite Aspekt zum Thema KI Verordnung. Das wurde unter sehr, sehr hohem Zeitdruck durchgeprescht damals. Es war kurz vor den Wahlen auf europäischer Ebene, wo man einen allgemeinen Rechtsruck befürchtete und quasi vor 1 möglichen Verschiebung von Mehrheiten gesagt hat, okay, wir müssen das noch durchbekommen. Das heißt, das ganze Gesetzgebungsverfahren wurde sehr mit heißer Nadel gestrickt, was man doch dann, ich sag mal, an der einen oder anderen Stelle doch deutlich damit bemerkt. Das Sentiment war damals auch ein anderer.
Dr. Sebastian Kraska:Wir erinnern uns, das war in der Zeit, als es unter Biden damals auch hieß, wir müssen KI regulieren und China fing an mit der Regulierung und Musk sagte in den Interviews, mit welcher Motivation im Nachhinein auch immer, wir brauchen schnellstens Regulierung und reguliert uns doch bitte. Also es war auch so, dass Sentiment auch aus der KI Industrie damals, auch Sam Altman und so weiter, die sagten, Mensch, wir brauchen unbedingt regulatory framework, die Gesellschaft vor uns selbst
Christoph Magnussen:zu schützen. So,
Dr. Sebastian Kraska:das war son bisschen die Stimmung und da hat man die KI Verordnung dann auf den Weg gebracht. Die KI-Verordnung hatte aber, als sie verabschiedet wurde, noch nicht die Entwicklung von KI tatsächlich so auf dem Schirm, die sie jetzt auch mit diesen Agentic Systemen und so weiter dann genommen hat. Anderer andere Bemerkung vorneweg, es gibt 2 grundsätzliche Regelungskonzepte zwischen den USA und den EU, die auch immer wieder streiten. Die Europäer, die sagen, wir regulieren vorab mit Grundsatz. Und die Amerikaner, die sagen, wir lassen erst mal laufen und dann regulieren wir sektor- oder applikationsspezifisch da, wo es sozial ungewollte Schäden hat.
Dr. Sebastian Kraska:So, okay. Das sind die 2 2 unterschiedlichen Regelungsbesätze. Okay, also wir haben die KI Verordnung bekommen. Die ist in Teilen auch schon wirksam. Dann kam Trump, kam aber auch intern aus europäischer Sicht starke Kritik an diesen Regulierungsvorhaben.
Dr. Sebastian Kraska:Und die Europäische Kommission hat ebenfalls im letzten Herbst gesagt, wir sollten maßgebliche Teile der KI Verordnung zeitlich verschieben, dass sie später in Kraft treten. Diesen August Ansicht, also August 2026 sollen Teile wirksam werden, die bestimmte besonders als riskant definierte KI Systeme quasi regulativ erfasst.
Christoph Magnussen:Gib mal Beispiel, was das heißt, also bestimmtes riskantes. Also wenn es Auslesen von Gesundheitsdaten Biometrie. Biometrie.
Dr. Sebastian Kraska:Ja. Ja. Und die das nicht per se verbietet, sondern einfach dann besondere Regularien daran knüpft. Und da ist jetzt die Diskussion zu sagen, wir verschieben die das Wirksamwerden dieser relevanten Teile auf Ende 2027, Anfang 2028. Klingt so ein bisschen nach Kompromiss, aber es war jetzt quasi lange in der Schwebe, was kommt da eigentlich und was müssen wir machen? Und jetzt wurde gesagt, nee, wir verschieben Teile, das wird gerade in Brüssel verhandelt.
Dr. Sebastian Kraska:Was mir gesagt wurde mit Personen, die da mit den Verhandlungen auch betraut sind, zu sagen, sag deinen Mandanten, Sie sollen sich vor allem die DSGVO kümmern und die KI Verordnung, das zieht sich zeitlich.
Christoph Magnussen:Ist in der DSGVO ist ja schon lange in Kraft, das sind die Grundlagen, die wir haben, mit dem wir arbeiten.
Dr. Sebastian Kraska:Die Frage, die man spitz stellen kann, brauchte, ist wirklich eine KI Verordnung? Ja. Welche Risiken adressiert die KI Verordnung?
Christoph Magnussen:Das wär jetzt meine Frage gewesen, wo sich das unterscheidet.
Dr. Sebastian Kraska:Sind die eigentlich gesellschaftlich umwälzenden Elemente mit Arbeitsplatzverlust und vielleicht dem Umbau, wie wir alle miteinander in 1 neuen digitalen Welt leben, Ist die KI-Verordnung wirklich in der Lage, diese Risiken zu adressieren oder gießt sie einfach nur zusätzlichen Compliance- und Dokumentationslayer darauf? Wären wir nicht besser gefahren, die vorhandenen Vorgaben, die wir haben aus der DSGVO, zum Beispiel diese Vorschrift automatisierte Einzelentscheidungen, ja, die einfach mit Leben zu füllen und die zu konkretisieren und zu sagen, die ist viel tauglicher, relevante Teile dessen, was wir für sozial erwünscht und was wir für sozial unerwünscht halten.
Christoph Magnussen:Die war vorher schon da.
Dr. Sebastian Kraska:Und die war vorher schon da, war halt im Dornröschenschlaf, ja. Okay, ist eine Frage für die Geschicht Geschichtsbücher. Aber die Frage, die man sich natürlich stellt, ist, soll ich jetzt als Unternehmen machen? Habe ich jetzt da mein KI-Verordnungsprojekt gemacht und jetzt kam Trump und das ist irgendwie Krieg und Sprit ist teuer und wir schreien alle nach Deregulierung und Brüssel hat gesagt, das ist zwar total wichtig, dass wir das haben, aber das verschieben wir jetzt noch mal eineinhalb Jahre. Die Frage ist auch unter uns, was passiert mit der Diskussion dann nächstes Jahr?
Dr. Sebastian Kraska:Also haben und die KI Entwicklung ist ein Jahr weiter. Ja, ja. Ist das Rad dann nicht so weitergedreht, dass wir sagen, eigentlich ist die KI Verordnung jetzt gar nicht mehr fit for purpose und wir
Christoph Magnussen:müssen jetzt
Dr. Sebastian Kraska:mal ran.
Christoph Magnussen:Und ich denk jetzt gerade dran, ne? Also die die die Leute, wir sind ja nicht die Einzigen, die AI Officer ausbilden und dann sage ich auch immer, ja, das eine ist, man muss es machen und das zweite ist, es ist trotzdem total sinnhaft, jemanden zu haben, der in der Lage ist und das deckt sich ja mit dem, was Du auch sagst, wenn jetzt in der DSGVO schon drinsteht, wie Du das mit automatischer Verarbeitung machst, wenn Du jemanden hast, der verstehen kann, was passiert, ist es ja ganz was anderes, als wenn Du niemanden hast und niemand im Unternehmen einen sauberen Überblick hat. Ach ja, irgendwie läuft da so dieser Agent und ich glaube, nee, da geht nichts von runter. So, also das überblicken die Leute ja gar nicht. Also insofern, diesen Teil brauchtest du ja vorher auch oder würdest du so etwas übernehmen als Datenschutzbeauftragter, auch als externer Datenschutzbeauftragte?
Christoph Magnussen:Wer würde das machen? Weil das ist ja so eine Kopfentscheidung auch mit packst du KI in die IT, keine gute Idee meiner Meinung nach, Gibst Du das dem Chef? Kann man machen. Ist es eine spezielle Position? Und was ist neben den technischen auch mit den rechtlichen Grundlagen?
Dr. Sebastian Kraska:Also es gibt da eine klare Schnittmenge in den Datenschutz, wenn Du diese Systeme einführst, weil sie im Regelfall personenbezogene Daten verarbeiten. Ja. Und dann löst Du damit auch im Regelfall bei KI Systemen eine Schwelle aus, wo der Datenschutzbeauftragte zu beteiligen ist. Das heißt, sind in vielen dieser Projekte involviert, wo es darum geht,
Christoph Magnussen:wir
Dr. Sebastian Kraska:wollen hier KI Systeme implementieren und dann prüfen wir eben quasi die datenschutzrechtlichen Rahmenbedingungen. Das kleine Einmaleins des Datenschutzes, was wir da vorhin schon kurz anskizziert hatten. Und ehrlich gesagt, das ist auch die Empfehlung momentan für viele mittelständische Unternehmen, auch im Hinblick auf KI-Verordnung, habt transparent, wo ihr das einsetzt. Ja. Beachtet das kleine Einmaleins des Datenschutzes, aber das ist euer Hausaufgabenset.
Dr. Sebastian Kraska:Mehr müsst ihr dann auch nicht machen, ja. Also die die großen KI-Verordnungsprojekte, die viele Konzerne haben, das ist weit weg vom Mittelstand und die Frage angesichts der des politischen Prozesses, in dem wir uns da mit der KI-Verordnung befinden, würde ich auch vorsichtig sagen, das bleibt auch momentan eher was für die Großkonzerne.
Christoph Magnussen:Siehst Du, wenn Du auf Also hast Du selber mal getestet, wie diese Agentic Systeme funktionieren? Also Claude Cowork, Claude Code, Codex, also Systeme, die quasi deutlich mehr machen können als nur eine eigentlich. Nicht
Dr. Sebastian Kraska:mit Live- Echtdaten, sondern separiert.
Christoph Magnussen:Und was ist dein Blick drauf, wenn Du auch siehst, wie mächtig diese Systeme sind und man sich als Firma überlegt, Mensch, ja, wir wollen damit arbeiten. Sagst Du, das geht mit dem Einmaleins des Datenschutzes, mit DSGVO, oder braucht das noch zusätzliche Regeln, die man sich als Unternehmen, weil es sinnhaft ist, mit dazu gibt?
Dr. Sebastian Kraska:Du kannst das mit dem kleinen Einmaleins der Datenschutzregeln vertretbar vertretbar umsetzen im Unternehmen. Das geht.
Christoph Magnussen:Wenn Du jetzt sagst, Du würdest aber son Zukunftsbild aufbauen, ne, so, das hatte ich dir auch gesagt, als als ich durch die Tür bin und sagte, Mensch, Du hast ja mit mit uns Kunden nicht, will ja immer wissen, was was ist möglich? Das heißt, Du kannst ja bei mir immer ganz gut gucken. Jetzt sag ich dir, Sebastian, ich sehe eine Zukunft und weiß genau, Menschen werden die zentrale Rolle spielen meiner Meinung nach, also auch bei uns im Business. Aber die werden eine vermutlich eine ganze Armee an Agents haben, die Sachen mittun. Meine Idee ist, die laufen gegen ein zentrales, ja, nennen's Betriebssystem, wo wirklich menschenlesbar Sachen drinstehen, so wie Handbuch, Mitarbeiter kommen und sagen, nee, das macht man bei uns und das nicht.
Christoph Magnussen:Ich sag auch, wenn will niemand sagen, ich mach Foto von irgendwas und Teil des irgendwas, ist auch keine gute Idee, ne? Dann glaube ich, wenn diese Regularik, die da geschrieben ist, so gut gemacht ist, dass es wie ein guter Prompt für ein Agent ist, hast du vermutlich in Zukunft sogar bessere Möglichkeiten, Datenschutz durchzusetzen, weil den Agent Sachen auffallen, die Menschen vielleicht gar nicht auffallen. Glaubst Du, das ist möglich und sollte man daran arbeiten? Ist das was wäre da in
Dr. Sebastian Kraska:dem Ansatz zu sagen, wir lassen den Menschen im im quasi im Cockpit auf jeden Fall begrüßenswert. Ich ich ich erwähne das nur deshalb, weil
Christoph Magnussen:Ja, Du dachtest alles, was anderes ist.
Dr. Sebastian Kraska:Es gibt ja auch andere Visionen da.
Christoph Magnussen:Ja, ich glaub das nicht. Also ich so technisch und effizient ich bin, ich glaube, da liegt ein ein ein ein Arbeit ist messy. Work ist messy. Und wir haben auch viel zu viel Freude dran. Und sei es, Du drückst aufn Knopf links und rechts.
Christoph Magnussen:Ja. So. Ist bei der Maschine heute auch, die ist ja komplexer als früher.
Dr. Sebastian Kraska:Ja. Und zu sagen, ich hinterlege ein regelbasiertes Konzept, das ich stark steuern kann und das mir auch transparent ist, ist auf jeden Fall ein sinnhafter Ansatz, in diesem Bereich Agentic AI überhaupt noch transparent zu halten. Ja, das eine ist ja, ich sag mal, ich automatisiere spezifischen Workflow oder eben mit deinen Agenten, denen gibt's ja noch mehr Freiheit quasi an der Stelle, wie sie da agieren können.
Christoph Magnussen:Ja, also wie gesagt, ich find's keine einfache Entscheidung und strategisch, ich beobachte einfach in Kundenunternehmen sitzt dann KI häufig in der IT und da wird es als technisches Tool bezeichnet. Dann sind die Juristen sehr weit weg davon und Du müsstest im Prinzip genau diese Schnittmenge haben. Deswegen sag ich dieses AI Officer Thema ist gar nicht so ohne und fand eigentlich die Idee gut, dass Du eine per AI Act auch verlangst, dass Leute ausgebildet sind. Das fand ich nicht schlecht.
Dr. Sebastian Kraska:Unternehmenswirklichkeit, wie ich sie häufig noch vorfinde, ist jetzt noch nicht so agentisch geprägt wie das, was Du dort skizzierst.
Christoph Magnussen:Ja, absolut. Na ja, das ist Sondern
Dr. Sebastian Kraska:die die unter, also hab ich den Witz gehört, dass es quasi mit der Copilot ausrollen ist dann quasi KI eingeführt im Unternehmen, ja so. Okay, aber Spaß beiseite, also was ich dann auch eher sehe, ist quasi workflowbezogene Nutzung von KI Tools, Einzelaufgaben in einzelnen Teams besser, einfacher, stärker automatisiert durchführen zu können. Da sehe ich das quasi, wenn wir auf eine Workflowebene in den Unternehmen gehen, ja, dass, weiß ich, eine Vertragsprüfung durchgeführt wird oder dass eine Vorfilterung von Bewerbungen durchgeführt wird oder oder oder dergleichen. Dass durch das Unternehmen eine ganze Reihe von KI Agents rennen und dir Sachen vorbereiten, das ist eher noch die Ausnahme als die Regel, wenn ich jetzt so in die Breite der Mandanten gucke.
Christoph Magnussen:Und dann noch eine Frage, die mich umtreibt aus den letzten Wochen, die vermutlich nicht mehr ganz so aktuell ist, wenn wir senden, aber jetzt ist es 2, 3 Wochen alt circa. Es gibt jetzt das erste Modell, was von einem führenden Lab nicht veröffentlicht wurde, Claude Mythos von Anthropic, was dann durch die Presse gegeistert ist. Ich bin da zweigeteilter Meinung, weil einmal ist natürlich super, mit Angst verkaufst Du immer ganz toll und ich bin da echt dagegen. Das ist so typisch amerikanisch, oh, ist alles ganz gefährlich und jetzt müssen wir was kaufen, dann seid ihr sicher. Und auf der anderen Seite gibt's schon führende Köpfe, wo ich sage, die den folge ich auch, die auch in diesem Techbereich sind, wo ich sage, so die die sagen das nicht leichtfertig und die, die damit gespielt haben und sagen, ja, das Ding hat halt wirklich jede Sicherheitslücke gefunden, die wir halt hatten.
Christoph Magnussen:So, das ist doch ein völlig neues Biest, auch in Bezug auf Datenschutz, wenn auf einmal etwas da ist, was dir Lücken aufzeigen kann. Und dann muss man doch sagen, dann hast du ja fast eine Pflicht, das zu benutzen. Also ich weiß, Jamie Dimon von von J.P. Morgan , der hat sich sofort hingestellt und gesagt, wir wollen das haben.
Dr. Sebastian Kraska:Ja. Also was jetzt da bei Mythos quasi Vorbereitung von IPO und Ja. Was Wahrheit. Aber generell kannst Du ja sagen, dass gerade auch so im Bereich Softwareentwicklung, Code schreiben gigantische Sachen möglich sind, auch wenn Du dir so die Entwicklung der letzten 2, 3 Jahre da anschaust und dass die Modelle da besser werden, auch im Auffinden von Schwachstellen ist natürlich eine große Nachricht für alle Formen von Software programmierung, aber natürlich auch für den ganzen Bereich Informationssicherheit und da hast Du auch die Schnittstelle dann ins Datenschutzrecht, die dann ja sagt, also Du musst eben sicherer und stand dem Technik entsprechende Systeme einsetzen. Aber ja, also wir werden in eine Welt laufen, wo Code, Prüfung stärker auch durch solche Tools dann stattfinden wird und darum auch ein Wettrennen passiert, ja.
Dr. Sebastian Kraska:Ist aber in gewisser Weise auch eine Chance, vielleicht ich sag mal, so in Richtung Empfehlung zu schließen, was Unternehmen tun sollten, auch in Zeiten, die sich ständig verändern und mehr Regulierung und Regulierung, die nicht aufeinander passt und auch Behörden, die mit dem Übermaß an Regulierung auch nicht klarkommen, das muss man ja auch sehen.
Christoph Magnussen:Also Du
Dr. Sebastian Kraska:hast ja nicht nur das Unternehmen, das die KI Verordnung erfüllen soll, Du hast ja auch dann auch eine Behörde, die das umsetzen muss. Da brauchst Du ja auch Ressourcen und Know how und so weiter. Also das stellt sich ja auch nicht automatisch ein. Die Ich war kürzlich in den USA auf großen Konferenz und da war so ein bisschen folgendes Priorisierungsbild. Erstes Thema, was Unternehmen aufm Fokus haben, ist Informationssicherheit.
Dr. Sebastian Kraska:Kommt auch aus dem regulativen Druck, aber kommt natürlich auch aus dem starken Eigeninteresse einfach in der Gesellschaft.
Christoph Magnussen:Macht auch Sinn, ne? Also. Ja.
Dr. Sebastian Kraska:Ja. Dann im Bereich der ganzen Digitalregulierung bestimmte Grundprinzipien durchhalten. Principal based haben die das genannt. Es gibt bestimmte Grundprinzipien, die gelten übrigens nicht nur in Europa, gibt's auch Überschneidungen mit den USA. Das wär als was wir als kleines Einmaleins der
Christoph Magnussen:Das, was wir vorhin hatten, wo wir sagen, Genau. Da den Fokus drauf.
Dr. Sebastian Kraska:Du kannst am Hochreck in Schönheit sterben, aber tatsächlich die Umsetzung auch in der aufsichtsrechtlichen Praxis
Christoph Magnussen:ist
Dr. Sebastian Kraska:bei den Datenschutzbasisthemen. So, also lege da deinen Fokus. Ich sage nicht, höre da auf, aber das ist, womit Du starten solltest. Und das dritte Thema ist dann die Art und Weise, wie Du mit der Durchsetzung, also aufsichtsrechtlichen Verfahren umgehst. Da muss man ein bisschen die politische Entwicklung aufm Schirm halten, denn die Politik spielt eine immer größere Rolle, was die Durchsetzung angeht.
Dr. Sebastian Kraska:Stichwort Digital Services Act und Digital Markets Act, wo wir im Zuge zu Erleichterungen bei den Zöllen jetzt amerikanischem Regulierungsapparat Mitspracherecht eingeräumt haben.
Christoph Magnussen:Also son bisschen an den Verhandlungstisch Verhandlungsmasse. Ja. Verhandlungsmasse. Okay. Sehr, also für mich war sehr hilfreich.
Christoph Magnussen:Ich hab Fragen gestellt, die ich hatte. Hanno hinter der Kamera heute, was sagst Du? Thema Datenschutz.
Dr. Sebastian Kraska:Fragen gestellt.
Christoph Magnussen:Du hast Du noch Fragen zu zu deinen Editingtools? Lieber nicht. Nicht, genau. Nee, sehr, sehr schön. Also danke dir wirklich für einmal die die ganze Reise durch.
Christoph Magnussen:Ich motiviere alle, die schauen und hören, Fragen zu stellen.
Dr. Sebastian Kraska:Sehr gerne, ja.
Christoph Magnussen:Unbedingt aber auch deinen Youtube Channel zu abonnieren. Dich findet man am besten auf Youtube unter
Dr. Sebastian Kraska:Datenschutzvideos, da sind wir auf Youtube. Ist relativ selbst beschreibend,
Christoph Magnussen:ja. Datenschutzvideos, das ist so son richtig schön deutscher Name, unter dem man sich auch gleich sicher fühlt, wenn man's geguckt Genau. Sehr gut. Danke dir.
Dr. Sebastian Kraska:Vielen Dank für deinen Besuch.