Die Challenge ist, KI wird kommen. Und das ist son bisschen Selffulfilling Prophecy, ob man's mag oder nicht. Und hier in Europa denken wir jetzt halt oftmals, ah, wir geben öffentliche Förderungen an Universitäten. Ja. Die bauen uns Modell, das machen wir Open Source.
Johannes Otterbach:Und dann was? Da stehen wir. Und da kommt's auch drauf an, wie risikotolerant ist eine Gesellschaft, ja? Und warum interessiert mich AI so viel? Weil eigentlich am ultimativen Ende von der wissenschaftlichen Frage der AI ist, was ist eigentlich menschliche Intelligenz?
Christoph Magnussen:Die größte Begeisterung habe ich dafür, wirklich zu verstehen, wie die Sachen zusammenhängen und zusammen funktionieren. Und das ist etwas, das treibt mich schon, solange ich denken kann. Bei AI to the DNA geht's genau darum. Und ich sprech heute mit jemandem, der bei Palantir war, der bei Open AI war, der mitgearbeitet hat an den Modellen, die von GPT 1, GPT 2 bis hin zu ChatGPT geführt haben, der bei Merantix war, der jetzt in Europa an führender Stelle ist, dafür zu sorgen, dass wir hier auch ein Frontier Lab aufbauen, Johannes Otterbach. Und ich sage euch, diese Folge hat's wirklich in sich.
Christoph Magnussen:Ihr habt eine geballte Lernkurve dabei mit Punkten, an die ihr noch gar nicht gedacht habt, wenn es das Thema KI geht. Und ihr werdet anders auf das Thema schauen und trotzdem sind wir sehr konkret dran an dem, was euch täglich betrifft. Insofern freut euch drauf, vom Tooltourist zum AI Anwendungsweltmeister zu werden. Mein Name ist Christoph Magnüssen, ich hoste AI To the DNA. Mit Blackboat habe ich jeden Tag mit den Themen zu tun, aber das hier, das ist meine ganz persönliche Lernreise und ihr könnt euch jetzt auf die Folge mit Johannes Otterbach freuen.
Christoph Magnussen:AI To the DNA ist das Versprechen, die Natur 1 Technologie besser zu verstehen. Und ich grinze hier über beide Ohren, denn hier sitzt jemand, auf den ich mich unfassbar lange gefreut habe. Johannes Otterbach. Schön, dass Du da bist.
Johannes Otterbach:Ja, vielen Dank für die Einladung.
Christoph Magnussen:Und wenn ihr euch fragt so hä, what, was los? Ich hab über die Story, also hinter hinter Blackboat wir sind beteiligt bei Merantix, 1 so, würde ich sagen, der durchaus spannenden Inkubatoren in Deutschland für KI. Und nun gab's jemand bei Merantix lange Zeit, der immer wieder genannt wurde, weil er auch bei Open AI war, bei Palentir war, Quantenphysiker ist, die Tradings Run versteht und dieserjenige bist Du.
Johannes Otterbach:Und so sitzen wir hier. Genau.
Christoph Magnussen:Und tauchen ab. Insofern freu ich auf eine Folge, die sehr nerdig vermutlich in die Tiefe gehen wird und wir werden mal wieder die die Brücke Du hast aber heute eine ganz andere Rolle und Du hast es, glaube ich, jetzt gerade erst announced, was Du neuerdings machst. Vielleicht haust Du das einmal raus.
Johannes Otterbach:Ja, also ich bin seit einiger Zeit ungefähr einem Jahr bei der der SPRIN-D unterwegs. Das ist die Bundesagentur für Sprunginnovation. Dort bin ich als Investment Advisor, wir nennen das Innovationsmanager unterwegs und meine Motivation dort ein bisschen Fuß zu fassen und rumzuwirbeln war eigentlich, dass ich mir überlegt habe, wie kann ich KI in Deutschland weiter bewegen. Ich hab mich wirklich Jahr lang viel damit beschäftigt und mir überlegt, was können wir machen? Und haben jetzt gerade letzte Woche auf der EurIPS, da werden wir wahrscheinlich noch reingehen, eine große neue Initiative vorgestellt, mit der wir versuchen, 3 neue von Frontier AI Labs in Europa zu etablieren.
Johannes Otterbach:Mit der Ansage, dass in 24 bis 30 Monaten wir 3 Labs haben, die bis jeweils bis zu 1 Milliarde Euro raisen können. Das sind Hausnummern, die kennen wir hier in Europa nicht. Heißt, das wird sehr spannend, wie das ausging.
Christoph Magnussen:Und ich hatte dich direkt gefragt, weil wie gesagt, Du hast halt, da gehen wir auf jeden Fall auch noch rein, Du hast bei OpenAI an den Vorgängern von ChatGPT, also GPT 1, GPT 2, den ersten Playground hast Du gerade erzählt, mitgearbeitet. Machen wir gleich noch. Und da hab ich dich gefragt, warum bist Du wieder hier? Warum machst Du nicht da drüben was anderes, was Eigenes? Es wäre eine legitime Möglichkeit.
Christoph Magnussen:Und deine Antwort war sehr, sehr klar und scharf und die fand ich stark.
Johannes Otterbach:Ja, ja, die Antwort ist eigentlich relativ simpel für mich persönlich. Ich fühle mich dem europäischen System sehr stark verbunden und die Vorstellung, in 1 Welt zu leben, die sehr bipolar von chinesischer und US Tech dominiert ist, gefällt mir persönlich nicht. Ich würde gern, dass wir Tech entwickeln können, die auch das europäische Wertesystem mitnimmt und als dritten als dritte Säule etablieren kann. Ich glaub, wir haben hier in Europa eine Chance, das zu machen. Wir sollten uns nicht einfach rumdrehen und die das Spielfeld überlassen und das sollten wir vorantreiben.
Johannes Otterbach:Klar, wir sind hinten dran. Wir kommen aus keiner guten Startposition, aber aufgeben ist keine Option hier.
Christoph Magnussen:Das ist, Du hast mich damit sofort. Aber wenn wir die, dann lass uns mal gucken, wie wir uns wie wir uns dem Thema ernähren, sodass wirklich auch alle das bisschen verstehen können, weil ich glaube, das, was so super spannend ist, ist zu verstehen, welche Dimensionen mittlerweile vor allem die Large Language Models haben, dass man son bisschen eine Idee bekommt. Als Du vorhin reinkamst, hatten wir beide relativ schnell über Deployment gesprochen. Also der Moment, wenn man Code geschrieben hat und den raus deployed in eine Datenbank, weil ich meine eigene Datenbank gelöscht hatte, in der noch keine Live Daten drin waren. Und dann bupp und ja, war okay, yolo, you only life once.
Christoph Magnussen:Und da hatt ich dich gefragt, wie es mit den großen Training Runs ist. Und da hast Du immer son bisschen erzählt, wie kreativ und schwer das eigentlich ist, das zum Laufen zu bringen. Und das würd ich gern noch mal, dass Du uns da mitnimmst, grade aus der Zeit, als ihr angefangen habt bei OpenAI, die verschiedenen Sachen zu entwickeln. Und dann gehen wir auch durch die Stationen, die Du noch davor und danach gemacht hast, die kannst Du immer mit einbauen, Das hat mich sofort mitgenommen und ich verstanden, it's a big target, das wir hier in Europe haben.
Johannes Otterbach:Ja. Die großen Sprachmodelle sind tatsächlich eine ultimative, komplexe Software zu entwickeln. Das Interessante an der Sache ist, dass du nicht viele Ingenieurs brauchst. Du brauchst viel Compute. Normalerweise kannst du sagen, Größenordnung 5 bis 10 Leute im Team ist ausreichend für ein großes Sprachmodell, wenn du das Know haust.
Christoph Magnussen:5 bis 10 Leute?
Johannes Otterbach:Ja. Das muss man sich bisschen auf der Zunge zergehen lassen. Krass. Weil das kann das das können sich viele aus traditionellen Industrie nicht vorstellen, dass 5 bis 10 Leute eine Software entwickeln können, die einen Impact generiert, die so groß ist wie eben diese ChatGPT Serie. Milliarden
Christoph Magnussen:von Menschen, ne? Also literally.
Johannes Otterbach:Genau. Und das ist so schön. Da gibt's auch spannende Analduinen, ich dich später mal auch erzählen kann. Aber der Kern von diesen Sprachmodellen, das wirklich zu skalieren, also unsere Diskussion von vorhin noch mal aufzugreifen, liegt in den Scaling Laws. Ich weiß nicht, ob das den Leuten Begriff ist, also Skalierungsgesetze.
Johannes Otterbach:Die Idee da hintendran ist, dass man eine ganze Batterie von Modellen von ganz, ganz klein bis über bisschen größer, mittelgroß und ganz groß trainiert und konsistent eben auf Benchmarks achtet und schaut, wie sich die Benchmarks mit der Größe des Modells entwickeln. Und dadurch, dass ich jetzt verstehe, wie ich diese Modelle langsam aber stetig skaliere, kann ich vorhersagen, welche Ressourcen ich brauchen werde, wirklich ganz großes Modell zu trainieren. Das heißt, geh nicht mit Yollow Approach rein, sondern ich hab so bisschen Gefühl, eine Vorhersage, was sind die Parameter, die Datensätze und die Modellarchitektur im Sinne der Parameter, die ich brauche, eine gewisse Performance zu erzielen. Und das ist ein sehr, sehr diffiziles Problem. Das erfordert viel experimentelle Arbeit.
Johannes Otterbach:AI am Ende ist eine experimentelle Disziplin tatsächlich. Und das ist so der Durchbruch gewesen. Und bei OpenAI haben wir halt über Jahre hinweg diese Skalierungsgesetze untersucht. Haben das wirklich gesehen von GPD 1 über GPD 2 zu GPD 3 und haben wirklich gesehen, wie diese Performance auf vielen, vielen Benchmarks immer besser wurde. Mhm.
Johannes Otterbach:Und eben auch gesehen, dass manche Benchmarks, die wir wirklich in der Community gedacht haben, sind erst mal auf den nächsten Dekade nicht zu lösen, mit größeren Modell einfach geschmolzen sind. Und das war sozusagen der Durchbruch, zu sagen, okay, das das das funktioniert wirklich. Und dann heißt es dann, wenn Du so was gefunden hast, Double down und nicht.
Christoph Magnussen:Was welche Bedeutung hatte, ne, der der Transformer, also das T in ChatGPT, das Modell, was, glaube ich, vor allem ausm Haus von Google mitkam, wenn ich mich getrennt sinne, aus dem Paper Attention is all you need als Grundarchitektur spielt ja eine Rolle plus dann auch die Ideen über Reinforcement Learnings, Human Feedback. Das waren dann noch Sachen, meine ich, die ihr anders gemacht habt als andere, weil so eine große Frage, die ich beispielsweise hatte, als als wir uns mit Blackboat bei Mirantex beteiligt haben, wo Du ja auch Teil des Teams danach warst, Da weiß ich noch, ich hab ganz klar, auch aufgrund meiner Erfahrung, die ich mit Google gemacht habe und weil ich damals wusste, so gefühlt die Hälfte aller AI Scientists sind von Google beschäftigt oder DeepMind oder irgendwo da in dem Kontext. Und ich hab voll drauf gewettet. So, also ich war extrem überrascht, dass ich dachte, holy smoke, how is that happening? Und was das Faszinierende war für mich, wenn Ideen nachher einen solchen Hebel haben, also ein kleines Team mit anderen Art von so setzen wir an vorgeht, muss es ja was Das müssen ja mehrere Faktoren sein.
Christoph Magnussen:Was waren die Punkte? Also die Scaling Laws alleine wird Google doch auch gesehen haben oder nicht?
Johannes Otterbach:Ja, aber das Problem ist son bisschen die Frage, kann eine Organisation wie Google so was auch umsetzen? Das ist immer der Unterschied zwischen 'ner großen Organisation, die in Innovation Dilemma festhängt, im Sinne von, wir sind so eine große Organisation, jede Innovation, die wir machen, muss direkt skalieren auf Milliarden oder Millionen von Leuten. Wenn wir es falsch machen, haben wir einen riesigen Reputational Damage. Das heißt, du musst dort sehr vorsichtig agieren. Die Organisationen sind sehr verkrustet teilweise auch.
Johannes Otterbach:Das heißt, selbst wenn du so was siehst, ist es schwierig, das zu operationalisieren. Mhm. Oder einem kleinen Team, wo Du erst mal kein großes Organisation Organizational Risk hast. Und dann kannst Du natürlich auch solche großen Wetten auch draufgehen und sagen, okay, wenn wenn sie nicht funktioniert, sind wir sowieso tot. Also wir all in on this, ja.
Johannes Otterbach:Also das sind son bisschen diese Sachen, deswegen können auch Start ups wirklich große, mächtige Player angreifen und auch disruptieren. Und das sehen wir mit OpenAI, wie's passiert. Also OpenAI war ganz lange sehr, sehr klein. Und jetzt reden wir dadrüber, ob und wie OpenAI Microsoft und Google zerschlagen soll.
Christoph Magnussen:Es also wie gesagt, es ist absurd und das bleibt immer noch eine Wette. Nichtsdestotrotz hat's für mich gezeigt, welche Rolle eben diese diese Idea Power dann spielen kann und die die Taktung, die rausgegeben wurde. Hast Du Insights oder kannst Du Sachen teilen mit welche Rolle eben dieses, Du hast ja beim bei den Training Runs verschiedene Schritte. Du hast einmal diesen Riesenrun. Das heißt, GPT Für mich war, weiß ich noch, die Märzwoche März 23.
Christoph Magnussen:Ende, das muss Ende März 23 gewesen sein. Da kam, glaub ich, GPT 4.
Johannes Otterbach:Mhm.
Christoph Magnussen:Und wir waren ausm Urlaub wieder zu Hause. Und Ich mein, ich lag in der Badewanne oder so was, keine Ahnung. Und ich bin so durchgegangen, Leute zu meiner Freundin, so, das musst Du dir angucken. Das ist absurd krass, wie sich das jetzt verbessert hat. Und konnte das richtig merken.
Christoph Magnussen:Und ich meinte, das war doch irgendwie Cash All In, wie Du gerade gesagt hattest bei dem Run. Warum ist das bei so einem Training Run, wenn er dann läuft, so kritisch? Das hast Du vorhin noch mal sehr eindrücklich erläutert.
Johannes Otterbach:Ja, also es gibt ja mehrere Komplexitäten bei so einem Training Run. Also du fängst an mit vielen, vielen kleinen Modellen, wo ich schon gesagt hab, da laufen typischerweise Hunderte bis Tausende kleine Modelle. Dann laufen irgendwie 10 bis 100 mittlere Modelle und dann irgendwie 2, 3 mittelgroße Modelle und dann ein ganz großes Modell, sodass du im Detail weißt, wie kommt das zusammen? Und Du fängst dann auch an, mit deinen nach und nach deinen Trainingsdatensatz zu versionieren und zu verstehen, was passiert eigentlich in meinem Trainingsdatensatz? Mit welchen Daten möchte ich eigentlich trainieren und wie groß muss der Ganze sein?
Johannes Otterbach:Das sind so deine deine, ja, Zusatzstoffe im Rezept am Ende. Und dann kommt es so zusammen, dass du anfängst zu sagen, okay, jetzt hab ich genug Confidence darein, welche Zusatzstoffe ich reingeb und jetzt muss ich das Ding trainieren. Und das Ich mach jetzt hier im Podcast mach ich Airquotes weil es ist nur trainieren, das ist gar nicht so trivial. Dafür brauchst Du viel Engineering auch. Da dann die Hörst du normalerweise bei den Searchern auf.
Johannes Otterbach:Du kommst in die Region des ML Engineers und des MLOPS Spezialisten, die dann so was machen, weil wir hier dann davon reden, dass wir einen Cluster betreiben mit typischerweise 12000 GPUs. Und das Lustige an dieser ganzen Sache ist, wenn man auf dieser Menge GPUs rechnet, dann lernt man eine Lektion, die man vor 20, 25 Jahren im Datencenter gelernt hat, nämlich dass die dass das Ausfallen 1 GPU die Regel ist statt die Ausnahme, genauso wie das Ausfallen 1 Harddrives deiner Storage Facility.
Christoph Magnussen:Also nur die, die es jetzt sich fragen, so GPU, erzähl noch mal ganz kurz, Das sind diese Dreißig- bis 40000 Euro Bretter von NVIDIA, die H-einhundert, die halt auch teuer sind, die gekühlt werden müssen, die da ist ganz viel auch noch wirklich Hardware Engineering dahinter. Was passiert, wenn die ausfallen?
Johannes Otterbach:Na, was passiert? Es wird ja obendrauf Dann gibt's ja spezialisierte Software noch mal. Also wir müssen jetzt hier durch den kompletten Software Stack, das wird halt jetzt bisschen technisch leider. Aber die GPUs, da passen in einen kleinen kleinen Maschine, einen Einschub in sonen Server Rack, da passen 8 GPUs normalerweise rein. Dann sind in einem Racks sind ungefähr 5 bis 6 von dieser Einschübe und dann gibt's irgendwie 200 dieser Racks, die dann so im Datenzimmer stehen.
Johannes Otterbach:So kommt man auf diese 2000 GPUs. Wenn man son Einschub drin hat, dann muss der Einschub 1 mit Einschub 200 irgendwie kommunizieren können. Das heißt, dazwischen drin gibt es dann Kabel und Router und alles drum und dran. Und dann, wenn man das Ganze verstöpselt hat, dann muss ja irgendwie eine ein Protokoll laufen, also das Äquivalent von HTTPS oder 'nem TLS für die Leute, die im Internet unterwegs sind. Hier ist es normalerweise nennt man das MPI, Message Passing Interface.
Johannes Otterbach:Ist auch eine Standard, auch ziemlich alt, kommt auch aus dem High Performance Computing, aber der hat eben keine Ausfalltoleranz eingebaut. Das heißt, wenn eine GPU Also
Christoph Magnussen:nicht der Standard ist. War halt
Johannes Otterbach:nicht der Standard, man hat uns nicht überlegt, dass man das auf Ja. Tausende Maschinen oder tausende Prozesse skalieren Wenn 1 dieser GPUs ausfällt, kann's passieren, dass das ganze Training lahmlegt. Dann warten irgendwie, wenn man 2000 GPUs hat, warten 1999 GPUs auf die eine GPU, die ausgefallen ist, die kann man aber nicht wieder starten. Da muss man den ganzen Trainings Run unternehmen und muss wieder starten. Und das muss man engineeren.
Christoph Magnussen:Und mal eine Kostendimension zu haben, was kostet das bei so einem Training Run von GPT-4?
Johannes Otterbach:Ja, das ist so ein bisschen jetzt Gäste mit. Das kommt bisschen drauf an, welche Daten, welches Datencenter hab ich, welche Subsiddies hab ich. Größenordnung irgendwas zwischen 10 bis 50000000, würd ich mal sagen, ja. Sind so die Dimensionen, je nachdem, was die Stromkosten sind. Das geht relativ schnell.
Johannes Otterbach:Das heißt, man muss Deswegen hat man nur einen Run, weil man hat nicht das Geld, irgendwie diese Modelle mehrmals zu trainieren.
Christoph Magnussen:Und deswegen heißt es
Johannes Otterbach:sogenannte Yolo Run. Deswegen ist das der sogenannte Yolo Run.
Christoph Magnussen:Das ist sehr eindrücklich erklärt. Jetzt haben wir den noch mal behandelt und abgeschlossen. Sehr schön. Das ist aber wahrscheinlich die Zeit, in der man, wenn man mit jemandem essen geht im Valley in der Zeit, wenn das läuft, dass sehr wenig Aufmerksamkeit beim Essen gibt, wahrscheinlich irgendwelche Sachen angeschaut werden, ob noch alles am Laufen ist.
Johannes Otterbach:Das ist übrigens, das ist ja das das Lustige an der Sache, wenn Du ML Engineer hast oder ML Reseacher, Du musst ihnen den Zugang zum zu ihrem Interface blocken, wo sie den Trainingsrahmen beobachten. Weil die Leute gucken die ganze Zeit auf ihr Handy. Weights and Biases ist ja schönes Beispiel und gucken sich die Trainingskurven an, ob die Trainingskurve wirklich auch runtergeht oder ob sie jetzt saturiert ist. Das ist sehr Da gucken sich Leute stundenlang an oder direkt morgens nach dem Aufstehen wird Handy vom Nachttisch genommen und dann wird sich die Trainingskurve angeguckt.
Christoph Magnussen:Ja, das ist schön, richtig. Das ist genauso. Genau das wollt ich aber im Kern wirklich verstehen. Und wenn Du, weil Du jetzt sagtest, es sind mehrere Stufen. Jetzt ist das durch, abgeschlossen.
Christoph Magnussen:Jetzt hast Du Super Vice Feintuning danach, das heißt das nachjustieren. Ist das schon der nächste Schritt dann?
Johannes Otterbach:Das kommt bisschen drauf an, was Du jetzt wirklich erreichen Also wenn Du diesen einen Yolo Run wirklich gemacht hast, dann hast Du das Basismodell. Und dann kommt's son bisschen drauf an, was Du hinterher machen willst und welche Trainingsdaten schon reingeflossen sind. Du kannst also Supervice Fine Tuning machen. Du kannst Supervice Fine Tuning gefolgt von RLHF, also Enforcement Learning for Human Feedback machen. Du kannst direkt RLHF drauf machen.
Johannes Otterbach:Du kannst auch noch mal reingehen eine Destillation machen mit Student Teacher Approach. Das kommt bisschen drauf an, was sind deine, was ist deine Business Applikation, was ist deine Deployment Vertikale. Da kommen verschiedene Modelle rein.
Christoph Magnussen:Machen das wieder in Combo, also wie wie ist das Team organisiert, die überlegen, was machen wir jetzt draus? Sind das wieder ML Specialist, Scientist oder ist es Research?
Johannes Otterbach:Kommt son bisschen alles mit dazu, ne? Also wenn Du auf der einen Seite hast Du unter Umständen Produktmanager, OpenAI sind's inzwischen die Produktmanager, dann sagen, okay, wir brauchen Modell zum Beispiel, das supergut ist auf Reasoning für Mathe oder Produktmanager sagt, ich, wir müssen die Coding Modelle bisschen hochtreiben, dann wird da noch mal fein getunt. Dann kommen aber auch zum Beispiel die Site Reliability Engineers rein und sagen, wir müssen irgendwie unsere Kosten drücken vom Deployment, das heißt, wir müssen die Modelle quantisieren und nachtrainieren oder wir müssen sie destillieren und nachtrainieren. Also normalerweise wird Training gemacht auf nennt sich in in eine Repräsentation von Fließkommazahlen, die nennt sich BFloat16. Das wird trainiert darin, das ist also eine spezielle Architektur und spezielles Zahlenwerk für für Deep Learning, das entwickelt wurde von NMedia.
Johannes Otterbach:Und dann quantisiert man das aber auf kleinere Zahlen, einfach die Anzahl von Speicherplatz zu minimieren, sodass Du mehr Modelle auf eine GPU laden kannst und auch die Inferenz schneller läuft. Also da kommt so kommen's ganz viele verschiedene Businessinteressen kommen dann zusammen. Die Reseacher haben dann noch mal ihr eigenes Interesse, das Modell zu studieren, auf potenzielle ungewollte Verhaltensweisen von oder wie gut die sie auf Benchmarks sind und und so weiter.
Christoph Magnussen:Das ist ja das, was was ich faszinierend finde, dass das Team von Antropic relativ viel veröffentlicht darüber. Also hier die die Amanda Escal, die quasi Hüterin auch des System Prompts ist, die spricht ja in Podcasts auch häufig darüber, dass sie das Ganze dann zu Apollo Research geben und Ähnliches. Ich glaub, dass Google nicht ganz so transparent mit ihren mit ihren Modellen, so gar nicht. Das find ich interessant, ne, weil die ganze die ganze KI Welt hat veröffentlicht wahnsinnig viel. Also man kann irre viel darüber lesen und dann gibt's einfach son paar Frontier Labs, die einfach nichts darüber preisgeben.
Christoph Magnussen:Und diese bei dieser Verhaltensweise, da beobachte ich spannendes Phänomen, dass Leute immer noch nicht gut genug unterscheiden können zwischen, wir haben's hier nicht mit einem deterministischen Modell zu tun. Wir haben aber auch keinen Menschen vor uns, wir haben irgendwas dazwischen. Und Menschen wollen gefühlt immer eine Schublade haben und haben noch nicht, also meine Beobachtung, da würde mich deine Meinung interessieren, noch nicht gelernt, das ist eine dritte Kategorie, die irgendwo dazwischen ist. Also es schreibt ja wie Mensch, fühlt sich so an. Ich hatte neulich einen, der sagte, dasselbe wie ich und dann begann ich, die KI anzuschreien in Großbuchstaben, wenn irgendwie so läuft, ja konkret kontextvoll.
Christoph Magnussen:Die die das Nachjustieren und das Beobachten von Verhaltensweisen, das, einigen Menschen noch so Angst macht. Wie ist dein Blick dadrauf, wo Du sagst, na ja gut, das ist Modell, das ist Produkt und das muss für den Zweck quasi angepasst werden? Wie kann man das am besten jemandem erklären, der da noch nicht tief drin ist?
Johannes Otterbach:Du legst den Finger in die Wunde. Das ist noch ganz großes Problem, weil das auch son bisschen auf die Frage abzielt, wie können wir aus der gesellschaftlichen Perspektive die Produktanforderungen treiben, ne? Wir haben das gesehen bei ChatGPT mit dem sykophantischen Verhalten. Ja. Das ist sehr großes Problem.
Christoph Magnussen:Also der Schleimermodus.
Johannes Otterbach:Der Schleimermodus, genau. Also immer immer ja sagen oder immer deine deine Vermutung bestätigen. Spätestens,
Christoph Magnussen:wenn beim Coden das passiert und sagt, geniale Idee, breche ich ab und mache einen
Johannes Otterbach:neuen Chat aus. Genau, das ist halt supergefährlich, aber das wurde auch einfach durch die Daten erzeugt. Dieses dieses Reinforcement Learning von Human Feedback kommt ja dann daher, dass der Mensch sagt, das ist gut und das ist nicht Wir haben natürlich immer einen Bestätigungsbase. Jetzt gibt's dann durch andere Firmen, das kam dann wieder zum Punkt vorne zurück. Google hat einen viel größeres Reputational Risk, die machen anders viel geschickter, aufzupassen, wie dass man nicht so syrophantisch arbeitet.
Johannes Otterbach:Anthropic arbeitet da auch in anderen Richtung, weil sie viel mehr auf Enterprise Businessmodell sitzen, statt auf Direct Customer Interface wie OpenAI. Das ist eine große Frage. Ich erzähl den Leuten dadurch immer so, es gibt ja so, da kennen wir aus dem autonomen Fahren. Du hast immer diese schönen Situationen, da steht eine Oma mit ihrem Enkel über die Straße. Und Du bist zu schnell mit dem Auto und jetzt hast Du die Entscheidung oder hat das Auto die Entscheidung, entweder ich überfahr die Oma mit dem Kind oder ich ich töte den den Autofahrer.
Johannes Otterbach:Was soll das Auto machen? Und das sind eigentlich ganz seltsame Probleme, weil die werden so in Realität nicht passieren, weil Du in der Realität immer irgendwelche unbekannten Variablen hast und die KI wird immer irgendwie eine Unschärfe haben und diese Unschärfe wird irgendwas definiert werden. Und was am Ende passieren wird, ist, dass wir uns die Frage stellen müssen, welche welche Persona weisen wir einem KI Modell tatsächlich zu, juristische Persona? Ist es eine Firma, ist es eine menschliche Person oder wird es eine neue Kategorie geben? Und da müssen wir uns anfangen, da zu überlegen.
Johannes Otterbach:Das Problem, warum wir als Menschen so viel Probleme damit haben, ist, wir sind aufgewachsen mit Computern, die das kennt 0 und 1, entweder ist es richtig oder falsch. Sind so in der Mathematik aufgewachsen und damit erwarten wir, ein Computer macht es entweder richtig oder macht es Und dass wir das in Kategorie dazwischen entwickeln aus Technologie, das haben wir uns noch nicht damit Also
Christoph Magnussen:Du hast mir grad Gedanken gegeben, über den hab ich noch gar nicht nachgedacht, dass Du dieser Kategorie sogar eine eigene juristische Person zuordnen könntest. Also weil die das in eine weitere Kategorie zu denken, das versuche ich wirklich häufig auch zu erklären, zu sagen, hey, ist eine wirklich neue Kategorie und da
Johannes Otterbach:brauch
Christoph Magnussen:ich wirklich einfach mal deinen deinen Take zuhören. Also da fühle ich absolut drin bestätigt und ich glaub, das ist etwas, das löst sehr viel, dass Du allein mal sagen kannst, na ja gut, ich guck mir halt mit einem Stochastic Mindset an, was ist dabei rausgekommen? Und dann lese ich noch mal meinen Prompt durch und stell fest, ah okay, Du hast in deinem Intense schon Folgendes geschrieben. Problem ist natürlich nur, wenn du dazwischen Agentic Schritte hast, dann wird's halt ungleich komplexer, das zu bewerten.
Johannes Otterbach:Genau.
Christoph Magnussen:Das heißt, du kannst es ja eigentlich nur an dem Ergebnis bewerten und immer wieder zurück zum Ausgangspunkt gehen.
Johannes Otterbach:Ja, aber so machen wir's ja im Gesetz auch, Intentionality, ne? Also.
Christoph Magnussen:Ja, stimmt. Und
Johannes Otterbach:genauso muss es gemacht werden, ja.
Christoph Magnussen:Interessant. Das heißt, Du würdest dann aber, aber könntest Du dann nicht auch, wenn Du an eine juristische Person denkst, sagen, na ja, ein Mensch hat dir die Intention reingegeben? Nee, kannst Du da nicht, wenn ein Agent.
Johannes Otterbach:Ja, das kommt auf den Level der Autonomie an, ja? Deswegen ist auch dieser Agenten Autonomie unglaublich schwierig.
Christoph Magnussen:Ich hatte eine Folge mit Richard Socher. Den kennst Du ja auch.
Johannes Otterbach:Natürlich.
Christoph Magnussen:Also logo! Für die, nicht kennen, lohnt sich sehr zu hören, die Folge. Richard ist derjenige, der als Konzept entwickelt hat sozusagen.
Johannes Otterbach:Genau, mitentwickelt, genau. Mitentwickelt hat.
Christoph Magnussen:Auch viel zitiert. Und der sagte, bei den Agents sieht er eben noch eine sehr, sehr langen Weg, bis das halt treffsicher wird, ne.
Johannes Otterbach:Also er
Christoph Magnussen:sagt so, die letzte Meile ist das Problem, also diese letzten 5 bis 10 Prozent. Und Du sagst natürlich Level an Autonomie bei juristischen Person, wie ist denn deine Einschätzung timeframeseitig, wo Du sagst, von dem, was ich sehe, kommst Du schon sehr weit. Also ich finde, man kommt schon extrem weit. Also ich find's brutal, wie produktiv man plötzlich ist, Sachen zu generieren. Und dann sehe ich aber auch klare Limitationen, wo ich einfach merke so, ja, Du kannst dich nicht einfach losschicken und sagen, kümmer dich mal drum und ich komme in 8 Stunden wieder und läuft.
Christoph Magnussen:Sag mal, how close Are wehere?
Johannes Otterbach:Ich glaub, im, zumindest im aktuellen Modus sehe ich, dass am Ende die die Accountability immer noch bei Menschen liegen wird für lange Zeit. Also was ich sehe, dass wir in den nächsten 3 bis 4 Jahren viele, viele agentische Tools haben, wo auch zum Beispiel wir 2 wollen eine Verabredung treffen. Wir schicken unsere Agenten los, die unsere Kalender synken, miteinander rausfinden, wann können wir uns treffen. Wir geben denen Guardrails. Und dann machen wir irgendwie noch sone sone Checkbox drauf, also Human in the Loop ist always there.
Johannes Otterbach:Mhm. Ich sehe aber auch Systeme, wo das wahrscheinlich schnell ausgehöhlt wird, wenn wir über überlegen über Cyber Defence, High Frequency Trading, den ganzen Military Defense Komplex, wo solche Entscheidungen getroffen werden. Das wird unglaublich viel schwieriger. Es geht auch in dem Moment, wo Du anfängst, Information zu sammeln und zu destillieren. Signal Intelligence wird da ein großes Problem.
Johannes Otterbach:Sowohl in der Research- wie auch im Defence Bereich. Also du machst Hintergrundrecherchen zu 'ner Folge und sagst dann, schickst deine Agenten los und sagst so, hey, sammel mir mal alle Informationen im Internet zu diesem Thema. Mach mir eine Exex Summary von 2 Seiten, ne? Und jetzt musst Du feststellen, ist das richtig oder nicht? Dann kommen wir in son schönes Peer Review Problem im Prinzip rein, was wir auch aus der Akademie kennen.
Johannes Otterbach:Wie stellst Du fest und garantierst Du, dass die Quellen, es benutzt hat, wirklich die Quellen sind, die nutzbar sind, haust es, wie ist es unbiast oder wie ist es gebiased, ja? Wir kommen da in gewisse Probleme rein und Accountability und das wird erst mal noch beim Menschen bis wir dann irgendwann so dieses Konzept erarbeitet haben, dass wir eine Autonomie treffen können, wo wir als Gesellschaft dazukommen und da kommt's auch drauf an, wie risikotolerant ist eine Gesellschaft. Kommt wahrscheinlich in anderen Gesellschaften früher wie in der europäischen Gesellschaft, aber da, was wird kommen, ja.
Christoph Magnussen:Ich denk grade drüber nach, es gab einen, wer hat denn das gesagt? Ich weiß nicht mal, ob Mark Andreesen zum Beispiel hatte. Es gab mal ein Gesetz in UK und auch in den USA sehr strenge Automobilgesetze, wo, ich meine, in Pennsylvania, wo jemand mit 1 Flagge einem Auto vorauslaufen musste, Vieh und Menschen zu warnen, da kommt jetzt ein Auto. So, wo Du denkst so, okay, das heißt, da musste immer 1 vorausgehen, das war Gesetz. Mhm.
Christoph Magnussen:So, wo Du merkst, wo Du denkst so, wir gehen da so immer, also die Amerikaner offener ran und so weiter, tun wir nicht. Es ist eine komplett neue Technologie. Und ich frag mich halt, wie halt besser noch Verständnis geschaffen werden kann, weil für viele Menschen ist es halt magic, ne? So. Du hast jetzt Sachen beschrieben, die klares Engineering sind.
Christoph Magnussen:Aber grade wenn mehr Autonomie möglich ist, prompt injection als Gefahr, ich ich find's halt mega, was Agentic Browser machen kann, weiß man natürlich auch, okay, das da da kann halt auch Scheiße auf der Seite stehen. So. Und deswegen, aber ist gutes Experiment. Und auf der anderen Seite fahren Leute im Straßenverkehr und dürfen ein Auto selber steuern und es gibt Menschen, die trinken Alkohol, was nicht so schlau ist und keine Ahnung. Und größtenteils toi toi toi funktioniert's halt trotzdem auch.
Christoph Magnussen:Ist das auch für dich 1 der Punkte, wo Du gesagt hast, Du gehst jetzt in einen anderen Bereich und baust so eine Initiative auf, von der Du gesprochen hast? Und wie willst Du da jetzt vorgehen, das reinzubringen? Weil da können wir einen schönen Bogen machen jetzt.
Johannes Otterbach:Genau, das können wir einen schönen Bogen machen. Also ich sehe da viele, viele Bereiche. Also das ist das Problem ist oder die die Challenge ist, KI wird kommen. Das Ja. Das kann man, das ist son bisschen Selffulfilling Prophecy, ob man's mag oder nicht.
Johannes Otterbach:Die, äh, es gibt einen geopolitischen Wettbewerb Wettbewerb zwischen China und den USA. Es wird da wirklich viel Geld deployed. Leute wie Sam Altman und Ilias Oskiver, die sind auch einfach Market Mover, wenn die was sagen, wird's auch passieren, ja. Das heißt, wir haben hier in Europa einfach nicht die die Chance, uns da in der Hybris vorzutun, das kostet zu viel Energie, das ist ineffizient, sonst irgendwas. Ja, geborene ich allem recht, aber wir haben nicht die Option, das nicht zu tun, weil das wird kommen.
Johannes Otterbach:Wir haben jetzt die Wahl zwischen spielen wir mit oder kaufen uns diese Technologie dauerhaft ein. Und einkaufen möchte ich persönlich nicht. Also wenn du dir das anguckst, LLMs sind im Prinzip eigentlich auch so was wie, ich nenne es colonial imperialism oder cultural imperialism, weil die Kultur 1 1 Gesellschaft in die selber Labs integriert ist und die sind entweder chinesisch oder amerikanisch im Moment. Und was ich will, ist im Prinzip in Europa son Gegenpol stellen. Und ich hab das selbst mit eigenen Firma probiert.
Johannes Otterbach:Das hat leider nicht geklappt wegen verschiedensten Gründen. Aber 1 der Gründe ist einfach, dass das Modell, ein solches Fontier Labs in Europa zu etablieren, so komplett gegen den das Selbstverständnis Europas geht, wie wir Wissenschaft und wie wir Produktentwicklung betreiben, dass es unglaublich schwer ist, diese Funds zu raisen. Und da hab ich gesagt, okay, ich muss mir irgendwie eine eine Idee überlegen, wie können wir dieses Denken durchbrechen,
Christoph Magnussen:ja?
Johannes Otterbach:Und das ist im Prinzip dieses Hintergrund dieser dieser Initiative. Deswegen hab ich gesagt, ich hab das eigentlich versucht zu bauen, das geht nicht durch leading by example. Ich muss irgendwie aus meinem Know how, aus meinem Wissen heraus den die die den Hebel anders ansetzen. Und da bin ich halt dann eben in diesen eher VC getriebenen Bereich eingegangen, zu sagen, okay, ich guck, dass ich mir die Funding Instrumente angucke und den Hebel für die nächste Generation so stelle, dass dass die das machen können und dann kann ich ihnen vielleicht mit meiner Erfahrung helfen, aber sozusagen erst mal die die Rahmenbedingungen schaffen, dass wir da überhaupt eine Chance haben in diesem Kampf.
Christoph Magnussen:Und wenn Du Also es gibt ja Leute, die sagen, die die so Large Language Models, da brauchen wir nicht mehr competen, aber Frontier Lab geht ja eine Runde weiter. Also das das ist ja hat ja deutlich mehr mit Research am Ende zu tun und dann zu gucken, wie baust Du dann danach daraus Produkt? Kannst Du das einmal eingrenzen, weil also Ja. Mir fällt natürlich ein, dass China mit mit High-Flyer und DeepSeak, die sind ja die sind ja nicht gestartet, Lab zu bauen, beispielsweise als jetzt eine Firma, halt ein Beispiel, die halt durch die Presse gegangen ist, sondern die hatten die Intention, Kohle zu verdienen mit dem Quant Fonds und haben deswegen Firefly 1, Firefly 2 als 2 eigene Trainingcenter gebaut, wo sie das hochgezogen haben mit anderen Methoden. Wenn Du die kennst, kannst Du natürlich auch noch was erzählen.
Christoph Magnussen:Aber was würde ein Frontierlab hier anders machen tendenziell oder ist es the same story?
Johannes Otterbach:Nee, also Du hast das schon richtig angesprochen. Also Frontierlabs in unserer Definition bei der SPRINT sind Research and Deployment Companies. Also das sind sind wirtschaftliche Entities und das der wichtige Punkt hintendran ist, dass wir wirklich die das Deployment, das das Ranbringen an den Kunden fokussieren. Das sind genau diese Art und Weisen, wie Anthropic und OpenAI und Co tatsächlich ihre Technologie konstant verbessern, weil sie machen Fortschritte in der Research und dann ist es innerhalb von wenigen Monaten ist es am Kunden, dann schnelles Feedback zu generieren. Ja.
Johannes Otterbach:Und hier in Europa denken wir es halt oftmals, ah, wir geben öffentliche Förderungen an Universitäten. Ja. Die bauen uns Modell, das machen wir Open Source. Und dann Was? Da stehen wir.
Johannes Otterbach:Also diesen Feedback, den kriegen wir nicht hin, ja.
Christoph Magnussen:Das heißt eigentlich die Secret Source, wie so eine Organisation betrieben ist.
Johannes Otterbach:Genau, das ist die Secret Source. Wir müssen also im Prinzip wirklich diesen Prozess verstetigen, wie bauen wir diese Frontiermodelle, wie deployen wir sie und wie verbessern wir sie? Und dann kannst Du überlegen, Frontier für Europa, das sind nicht notwendigerweise LLMs. Das können auch LLMs sein, wenn wir den entsprechenden Weg finden, wie wir LLMs für Europa bauen. Ich glaub, da ist immer noch Luft nach oben.
Johannes Otterbach:Aber das muss nicht das Ende der Reise. Wir haben hier so viele verschiedene Industriebereiche, die es wert sind, unterstützt zu werden. Und man nimmt zum Beispiel den Manufacturing Bereich, Pharmabereich, auch Agriculture ist großes Problem, Energy, Renewable Energy Sources. Überall in diesen Bereichen gibt es Potenzial für für Fontier. Wir müssen uns überlegen, wie sieht diese Fontier aus?
Johannes Otterbach:Das sind nicht nur weiße große Sprachmodelle, sondern es kann auch sein, ne, wir wir skalieren eine Agentenökonomie. Wir haben viele, viele kleine Modelle, die alle spezialisiert sind, dadurch, dass das in Europa sehr föderalistisch ist. Wir haben hier und da und da kleine Infrastrukturen. Wir deployen Expertensysteme und wir haben dann eine Ökonomie, wo Du im Prinzip anfängst, die Agentenökonomie zu skalieren und Markt zu überbrücken. Also gibt so viele verschiedene Achsen, wo man sich was überlegen kann.
Christoph Magnussen:Dein Take wär, wir könnten dann unabhängiger sein von amerikanischen Modellen, chinesischen Modellen oder spielen die halt immer eine Rolle?
Johannes Otterbach:Auf mittlere Sicht würde ich schon sagen, die spielen immer eine Rolle. Einfach dadurch, dass die natürlich jetzt so stark in unserer Ökonomie auch schon verankert sind. Und wir werden nicht von heute auf morgen unseren eigenen Hyperscaler haben, der die ganzen europäischen Modelle auch deployen kann. Also es wird auch eine lange Zeit so so bleiben auf mittlere Frist. Aber meine Hoffnung ist, dass wir zumindest mal anfangen, die Nadel zu bewegen, dass wir Stückchen weit souveräner sein können, weil Souveränität heißt eigentlich, eine Wahl treffen zu können.
Johannes Otterbach:Mhm. Das heißt nicht irgendwie, wir machen alles für uns selbst, sondern wir haben die die Möglichkeit, eine Wahl zu treffen und diese Möglichkeit haben wir nicht. Und das ist, glaube ich, die die, dass man sich bewegen möchte, dass wir in in den Modus von 1 Wahl kommen.
Christoph Magnussen:Wie würdest Du sagen, wenn Du auf deine Erfahrung schaust, OpenAI ist eben als sehr kleines Team gestartet, aber eben mit auch zu sagen, wir wir machen das. Du hattest auch Defense Tech angesprochen, da ist in Europa mehr Druck durch den Ukrainekrieg beispielsweise, wo deutlich mehr Innovation dort stattfindet als in Kalifornien, weil einfach die Distanz riesig groß ist. Eher eine Bauchgefühlsfrage, weil wir haben ja viele, wie Du auch sagst, Industrien, Spezialindustrie. Ich erlebe aber häufig, wenn ich Menschen treffe, schon eine, auch im Tech Bereich, außer mit paar Ausnahmen eher schon eine Behäbigkeit, eine leichte Arroganz manchmal, zu sagen, nee, das ist noch nichts und so weiter. Das es erstaunt mich immer wieder,
Johannes Otterbach:weil
Christoph Magnussen:es ja auch Studien dazu gibt, dass wenn man etwas häufiger benutzt, man auch Vertrauen aufbaut, ein Tool plötzlich besser benutzen kann, besser wird. Und dieser dieser dieser Biss, dieses we have to do it, der drüben anscheinend leichter ist oder zumindest in der Zeit oder bei allen Dingen. Wie wie willst Du diesen Spark hier dann?
Johannes Otterbach:Das ist ist komplett richtig. Also die die diese Initiative zielt auch darauf hin, das ganze Ökosystem zu aktivieren. Also wir bauen mehrere Teams zusammen, die wirklich einen in eine hohe Durchschlagskraft haben, aber da drum herum heißt es eben auch eine Allianz der Freiwilligen zu zu etablieren, die dann eben auch weiterhin Weiterfinanzierung geben, die Kunden Introductions machen, die auch dazu bereit sind, mal diese Modelle zu testen, mit einzubauen, den Policy Stakeholder zu machen. Der Key hier, und das hab ich ja jetzt auf der Eurobs gemerkt, ist, dass Du mit der Ansage, 3 Labs zu bauen, die jeweils 1000000000 Euro raisen kannst.
Christoph Magnussen:3 Labs
Johannes Otterbach:und 1000000000 Euro. Jeweils eine. Also das sind insgesamt 3000000000, die dann so Ökosystem nehmen. Das ist
Christoph Magnussen:Serious Money.
Johannes Otterbach:Das ist Serious Money. Du, was wir gemerkt haben, das ist son son Funken Hoffnung dadurch gegeben, aber es es ist ja aber nix anderes als ein Versprechen auf die Zukunft. Ja. Wir sind ja bei der Sprint auch sehr offen, dass wir dieses Geld nicht aus dem deutschen Staat finanzieren, sondern wir müssen das Ökosystem aktivieren und diesen Teams helfen, dieses Malion auch raisen zu können. Und das ist unsere Aufgabe bei der Sprint, dieses Ökosystem zu bauen und zu helfen und den Fundraising signifikant zu unterstützen.
Johannes Otterbach:Aber was wir dann gemerkt haben, ist, dass du den Leuten auf einmal diese Scheuklappen genommen hast, mal wirklich ambitioniert zu denken. Also wenn ich jetzt mit mit vielen Doktoranden gesprochen hab, auch über die letzten Wochen, die sind auch son bisschen behäbig einfach deswegen, weil sie wissen, na ja, richtig großes Geld werd ich nie raisen können, weil unsere europäischen VCs wollen in 3 Jahren einen Excel haben oder einen 5, ja. Mit öffentlich gefördertem Geld komme ich sowieso nirgendwo hin. Und Firmen werden sowieso nicht kaufen, ja. Das heißt, da kommt auch sone gewisse Behäbigkeit hin.
Johannes Otterbach:Und die Leute, die dann trotzdem den Biss haben, die in die USA. Ja? Und wenn dir jetzt aber so ein Versprechen drin gibst, dann hast du auf einmal die Leute, die sagen so, hey, wait a second. Da gibt's wirklich Manne hintendran. Da ist auch eine Organisation hintendran, die versucht, die wirklich Hand ins Feuer legt und versucht, dieses Ökosystem zu bewegen.
Johannes Otterbach:Vielleicht bin ich, bleib ich da mal einfach hier und versuch's mal. Und dann kann ich immer noch in die USA gehen. Und diesen Funken Hoffnung, den haben wir wirklich auf der Eurobs gemerkt, dass dass das son bisschen rauskam. Und ja, das ist systemisches Problem. Aber mit solchen Leuchttürmen bewegst Du auch bisschen Visionen und erweckst Träume.
Johannes Otterbach:Ich glaub, das müssen wir jetzt galvanisieren und versuchen weiterzudringen.
Christoph Magnussen:Wenn Du das jetzt noch mal weiterdenkst und die Träume noch mal weiterbewegen willst, Frage. Zweiter großer Innovationssprung, den ich selber, wo ich wirklich mich noch sehe, wie ich am Schreibtisch sitze. Ich hab mir nämlich morgens rausgeschlich ausm Bett und Schreibtisch der Kinder gesetzt und hab o one Preview ausprobiert. Als OpenAI sagte, wir haben jetzt ein Modell, das denken kann. Ich weiß noch, am ersten Morgen war es so, dass ich den kompletten Denkvorgang gefühlt sehen konnte und dann irgendwann war das weg.
Christoph Magnussen:Und dann kam Deep Seek R-One im Dezember, ich glaub Weihnachten, also paar Monate später damit raus. So, als meine Innovation. Welche Learnings kann man rausnehmen aus, was OpenAI gemacht hat, auf diese Idee zu kommen, kreativ? Und was hat Deep Seek gemacht? Wie haben sie's Team gestärft?
Christoph Magnussen:Kreativ. Mal neben der ganzen Kohle, als im Sinne von, Du spargst mal etwas mit Leute, guck mal, wenn jemand bisschen kreativ denkt, kommt man in dem Bereich auf geile Lösungen. Weiß nicht, wie viel Einblick Du zu dem Zeitpunkt noch hattest,
Johannes Otterbach:Ja, also Das Reasoning, das war schon eine Sache, die hat man bisschen früher angefangen. Das ging mit dem Lösen von mathematischen Problemen einher, ne? Also das hat's auch zu meiner Zeit schon gegeben. Der Trick hierbei ist son bisschen diese dieses Konzept von Unfettered Research, also ungebundene, freie Research zu machen, ja? Wenn wir zum Beispiel mal bisschen reingucken in die Kultur von solchen großen Frontier Labs, hast Du dieses Modell der Sunk Cost Rechenpower.
Johannes Otterbach:Das heißt, als Forscher gibt der Arbeitgeber dir eine gewisse Art, eine gewisse Menge an Rechenkapazitäten und wenn Du die nicht auslastest, dann hast Du eine, dass das eine Red Flag für den Arbeitgeber, weil er die Kosten bezahlt und dann will er natürlich auch, dass diese Hardware ausgelastet wird. Ja. Und das Konzept, was da hinten rauskommt, ist dann ganz spannend, weil du musst dann manchmal saudumme Sachen probieren, weil du musst dir irgendwie diese Rechenpower auswerten. Ja. Und so kommst du dann auf diese kreativen Ideen.
Johannes Otterbach:Du musst nicht jedes Mal argumentieren, warum diese Idee jetzt ausprobiert werden muss und warum du jetzt Hardware brauchst, diese Idee durchzuführen, sondern du machst es halt einfach, weil ansonsten kannst du diese Hardware nicht auslasten. Und diese Kreativkultur zu etablieren. Das ist ganz wichtig bei diesen Frontier Labs. Das macht Throwback, das machen Google, das macht DeepMind, das macht OpenAI, und das haben auch die Deep Seek Leute gemacht. Und einfach zu sagen, okay, da muss irgendwas passieren.
Johannes Otterbach:Die gehen natürlich so grobe Guardrails vor, das zu machen und dann halt die guten Leute reinkriegen und die viel miteinander reden lassen und Engineering machen. Das heißt, du kannst diese Durchbrüche nicht planen, aber du kannst die Rahmenbedingungen so setzen, dass das passiert. Das wollen wir bei diesen Frontier Labs auch machen. Dann kommst du auf gute Ideen. Bei Deep Seek war es einfach die Ansage, na ja, die gesamten Export Restrictions der USA mit den Chips machen ein großes Problem.
Johannes Otterbach:Da kommen die auch drum herum. So ist es nicht, die sind ja auch nicht die sind ja auch nicht auf den Kopf gefallen. Aber die haben natürlich gesagt, okay, wie können wir dann uns überlegen, wie wir so was bisschen effizienter und kleiner gestalten? Und haben dann sozusagen ihre Forscher da angesetzt, so, hey, überlegt euch Methoden, das kleiner zu machen, ja? Und also bei OpenAI, unfettered Research, haben wir gesagt, okay, wollen Matheprobleme lösen, hier habt ihr paar Ressourcen, überlegt euch, wie ihr Matheprobleme löst.
Johannes Otterbach:Und bei Deepseek dann so bisschen dieses Konzept, hier habt ihr ein paar Ressourcen, wir wollen, dass ihr diese Sachen kleiner und schneller macht. Aber uns ist es egal, wie ihr da hinkommt, aber hier sind die Ressourcen und Macht. Aber der Key ist, gib den Leuten die Ressourcen.
Christoph Magnussen:Wenn du das anfreat Research jetzt mal auf Europa überträgst, ein Markt, der den EU AI Act rausgebracht hat, wo die Leute vor allem in Deutschland erst mal sagen, darf ich das wegen Datenschutz? Geht das nicht? Ich stell mir das jetzt mal gerade vor und übertrag das mal auf auf 'n Business. Du hast halt Haufen an Leuten und sagst, okay, wir brauchen eine bessere Methode, unser Geschäft hier zu betreiben. Und Du gibst allen Prozugänge zu allen Top KI Accounts und sagst hier, ihr könnt ja alle benutzen, go.
Christoph Magnussen:Ja und paar Guardrails. Das wär für mich jetzt unfettered, so Business Process. Das aus der aus der Kultur rauszukriegen, halte ich ich für sehr herausfordernd. Gleichzeitig frage ich mich aber auch, irgendwoher kommt ja europäisch auch Engineering und gewisser Anspruch. Siehst Du schon Sachen, wo Du sagst, die könnten wir halt echt leveragen, die wir vielleicht total unterschätzen?
Christoph Magnussen:Also wo wir wirklich sagen, hey, das ist eigentlich typisch europäisch und we don't seed. Also föderal hast Du schon gesagt. Mhm. Das könnte eine Stärke sein. Da hast Du es schon in die Richtung gedeutet mit wie orchestrierst Du nachher die Agents?
Christoph Magnussen:Wie baust Du aus großen Modell aus mehreren kleinen? Gibt's da noch weitere Sachen?
Johannes Otterbach:Also 1, das mir persönlich, was mich immer wieder wundert, die multilinguale Sprachmodelle werden nicht in dem größten multilingualen Markt der Welt entwickelt. Europa hat 27 Mitgliedsstaaten. Wir haben mit, glaub ich, allen Dialekten mehr wie 40 verschiedene Sprachen, wenn man das zusammenrechnet, die wirklich state of the art multilingualen Sprachmodelle werden nicht hier entwickelt. Frag ich mich son bisschen warum. Ja.
Johannes Otterbach:Das gibt mir zu denken, ja. Das ist zum Beispiel eine eine Achse, die ich mir denke.
Christoph Magnussen:Und das, wo Sprache am Ende dafür verantwortlich ist, dass wir Grenzen haben, ne. Man überlegt, Korrekt. Das ist am Ende und auch 1 der Gründe, das hatte ich ein, zweimal schon, dass Leute auch im Podcast sagten, Mensch, ist am Ende auch Kultur prägend. Genau. Wenn dann halt alles Englisch ist versus Chinesisch, dann macht das was.
Johannes Otterbach:Genau. Das ist also, das meine ich auch so voll mit mit Cultural Colonialism, dass das rein reingegeben wird. Das sind auch in in den europäischen Texten dann auch unsere Werte vertreten und unsere Denkweisen und das sollten wir eigentlich auch auch etablieren. Aber das andere, warum ich so überrascht dadrüber bin, ist, wir haben das große Problem in der EU, dass der EU Markt als Gesamtkraft größer ist wie der US Markt. Mhm.
Johannes Otterbach:Aber jeder einzelne Nationalstaat in Europa ist zu klein, wirklich 'n Gesetz der Skalierung zu zu etablieren. Das heißt, mit diesen diese diese momentane Welle von KI mit den mit den Sprachmodellen ist eigentlich eine Technologie, die fundamental gut dazu dienen sollte, Europa als skalierenden Markt für alle zu etablieren. Ja, und da gibt's auch noch Rechtsprobleme und Finanztransaktionsprobleme und Freizügigkeitsprobleme, aber fundamental hab ich im Moment das Problem, wenn ich einen Onlineshop anbiete in Deutschland, dann kann ich den nicht in Frankreich anbieten, weil ich müsste meine gesamte Webpage auf Französisch übersetzen. Warum kann ich nicht einen Sprachmodell dazu entwickeln? Warum werden diese Sprachmodelle tatsächlich nicht in Europa entwickelt?
Johannes Otterbach:Damit haben wir wieder eine Abhängigkeit gebaut. Also das ist zum Beispiel eine Sache, ich sage, da haben wir viel Potenzial. Das Nächste ist natürlich wahnsinniges Prozesswissen, das wir haben. Also wir sind immer noch einen der größten Plätze, wenn es Maschinenbau geht, mit wirklich auch Advanced Manufacturing. Diese ganzen Maschinendaten, da drin liegen, Zeitreihendaten, die da drin liegen, die einfach auch mal zu heben.
Johannes Otterbach:Muss man auch sozusagen die Firmen dazu rantragen, aber eben auch dann unten unsere Forscher reingeben. Also, weil ich den Leuten auch mal ein bisschen mitgebe, wenn man so KI Entwicklungen sich überlegt. KI Entwicklung basiert sehr stark drauf auf den Benchmarks, die wir haben. Wir haben ja alle so Trainingsdatensatz, Testdatensatz. Wenn du keinen Testdatensatz für irgendwas hast, dann hast Du den, dann weißt Du nicht, was der entsprechende Anwendungsfall ist oder der Use Case.
Johannes Otterbach:Und damit hast Du auch nichts, womit Du 'n Modell entwickeln kannst, zu sehen, wie gut das eigentlich ist.
Christoph Magnussen:Wenn Du nicht überprüfen kannst, was Du quasi machst, das hast Du keine Möglichkeit. Das heißt, jede Form von Aufgabe, die kein das stimmt oder stimmt nicht ermöglicht, lässt sich dann aber auch nicht eigentlich mit KI abbilden.
Johannes Otterbach:Genau, was ich nicht messen kann, kann ich nicht optimieren.
Christoph Magnussen:Dann wäre aber wär das dann nicht auch besonders challenging zu sagen AGI, also Artificial General Intelligence oder ASI, Artificial Super Intelligence geht eigentlich nur in Bereichen, die auch eine Messbarkeit ermöglichen?
Johannes Otterbach:Ja, das ist son schönes, schöne Tautologie, die die Leute von ASI und AGI Movement tatsächlich son bisschen verschleiern, ja. Das ist ganz schön, wenn Du mal auf Du nimmst dir Nimm dir einfach mal die Rohdaten von deinem Thermometer zu Hause. Ja. Also wirklich so die rohen Readings. Gib das mal in in Sprachmodelle rein und frag mal, was das Zeug ist.
Johannes Otterbach:Kriegst du ganz seltsame Antworten, weil die Modelle so was noch nie gesehen haben. Da kommen wir so an die Grenzen der Generalisierbarkeit, ist so viel zu AGI. Also das heißt, wenn du völlig komplett unvorhergesehene Sachen reingibst, passieren ganz wilde Dinge, ja? Oder nimm dir den nimm dir von deiner deine Uhr den das rohe Bluetooth Signal und gib das mal in ChatGPT rein. Weiß nicht, was es damit machen soll.
Christoph Magnussen:Aber das find ich total spannend, weil also es schwingt ja bei den Leuten sone generelle Angst mit, was ist passiert mit den Maschinen und so weiter. Aber dann hast Du eigentlich, also es ist eigentlich mega klarer Engineering Case, wenn Du sagst, ja, ich kann's messen, also können wir Muster erkennen. So, wir können, wahrscheinlich muss man, das würde mich jetzt als nächstes interessieren, aber eine Frage, die ich noch im Kopf hatte, Du müsstest wahrscheinlich bei diesen Zahlenreihen, Maschinenreihen auch Tokenisierungen durchführen?
Johannes Otterbach:Ja, da gibt's verschiedenste Wege, das zu machen. Also Du musst es nicht tokenisieren, man kann es auch auf Rohdaten rechnen, Du kannst es durch einfache Vector Embeddings machen. Das da das ist ganz ganz verschieden, wie Du das angehen kannst. Das ist ja
Christoph Magnussen:Aber für einmal so für für die Leute, sagen, also Tokens 1 der entscheidenden Punkte bei den LLMs, weil die weil die Masse an Daten, die man reinbekommt, jetzt ausm Internet raus, so viele verschiedene Worte, Sprachen, alles miteinander durchrechnen funktioniert nicht. Und 1 der Tricks ist, Du packst es in Tokens, die limitiert sind in den Zahlen.
Johannes Otterbach:Ja, Das der der der Hintergrund da hinten dran ist, dass der Computer rechnet in Zahlen. Ja. Worte sind aber keine Zahlen. Das heißt, wie änderst Du, wie wie bringst Du die Worte, die Du in Text hat, tatsächlich in aktuelle Zahlen. Und da ist Tokenisierung ein Konzept davon, wo im Prinzip auch wieder ein kleines Modell trainiert wird, was regelmäßige Patterns, also Strukturen in deinen Wörtern feststellt und dann die Wörter dementsprechend trennt.
Johannes Otterbach:Und dann wird jede Silbe, die aus dieser Trennung, aus diesem Trennungsalgorithmus hergestellt rauskommt, wird mit mit Zahl versehen. Und dann kannst Du das mit Modell machen. Bei Zeitreihen kommen Zahlen direkt raus, dann heißt das brauchst Du dann in
Christoph Magnussen:dem Moment nicht mehr. Spannend. Das ist spannend. Aber das ist Gedanke, also nächster geile Gedanke, neben der der Persona, der juristischen Persona zu schauen, dass Du in dem in diesen Bereichen, wenn Du wirklich eine Artificial General Intelligence haben wollen würdest, dann müsstest Du in der Lage sein, nehmen wir mal unseren Podcast zu bewerten, war der gut, war der schlecht? Ja.
Christoph Magnussen:Also das müsste ja messbar sein.
Johannes Otterbach:Ja, aber das ist das Spannende an der Sache, ne? Also das das ist so, wenn ich wenn ich jetzt frage, warum interessiert mich AI so viel? Weil eigentlich am ultimativen Ende von der wissenschaftlichen Frage der AI ist, was ist eigentlich menschliche Intelligenz? Und da kommen solche Sachen raus wie Kreativität. Kreativität, kann ich dich jetzt nur mal direkt fragen, Wirst du von dir selbst behaupten, wenn du was zu Hause aufm Blatt Papier geschrieben hast, das war kreativ oder nicht?
Christoph Magnussen:Immer. Auf jeden Fall. Aber
Johannes Otterbach:wer entscheidet, ob kreativ ist? Das ist immer eine externe Metrik. Du musst Das ist also keine intrinsische Metrik.
Christoph Magnussen:Ist das 1 der Gründe, warum ein Large Language Mode keine Witze erzählen kann? Oder lange Zeit nicht konnte?
Johannes Otterbach:Vermutlich ja, also weil's einfach, ja, Der Jokes sind, objektiv, nicht lustig. Sorry an alle Derz. Super
Christoph Magnussen:spannend. Gedanke, der ist mir gerade in den Kopf geschossen. Aber das ist jetzt keine Ahnung, Antwort drauf. In China wird ja Social Score vergeben mittlerweile. Das bedeutet, Du objektivierst und machst messbar, was eigentlich nicht messbar ist.
Johannes Otterbach:Ja, Du legst natürlich irgendwie gesellschaftliche Metriken an, ja? Das kannst Du natürlich von außen aufdoktrinieren, ja? Ob das sinnvoll ist oder nicht, weiß ich Das ist eine regulatorische Sache.
Christoph Magnussen:Ohne die Sinnhaftigkeit, aber ich denke jetzt noch mal dieses AGI Thema, hättest Du dann, dann hättest Du ja auf einmal noch mal andere Zahlen rein, andere Daten rein. Und das ist ja ein gigantischer Vorteil, wenn Du so was erreichen möchtest.
Johannes Otterbach:Ja. Aber ich mein, das ist genau diese Sache, das kam jetzt aus anderen meiner meiner Jobs raus, als ich in den USA bei dem Fintech Start up gearbeitet hab. Die große Frage nach Credit Scoring. Ja. Und da gab's von der eine ganze Zeit lang die Frage, kannst Du Social Media Accounts benutzen, die Repayment Probability 1 potenziellen Kunden zu bewerten.
Johannes Otterbach:Also es ist nicht ganz Social Scoring, aber es ist sehr nah dran. Und da hat dann die CFBB, also das Consumer Financial Protection Büro, 'n Riegel vorgeschoben, dass das eben nicht geht, ja.
Christoph Magnussen:Aber es wäre, Du hättest es auslesen können, also wär's von den Daten
Johannes Otterbach:Das Signal ist supergeil. Also das ist brutal. Du screbst paar Sachen von von LinkedIn, von von Facebook, von Instagram und Du kannst die das Signal deines Repayment Classifier kannst Du mehrere Basispunkte direkt boosten.
Christoph Magnussen:Boah. Schon sehr so hart predictable. Wenn man jetzt mal überlegt, jetzt hast du noch die ganzen ChatGPT Chats on top, ne? Die Leute fragen ja sowieso schon ChatGPT, was soll ich meinem Mann fragen? Was soll ich meiner Frau schenken?
Christoph Magnussen:Ich muss noch Weihnachtsgeschenke kaufen. Insofern ist er
Johannes Otterbach:Ja, weil ich mein, ich kann dir ganz einfache Stochle dazu erzählen, warum das so Boost ist, ja? Was teilen Menschen auf Social Media, ja? Also die teilen halt tatsächlich Insights in ihr in ihr tägliches Leben. Hast Du eine Familie, die irgendwo in in in Mittelamerika wohnt, die da weißt Du schon, der der unter Umständen der soziokulturelle Kontext schon sowieso low income ist unter Umständen, je nachdem wo die wohnen und jetzt schreibt die die Haushaltsherrin schreibt dann so, diese Woche ist wirklich schrecklich, weil mein Auto ist kaputtgegangen, mir ist noch die Waschmaschine kaputtgegangen und mein Kind hat die Fensterscheibe zerschossen. Ja, und 2 Tage später kriegst Du in deinem Kreditbüro tatsächlich eine Anfrage für einen für einen Darlehen.
Johannes Otterbach:Dass das ein Signal ist, ist relativ klar, ja.
Christoph Magnussen:Ja gut, aber that's the party weplay at
Johannes Otterbach:im Moment. Ja, genau.
Christoph Magnussen:Du hast 1000000 andere Fragen bei mir gespikt. Und lass uns doch mal bleiben. Was mir aufgefallen ist, ist jetzt so, man arbeitet konkret selber dran. Es gibt ja sehr, sehr, sehr viel Opportunity, die glaube ich viele Unternehmen unterschätzen, weil sie halt eben the bigger picture drauf gucken und sagen, was könnten wir machen? Moving the needle.
Christoph Magnussen:Und auf der anderen Seite haben wir auf einmal Tools seit 3 Jahren, 2 Jahren, einem Jahr jetzt, wo man merkt, ganz ehrlich, Du kannst hier theoretisch Saas Applikationen selber bauen in Unternehmen, wo vorher ganz andere Aufwände da waren und viele Firmen übersehen, wie viel das alleine bewegt. Jetzt hast Du wirklich auch Einblicke, Du warst ja auch bei Palantir beispielsweise, Fintech Start-up, OpenAI, Du hast eine breitere Palette eben auch an Unternehmen gesehen, wo auch eine Software direkt verkauft wird, dann hast Du eine Infrastruktur dahinter und dann hast Du den ganzen Businessbereich. Wie nervös schätzt Du die die Saas Companies ein, die lange Zeit 80, 90 Prozent Marge gefahren haben mit ihren Lösungen versus bewegen wir uns gerade auch wieder dahin, dass wir so wie ganz früher mal selber Sachen bauen können und nutzen können eine ganze Weile oder sagst Du, na ja, das halte ich noch für too early?
Johannes Otterbach:Ja, das halt ich für too early. Also ich glaub, wir haben jetzt grade eine Welle gesehen, wo die Technologie mächtig ist, aber noch relativ jung, sodass jeder sich sein sein Ollama runterladen kann und selbst damit tinkern kann. Aber jetzt fangen wir mal an, irgendwie, das hast du ja vorhin gerade beschrieben, dein eigenes Rag zu deployen, dann auch eine Datenbank hinten dran. Dann willst du irgendwie noch einen Agenten hinten dran bauen, dann brauchst du aber noch irgendwie 2, 3 MCP Server, weil du das mit 1 E-Mail verknüpfen willst. Und auf einmal hast du komplettes Infrastruktur Deployment System und das ist aber kein Produktionssystem.
Johannes Otterbach:Das heißt, da wirst du auch noch lange Zeit lang brauchen, dann das auch robust zu gestalten, weil das wird auch immer mehr und immer mehr. Und ich vermute, dass dieses ganze SARS und dieses Dienstleistungsgeschäft sich ändern wird auf, wir helfen unseren Kunden, solche Systeme dann auch zusammen zu Also das wird die Art der Arbeit, wie Saas funktioniert, wird sich fundamental ändern. Aber es wird es immer noch geben. In diesem Spektrum von Tech Enable Services wirst du neue, eine neue, neues Equilibrium finden im Prinzip. Wo ich relativ sicher bin, ist, dass die SARS Firmen, die jetzt nicht mehr der Welle gehen werden, die werden wir in 10 Jahren nicht mehr Ja.
Johannes Otterbach:Und das ist meine große große Befürchtung, ja? Und das das sehen wir auch viel, wenn wir mit mit den Leuten reden, die einfach sagen so, na ja, was soll ich denn da da machen? Das kann sowieso meine Probleme nicht lösen. Und da ist so so diese ganz spannende Sache, warum ich frage nach frontierai for Europe ist, Du bist großer, was nehm mal, Pharmakonzern. Dein Kernbusiness ist die Entwicklung von Medical Drugs.
Johannes Otterbach:LLMs sind gut im Text, aber das ist nicht dein Kernbusiness. Das heißt, du willst, hast eigentlich wenig Incentive, die Supportstrukturen, die drumherum sind in diesem, wo textgetriebene Prozessverwaltung ist, die zu optimieren, weil das ist nicht dein Kernprozess, sondern Du willst ja eigentlich immer deinen deinen Kernprozess optimieren. Und da ist dann die Frage LLMs für Drug Development, da sind wir noch nicht. Da fehlen noch viele, viele Baustellen. Das ist Frontiersystem.
Johannes Otterbach:Aber das sind die Probleme, die wir lösen müssen für diese Firmen. Das machen die nicht selbst, weil sie sind keine Tech First, sie sind kein Tech Native. Die bauen nicht die eigenen Frontiergeschichten. Aber wenn wir wollen, dass die Tech machen, müssen wir ihnen ein Problem lösen, dass sie wirklich haben. Und nicht versuchen, irgendwie diese Randgeschichten zu lösen.
Johannes Otterbach:Und da ist es das Problem bei, warum ist JGBT so erfolgreich gewesen? Weil unser, ihr als Consumer, was machen wir? Wir schreiben meistens Texte. Wir schreiben viel E-Mails, wir lesen viel Texte, wir wir chatten mit anderen, wir schreiben, ja, wir wir machen viel Textverarbeitung. Aber die Core-Probleme von von europäischen Businesses sind selten Textprobleme, sondern das sind die Operations on a Margin.
Johannes Otterbach:Und da wird nicht investiert.
Christoph Magnussen:Das hat Janette von Merantix im Podcast noch mal gesagt. Sie meinte auch eben, vergiss die Big Stuff, schau eben Leute, die die Branche kennen und das Problem kennen, können deutlich besser da entsprechend in die Tiefe gehen. Und das wäre dein Take. Also mir fallen jetzt also 3, 3 europäische, sehr erfolgreiche Unternehmen in dem Bereich, haben auch eher, nee stimmt nicht, 2 davon haben Products gebaut, wobei ich weiß gar nicht genau. Vielleicht kannst Du es einordnen.
Christoph Magnussen:Ich habe jetzt gerade Lovable im Kopf, Schweden, Eleven Labs, sind teilweise auch aus Europa, meine ich. Und Black Forest aus hier aus Deutschland. Wie unterscheiden sich diese 3 3 Companies, wenn man sagt so, ne, Lovable ist clearly Product, also Lovable baut per Prompt eine Seite, kann die hosten. Also es ist Produkt, das macht, gib mir den Knopf. LM Labs hat Modelle verfeinert für Sprache, Sprachinterface, auch, glaube ich, Riesenthema oder was denkst Ja, ja.
Christoph Magnussen:Kann ich auch noch mal ein. Und dann Black Force. Also dass Du vielleicht mal einmal sagst, so, warum kann man damit denn doch den Schritt machen?
Johannes Otterbach:Na ja, lovable kann man relativ einfach verstehen, weil wir wir müssen so ein bisschen angucken, wie sehen denn andere Economic Concepts aus. Also wir haben jetzt gerade sehr über dieses alte Legacy Business gesprochen. Aber wenn wir jetzt mal angucken, wie moderne ökonomische Systeme funktionieren. Ich sprech jetzt hier von sehr jungen Millennials, Gen Z, Gen Alpha. Dann reden wir hier über den Prinzip die Business Discs, die über Social Media laufen.
Johannes Otterbach:Das ist eine Attention Economy. Also je mehr Attention du von deinem Kunden capturen kannst, desto mehr generierst du daraus. Und Attension ist eine sehr, äh, fricklige Angelegenheit, weil die ist sehr, sehr kurzlebig. Das wird auch immer schlimmer. Das heißt, Du willst aber relativ schnell möglichst viel Impact generieren.
Johannes Otterbach:Das heißt, Lovable Produkte sind unglaublich gut, schnell sehr simple Geschichten zu bauen, damit Attention zu generieren und kurzfristig Engagement zu treiben.
Christoph Magnussen:Also schnell eine Website, schnell eine kleine App, zack, ab. Korrekt.
Johannes Otterbach:Genau. Und damit kannst Du's gut machen. Dann ist es auch in 4 Wochen wieder gut. Mhm. Dann machst du was Neues, ja?
Johannes Otterbach:Wenn du jetzt versuchen willst, so was mit Lovable zu machen und willst jetzt versuchen, eine Infrastruktur wie vor großen europäischen Softwarehersteller wie zum Beispiel SAP zu bauen, das wird nicht funktionieren. Das ist viel zu komplex, viel zu abstrakt, da ist viel zu viel Businesslogik drin. Darum geht das nicht. Deswegen ist der Lovable ist im Prinzip wirklich Supertool, wenn du schnell irgendwie 'n PoC bauen willst, weil du Investment Deck brauchst, Pitch. Oder du bist jemand, der auf Social Media unterwegs ist.
Johannes Otterbach:Du willst Attention generieren, Engagement generieren. Dafür ist es unglaublich gut. Voice, ähnliches Konzept, ja? Wenn wir über AGI reden, reden wir nicht nur über Wörter, sondern wir müssen überlegen, was sind eigentlich unsere gesamten Kanäle, über die wir sensorischen Input erhalten, aber auch rausgeben. Und Sprache ist 1 der oder gesprochene Sprache ist 1 der Modalitäten, das eine extrem hohe Bandbreite hat.
Johannes Otterbach:Ja. Und da ist es natürlich klar, dass wir das auch automatisieren müssen. Wie
Christoph Magnussen:unterscheiden sich, also beispielsweise OpenAI hat ja auch eine Realtime Voice API. Und ich hab die grade bei meinem Produkt, die also das auch mit Voice zu tun hat, bin ich sofort, weil's alles so gebrandet ist und ich's auch kenne und weil ich schon ehrlich gesagt Agent aufgesetzt hatte, den ich dann nachher per API angesteuert hab, zu Eleven Labs gegangen. Und frag mich grade, why? Weil, und Du hattest auch eben gehucht, als ich meinte mit eigenen Modellen. Was hat Eleven Labs eigentlich beim Starter anders gemacht?
Christoph Magnussen:Also, ich
Johannes Otterbach:muss jetzt auch gestehen, ich kenn jetzt die gesamte Story von Eleven Labs nicht komplett intrinsisch. Ich weiß nur, dass eben Sprache sehr eigenes Konzept ist, ne? Also
Christoph Magnussen:Auch für die Tokens, oder? Auch für die
Johannes Otterbach:Tokens, aber auch einfach ist es anders wie andere Audiomodalitäten. Ist Sprache noch mal noch mal anders. Deswegen reden unterscheiden wir zwischen Audio und und und Voice, weil's einfach eine ganz andere Art und Weise ist, wie wir's modellieren modellieren müssen, weil wir als das menschliche Gehirn und Gehör so gefeintuned ist auf auf Sprache, dass wir da noch mal ganz anders reingehen können. Das heißt, wenn Du die Modelle anguckst, von von OpenAI oder von von Google oder von Microsoft, da hörst Du, dass das Ganze noch son bisschen artifiziell ist. Ja.
Johannes Otterbach:Und wenn du halt wirklich gut in dieser Sache bist, dann hörst du den Unterschied zu menschlich gesprochener Sprache nicht mehr. Jetzt machst du das auf allen Sprachen und willst das aber auch noch verknüpfen mit irgendwie den zentralen geschriebenen Sprachenorgan. Und das ist halt wirklich hart. Man muss immer dementsprechend die die Know how und die die Daten generieren und die Daten aufbereiten, die gesamten Skalierungsgesetze dir überlegen überlegen, wie Du das richtig deployen kannst, dann die Audiotreiber noch mal mit tun. Kennt ihr natürlich deutlich besser wie ich, wie schwierig Audioengineering noch mal hinten dran ist.
Johannes Otterbach:Und dann kommen wir zu Black Force Labs, Bildsprache, genau, so neue Modalität, ja. Ich geborene dir immer noch einen neuen Gedanken einfach so ein bisschen mit, ne? Ich hab bei OpenAI mit paar Leuten gesprochen, die auch und gearbeitet. Die einen haben Generative AI für Bilder gemacht und die anderen haben Generative AI für Audio gemacht. Was wäre jetzt aus deiner Intuition heraus schwieriger?
Christoph Magnussen:Ich hätte Audio jetzt gesagt.
Johannes Otterbach:Hast Du eine Idee warum?
Christoph Magnussen:Nee, aber ich überleg grade, wie wie die Tokenisierung funktionieren würde im Audiobereich und aber got feeling einfach.
Johannes Otterbach:Ja, also das es geht noch nicht mal die Tokenisierung, die sind auf beiden tatsächlich sehr ähnlich, weil Du gehst bei dem einen gehst Du von von rohen Bild aus, bei dem anderen machst Du Spektrogramm. Ja. Das sind dann beides Bildmodalitäten. Aber das Interessante, warum es so schwierig ist, wenn ich einen Bildgenerator hab, dann generier ich mir 100 Bilder, mach die auf Bildschirm und krieg relativ schnell Konzept davon, wie sieht diese Bildverteilung aus? Macht das Modell was Sinnvolles?
Johannes Otterbach:Also ich kann relativ schnell visuell einen Assessment machen, wie diese Bildstudie aussieht. Versuch das mal mit Audio.
Christoph Magnussen:Ja, kannst Du nicht
Johannes Otterbach:Ja. Das ist alles sequenziell. Und jetzt, wenn Du mal Wenn Du dir 10 Sambals anguckst und die müssen eine Minute lang, dann hast Du 10 Minuten nur die Samples angehört. Logisch. Und jetzt versuch mal, dir 10 Minuten schlechtes Audiosample anzuhören, festzustellen, was geht schief.
Christoph Magnussen:Und das kannst Du nicht automatisieren über einen Agent, weil hast, über Ende gibt's das noch nicht. Du musst es
Johannes Otterbach:ja Genau, weil Du, der Mensch, bist das erst mal das Kriterium.
Christoph Magnussen:Deswegen Und Das heißt, es müssen sich irgendwelche Leute anhören, die dafür beauftragt sind, das zu tun.
Johannes Otterbach:Ja, und am ersten ist der Forscher, der überhaupt mal gucken muss, funktioniert der Algorithmus überhaupt? Und das ist eine Person oder 2 Personen, ja? Und Du hast nur irgendwie vielleicht 4, 5, 6 Stunden am Tag, ja? Du das Ganze dann Aber es gibt ja
Christoph Magnussen:einen Mode, wenn Du's aufgebaut hast erst mal.
Johannes Otterbach:Deswegen sag ich, ne? Das ist Gut. Also einfach nur, dass dadurch, dass unser unser Gehör ist sequenziell, unser visueller Kortex ist parallel.
Christoph Magnussen:Ich fühl mich grad noch motivierter, meine Anwendungen wirklich zu finalisieren und so feinzutunen. Das ist sehr, sehr, sehr spannender Gedanke, zumal und was ich mir noch vorstellen könnte, wo Du ja auch gerade sagtest, Voice und dann eben gesprochenes Wort, also Audio und und und dann eben Stimme. Die Nuancen in Sprache, die noch mit drin sind. Was sagst Du noch between the lines? Was kommt noch dazu?
Christoph Magnussen:Wie man das dann quasi nachher auswertet. Weil wenn Du nachher ein beispielsweise Transkript zu Vektordatenbank machst mit Metadaten, okay, aber dann wie bestimmst Du wo und warum welcher Vektor, wie ist Oh, ich bin highly moderated grade wieder. Sehr, sehr geil. Sehr, sehr guter Gedanke. Ja, wunderbar, das wusste ich schon, dass dass Du da einiges reinbringen wirst.
Christoph Magnussen:Du warst aber noch mal bei Black Forest eben grade und find ich schon auch heißer Scheiß, dass wir eben auch hier so geile Companies haben. Mhm. Die hatte ich lange Zeit gar nicht aufm Schirm. Warum?
Johannes Otterbach:So. Ja, ich glaub, das war einfach bei denen relativ unscheinbar, weil sie kamen ja wirklich aus dem Stable Diffusion. Wie nennen wir das Ganze? Das war ja kein wirklicher Exit, aber Zerbrechen von Stable Diffusion.
Christoph Magnussen:Immer für die, die sich kennen. Viele haben so, ja, Bilder mach ich bei Gemenry, so. Ist es ja aber nicht. Stable Diffusion war ja schon auch hier in Europa.
Johannes Otterbach:Stable Diffusion ist tatsächlich entwickelt in Deutschland, ne?
Christoph Magnussen:Als Gegenbewegung zu, wir brauchen kein Riesenmodell, Bilder zu generieren. Wir können's deutlich kleiner machen. Genau. Das ist ja schon sehr harter Gegenentwurf zu DALL-E oder dem Ansatz von DALL-E bei OpenAI , würde ich jetzt mal Okay.
Johannes Otterbach:Und da gab es dann eine Firma drumherum, Stability AI. Ja. Die hatte natürlich viel Hype generiert, es kam auch viel raus. Und die ist am Ende ein bisschen zerbrochen. Die Geschichte muss man jetzt nicht ins Detail gehen, aber eine Gruppe von Leuten, die dort gearbeitet hat, die hat sich zusammengetan und hat dann in Tübingen Black Forest Labs gegründet.
Johannes Otterbach:Und warum die bei uns nicht so aufm Radar waren, weil natürlich die Leute sind aus der aus der Stability raus, haben mit Investoren gesprochen und die wussten natürlich, die brauchen gleich relativ viel Geld und die Anschubfinanzierung kam alles aus den USA. Das Tech Team sitzt natürlich hier, aber das waren alles im Prinzip Deals, die erst mal hier vorbeigekommen sind, bis sie dann auf einmal groß waren, weil die haben ja einfach gar nicht angefangen, mit europäischen VCs zu reden in dem Moment.
Christoph Magnussen:Okay, okay, weil ich hab ich hab vor paar Wochen mit lokalen Bildmodellen gearbeitet und hab gesehen, dass relativ viel aus deren Haus quasi kommt, was man dann eben auch lokal offline komplett laufen lassen kann, was ich immer wieder faszinierend finde. Also den Moment, man sieht so, Du hast lokalen Sprachmodell, cool, ohne Internetzugang, geil und auf einmal Du arbeitest mit Bildmodell und denkst boah krass ey, jetzt macht er mir auf dem Rechner ohne Internetzugang, okay, mein mein MacBook wird immer sehr heiß, aber macht was. Und ich finde, das gibt son sonen Sense für was da geht. Haben die haben die speziellen Edge mit reingebracht, wo sie sagen, okay, wir gehen auf diesen Bereich an, ne?
Johannes Otterbach:Bei bei Bereichen? Ja, natürlich. Also dadurch, dass sie bei bei Stability waren, haben sie natürlich viel intrinsisches Know how, wie diese Modelle trainiert werden. Also ich hab jetzt mal bisschen darüber gesprochen, wie große Sprachmodelle, Transformer Architekturen trainiert werden. Ähnliche Rezepte gibt es eben auch für Diffusion Modelle, wo du dir überlegen musst, wie bau ich den, wie trainiere ich die Diffusion Modelle, aber wie mache ich auch den Diffuser sozusagen, also wie sample ich von diesem Modell?
Johannes Otterbach:Das ist ja auch noch mal eine ganz spezielle Kunst, das zu machen. Und da ist eben auch viel Secret Source dabei, den die Leute einfach mitgebracht haben. Deswegen haben sie auch dieses Geld raisen können.
Christoph Magnussen:Spannend, hatte ich tatsächlich so nicht aufm Radar und sehe natürlich jetzt das ganze Rennen also wir haben jetzt Video gemacht zu NanoBanana, wo Google sich natürlich dann auch für feiert, weil die halt verdammt gute Ergebnisse erzielen und das erste Mal auch Modell dabei haben, was ja diesen Ansatz mitverfolgt bei der Bilderstellung, dass man merkt, man kriegt sehr, sehr, sehr gute Ergebnisse raus und für die Leute ist es so, ja, ich geborene das ein und es kommt bei Ist schon halt auch Magic Ja. Und damit in Sachen zu bauen. Und auf der anderen Seite hast Du Sachen wie, ich wurde gestern im Livestream gefragt, was mein Take ist auf das ganze Thema Adult Content, also NSFE, also not safe for work, was ja, glaub ich, XAI als Erste mit gepusht haben, also
Johannes Otterbach:Grog, aber
Christoph Magnussen:OpenAI jetzt auch in die Richtung gehen wird oder zumindest angedeutet hat. War gestern eine Diskussion, da war mein Take drauf am Ende, Internet ist breit gefächert und ich glaub, die meisten Leute haben vergessen, wenn man ein Modell lokal laufen lässt, ohne System Prompt dazwischen, ohne Guard Raila dazwischen, die einfach ein geschriebenes Wort sind,
Johannes Otterbach:wo
Christoph Magnussen:man sagt, das darfst Du nicht tun. Da geht's ja. Aber auch das hat eher damit zu tun, zu lernen, was es für eine Technologie ist wahrscheinlich.
Johannes Otterbach:Genau. Aber deswegen kommen auch die die Das ist auch immer meine Erinnerung an die Leute. Ein Open Source Modell ist kein Produkt. Für ein Produkt zu machen, kommen noch viel dazu. Das ist nicht nur der Deployment, sondern es ist die Frage eben auch, welche Guardrails installiere ich auf dem Modell und wie designe ich meinen Systems Prompt und wie schütze ich mein Modell vor Prompt Injection und solchen Geschichten.
Johannes Otterbach:Produktentwicklung ein Modell ist noch mal was ganz anderes, als einfach nur ein Open Source Modell zu haben. Also dieser ganze europäische Push, wir bauen Open Source Modelle, super, Thumbs up, aber das ist kein Produkt.
Christoph Magnussen:Kein Produkt. Ich lass dich nicht von der Angel, bevor wir nicht über ein Thema gesprochen haben, in dem Du ausgebildet bist. Du bist ja Quantenphysiker von der Ausbildung her und es kommt immer mal wieder die Frage in den Keynotes, ja, aber wenn wir dann den Quantencomputer haben, dann ist das doch. Und dann steh ich da natürlich und sag, ich hab viel zu wenig Ahnung, bisschen. Ich weiß nur, es ist eine andere Art auch von Compute durch den dritten Zustand quasi.
Christoph Magnussen:Das heißt, das hat vermutlich auch deutlich mehr Dimensionen. Die Infrastruktur ist nicht da. Also also gib mal einen Glimps rein und lass mal gucken, wie weit wir das Rabbit Hall runtergehen.
Johannes Otterbach:Ja, ja, genau. Also Und wo's grad sticht. Muss so vielleicht son son son Du hast ja angesprochen, wie bei wie vielen Stationen ich schon war, son bisschen eine Kohärenz reinzubringen, warum das so so so seltsam ist. Was mich interessiert ultimativ am Ende ist, wie verarbeite ich Daten? Wenn ich ein Rohsignal habe, dann ist das keine Information, sondern die Frage ist, wie verarbeite ich die Daten?
Johannes Otterbach:Das ist also ultimativ eine algorithmische Frage, eine informationstheoretische Frage und da ist KI ein ein Engel da hinten dran. Da gab's auch dann, früher nannte man das auch dann Data Science und Statistik und Quantensysteme sind eine andere Art und Weise, Daten zu bearbeiten und zwar Daten und und und Probleme zu lösen, die wir mit den klassischen Sachen nicht lösen können.
Christoph Magnussen:Beispielsweise, weil komplexer anders zusammenhängt oder was wäre so was?
Johannes Otterbach:Es gibt, das wird jetzt ein bisschen theoretisch, es gibt in der Informatik Probleme, die man sagen kann, man kann sie in endlicher Laufzeit mit klassischen Rechner lösen.
Christoph Magnussen:Mhm.
Johannes Otterbach:Und es gibt Probleme, die man kann man nur in exponentiell langer Zeit auf klassischen Rechner lösen. Mhm. Aber eine Subklasse dieser exponentiell klassischen Probleme lassen sich in endlicher Laufzeit auf Quantenrechner lösen. Als schönes Beispiel zu geben, das kennt wahrscheinlich jeder, der der Handelsreisende ist die Frage nach, ich hab einen der Traveling Salesman, genau. Ich bin 'n ich bin 'n Staubsaugervertreter und muss durch die verschiedenen Städte fahren.
Johannes Otterbach:Und wie minimiere ich meine meine Reisezeit, während ich die maximal große, viele Städte machen kann. Das ist lustigerweise Problem, das hört sich sehr einfach an, ist aber informationstheoretisch exponentiell lang, eine optimale Lösung zu finden auf dem klassischen Rechner. Und am Quantenrechner könntest Du das in in endlicher Zeit machen, ne? Das ist son schönes Beispiel. Und damit kannst Du auf einmal Probleme lösen, die mit denen klassische Rechner große große Probleme haben, wie zum Beispiel in den Materialwissenschaften.
Johannes Otterbach:Also wenn wir zum Beispiel sagen, wir wollen Daten produzieren, deswegen habe ich auch gesagt, Frontier AI geht in eine neue Richtung, wir wollen Daten produzieren für komplett neue Materialien, wie wir Carbon Capture Storage machen, CCS. Großes Problem, wie wir im Prinzip unser Klima wieder unter Kontrolle kriegen. Ist komplettes Blank Page Problem, weil der Designraum, der Designspace von solchen Materialien ist exponentiell groß. Ist riesig groß. Und jedes neue Material muss neu berechnet werden mit Regeln der Quantenmechanik und da sind KI Modelle nicht wirklich gut drin oder klassische Computer nicht gut drin.
Johannes Otterbach:Was wir jetzt mit Quantencomputer machen könnten, wir können im Prinzip Daten erzeugen, die deutlich besser sind und deutlich genauer sind auf diesen Materialwissenschaftsproblemen in endlicher Zeit und können diese Daten dann verwenden in KI Modell, Proxy herzustellen, mit dem wir dann bessere Designs entwerfen können für solche Materialien. Das heißt, das ist Problem, wo wir schon wissen, dass AI unter Umständen nicht die beste Antwort geben kann, sondern nur approximative Antworten. Und da gibt's haufenweise diese Fragen. Und deswegen ist das relativ spannend, weil's einfach eine komplementäre Achse von Problemen ist.
Christoph Magnussen:Weitere Kategorie und nicht irgendwie Ersatz. Das ist, glaub ich, der Deckfehler, der dann häufig passiert, wenn man denkt, ich pack jetzt drauf und fertig.
Johannes Otterbach:Ja, das ist son bisschen dieses Problem, dass die, die Quantenleute wollen natürlich auch VCMoney haben. Ja. Dann ist immer die Ansage so, Quantenrechner kann deutlich schneller rechnen wie wie KI und deswegen machen wir jetzt Quanten für KI und wenn wenn Du so was hörst, einfach ignorieren, sondern es ist eine ganz neue Kategorie, weil sie sind auch bei weitem noch nicht so weiß, sondern es ist wirklich, die beiden werden sich komplementär ergänzen. Das eine wird das andere nicht ersetzen.
Christoph Magnussen:Hatte nicht Jence Noong in der Nvidia Keynote jetzt neulich auch was erwähnt, hat er aber auch so eine gesamte Show abgefeuert mit allen möglichen Sachen. Aber der hatte auch Quantenrechner irgendwas dabei.
Johannes Otterbach:Ja, ja, die die Nvidia Leute sind natürlich auch am Quantensitzen dran, weil wir wissen ja schon, dass die wie wie viel Energie diese GPUs verbraten. Da müssen wir irgendwann was Neues machen. Wenn du dir jetzt Jetzt treffen wir ein ganz anderes Feld ab, was auch unglaublich relevant ist, nämlich die Frage von Compute Infrastruktur. Wir haben über GPUs gesprochen, also Grafikrechner. Wir haben CPUs.
Johannes Otterbach:Und wir gehen inzwischen in diese Richtung von Chiplets und Co Prozessoren.
Christoph Magnussen:Okay, aber dann einmal CPU, GPU, ich stell's mir immer so vor, CPUs wie so'n Flugzeug, kann jeden Flughafen anfliegen, kannst Du Menschen reinsetzen, kannst Du Gepäck mitnehmen. GPU, viel Fracht, viel wie Güterzug oder Chiff oder so. Die anderen Kategorien?
Johannes Otterbach:Genau, da gibt's noch mal andere Prozessoren. Also es gibt die QPU für den Quanten Processing Unit, für Quantencomputer. Dann gibt es auch neue andere Architekturen, zum Beispiel die in die Richtung von ASICs gehen, also Hardware, die zum Beispiel speziell designt wird für einen gewissen Use Case, dann kann man zum Beispiel photonische Rechner mitnehmen oder man nimmt FPGAs, die speziell programmiert werden und die werden dann sozusagen an solche Chips auch angesetzt. Die werden also auf so so eine Platine drauf gesetzt. Dann sitzt dann unter Umständen am Ende sitzt da eine eine CPU, also das Zentralgehirn.
Johannes Otterbach:Sitzt eine GPU drin, die sehr gut ist im Parallelisieren, also viel viel von dem gleichen machen. Dann sitzt dann vielleicht eine eine eine eine QPU dran, die die computational hard problems lösen wird. Dann hast Du irgendwo einen einen photonischen Komponente drin, die gut ist für Fourier Transformation, weil wir in der Signalverarbeitung wahnsinnig viele Fourier Transformation haben. Das heißt, hast sone sone eine eine eine Berechnungslandschaft, eine Compute Landscape, wo Du ein Zentralgeheim hast und Du hast spezielle Prozessoren, die gut sind für gewisse Workloads. Ja.
Johannes Otterbach:Und dann reden wir von Coprocessing. Und da wird's in die Zukunft hingehen und da das siehst Du ja jetzt auch schon mit den Grace Hopper Architekturen von Nvidia, die ja wirklich dazu gebaut sind, mit mit CPU und 'ner GPU auf 1 Platine zu arbeiten, eben diese Hybrid Workflows gutzumachen. Und das wird eine ganz spannende Sache. Da sind auch noch andere große Player im Spiel. Da wird's auch in der Zukunft viel kommen.
Christoph Magnussen:Also das heißt, das Hardware Game ist noch nicht durch.
Johannes Otterbach:Nee, das fängt jetzt erst richtig an tatsächlich.
Christoph Magnussen:Wollte ich grad sagen. Also wer sagt, ich bin zwar kein Computer Scientist, sollte sich wahrscheinlich als Electrician irgendwo anstellen lassen.
Johannes Otterbach:Ich geh
Christoph Magnussen:davon aus, die werden drum herum gebaut. Die Rechtset und ich hab's bisschen verfolgt jetzt die letzte Zeit, die dafür aber hochgezogen werden, sind dann aber entsprechend große Wetten, weil wenn Du sagst, ich glaube, XAI hat mit dem neuesten Rechenzentrum 1000000 GPUs in Planung. Fünfhunderttausender davon sind schon, glaube ich, schon deployed jetzt im Oktober.
Johannes Otterbach:Also Hab ich noch lange, hört sich richtig an, ja, genau.
Christoph Magnussen:Irgendwie so was. Das heißt, das ist schon ziemlich großes Brett, setzt eben aber auf GPUs weiterhin, bleibt aber trotzdem eine relevante Größe, weil du die für Inference Compute und alles brauchst. Also das heißt, das Game ist nicht, hey, ich wette auf einen krassen Training Run, sondern ich weiß ganz genau, die Leute generieren sich ihre Prompts und Bildchen und fragen, wie viel Schnitzel kann ich in Berlin essen? Okay. Bei dem dem Game, hat dann da Europa auch eine entsprechende Chance, wenn Du jetzt an das denkst, was wir machen, weil das ist ja dann schon money Game?
Johannes Otterbach:Müssen wir, ja. Also selbe Antwort wie bei dem der Frage die Frontierialabs, ne. Also ich ich erzähl den Leuten immer bei der bei Sprint zu arbeiten ist Fluch und Segen, weil ich der der der Segen ist, ich arbeite an tonnenweise spannenden Projekten. Der Fluch ist, dass alles systemisch ist. Ja.
Johannes Otterbach:Das heißt auch hier in dieser in dem in dem Chips Game, ne. Es gibt diese Frage, was machen wir short- und medium term? Da müssen wir in diesem Skalierungsspiel diese Chips mitspielen, ne. Was machen wir an Long Run? Wir brauchen tatsächlich auch in Europa eine eigene, äh, Chip Ökosystem.
Johannes Otterbach:Also auch hier wieder die Frage nach Souveränität, wir brauchen Freedom of Choice. Und das haben wir im Moment nicht. Wir haben zum Beispiel aber Firmen wie ASML ultrakritisches Stimmt,
Christoph Magnussen:ist europäisch, ja.
Johannes Otterbach:Das ist europäisch. Holland, genau. Ja, ist auch ein Teil 1 extrem kritischen Infrastrukturkette für die Chips. Also Nvidia ohne ASML wäre auch nicht zu denken tatsächlich.
Christoph Magnussen:Das immer wenn sich das, also für die die Zuhören vorstellt, wie son Kartenhaus. ASML stellt die Maschinen, glaube ich, her, mit denen die Chips hergestellt werden können, Taiwan. Nvidia baut wiederum die Infrastruktur. Google, Meta, Microsoft, alle obendrauf.
Johannes Otterbach:Ja, jetzt hast Du noch tatsächlich AMD vergessen, die die CPUs herstellen.
Christoph Magnussen:Ja, stimmt. Und Google baut paar Sachen selber, die CPUs, aber die werden auch nicht überall
Johannes Otterbach:doch Länder ist groß. Penisauuns Game, ne? Stimmt. Ja, ja. Und dann gibt's auch noch die Chinesen, die ihre eigenen GPUs inzwischen herstellen und CPUs.
Christoph Magnussen:Wie weit sind die denn weg von der Qualität?
Johannes Otterbach:Ja, reliable numbers sind bisschen Problem, ne? Aber die letzten YOWY Chips, zumindest von dem, was ich gesehen hab, sind ziemlich promissing. Die sind jetzt vielleicht noch ein, 2 Generationen hinter, hinter, ähm, Nvidia, ja? Aber jetzt hast du natürlich auch solche Durchbrüche wie Deep Seek und damit kannst du dann halt schon interessante Sachen machen, ja?
Christoph Magnussen:Also am Ende kommen wir wieder drauf so, ich sag mal, das Internet wird, ist ja Amerikaner, das Internet wird mit Ducktape zusammengehalten, wenn man den ganzen Datenbanken denkt und alles, zusammenhält. Das heißt, das ganze Game haben wir beim Hardwarespiel auch. Genau. Ja, ja, spannend. Ich wurde gestern im Livestream von jemandem gefragt, was passiert, wenn das alles mal ausfällt?
Christoph Magnussen:Ich hab Verlustängste. Da hab ich gesagt, ja gut, da arbeiten, da verdienen so viele Menschen viel Geld mehr, dass alle daran arbeiten, dass es irgendwie funktioniert, aber
Johannes Otterbach:Ja, ich mein, was was passiert, haben wir ja jetzt kürzlich gesehen. Cloudflare outtage, ne? Zweimal innerhalb von 2 Wochen. Einmal richtig groß, einmal nicht ganz so groß, aber Sie
Christoph Magnussen:behaupten ja, es waren Deployment Fehler. Würdest Du sagen, nee, wir sind hier am am Lastlimit oder?
Johannes Otterbach:Ich glaub nicht, dass wir am Lastlimit sind. Ich glaub tatsächlich, dass es Deployment Fehler war, aber was dann auch zeigt, wie kritisch diese Infrastrukturen sind, dass wir keine eigene CDNs in Europa haben von der Größe, wie sie Cloudflare sind. Dass es einfach massiv viel des europäischen Internets über einen US CDN fließt. Also auch hier, Frage von Souveränität. Wir haben Freedom of Choice ist nicht da.
Johannes Otterbach:Also, ja, das ist das die Definition von Souveränität. Viel Arbeit vor uns, aber wir sollten es halt nicht aufgeben.
Christoph Magnussen:Ja, wir haben bei Blackboat schrieben einige, weil wir sind natürlich heavy heavy User, weil wir auch immer versuchen, also best ways of wie arbeitest Du damit, ne. Also wir sind so auch Hotkeys an der Tastatur, Shortcuts, Slack super früh. Ich hab mal Stuart Butter viele Podcasts gehabt, so Early Days, wo er auch erzählte, wie viel Mühe sie sich gemacht haben, für Geschwindigkeit im Tool zu sorgen. Und meinte ich nur, als dann schrien paar Leute, ChatGPT geht nicht mehr, ich so, ganz viele andere Sachen gehen nicht oder hier have a look, ja, das halbe Internet liegt lahm. Aber ich hatte mal die Regel eingeführt, dass wir immer sehr viele Varianten an Kommunikationskanälen haben.
Christoph Magnussen:Ich hab gesagt, wir haben Google, wir haben Amazon, wir haben Microsoft, wir haben Meta an verschiedenen Stellen. Wenn die alle down sind zeitgleich, dann haben wir anderes Problem. Das ist bisher noch nie passiert. Stimmt. Aber ich hatte neulich daran gedacht.
Christoph Magnussen:Ja, es ist definitiv spannend. Gibt's irgendwas, wo Du sagst, das hab ich dich jetzt komplett vergessen zu fragen, wo Du sagst, Christoph, da hast Du eine Company, eine Person, Thema.
Johannes Otterbach:Thema. Ich glaub, wir haben noch nicht genug über die Frage von AGI gesprochen ein bisschen. Da würde ich vielleicht noch ein bisschen teasern an der Stelle.
Christoph Magnussen:Weil
Johannes Otterbach:wir haben auch wieder hier so ein bisschen Datenmodalitäten. Wir haben gesprochen über language, geschriebene Sprache. Wir haben gesprochen über Voice, wir haben gesprochen über Audio. Wir haben gesprochen über Bilder. Jetzt fehlen noch ein paar Sinne, oder?
Christoph Magnussen:Haptik, tabu. Geruch. Geruch, Oh, Geruch, Geschmack, ja. Aber die hängen ja zusammen.
Johannes Otterbach:Geruch, Geschmack hängen zusammen. Ja, das ist im Prinzip eine Sache, ne. Wenn wir wirklich sagen, wir wollen AGI haben, das sind 2 große Felder, die komplett unbesetzt sind.
Christoph Magnussen:Stell mir das, ich stell mir den Prozess Reinforcement Learning Through Human Feedback bei Geruch sehr anstrengend vor.
Johannes Otterbach:Aha.
Christoph Magnussen:Auch spannender Gedanke. Ja. Gibt's jemand, der da noch Vorgespräch?
Johannes Otterbach:Es gibt jetzt so die ersten Papers, die sich angucken, wie baut man eine Foundation Models für für Geruch? Ist aber auch wieder spannendes Problem, weil was Du dafür machen musst, ist ja im Prinzip die molekulare Zusammensetzung von Luft auseinandernehmen und dir die entsprechenden Geruchsmoleküle zusammensetzen. Das ist gar nicht so einfach. Und dann darauf Modell trainieren und diesen Sensor zu entwickeln, ist allein schon die die ultraschwierig.
Christoph Magnussen:Und ich geh davon aus, dass die kulturelle Prägung von Gerüchten ja auch noch mal wiederum Teil ist. Das ja wie bei Farbwahrnehmung Genau. Beim Sehen, dass es Sprachen gibt, in denen es, glaube ich, nur die Farbe schwarz, weiß, rot zum Beispiel gibt und die anderen Nuancen gar nicht.
Johannes Otterbach:Genau. Und dasselbe Problem haben wir bei der Haptik. Also es fragt die Leute immer so, unsere unsere Haptik geht über die Haut. Ja. Mal drüber nachzudenken, wie bauen wir künstliche Haut mit derselben Art und Weise irgendwie das zu ersetzen.
Johannes Otterbach:Und das Letzte, was ich dir noch mit reingeben will für AGI, warum ich immer so begeistert bin von menschlicher Hardware. Mhm. Wir reparieren uns selbst. Guck dir mal an, was Roboter macht, ne? Wenn der immer kaputt geht, das ist son bisschen spannend.
Johannes Otterbach:Und jetzt reden wir mal drüber, was passiert, wenn wir irgendwie Roboter in Auto Space schicken. Du hast auf einmal kosmische Strahlung. Wir haben kein so schönes Erdmagnetfeld da draußen. Und Du hast kosmische Strahlung, die dir die deine ganzen Bits zerschießt. Das heißt, das Engineering fürn Roboter im Outdoor Space ist ganz anderes.
Johannes Otterbach:Das macht unsere Hardware und unsere Menschenhardware ziemlich gut. Also die Astronauten überlegen eine ganz lange Zeit. Aber wenn Du mal anguckst, wie die die die Hardware von der MIA aussieht oder von der International Space Station, dass die Anzahl von Engineering und wie sie die Redundancy in ihre Systemsoftware einbauen, ist ganz anderes Engineering, weil sie müssen das wirklich voll tolerant machen gegenüber Outer Space Radiation. Also das sind noch viele Arbeiten, bis wir wirklich zu nur solchen Robotern kommen, die tatsächlich der menschlichen Hardware nahekommen, ne.
Christoph Magnussen:Und und also ne, Du machst dir das Das Geile ist, Du machst das Feld grade so auf das Und das genau das Gefühl hatte ich mir so gewünscht zu sagen so, ja, das ist so, ich fühle mich jetzt gerade so, als wenn ich Bilder aus den Achtzigern anschaue oder so siebziger, wo ich sag so, ach geil, ah, das war ja nostalgisch damals, ach wie herrlich, guck mal, stell dir mal vor. Und das ist gutes Gefühl. Und gleichzeitig hatte ich grade Bild im Kopf von unserer jüngsten Tochter, auch mehrfacher Papa und ich bin immer wieder fasziniert, wenn ich denke, wie exponentiell Lernen bei bei Babys dann halt auch ist und bei kleinen Kindern und Du merkst so, die konnten das letzte Woche noch nicht, dann können die das plötzlich. Und dann überlege ich mir, wie viel Aufwand wir betreiben, damit eine KI diesen diese Form hinbekommt, die bei uns halt über Millionen Jahre eingebaut ist und dann 100000 von Jahren, 10000 von Jahren rein ins System gegangen ist, Dinge dann zu erlernen. Und da, also ich sitz da immer und denk so, wie wie geil ist das und hab seitdem ich wieder so eng im Technischen drin bin, eine unfassbare Faszination für diese exponentielle Kurve, wenn wenn Menschen nachweisen.
Johannes Otterbach:Das ist übrigens noch mal eine andere Fontier, ne, wenn wir da schon den schönen Segway gemacht. Wenn du dir überlegst, wir haben ja irgendwann Roboter, die bei uns im menschlichen Leben integriert sind. KI wird an die Gesetze der Physik gebunden sein, so wie wir es auch sind. Wir gehen durch die Welt, wir haben viel Sensorik, wir nehmen viel Input auf, aber diese ganzen Zeitreihen, wir aufnehmen, also durch unsere visuellen Rezeptoren, durch unser Audio, durch unser Riechen, durch unsere Haptik, das sind Zeitreihen, die sind kontinuierlich da, aber sehr spars. Also, es sind sehr dünn.
Johannes Otterbach:Also der Informationsgehalt ist sehr dünn. Wir kriegen unglaublich viel Daten rein, aber der Informationsgehalt ist sehr, sehr dünn. Ja. Aber wir lernen trotzdem relativ effizient. Das heißt, wir haben wenig Datenpunkte, mit denen wir lernen, aber aus denen müssen wir lernen.
Johannes Otterbach:Beispiel von Kindern, Objektpermanenz, ja? Oder ein Kind macht einmal die Hand auf die heiße Herdplatte und danach nie wieder. Ja, also diese Frage nach effizienten Lernen in Räumen, die wo die Zeitskalen durch physikalische Prozesse gegeben sind. Durch
Christoph Magnussen:Und ohne einen langen Training Run.
Johannes Otterbach:Ohne einen langen Training, das in echt System
Christoph Magnussen:lernt, während es deployed ist, draußen.
Johannes Otterbach:Genau, das ist Frontier. Das werden wir verbrauchen, wenn wir zum Beispiel Robotik irgendwie im menschlichen Leben einbauen wollen, also in Haushaltsgehilfe. Das ist genau das, was wir brauchen. Weil wir können nicht irgendwie das gesamte Haus ausmessen und dann 10000 Simulationen überlaufen lassen, dann den Roboter auf den Haushalt zu trainieren. Das wird nicht funktionieren, sondern der Roboter muss das relativ schnell selbstständig rausfinden, dass die Treppe rutschig ist oder sonstige Sachen.
Johannes Otterbach:Auch da, Frontier und Manufacturing und Robotic, das ist europäisches Feld, wo wir einfach unglaublich gut sind.
Christoph Magnussen:Wir haben wir haben grade eigentlich schon abgesetzt so dann. Also das ist ja der der Punkt, hier kommt Johannes und sagt, ich hab ein komplettes Feld ausgelassen, erscheint über mein Haupt. Du hast völlig recht und hast mich gechallenged. TAI, transformative artificial intelligence.
Johannes Otterbach:Ja, Genau, genau. Also TAI, das ist immer so die schöne Kehrseite der Medaille von AGI. Also AGI, das ist diese große Zukunftsvision. Und das lässt sich unglaublich schwer messen, weil AGI son bisschen an unserer eigenen Konzeptarbeit. Wir messen das immer gegen unser eigenes menschliches Selbstverständnis.
Johannes Otterbach:Transformative AI hat den den charmanten Charakter, dass Du tatsächlich ökonomische, eine ökonomische Metrik, eine KPI dransetzen kannst, ne? Nämlich wann ab welchem Punkt ist eine AI so mächtig, dass mehr wie 50 Prozent der Wertschöpfung 1 gesamten ökonomischen Bereiches durch eine AI abgedeckt wird. Und da haben wir gerade eben diskutiert, da gibt's schon erste Beispiele. Stock Photography, das weiß ich gar nicht, wie das in Deutsch heißt. Das ist im Prinzip die Bilder, die Du brauchst, für eine Webseite auszustatten.
Christoph Magnussen:Bilddatenbanken, wo Du so Standards runterlädst, Kurzclips. Genau.
Johannes Otterbach:Ja. So was wie Shutterstock oder Gaty Images, ja. Und die werden durch Modelle wie von Black Forest Lab, also durch Bildgeneratoren werden die komplett weg ersetzt. Das heißt, die Künstler, die sich da auch spezialisieren, viele Bilder zu für diese Bilddatenbanken herzustellen, die würde es auf mittlere, kurze Fristen nicht mehr geben. Aber was was es weiterhin geben wird, sind die wirklich hochqualifizierten Fotografen, die eben Kunst machen oder eben Journalisten, die sich eben in in in gewissen Bereichen bewegen, wo es keine generative KI gibt, die Fakten dokumentieren.
Johannes Otterbach:Das heißt, es wird hier sone Separation geben, der der der der Massenmarkt wird durch KI ersetzt und es bleibt wirklich nur der bispoke High End Performancemarkt übrig.
Christoph Magnussen:Das hat man doch aber dann auch in Bereichen wie vielleicht einfach im Journalismus, wo wahrscheinlich, also es gehe ich kenn Beispiel aus, wie heißen die denn? L. A, hatte mir ein Freund von mir neulich genannt, die Podcasts in Masse produzieren, die pro Woche 3000 Podcastfolgen produzieren. Voice to Voice. Ich komm mal nicht auf den Namen, 'n ganz coolen Namen.
Christoph Magnussen:Relativ kleines Team, High Niche, krasse Nische, ab 20 Streams profitabel. Ja. So. Ne, also die die fallen mir ein. Und das Thema, es war neulich im Economist großer Artikel über Pornindustrie und AI.
Christoph Magnussen:Und da gibt's ja komplett eigene, also unter den, man sieht das in der Top Fünfzigliste der KI Applikationen ist quasi in jeder Spalte ein entweder Adult Chat oder Character AI oder Candy, also alles schon so in diese Richtung, so Adult Content versus und Co, wo Du halt immer noch Creator hast, die das machen. Meine Theorie bisher war, dass Du an vielen Stellen das parallel existieren haben wirst in einigen Bereichen, also es nicht so trennscharf ist wie jetzt bei bei Stockfotografie. Und ich glaube, das ist die Frage, wo sorgt es insgesamt für mehr Content und wo löst es ab?
Johannes Otterbach:Ja, das ist also, das ist eine gute Frage. Also es geht in so die Richtung von AI Slop, den wir im Internet Ich glaub, am Ende würde es über Engagement gehen. Also im Moment ist das Gefühl ja da, dass wir von AI Slop überrannt werden und damit auch deine Feeds für dich an Interesse verlieren, ja, oder an Relevanz verlieren, weil's zu viel von diesem AI Slop drin ist. Und ich glaub, da wird's eine eine eine Kurve geben, wann es relevant ist und wann es nicht mehr relevant ist. Aber ich glaub, es gibt viele viele Aspekte auch, wo das dann tatsächlich eine Rolle spielen wird.
Johannes Otterbach:Also Journalismus hast du schon mal angesprochen. Gerade wenn es über Tablet Media geht, dann wird's sehr relevant, weil du tatsächlich nur Storys schnell zusammenhacken musst. Und das wird auch sehr viel AI generiert werden tatsächlich auch.
Christoph Magnussen:Aber ich glaub, da gucken Leute zu Black and White drauf im Sinne von und dann ist es nicht mehr relevant. Also ich hab 2 2 Gedanken dazu. Einmal, ich weiß noch, als wir haben mal für für Facebook gearbeitet 2008 7 8 so was. Das war also vor Einführung des Feeds bei Facebook.
Johannes Otterbach:Mhm.
Christoph Magnussen:Der kam erst durch den Zukauf von Friend Feed 2009, meine
Johannes Otterbach:ich. Mhm.
Christoph Magnussen:Und die Leute waren dann auch, da kam irgendwann dieser Feed und so, ah, ist alles zu viel, das kann man nicht konsumieren. Und dann kam eben diese Innovation, diesen Feed über diesen Algorithmus zu pflegen. Und auf einmal wurde es natürlich relevanter. Warum swipen sonst alle die Reels bei TikTok und Instagram durch? Daher kommt's.
Christoph Magnussen:Das heißt, da glaub ich, wird's eine Adaption geben, wie Du sagst, über die über die Engagement. Ja. Und das Zweite, was mir auffällt, ich lese extrem viel Deep Research Reports, weil ich diese Fragen selber formuliere, die ich sonst nirgendwo finde. Weil es natürlich, ich muss, wenn es super relevant ist, immer noch die Quellen gegenchecken und schauen. Das mache ich auch.
Christoph Magnussen:So. Verlass mich aber sehr drauf. Und hier sehe ich das Produkt von OpenAI, Deep Research hat ja Perplexity, Grog, Gemini, alle haben das. Aber das Produkt Deep Research von OpenAI funktioniert für mich, wie ich's benutze, mit am besten. Und das ist wie so eine neue Produktkategorie, die vorher gar nicht da war.
Johannes Otterbach:Genau. Also die war schon da. Das war nur sehr, sehr teuer. Das war sehr teuer. Sprich Beratungsfirmen ist genau das, was Beratungsfirmen gemacht haben.
Johannes Otterbach:Du stellst eine Frage an eine Beratungsfirma und dann bezahlst deine mehrere tausende Grants an eine Beratungsfirma und hast eine Antwort darauf. Und das ist tatsächlich auch eine der Industrien, wo ich sehe, dass Transformative AI unter Umständen sehr destruktiv wirken kann, weil Du nicht mehr sone große Beratungsfirma anstellen musst für für gewisse Sachen.
Christoph Magnussen:Als ehemaliger Palenteer Mitarbeiter geht dann meine Frage in die Richtung, habt ihr nicht immer embedded engineers mit reingeschickt, die dann auch
Johannes Otterbach:Ja, aber nicht für die Research, sondern für die Frage des Deployments, ne? Also das ist ja eine andere Also Du Du bei Palante musst Du ja die Business Ontologie, also die Art und Weise, wie deine Business Prozesse in deine, wie die Businesslogik abgebildet wird in deinen Datenbanken, die musst du natürlich auf die Software anpassen. Das ist also die Ontologie. Und dafür haben wir dann unsere Embuildered Engineers mitgenommen, das zu machen. Aber nicht tatsächlich, Palanti zu bedienen.
Johannes Otterbach:Das durften wir in
Christoph Magnussen:vielen Cases auch gar Welche Branche, wenn Du jetzt an TEI denkst, also Transformative AI, welche Branche würdest Du besser nicht mehr anfassen, wo Du sagst, that's where wear very close, abgesehen jetzt von Stock und Co?
Johannes Otterbach:Wirar Vericlose für Thai. Also Beratungsbranche würde ich nicht mehr machen, also das tatsächlich nicht mehr. Auch alles, was in App Development Wir haben, Du hast Lovable angesprochen. Mit Lovable wirst Du relativ schnell kleine kleine Apps relativ schnell erledigen können. Wenn dein Businessmodell aufgebaut ist auf schnell kleine Spiele zu entwickeln.
Johannes Otterbach:Auch nicht. Da sind auch Modelle, die werden richtig gut werden in Gamedesign. Das wird auch superschnell gehen. Ich hab grad tatsächlich mit Freund geredet, der war vorher auch bei Meta und der hat sich mit seinem kleinen Sohn hingesetzt und einfach mal dem dem Sohn erklärt, wie er Code Modelle verwenden kann, sich seine eigenen Spiele zu schreiben. Das hab ich mit dem Sohn auch gemacht, ja.
Johannes Otterbach:Genau, also das wird's geben. Also überall dort, wo wo schnell, wo wo Du auf Engagement baust oder Du auf Dienstleistungen baust, wie zum Beispiel in der Beratung, wo Du eben diese Deep Research Fragen hast.
Christoph Magnussen:Sei es, sie sind so speziell, wie du es gerade beschrieben hast, für Spezialfotografie, besondere Einsätze, Genau,
Johannes Otterbach:wo es Information Gathering geht oder Bildgeneration.
Christoph Magnussen:Beim Thema, es gibt so eine Annahme von Leuten, die sagen, ja, das Problem mit unseren unaufgeräumten Daten, das löst dann die KI. Was also obvious Quatsch ist, aber wie lange hältst Du das noch für Quatsch, dass Menschen drüber crunchen müssen, Data Prepare, also diese ganzen Schritte, die es braucht, bis das transformiert greift? Weil das wäre natürlich Riesenhebel,
Johannes Otterbach:wenn
Christoph Magnussen:Du das auf einmal transformieren könntest.
Johannes Otterbach:Also ich ich hab da tatsächlich son bisschen anderen Tick da drauf, ne? Also jedes Mal, wenn wir eine neue Technologie hatten, haben wir mehr Data Engineers gebraucht. Also es ist eher so umgekehrt. Also wenn Du Es ist total das unsexy Business Modell, aber das ist der Job Keeper Nummer 1, ist, wie nennt sich Freund von mir? Data Janitor.
Johannes Otterbach:Weil im Prinzip einfach dieses Zusammenstöpseln von Datensystemen und eine Datenbank auf die nächste Datenbank mappen, das wird immer da sein. Bis eine KI das lösen kann, bin ich gespannt, weil Du hast vorhin auch erwähnt, Du hast mal SQL geschrieben. Das schönste Problem, was ich immer hatte als als Engineer, als Data Scientist, ist mit den Business Leuten zu sprechen, was sie eigentlich mit in SQL wollen, weil die geben mir eine menschliche Sprache rein und ich soll das in SQL übersetzen. Menschliche Sprache ist ultimativ ambiguous. Das heißt, die Frage ist nie eindeutig und das heißt, Du brauchst immer Kontext, Du brauchst immer Rückfragen.
Johannes Otterbach:Das heißt, bis das eine KI kann, brauchen wir wirklich extrem gute, agenische KI, die mit einem Menschen interagieren kann, nachzufragen, wie denn Datenbanken aufgebaut sind und was denn welche Felder irgendwie bedeuten. Also
Christoph Magnussen:Also die Ich kann dir das Beispiel geben, was ich letzte Woche hatte im Deployment. Ich hab dann durchgezählt, ich hatte Ich brauchte 18 kleine Daten, nicht groß, 18 kleine Datenbanken. Und ich hab dann eben nur mit Testdaten am Anfang gearbeitet. Und ich hatte dort, weil ich Vibe gecoded hab, hatte ich aber am Anfang viel zu viele. Also ich hatte, der hat die immer wieder überschrieben.
Christoph Magnussen:Und dann hab ich irgendwann gesagt, jetzt räum ich die ganzen Datenbanken einmal auf. Jetzt mach ich einmal
Johannes Otterbach:einmal drüber
Christoph Magnussen:und hatte halt 'n riesenlangen Secret Prompt. Boah, war relativ lang und zieh mich am Ende vom vom Kontext und hab den reingespült. Und dann kam immer die Warnung, ne. Sagst Du, ja, überschreibt sie an. Ich sag ja klar, weil paar Sachen nimmst Du raus.
Christoph Magnussen:Ja, und dann hat er halt komplett einmal die gesamte Struktur rausgelöscht. Das war very painful. Und wenn ich überlege, was da an Systemen läuft und ich meine ja diese Duct Tape Analogie, die ist alles mit Duct Tape zusammengehalten. Das ich ich seh's, ich kann's nachvollziehen und trotzdem denk ich so, ja krass, eigentlich ist das so nah an an dieser Technologie eigentlich dran, aber es ist halt ein so anderes Biest.
Johannes Otterbach:Es ist anderes Biest, weil Data Engineering immer über Kontext läuft. Mhm. Mhm. Und den Kontext reinzubringen, den Gesamtkontext 1 Businesses, das ist hoch nicht trivial. Weil nur dazu musst Du die das Businessmodell verstehen und Du musst die Leute verstehen, die tatsächlich im operativen Business das auch tun, damit Du anfangen kannst, die Daten zu verstehen.
Christoph Magnussen:Doch bisschen Beraterjob.
Johannes Otterbach:Doch bisschen Beraterjob, aber eben nicht mehr Deep Research, sondern das ist eine andere. Da gehst Du eher in die Richtung von den Beratungsbooten, die tatsächlich versuchen, Implementierungen zu machen.
Christoph Magnussen:Sehr schön. Jetzt haben wir wirklich deine vollen 2 Stunden hier rausgelutscht.
Johannes Otterbach:Jetzt musst Du nämlich gleich los. Jetzt vielleicht noch nicht.
Christoph Magnussen:Du hast die Uhr im Blick. Ich hab sie ausm Auge verloren. Für alle, die jetzt zugehört haben, ich hoffe, ihr appreciated, was wir hier an an an Zeit reingegeben haben. Ich hab richtig, richtig viel gelernt. Also wirklich auch noch mal auch komplett andere neue Gedanken aufgemacht und freu mich auf die Journey.
Christoph Magnussen:Freu mich, wenn wir eine Runde 2 irgendwann einbauen. Auf jeden Fall. Sehen, wie's weiter vorangeht und Du hast jetzt erst mal a lot of work to do.
Johannes Otterbach:Ganz genau.
Christoph Magnussen:Insofern danke, dass Du da warst.
Johannes Otterbach:Ja, danke für die Einladung. Hat viel Spaß gemacht.