Wir haben gesehen, okay, wenn ich als Unternehmen von mit dabei sein will, will ich das neueste Modell nutzen, aber wir sind nur eine Entscheidung der US Regierung davon entfernt, dass wir eben keinen Zugang haben zum neuesten Modell, wie wir gesehen haben mit Mythos und Fable 5. Mit jedem Prompt, den ich mache zu diesem Modell, schicke ich ein kleines bisschen von meinem IP an jemand anderen und da wird es Gewinner geben, da wird es aber auch Verlierer geben. Das muss sich, glaube ich, jeder CEO in dem Unternehmen diese Frage stellen, was für ein Spiel möchten wir mitspielen?
Christoph Magnussen:Wenn ihr euch fragt, wie in Europa KI vorankommt, dann hab ich eine Antwort für euch. Es gibt hier eine Open Source Initiative, eine Company, die nennt sich Flower Labs. Die macht etwas, das nennt sich Federated Learning. Das heißt KI Modelle, die über verschiedene Standorte trainiert werden, sodass die Daten dort bleiben, wo sie eigentlich sind. Also stell dir vor, ein Krankenhaus behält die Daten bei sich, kann ein eigenes Modell trainieren.
Christoph Magnussen:Richtig, richtig, richtig krasser Scheiß. Daniel Beutel, der das mitgegründet hat, ist nicht nur ein Computer Scientist. Er hat an der University of Cambridge studiert, sondern das Ganze auch hier in Hamburg in Europa gegründet. Und das Team ist mittlerweile komplett asynchron unterwegs. Wir haben also eine Folge AI to the DNA vor uns, wo es wirklich in den Bereich geht, was heißt AI native?
Christoph Magnussen:Was haben wir in Europa zu tun? Und die guten News vorab, es ist nicht zu spät. Die bad News, wir müssen uns ganz schön ins Zeug legen. Genau darum geht's heute. Ganz viel Spaß.
Christoph Magnussen:Sehr schön. Danke fürs Vorbei schauen, dass Du extra hochgestiefelt bist bei 28 Grad.
Daniel J. Beutel:Vielen Dank für die Einladung.
Christoph Magnussen:Du hattest vorhin noch was geschickt, mich son bisschen warm zu lesen. Und dann bin ich so durch die Slides gegangen und hab gesehen, Du hast eine sehr ähnliche Story wie wie auch schon in den letzten Podcastfolgen teilweise erwähnt, was grade an Umbruch passiert. Hast aber auch noch mal aufgezeichnet, Achtziger, Neunziger, die ganzen IT-Umbrüche. Gib einmal die Hintergrundstory, wo Du sagst, warum ist es grad so wichtig, was passiert und warum macht Flower Labs, was es macht?
Daniel J. Beutel:Ich glaube, wir durchleben gerade eine historische Zeit. Wir, wenn wir uns anschauen die Geschichte, dann sehen wir das immer wieder alle 10 Jahre ganz grob gab's eine technologische Revolution. Es waren in den Achtzigern beispielsweise Datenbanken, in den 2010er-Jahren Software-as-a-Service und wir sehen jetzt gerade, wir haben jetzt gerade den Anfang von der neuen technologischen Revolution gesehen mit KI Agenten. Bisher war es so, dass die Arbeit KI-unterstützt abgelaufen ist und mittlerweile ist es so, dass durch KI Agenten Sachen wirklich komplett am Ende zu Ende automatisiert werden können, wo KI Agenten komplett diese Aufgabe übernehmen. Und ich glaub, das Spannende daran ist, dass man wirklich darüber nachdenken muss, das ist eine neue Art der industriellen Revolution.
Daniel J. Beutel:Wir hatten damals vor über 100 Jahren die industrielle Revolution, wo wir gesehen haben, dass manuelle Arbeit plötzlich ersetzt werden kann durch Maschinen und wir als Menschen haben dann die Maschinen aufgebaut und betreut und geschaut, dass diese Prozesse sauber ablaufen und das war eben manuelle Arbeit. Also das hat sich alles aus Kleinwerkstätten hin in Fabriken verlagert und der Mensch musste nicht mehr die manuelle Arbeit machen, sondern hat die Fabriken aufgebaut und geschaut, dass dort die Prozesse sauber ablaufen. Und jetzt zum ersten Mal in der Geschichte ist genau das Gleiche mit wissensbasierter Arbeit möglich. Wir können jetzt Sachen, die wir vorher quasi komplett manuell gemacht haben, wir am Laptop, können wir jetzt zu großen Teilen automatisieren und das verändert natürlich die Rolle des Menschen in diesem ganzen System und es verändert auch die Art und Weise, wie Arbeit morgen ablaufen wird. Es wird nicht mehr so ablaufen wie vor 5 Jahren beispielsweise.
Christoph Magnussen:Jetzt ist es aber trotzdem so, dass die meisten Menschen damals auch sehr lang gebraucht haben, die Sachen zu benutzen. Also eine Cloud ist noch relativ nah dran. Ich weiß noch sehr genau, wie das losging mit Salesforce 2003, jetzt dann einfach über 20 Jahre später. Und jetzt nach Corona so langsam sagen die Leute, ja okay, passt, ne, wir sind alle in der Cloud, aber es war lange, lange, lange Zeit ein Problem. Das heißt, bis die Effekte kommen.
Christoph Magnussen:Was glaubst Du oder was beobachtest Du, wie schwer das ist für einige Menschen zu verstehen? Also vorhin hier ein Beispiel gehabt, ging ein Prozess, wo es darum ging, mehrere Kollegen einzuladen, ein Dokument zu teilen, daraus Feedback zu schreiben. So, und da waren die Kollegen, die das hatte, erst so Mensch, ich baue ein Workflow über das und das Tool, das wurde mir empfohlen. Und dann hab gesagt, ja, ist die alte Denke, du lässt dir was empfehlen. Dann baust du es selber und dann testest du es und musst es reparieren.
Christoph Magnussen:Und wir haben halt mit einem Prompt das ganze Ding aufgesetzt und geschrieben. Und sie war wirklich so, okay, krass. Obwohl es so nah beieinander ist. Was macht das so schwer und was glaubst du, wie lang braucht das, bis man wirklich merkt, wir müssen die Arbeitsweise ändern?
Daniel J. Beutel:Ich glaube, wird lange dauern. Ich glaube, das wird mindestens die nächsten 5 Jahre brauchen, wenn nicht sogar in manchen Bereichen die nächsten 10 Jahre, wobei diese diese Timelines immer kürzer werden, habe ich das Gefühl. Das Entscheidende ist aber erstens zu erkennen, dass das dass dieser Trend, egal ob man diesen Trend gut findet oder nicht gut findet, dieser Trend ist da und er ist unumkehrbar. Und ich glaube, das Entscheidende ist es für jedes Unternehmen vor allem, das zu erkennen als allererstes und dann zu überlegen, was bedeutet das für uns und wie können wir das, wie können wir das Beste draus machen? Weil es ist eigentlich genauso wie damals zur industriellen Revolution.
Daniel J. Beutel:Da gab es am Anfang viele kleine Werkstätten, manche Produkte wurden wirklich in Handarbeit auch zu Hause produziert in wirklich kleiner Stückzahl und jetzt stehen eben alle vor diesen vor diesen 2 möglichen Wegen nach vorne. Entweder ich mache genauso weiter, wie ich bisher alles gemacht habe, dann bin ich einfach nicht mehr kompetitiv oder ich schaue mir an, was diese neuen Technologien bieten und ich wirklich geh voll rein, ich setze mich damit auseinander, ich probiere Sachen aus, da wird's vielleicht auch kleine Probleme geben hier und da oder Herausforderungen, manchmal auch größere. Aber ich setze mich damit auseinander und ich finde Lösungen dafür und dann bekomme ich genauso diese Produktivitätsgewinne, die ich damals bekommen habe, wenn ich von der kleinen Werkstatt hin zu einer Fabrik gegangen bin. Wirklich große Stückzahlen, viel größerer Output und das Spannende ist es eben, dass aktuell größtenteils kleine Teams sind da oftmals Vorreiter, weil kleinere Teams deutlich einfacher ihre Prozesse umstellen können und diese neuen Technologien implementieren können. Und das Spannende finde ich, dass mittlerweile Teams mit' gewissen Größe können Output produzieren, der zehnmal die Größe ist oder vielleicht sogar noch mehr.
Daniel J. Beutel:Und das ist einfach eine wahnsinnig spannende Möglichkeit und da wird es Gewinner geben, da wird es aber auch Verlierer geben.
Christoph Magnussen:An welcher Stelle seid ihr in dem Prozess mit Flower Labs?
Daniel J. Beutel:Flower Labs ist ein Neo Lab. Bedeutet ein neuartiges KI Lab, das auf anderen Grundlage, auf anderen Prinzipien entwickelt wird. Wir kommen an diese Stelle rein, wir entwickeln einen kompletten Stack, der es ermöglicht Unternehmen, KI Agenten sicher einzusetzen und das Ganze selbstbestimmt und souverän zu machen. Und da können wir tiefer einsteigen, was das bedeutet. Aber letztendlich muss man sich das so vorstellen, wenn man KI Agenten einsetzt und diese KI Agenten mehr und mehr Aufgaben übernehmen, dann ist es natürlich so, dass diese KI Agenten Zugriff auf die sensibelsten Daten brauchen.
Daniel J. Beutel:Und in diesen sensibelsten Daten und in diesen Workflows steckt letztendlich der Wettbewerbsvorteil, den jedes Unternehmen hat, Da steckt das ganze IP drin, das Know how, wie man bestimmte Sachen macht. Und jetzt ist es eine Frage, die sich jeder stellen muss, wollen wir, dass dieses IP und dieses Know how komplett intern, komplett inhouse bleibt und wollen wir darauf aufbauen und immer besser werden Oder wollen wir eine Lösung, wo das IP vielleicht kontinuierlich an eine andere Partei abfließt? Und was wir eben ermöglichen wollen, ist es jedem Unternehmen die Möglichkeit zu geben, das IP komplett inhouse zu behalten. Klingt
Christoph Magnussen:also macht Sinn, ne, wenn Du sagst, okay, ich hab die Daten bei mir. Jetzt gab's jüngst Fälle, ich mein HubSpot hatte son Fall, wo zumindest jetzt geschrieben wurde, die haben mit Kundendaten gearbeitet, zu trainieren. Da merkt man, wie viel Druck bei denen auch herrscht. Wenn man überlege, CRM Anbieter verkaufen im Kern Vertrauen. Das ist natürlich an der Stelle hinweg.
Christoph Magnussen:Zu den großen AI Labs herrscht gemischtes Vertrauen, was das betrifft. Wie schwer ist das denn, die und wie macht ihr das vor allem auch, die eigenen Daten bei sich zu behalten, anstatt sie rüberzuspielen, weil irgendwo treffen sie ja aufs Last aufs Large Language Model.
Daniel J. Beutel:Absolut. Ich glaube, das Entscheidende ist dieser Vergleich zwischen der zentral, einer zentralisierten Architektur und 1 dezentralen Architektur. Die klassischen großen AI Labs haben eine zentralisierte Architektur. Das bedeutet, ich baue einen großen GPU-Cluster. Ich ich als KI Lab, ich trainiere mein KI Modell darauf und das KI Modell ist geschlossen, das ist nur hinter einer API verfügbar.
Daniel J. Beutel:Und wenn jetzt Unternehmen meine Lösung nutzen wollen, dann müssen sie all die Daten, all ihre Prompts, all den kompletten Context an meine API schicken. Das heißt, alles landet am Ende auf meinen Servern. Das ist eine zentrale Architektur. Den Ansatz, den wir verfolgen, weil ich vorhin meinte, wir sind wir basieren wirklich auf komplett anderen Prinzipien, ist eine dezentrale Architektur. Diese dezentrale Architektur ermöglicht es jedem Unternehmen, den kompletten Stack auf der eigenen Infrastruktur zu betreiben.
Daniel J. Beutel:Dezentral, weil jedes Unternehmen hat seinen eigenen Stack, das heißt jeder ist komplett autonom, jeder ist komplett selbstbestimmt. Die Daten bleiben da, bleiben voll unter meiner Kontrolle als Unternehmen. Und was wir darüber hinaus ermöglichen, ist dann unterschiedlichen Unternehmen zusammenzuarbeiten. Wenn man jetzt seine eigenen Daten in seiner eigenen Infrastruktur hat, dann möchte man natürlich trotzdem Workflows schaffen, wo KI Agenten, die im eigenen Unternehmen laufen, mit KI Agenten, die in anderen Unternehmen laufen, zusammenarbeiten und das ermöglicht eben so eine dezentrale Architektur.
Christoph Magnussen:Wie kann man sich das technisch vorstellen? Also was sind die Sachen, die gemacht werden müssen, das hinzubekommen?
Daniel J. Beutel:Technisch kann man sich das vorstellen, dass das KI Modell wirklich auf der eigenen Infrastruktur läuft. Das bedeutet, je nachdem, wo ich als Unternehmen eine Infrastruktur hab, ob das in meinem eigenen Rechenzentrum ist, ob das in der Cloud ist bei' bestimmten Anbieter, kann ich den ganzen Stack dort betreiben. Ich kann mich auch entscheiden für gewisse Aufgaben, gewisse Modelle, die hinter' API laufen, zu nutzen. Die Möglichkeit gibt es. Ich glaube, das Entscheidende ist, dass man dort als Unternehmen eine selbstbestimmte Entscheidung treffen kann, für welche Cases das möglich ist und für welche nicht.
Daniel J. Beutel:Also man kann vielleicht sagen, okay, es ist völlig okay, wenn mein Marketingteam ChatGPT nutzt, jetzt den nächsten Social Media Tweet zu schreiben, aber vielleicht, es meine Kundendaten geht oder wenn es meine Corporate Strategy geht, dann möchte ich, dass das nur auf unseren eigenen Modellen abläuft, die voll unter unserer Kontrolle sind.
Christoph Magnussen:Und wie schwer ist es für Firmen, diese Modelle auszuwählen, ne? Weil Du hast jetzt einige von großen Anbietern, die sind auch sehr, sehr gut. Jetzt gibt's aber irgendwie fast 3 Millionen andere KI Modelle da draußen, wo Du sagst, kannst Du alle benutzen. Welchen Teil welchen Teil bespielt ihr dann quasi im Team?
Daniel J. Beutel:Das ist eine sehr komplexe Frage auf jeden und
Christoph Magnussen:ich glaube Hat mir bisher auch noch keiner gut beantworten können, wie man das macht.
Daniel J. Beutel:Ja, ich hoffe, ich habe eine gute Antwort gleich und zwar und es ist das ist nicht die einzige Frage, sondern die Frage ist auch, welche Performance brauche ich am Ende für einen gewissen Task. Und das ist vielleicht auch das Argument, warum aktuell viele zu einfach dem Standard-Frontier-Model greifen, das es von OpenAI oder Anthropic gibt, weil diese Modelle natürlich auf den neuesten Benchmarks extrem gut performen. Unser Ansatz ist es, ein Modell zu schaffen. Wir haben wir haben eine neue Art von Modell, das nennt sich ein Fusion Model und dieses Fusion Model kann unter der Haube verschiedene KI Modelle nutzen, also verschiedene Open Weight Modelle, die man auch selbst hosten kann. Und dann ist es so, jedes Modell hat bestimmte Stärken und bestimmte Schwächen. Und was unser Fusion Model eben machen kann, ist es verschiedene KI Modelle zu kombinieren, die verschiedene Stärken und Schwächen haben und dann mit diesem hybriden System sehr sehr nah an die Performance zu kommen, die dir das neueste Frontier-Modell bietet.
Christoph Magnussen:Das heißt, das Modell selber wählt aus, gar nicht mal dazwischen nicht der Agent-Harness, der ist nicht ein Router, sondern im Modell selber findet die Auswahl statt.
Daniel J. Beutel:Genau, es gibt ein es gibt ein weiteres Modell, das quasi als Router agiert zwischen bestimmten zwischen den besten Open-Weight-Modellen und das, wenn man diese verschiedenen Modelle kombiniert, das kann ich eben sehr, sehr nah an die Performance von Frontier-Modellen bringen.
Christoph Magnussen:Ist das die einzige Aufgabe eines Fusion Models, diesen Auswahlprozess zu machen? Oder ist das einfach dadurch, dass es im Modell stattfindet, merkst du es gar nicht, dass das passiert, sondern du testest das Modell und das ist ein Teil der Verhaltensweise, aber dir fällt es als Endkunde gar nicht auf.
Daniel J. Beutel:Das ist ein großer Teil davon und die als Endkunde sieht das für dich genauso aus wie jedes andere Modell.
Christoph Magnussen:Mhm.
Daniel J. Beutel:Das heißt, Du hast genau die gleiche API, die Du callen kannst und das Response Format sieht genau gleich aus, nur unter der Haube läuft deutlich mehr ab.
Christoph Magnussen:Okay. Ja, krass. Das hatte ich so nicht aufm nicht aufm Schirm. Was ist mit dem Datenteil? Wenn Du jetzt sagst, das ist der Modellteil.
Christoph Magnussen:Ja. Was ist mit dem Datenteil und welchen Teil an Aufarbeitung und Co übernimmt ihr? Weil ich geh jetzt davon aus, die Kunden, die habt, die haben unaufgeräumte SharePoints rein hypothetisch und sagen, das ist meine Datenbasis.
Daniel J. Beutel:Das könnte wahr sein. Das ist natürlich immer was, das hängt vom vom einzelnen Fall ab. Was wir im in' sogenannten Flower Agent eben ermöglichen, ist es ein sogenanntes Closed Loop System zu schaffen. Das ist eigentlich der entscheidende Teil. Man hat am Ende diesen Agenten und man verbindet diesen Agenten über Konnektoren mit bestehen bestehenden Daten.
Daniel J. Beutel:Die sind teilweise aufgeräumt, teilweise weniger aufgeräumt. Was man dann erreichen muss und was heutzutage, wenn man jetzt' Mitarbeiter beispielsweise Zugriff auf ChatGPT gibt, was absolut nicht passiert, ist, dass der Agent von jeder Interaktion mit dem Mitarbeiter lernt. Heute ist es so, ein Mitarbeiter hat ChatGPT beispielsweise und gibt ChatGPT eine bestimmte Aufgabe, dann kommt ein bestimmter Output, der ist vielleicht nicht gut, dann muss ich sagen, für uns in nächsten Social Media Tweet werden wir normalerweise die Sachen ein bisschen anders, vielleicht kannst Du das und das Messaging noch mit reinpacken oder die und die Formulierung und dann kommt irgendwann Ergebnis raus und das nächste Mal, wenn man ChatGPT fragt, den nächsten Social Media Tweet schreiben, fängt man wieder bei Null an. Ja. Und das, letztendlich der Flower Agent mit eingebaut hat, ist es eben, dass er sich diese Sachen merkt und diese Learnings mit rauszieht und das nächste Mal, wenn man den promptet, wird der besser und hat sich die Sachen gemerkt, die man man vorher reingegeben hat.
Daniel J. Beutel:Und das ist eigentlich das Entscheidende, dass man wo man als Unternehmen dann kontinuierlich über die Interaktion mit dem System eine Datenbasis aufbaut und der Agent und damit auch das Unternehmen selbst kontinuierlich immer besser wird.
Christoph Magnussen:Und wenn Du jetzt so Sachen wie Claude Tag anschaust, was quasi als App in Slack läuft, angesteuert werden kann oder Hermes Agent ähnliche, die ähnliche rekursive Ideen eingebaut haben, dass man sagt, okay, da kommt ein Feedback und wir machen damit das Gesamtsystem besser. Was ist der tricky Part, das hinzubekommen? Was ist der wirklich schwierige Teil?
Daniel J. Beutel:Also der schwierige Teil ist erst mal, dass es das standardisiert so noch kaum gibt. Ja genau. Und das aktuell versucht jeder so seine eigenen Lösungen zu finden. Wie kann ich das Context Engineering besser machen? Wie kann ich anderes Stellen von diesem System verbessern?
Daniel J. Beutel:Ich glaube, das was wir versuchen, ist das auf verschiedenen Ebenen zu lösen. Das eine ist das Context Engineering, dass man sich diese diese Interaktion eben abspeichert und aufgrund der Interaktion besser wird. Aber letztendlich ist es ein System, das Ende zu Ende optimiert werden muss. Wir haben auf der einen Seite den Agent mit dem Kontext, der ein bestimmtes Model nutzt und dann an der Stelle, wenn man das komplett selbst hostet, ist es eben so ein Fusion Model. Wenn man wirklich die maximale Performance haben will, dann muss ich das Fusion Model muss ich natürlich auch verbessern.
Daniel J. Beutel:Und was wir machen ist, wir stimmen diese beiden Teile aufeinander ab. Das heißt, der einen Seite haben wir die Agent Loop mit dem Kontext, auf der anderen Seite haben wir das Model und was wir eben können, ist eben auch das Model weiter zu trainieren auf Basis von diesen Interaktionen. Das heißt, hat mehrere Verbesserungsloops, die ineinandergreifen, wo man den Agent und das Model aufeinander abstimmt, damit beide zusammen die maximale Performance erreichen.
Christoph Magnussen:Also Harness Engineering eigentlich, wo der Agent halt leben kann. Kannst Du so vorstellen, so was wie ihr könnt mal sagen, ihr macht so was wie Claude Code für einen bestimmten Teilbereich der Branche auf eine Art und Weise, die halt deutlich souveräner ist, weil es eben eine eigene Lösung ist und man auch auch switchen kann. Auch das klingt einfacher, als es wahrscheinlich ist. Ich denke jetzt gerade an die an die Anfangszeit von Cursor, die am Anfang auch nur ein Fork von VS Code waren, mittlerweile eine Fully Agentic Plattform von SpaceX gekauft zu absurden Preisen. Und da weiß ich, ist das eben nicht einfach, wenn ein neues Modell rauskommt, dass die Teams sich hinsetzen und jeden Prompt im System auf dieses Modell geben, zu sehen, wie verhält sich das?
Christoph Magnussen:Was muss ich anders schreiben? Was muss anders sein? Das wirkt sehr manuell und ich vermute, es ist es auch. Was sind die arbeitsintensiven Teile des Prozesses bei euch, wo du sagst, ich wünschte, ich könnte das schon an die KI abgeben, aber geht nicht, das ist echtes Engineering.
Daniel J. Beutel:Ja, also das Ganze, wenn das im Enterprise Umfeld eingesetzt werden soll, fängt immer mit Security an. Das ist einfach nicht verhandelbar. Das heißt, wir stecken sehr, sehr viel Arbeit in das ganze Security System außen rum. Letztendlich ein bisschen flapsig gesagt ist die Agent Loop am Ende ist ein sehr sehr kleiner Teil des Systems. Ja.
Daniel J. Beutel:Und man hat sehr viele Layer außen rum, die grundlegende Security, die man hat im System, die Konfigurierbarkeit, die Enterprise Kunden erwarten, also auf verschiedenen Ebenen Policies festlegen zu können, sagen zu können, welche Mitarbeiter kann welchen Agent kann welches Modell wie viel benutzen, Welche Aufgaben dürfen auf ausgeführt werden? Welche Aktionen kann der Agent autonom ausführen? Welche darf er gar nicht ausführen und welche brauchen manuelles Approval von dem Mitarbeiter? Und das sind alles Sachen, wo es wo gerade jeder versucht, seine eigenen Pattern zu finden, wo es noch keine standardisierten Patterns gibt. Und genau das lösen wir eigentlich mit' standardisierten Stack.
Daniel J. Beutel:Wir haben ja viel Geschichte auch in diesem Bereich durch das ganze Federated Learning, wo auch verschiedene Parteien kollaborativ KI Modelle trainieren und dort braucht man eben auch genau diese Security Layer und Permissioning Layer, Role Based Access Control, all diese Geschichten, die sauber ineinandergreifen, sodass wirklich son System nur die Aktion ausführen darf, die es auch ausführen soll.
Christoph Magnussen:Auch das, also ich hab ich hab sone Idee im Kopf, die die wir momentan selber intern verfolgen. Wir haben Skills im Einsatz, wir haben einen Monorepo im Einsatz, habe ich auch schon ein paar Mal drüber erzählt, aber ich merke immer wieder, ich hab jetzt grad heute ein Beispiel, ich hab eigentlich ein globale Memory steht drin, folgende Dinge darfst Du tun. Die harten Richtlinien bleiben, aber in den Nuancen wird's dann anders. Und da merke ich jetzt, ist es was anderes als zu Softwarezeiten, wo Du deterministisch schreiben konntest, folgende Sachen sind verboten. Also, wo hab ein Beispiel?
Christoph Magnussen:Keine Ahnung. Absolut infrastrukturkritischer Code. Krankenhäuser, Flugzeuge, Notfallsysteme und so weiter. Wird ja häufig in sehr maschinennahem Code geschrieben. Also damit wenig Abstand zwischen ich kippe was ein, die Maschine und sehr verlässlich.
Christoph Magnussen:Ich glaube, diese Sachen und Telegram. Telegram ist, glaube ich, auch in C geschrieben, die auch mit Verlässlichkeit werben. Jetzt gibt es aber eben, glaube ich, bestimmte Sachen, die dann rausgenommen werden in diesen Code. Also Exceptions sind nicht erlaubt und so weiter, halt eben dieses typische, der Code führt zu einem Bug, der Computer fällt aus und das Flugzeug kann nicht weiterfliegen. Das wäre eine Katastrophe so.
Christoph Magnussen:Bei Permission Systemen für AI ist es nun so, ich benutze normale Worte, zu sagen, das solltest du nicht, das darfst du so, das machst du so. Jetzt weiß man durch LLMs, diese Verneinung zum Beispiel funktioniert gar nicht so gut wie eine klare Anweisung zu geben, weil du eben so viel Tokens drin hast, die sagen, das darfst du nicht. Vereinfacht gesagt. Wie viel Research, Forschung, GRIPs steckt ihr in das Thema Permission Strukturen, User Permissions, aber auch Permissions über Prompts beispielsweise, die nur Textansagen sind.
Daniel J. Beutel:Ja. Die kurze Antwort ist sehr, sehr viel. Also Du hast das Problem wunderbar beschrieben und die Lösung ist nicht, es gibt nicht die eine Silver Bullet oder es gibt nicht diese eine Lösung, die das komplett abfrühstückt. Das ist eben das Problem lässt sich nur auf dadurch lösen, dass man verschiedene Systeme miteinander kombiniert Und das ist genau das, was wir auch im im Bereich des dezentralen Trainings schon seit Jahren gemacht haben. Man kann man kann nicht alles auf einem einzigen Layer lösen.
Daniel J. Beutel:Das heißt, man braucht auf der einen Seite hat man son, kann man das zum Beispiel über den Prompt steuern und sagen, es gibt bestimmte Sachen, die darfst Du nicht machen oder da musst Du noch mal nachfragen oder so was. Das alleine ist aber überhaupt nicht ausreichend und das haben wir auch wirklich sehr farbenfroh gesehen als beispielsweise OpenClaw oder Hermes Agent, die eben sich mehr an individuelle Nutzer richten. Manche Nutzer haben die einfach auf ihrem Laptop installiert, haben dem die Permissions gegeben, haben dann ein paar Prompts eingegeben und gesagt, ja bestimmte Sachen, haben versucht das über ein Prompt zu steuern und sag's mal so, es sind die wildesten Sachen passiert.
Christoph Magnussen:Mhm.
Daniel J. Beutel:Und was man eben da draus hoffentlich gelernt hat, ist, dass das nicht ausreicht. Man braucht wirklich, wenn man das in kritischen Themen einsetzen will im Enterprise und auch die Verlässlichkeit haben will, dann muss man das kombinieren mit wirklich harten Permissions auf anderen Ebenen. Was man da die grundsätzliche, das das allererste, womit man anfangen muss, ist ein extrem starkes Sandboxing. Das heißt, wo auch immer der Agent läuft, der braucht eine starke Sandbox, die im Default Fall komplett alles blockt, was der Agent an negativen Seiteneffekten haben könnte. Dann fängt man mit der Sandbox an und dann sagt man okay, für diesen Case oder für diesen Agent geben wir dem Agent jetzt ganz gezielt Zugriff auf bestimmte Sachen.
Daniel J. Beutel:Manche Sachen dafür auch nur vielleicht nur Lesezugriff bekommen, Bei anderen Sachen gibt es Schreibzugriff, bei anderen Sachen gibt es quasi son indirekten Schreibzugriff, wo der Agent erst mal schreiben kann, aber das, geschrieben werden soll, muss dann noch mal von dem Mitarbeiter bestätigt werden und dann kann man eben sehr sehr granular regeln, was der einzelne Agent machen kann. Welche Daten darf er lesen, welche Daten darf er schreiben, welche Tools darf er nutzen, welche Seiteneffekte darf das Ganze haben und das Entscheidende eigentlich überhaupt, an welcher Stelle brauchen wir Human in the Loop? Das heißt, einen Menschen, der am Ende einmal absegnet und sagt, okay, das was der Agent hier machen soll, das ist genau das, was ich auch haben will. Ich bestätige das oder vielleicht editiere ich das oder vielleicht lehne ich das auch komplett ab. Und wenn man das aber richtig hinbekommt, dann kann man wirklich mit gutem Gewissen auch diese Agents einsetzen und dann kann man auch Produktivitätsgewinne erreichen, wo vielleicht etwas, was einen vorher 4 Tage die Woche komplett gekostet hat, kann man dann in 2 Stunden pro Woche abfrühstücken, der Agent eben die ganze Grundlagenarbeit macht und ich muss mir nur die Ergebnisse anschauen und sagen, okay, damit bin ich d'accord, das ist ein Social Media Post, der darf live gehen oder der entspricht eben nicht dem, was wir posten wollen, deshalb editiere ich den oder verwerfe den komplett.
Christoph Magnussen:Was sind Sachen, ich hab gleich Fragen zu Distributed Learning, aber ich hab grade noch die Frage, die mir konkret kommt. Was sind Sachen, die ihr gesehen habt, die nicht die offensichtlichen Prozesse sind? Im Sinne von schreib mir eine E-Mail, mach mir eine Post, machen wir die PowerPoints, sondern Cases, wo Du gemerkt hast, ach, die wären gar nicht möglich gewesen, bevor es nicht Compute gibt, das autonom zu lösen. Gibt's da Sachen, wo Du sehr überrascht warst?
Daniel J. Beutel:Ja, auf jeden Fall. Sehr, sehr viele. Also das ist immer wieder interessant und überraschend auch mit den Kunden eben zu sprechen, was was damit gemacht wird. Was ich ziemlich spannend finde, ist sind gerade Cases, wo sich diese Workflows über verschiedene Unternehmen erstrecken. Jemand, den ich sehr sehr schätze, hat mal gesagt, es gibt eigentlich keine keine Value Chain, die nur innerhalb eines Unternehmens abläuft.
Daniel J. Beutel:Die laufen eigentlich immer über verschiedene Unternehmen hinweg ab. Und wenn man's schafft Agenten zu kombinieren, die über verschiedene Unternehmen hinweg arbeiten können, dann kann man halt bestimmte Sachen, die einen vorher wirklich tagelang Arbeit gekostet haben, Beispielsweise ein Kunde fragt nach' bestimmten Thema, wie ein bestimmtes Thema abgehandelt wird oder so was. Oder auch im behördlichen Bereich, da gibt es immer wieder solche solche Auskunftsanfragen oder wirklich ein Mitarbeiter in der Behörde mehrere Tage damit beschäftigt ist, Akten durchzuwühlen oder einfach alles zusammen zu schreiben in finalen Report. Das kann mittlerweile so gelöst werden, dass diese Anfrage kommt ja meistens per E-Mail rein. Die E-Mail kann dann jemand kurz anschauen und kann sagen okay, das leite ich an den Agent weiter.
Daniel J. Beutel:Der Agent hat Lesezugriff auf all diese Datenquellen. Lesezugriff ist überhaupt kein Problem. Der kann die ganzen Themen recherchieren, kann einen langen Report schreiben, genau diese diese Auskunft, die am Ende rausgehen soll und dann, wenn der Agent, ich weiß nicht, 6 Stunden daran gearbeitet hat, 6 Stunden später, schaue ich mir das Ergebnis an, lese einmal den Report durch, vielleicht editiere ich auch ein, 2 Stellen, je nachdem, ich als Behörde möchte, was wieder zurückgeht und dann wird das zurückgeschickt und das spart einfach wahnsinnig viel manuelle Arbeit, gerade in Zeiten, wo Behörden und viele Unternehmen völlig überlastet sind. Was aber son Fall ist, an dem man jetzt nicht so intuitiv denkt sofort.
Christoph Magnussen:Und Behörden werden trotzdem noch sehr lange brauchen wahrscheinlich, bis sie adaptieren. Distributed Learning, ihr habt noch ein besonderes Modell, ihr seid asynchron, das heißt komplett verteilt. Ich meine, keiner sitzt mit demselben Ort, ne?
Daniel J. Beutel:Ihr seid wirklich komplett... Im selben Büro, ja. Ja.
Christoph Magnussen:Erklär mir mal, und Du meinst ja Distributed auch im Sinne von, was die Modelle betrifft,
Daniel J. Beutel:ne?
Christoph Magnussen:Also das heißt, es ist ja nicht technisch so einfach, wenn man sich überlegt, Open AI, wenn die trainieren, dann die Rechenzentren. Ich glaub, mittlerweile schalten die auch mehrere parallel, aber das ist ja nicht so easy. Und ihr macht das ja nun auch noch mit eigenen Modellen. Wie funktioniert das und welche Teile müssen nicht Techies auch verstehen, die wichtig sind?
Daniel J. Beutel:Ja. Also das ganze Thema nennt sich grob Federated Learning oder Federated Und das ist eigentlich genau diese Frage wieder auf die wir vorhin schon hatten zentral versus dezentral. Der zentrale Ansatz, einfach so zu zeigen, wie heute die meisten Fälle ablaufen, ist es einfach, ich bau einen großen GPU Cluster, Ich sammle alle Daten an einem Ort und das bedeutet eben, dass alle Daten, mit denen ich arbeiten möchte, die muss mir jemand zur Verfügung stellen.
Christoph Magnussen:Also Daten im Sinne von also beispielsweise keine Ahnung mal, wir würden ein Modell mit euch erarbeiten, Mittelständler. Wir haben über 15 Jahre Daten, allen mögliche. Da sind, weiß ich nicht, Produktdaten drin, Artikeldaten drin, Trenddaten drin und so weiter. Komm erst mal an einen Ort.
Daniel J. Beutel:Genau, wenn diese Daten fürs Modelltraining genutzt werden sollen und wenn ich ja, wenn wir jetzt ein klassisches KI Lab wären, dann müsstet ihr uns all diese Daten geben und dann würden wir die für das KI Training nutzen. Wie wir aber glaube ich alle wissen, ist das für viele Fälle ist das einfach nicht möglich. Die Daten, das ist letztendlich 1 der wertvollsten Schätze, auf die ein Unternehmen sitzt. Die kann man nicht einfach so in allen Fällen jemand anderem geben. Und was der dezentrale Lernansatz eben verfolgt oder ermöglicht, ist es, Du als Unternehmen, Du behältst deine Daten bei dir und Du kannst dann mit anderen Unternehmen zusammenarbeiten, gemeinschaftlich KI Modell zu trainieren.
Daniel J. Beutel:Teilweise ist das teilweise machen das Unternehmen auch rein intern, weil intern schon die Daten verteilt liegen. Also ein schöner Fall hier ist zum Beispiel im Finanzbereich. Internationale Banken, die müssen physisch bestimmte Daten vor Ort speichern. Also wir arbeiten beispielsweise mit' Bank, die haben Kunden in den USA und die haben Kunden in Europa und die müssen die Daten der US Kunden in den physisch wirklich in den USA speichern Ja. Und die Daten der europäischen Kunden physisch in Europa.
Christoph Magnussen:Also eigene Rechenzentren.
Daniel J. Beutel:Genau, eigene Rechenzentren. Auch wenn alles in der Cloud läuft, muss man dann eben die Cloud Region auswählen, die physisch dort in dem bestimmten in der bestimmten Region ist. Okay. Und die, mit denen arbeiten wir und denen helfen wir ein KI Modell zu trainieren über alle Daten hinweg, wobei alle Daten dezentral liegen. Und die Art und Weise, wie das funktioniert ist, es wird einfach lokal ein Modell trainiert auf den US Daten.
Daniel J. Beutel:Es wird lokal ein Modell trainiert auf den europäischen Daten und die Learnings werden immer wieder ausgetauscht. Die Daten, die Rohdaten, die Trainingsdaten, die bleiben dort liegen, wo sie eigentlich aktuell liegen. Nur die Learnings aus diesen, die Modellupdates quasi, wie das Modell besser wird, die werden immer wieder ausgetauscht und dadurch kann man am Ende ein Modell trainieren, das alle Daten gesehen hat, ohne dass dieses ohne dass man die Daten von einem Ort sammeln muss. Das wunderschöne an diesem Ansatz ist es eben, das ermöglicht auch kollaborative oder gemeinschaftliche Trainingsansätze, wo verschiedene Unternehmen zusammenkommen. Also wir sehen beispielsweise im Healthcare Bereich ist es sehr sehr populär.
Daniel J. Beutel:Da unterstützen wir verschiedene verschiedene Netzwerke, die diese Trainingsnetzwerke aufbauen, wo teilweise über 100 verschiedene Institutionen, Krankenhäuser und andere zusammenkommen. Jeder sagt, ich hab ein paar Daten, die Daten sind streng reguliert, die müssen auch bei mir bleiben. Ja. Aber wir bauen so ein Netzwerk auf, wo wir gemeinschaftlich diese Modelle trainieren können, ohne dass jemand von uns die Daten offenlegen muss und mit jemand anderem teilen muss.
Christoph Magnussen:In den Anfangstagen von ChatGPT erinner ich noch, dass es viel Jailbreaking gab, ne. Du fragst von dir was, Du machst bestimmte Prompts, hast viel rausgekriegt. Wie gut seid ihr im Vergleich, was die Qualität betrifft und auch den den Mehrwert und dann eben auch dieses Thema, wie leicht kannst Du das Modell dann austricksen, wenn Du wolltest?
Daniel J. Beutel:Ja. Also da sind wir genau bei dem Thema, das wir vorhin hatten. Da braucht man eben diese verschiedenen Security Layer, wo man genau konfigurieren kann, was für eine Art von Training darf jetzt ablaufen und wie gut man das Modell jailbreaken kann, das kommt auf sehr sehr viele Trainingsparameter an. Also erst mal kommt es drauf an, was für ein Modell trainieren wir? Ist das jetzt ein LLM, ist das ein Computer Vision Modell beispielsweise im Radiologiebereich oder ist das irgendeine andere Art von Modell?
Daniel J. Beutel:Und dann kombiniert man diesen dezentralen Ansatz üblicherweise mit anderen Techniken, je nachdem was für ein Setting man hat und was für ein Vertrauensverhältnis die einzelnen Parteien haben und wie das Modell nachher genutzt wird. Also beispielsweise einige dieser Techniken sind Differential Privacy, wo man mathematisch genau garantieren kann, wie viel Learning verlässt die einzelne Institution. Es gibt Techniken wie Secure Aggregation, wo man komplett verhindern kann, dass das einzelne Modell, das aus' einzelnen Institution kommt, wirklich auch gelesen werden kann. Erst wenn diese verschiedenen Modelle aggregiert sind miteinander, kann man die entschlüsseln und kann wirklich das Modell auch lesen und nutzen. Secure Multi Party Computation, das kommt immer ein bisschen auf den Fall an, was für ein Use Case haben wir?
Daniel J. Beutel:Wie soll das Modell nachher genutzt werden? Welche Institutionen sind beteiligt?
Christoph Magnussen:Und wenn Du's benchmarken würdest zwischen dem, was die Leute kennen und benutzen im Alltag und dann eben eure Modelle, wo wo kommt ihr da raus?
Daniel J. Beutel:Man kommt sehr, sehr nah an die zentral trainierten Modelle ran, wobei man in vielen Fällen und das ist eben das das Spannende, das ist auch die große Opportunity in dem Bereich. In vielen Fällen lässt sich für diesen Use Case zentral gar kein Modell trainieren. Mhm. Das heißt, der Vergleich ist son ein kleines bisschen hinfällig fast schon, weil man eben, wenn man sich die einzelnen Institutionen anschaut, haben die oft Datenmengen, die für ein Modelltraining gar nicht ausreichend sind.
Christoph Magnussen:Gibt mal ein Beispiel, wie viel das sein müsste, dass man sich das mal vorstellen kann?
Daniel J. Beutel:Ja, also das ist zum Beispiel wieder im Healthcare Bereich, wenn wir jetzt uns son Computer Vision Modell anschauen, das vielleicht von Radiologen eingesetzt werden sollen, dann hat so ein einzelnes Krankenhaus üblicherweise im Bereich der in den Tausendern ungefähr Images, die genutzt werden können fürs Training. Muss ja immer so ein Radiologie-Scan sein, Ja. Der dann auch annotiert ist, wo man sagt, okay, der Experte, der Radiologe hat hier an der und der Stelle das und das gesehen und ein paar tausend Bilder reichen einfach nicht aus, so eine moderne Deep Learning Architektur zu trainieren. Diese Architekturen sind extrem datenhungrig. Man braucht sehr sehr sehr viele einfach Beispiele, diese Modelle zu trainieren.
Daniel J. Beutel:Und was man dann eben machen kann, ist zu sagen, okay, wir haben ein paar tausend Images, aber dann gibt es noch viele weitere Krankenhäuser, die auch jeweils ein paar tausend Images haben und wenn die zusammenkommen zu einem Netzwerk, dann kommt man eben zu dieser kritischen Datenmenge, wo man sehr sehr interessante Modelle trainieren kann, die man vorher gar nicht trainieren konnte.
Christoph Magnussen:Okay. Das heißt... Nur das ich dich einmal abhole, wo ich im Kopf jetzt gerade bin. Wir sind ja dann nicht mehr beim Feintuning eines Modells, sondern du musst das Pre-Tuning machen, die Datenvorbereitung, die Annotierung, das Auswerten, die Evaluation. Das heißt, es ist ja wie ein eigener Motorbau.
Christoph Magnussen:Also baust die Engine selbst. Jetzt hast Du aber einen so hohen Pace an Innovation und musst abwägen zwischen, brauche ich sicher und bei mir oder gehe ich die Geschwindigkeit mit? Würdest du sagen, es sind klare Strategien, wird es mittlerweile für die sagen, ich mache das eine ohne das andere oder ist es immer ein, ich habe on Anthropic, OpenAI, Gemini und Co für den Alltag und bau mir nach und nach mit meinen eigenen Modellen auch komplett eigene Lösungen.
Daniel J. Beutel:Also das kommt immer auf den Use Case an. Ich glaube, in manchen Bereichen stellt sich diese Frage gar nicht, weil in manchen Bereichen die Daten auf eine Art und Weise reguliert sind, dass sich manche Optionen sind dann komplett ausgeschlossen. Healthcare ist so Thema wahrscheinlich, ja. Zum Beispiel Rüstung
Christoph Magnussen:gehe ich schon aus.
Daniel J. Beutel:Es muss auch gar nicht mit dem Pre-Training anfangen. Also was wir auch oft sehen ist, dass man zum Beispiel ein Modell auf bestimmten Daten das Pre-Training Taining macht und dann am Ende ein dezentrales Feintuning macht. Man kann's auch komplett umdrehen, man kann dezentrales Pre-Training machen und am Ende macht jede Institution eigenes Feintuning, das Modell auf den eigenen Daten noch mal besser zu machen. Mhm. Also da gibt es viele viele verschiedene Kombinationen, wie son son Training ablaufen kann mit wo zentrale und dezentrale Ansätze kombiniert werden.
Daniel J. Beutel:Ich glaube, ein entscheidende eine entscheidende Frage, die man sich wirklich stellen muss, wenn man jetzt gerade dieses Rennen zwischen Frontier Labs sich anschaut, ist, möchte ich auf welche Art und Weise möchte ich da wirklich mitmachen und wo wo sehe ich mich als Unternehmen der Zukunft? Und was ich damit meine ist, wir haben eben wir haben eben dieses dieses Setting aktuell, wenn man jetzt ein Modell nimmt von OpenAI oder Anthropic, dann ist man gezwungen, die Daten an jemand anderen zu schicken. Ja. Und das ist, ich glaube die richtige Art und Weise jetzt als Mittelständler oder als auch großes Industrieunternehmen darüber nachzudenken, ist es zu sagen, okay mit mit jedem Prompt, den ich mache zu diesem Modell, schicke ich ein kleines bisschen von meinem IP an jemand anderen. Und das muss man wirklich ganz klar so sehen.
Daniel J. Beutel:Jemand hat mal gesagt, was man letztendlich macht, ist man verkauft die Kuh, um nachher die Milch zurückzukaufen. Und das muss man sich fragen, ist das was, was ich möchte, ist das was, was für mich langfristig der richtige Ansatz ist oder investiere ich vielleicht mehr in diese Infrastruktur und behalte diese Daten bei mir und schaffe es damit einfach kontinuierlich meinen meinen Wettbewerbsvorteil auszubauen, weil das ist genau die Frage. Gebe ich kontinuierlich ein kleines bisschen von meinem Wettbewerbsvorteil ab oder behalte ich den Wettbewerbsvorteil bei mir und schaffe es, den kontinuierlich auszubauen, zu verbessern und so eine sich selbst verbessernde Loop zu erreichen? Da sind wir wieder beim Thema Closed Loop, was wir vorhin hatten.
Christoph Magnussen:Und trotzdem benutzen sehr, sehr, sehr viele Unternehmen diese Modelle, ne? Also Claude Code, ChatGPT Codex, wo man sagt so, ja, okay, die IP geht raus und trotzdem ist es so nützlich, dass Leute daran hängen bleiben. Wie viel investiert ihr da in Product Design, Ease of Use, also Sachen, Du sagst, die die erleichtern den Zugang dramatisch? Und was waren was waren so die größten Effekte? Also sind sind in Deutschland wirklich so die Kunden, dass Du sagst, die wissen zu schätzen, mit wie viel Aufwand Souveränität entsteht oder ich sag's jetzt mal flapsig und salopp, scheißenscheißen die Chefs drauf und sagen, ja, das mitm Datenschutz ist sowieso nix, zieh durch.
Christoph Magnussen:Also wie was was für Kunden hast Du und wie technisch sind die, wie gut können die's verstehen und wo entscheiden die?
Daniel J. Beutel:Ich glaube, es ist sehr gemischt aktuell. Also ich gebe dir dir völlig recht, dass viele Unternehmen ChatGPT oder Claude einsetzen und es macht, es kommt auch auf die Stelle an, wo man's im Unternehmen einsetzt. Es gibt auch Stellen, da ist es vielleicht weniger kritisch. Wir sehen aber, dass gerade in Europa immer mehr Unternehmen auch das besser verstehen und sagen, halt stopp, was hier passiert, das ist vielleicht langfristig nicht in unserem Interesse.
Christoph Magnussen:Mhm. Also gerade wahrscheinlich jetzt so die letzten Wochen gehe ich jetzt mal von aus, ne?
Daniel J. Beutel:Ich glaub, die letzten Wochen waren wirklich... Bisher waren das oft so theoretische Argumente, wo es die ersten verstanden haben. Die letzten Wochen ist das sehr sehr praktisch geworden, sehr sehr einfach sehr konkret.
Christoph Magnussen:Wir
Daniel J. Beutel:haben gesehen, okay, wenn ich als Unternehmen vorne mit dabei sein will, dann will ich das neueste Modell nutzen, aber wir sind nur eine Entscheidung der US Regierung davon entfernt, dass wir eben keinen Zugang haben zum neuesten Modell, wie wir gesehen haben mit Mythos aus dem Fable 5. Und wir haben auch gesehen, dass manchmal diese Interaktionen dazu führen, dass dann der Modelprovider letztendlich zu meinem Konkurrenten wird. Da gibt es jetzt mittlerweile auch mehrere Beispiele dafür, wo das passiert ist und das muss ich glaube ich jeder CEO, CIO, CTO in dem Unternehmen diese Frage stellen, was für ein Spiel möchten wir mitspielen?
Christoph Magnussen:Ja. Und ich finde das nicht einfach zu antworten, weil das eine Frage ist, wo Du eine große Wette eingehst, auch nach vorne raus, auch wenn es natürlich immer sinnvoll ist, die eigenen Daten quasi im Griff zu haben. Wie kamt ihr auf den Standort beziehungsweise Aufteilung, die ihr habt und wie ist dein Blick? Also ich sag mal, in Deutschland liegen natürlich auch viele Daten. Hier ist auch das Thema Souveränität ein Thema.
Christoph Magnussen:War das mit 1 der Gründe, dass Du gesagt hast, wir machen's hier oder hättet ihr da war's Zufall?
Daniel J. Beutel:Genau, also wir sind ein Team aus drei Gründern. Zwei von uns aus Deutschland, einer sitzt in Cambridge im UK. Das heißt, diese diese europäische dieser europäische Fokus und die europäische Aufteilung zwischen Deutschland, UK, Rest von Europa dann aber zunehmend auch USA, die war eigentlich relativ natürlich bei uns. Wir sind dann quasi direkt nachdem wir Flower Labs gegründet haben, sind wir in die USA zu Y Combinator, wirklich 3 Monate im Silicon Valley gelebt auch. Y Combinator ist ja der beste Start up Accelerator mit Abstand, den es gibt weltweit, weil wir immer gesagt haben von Anfang an, wir wollen Flower Labs auf Basis von europäischen Werten gründen.
Daniel J. Beutel:Wenn wir aber global competen wollen, dann müssen wir einfach von den Besten lernen und dann müssen wir auch so executen wie die besten Firmen im Silicon Valley executen. Deshalb sind wir für 3 Monate ins Silicon Valley gegangen und haben dort auch wirklich stark Fuß gefasst und ich glaube, das ist das ist so ein Ansatz, den ich wo ich sehe, dass immer mehr Firmen damit auch uns gerade Start ups damit erfolgreich sind, zu sagen, wir agieren hier in Europa, aber wir lernen natürlich von den Allerbesten und wir müssen genauso schnell executen und shippen wie die Besten.
Christoph Magnussen:Und kommen die auch wieder zurück. Diese Start ups, also was was ich immer häufiger erlebe ist, die Gründerteams sind verleitet, drüben zu bleiben und zu sagen, ja cool, das Angebot ist zu verlockend und dann haben wir noch mehr Brain Drain, was das rausgeht? Oder erlebst Du schon auch mehr mehr, die sagen nee, nee, we do it here?
Daniel J. Beutel:Also es gibt auf jeden Fall beides. Wir sind hier, weil wir auch im Kern wollen, dass auch dass es auch in Europa im KI Bereich nach vorne geht, in gerade diesem Bereich des dezentralen Lernens, da ist unser Open Source Framework weltweit führend und das ist was, wo wir schon ein kleines bisschen stolz drauf sind, auch das hier aus aus Europa und aus Deutschland heraus geschafft zu haben. Ich glaube, ich glaube Europa steht gerade an so einem kritischen Punkt in der Geschichte, was KI angeht. KI, wir hatten das Thema vorhin auch mit der industriellen Revolution. KI wird wirklich jeden Bereich umkrempeln.
Daniel J. Beutel:Das muss man einfach ganz klar sagen. Und wir haben aktuell ist so das Gefühl in Europa, nicht bei allen, aber bei vielen, ja wir sind relativ weit hinten bei KI, was auch gibt es auch viele Fakten, die es belegen, wenn wir die Menge an Compute anschauen, die wir zur Verfügung haben. Wenn wir uns anschauen, wie gut sind die KI Modelle, die aus Europa kommen, im Vergleich zu den KI Modellen, die aus den USA oder aus China kommen. Es ist aber meine Nachricht, was ich immer wieder auch betone, ist, es ist noch nicht zu spät. Wir haben gerade eine wahnsinnige Chance.
Daniel J. Beutel:Wir haben in Europa gerade im Industriebereich haben wir wahnsinnig spannende Unternehmen.
Christoph Magnussen:Mhm.
Daniel J. Beutel:Wir haben gerade in Deutschland den Mittelstand, wir haben viele Hidden Champions, wir haben große Industrieunternehmen, die aktuell auf' unfassbar wertvollen Datenschatz sitzen und auf unfassbar wertvollem Prozess wissen, wie bestimmte Sachen produziert werden, wie bestimmte Sachen umgesetzt werden. Und jetzt stehen wir vor der Frage, wie machen wir bei KI weiter? Der eine Weg ist es, okay, wir kaufen uns die Closed Source Systeme aus den USA ein und letztendlich Stück für Stück wandert das Wissen und die IP ab zu anderen und wir verlieren diese Wettbewerbsvorteile Stück für Stück. Die andere Alternative ist es, wir sind uns des Wertes bewusst, der in diesen Daten drinsteckt und in diesem Know how und wir schaffen jetzt Systeme, wo wir wo wir dieses Wissen für uns behalten, für uns nutzen und daraus kontinuierlich unseren Wettbewerbsvorteil ausbauen. Ich glaube, welche welcher Weg mehr Zukunft hat, ist auch offensichtlich, aber das ist was, was was jedes Unternehmen für sich entscheiden muss.
Daniel J. Beutel:Und deshalb ist meine Nachricht, ich glaube, sind gerade an diesem sehr sehr kritischen Punkt und wir müssen uns entscheiden, wie es weitergeht und wir haben diese Chance. Wir haben eine Chance in Europa bei KI ganz ganz vorne zu sein, nicht nur irgendwie mitzuhalten, sondern in gerade im Bereich der industriellen KI können wir mit Abstand die Nummer 1 sein, wenn wir es schaffen, diese Datenschätze und dieses Know how zu nutzen. Die Zeit drängt aber. Wenn wir jetzt die nächsten 5 Jahre so einen kleinen IP Abfluss Stück für Stück haben, dann schaffen wir es nicht, dann ist das Wissen irgendwann und das Know how irgendwann abgeflossen. Wenn wir es schaffen, das zu nutzen jetzt über die nächsten 5 Jahre, dann können wir die Nummer 1 sein.
Christoph Magnussen:Welche Rolle spielen Chefs deiner Meinung nach, Chefinnen und Chefs, die, ich versuch die ganze Zeit nicht ganz so schwarz und weiß flapsig zu sein, höflich formuliert sagen, Mensch, ich hab doch jetzt hier einen Anbieter den Chatbot ausgerollt, haben jetzt alle bei uns, die haben eine Schulung bekommen. Passt schon. Und ich möchte mich sowieso nicht so mit auseinandersetzen, weil ich hab eine andere Rolle, ich muss strategischer denken und so weiter. Pusht du die in die Richtung, Sachen auch technisch zu verstehen, wo du sagst, ihr müsst es einmal verstanden haben oder sagst du, dass ist okay, wir machen das mit den Fachteams?
Daniel J. Beutel:Also ich glaube, der das erste, was da verstanden werden muss, ist, dass jedem Mitarbeiter einen Chatbot in die Hand zu geben, das ist eben das ist das, was wir AI Assisted nennen. Mhm. Das heißt, wir haben quasi ein traditionelles Org Chart. Die Arbeit passiert auf ganz traditionelle Art und Weise. Nur jeder Mitarbeiter wird 20 Prozent produktiver, weil er jetzt son Chatbot hat und kann den Chatbot fragen, okay, schreib mir mal bitte eine E-Mail und dann ist die E-Mail schneller geschrieben oder so was.
Daniel J. Beutel:Das ist ein Riesenunterschied zu dem, was wir AI Native nennen. AI Native ist es eben zu sagen, okay, was sind denn eigentlich die Kern Workflows, die wir haben, gerade bei wissensbasierter Arbeit und wie können wir diese Workflows komplett neu denken mit den Fähigkeiten, die KI Agenten haben? Also das ist so dieser Shift von ich produziere was zu Hause in meiner kleinen Werkstatt, alles in Handarbeit. Ja, ich kann meinem Mitarbeiter, ich weiß nicht, einen besseren Hammer geben und dann wird er ein kleines bisschen produktiver, Aber im Grunde genommen ist den Mitarbeitern Chatbots zu geben, ist immer noch das Gleiche wie in so einer kleinen Manufaktur zu produzieren. AI Native bedeutet eben, ich muss über meine über meine kompletten Workflows noch mal nachdenken und ich muss die mit KI Agenten neu bauen, KI Agenten bestimmte Fähigkeiten geben, auch bestimmte Aktionen auszuführen und der Mitarbeiter wird an der Stelle eher zum Supervisor, der sich anschaut, laufen diese Workflows und laufen diese Pipelines sauber ab.
Christoph Magnussen:Was funktioniert? Ist was schiefgegangen? Was muss ins System ran zum Lernen, bis man's als Loop aufsetzen kann?
Daniel J. Beutel:Ganz genau, wie müssen wir das System kontinuierlich verbessern, sodass auch dieses dass unser unser Fließband quasi von Wissensarbeit sauberer und schneller abläuft.
Christoph Magnussen:Was hast Du bei Y Combinator gelernt in den USA, was Du heute täglich anwendest, aber in zu vielen deutschen Firmen nicht siehst?
Daniel J. Beutel:Das, wenn ich's mit einem Wort zusammenfassen muss, Geschwindigkeit. Das Wichtige ist es einfach, schnell Sachen auszuprobieren und dann aber auch schnell zu lernen und auf Basis dessen, auf Basis der Erfahrung, die man gemacht hat, sich schnell zu adaptieren und sich weiterzuentwickeln. Und das ist das, was glaube ich, was wir in manchen deutschen Firmen, ich möchte das gar nicht verallgemeinern, sehen wir das, in anderen Firmen aber nicht. Und das ist was, was wir auch, wo wir auch international große Unterschiede sehen. Ich glaube gerade in' Bereich wie KI, wo sich der sich wahnsinnig schnell weiterentwickelt, jede Woche oder quasi jeden Tag gibt es Neuigkeiten, neue Möglichkeiten oder gewisse Sachen, die letzte Woche noch waren, sind jetzt eigentlich schon wieder verworfen.
Daniel J. Beutel:Gerade in sonem Bereich ist es superwichtig, schnell Sachen auszuprobieren und sich auf Basis der Erfahrung weiterzuentwickeln. Das kann man eben nicht mit' langfristigen Plan machen, da kann man nicht sagen, okay, wir planen jetzt dieses Projekt komplett durch, wir machen jetzt ein riesiges Projekt, wir nutzen hier son Wasserfallansatz und dann haben wir in einem Jahr hier das perfekte System stehen. Das, was wir heute planen für ein Jahr, das ist in einem Jahr komplett obsolet. Und deshalb muss man eigentlich sich da sehr sehr iterativ in sehr sehr kleinen Schritten rantasten, schnell was ausprobieren und halt auch damit davon ausgehen, dass bestimmte Sachen nicht immer sofort funktionieren. Aber das, wir gesehen haben bei den Kunden, die sehr gut vorankommen und sich auch sehr schnell weiterentwickeln, ist, dass die bereit sind, mal ein Fehler zu machen, aus dem Fehler zu lernen.
Daniel J. Beutel:Und der zweite Schritt und der dritte Schritt wird dann viel viel besser und qualitativ eben hochwertiger.
Christoph Magnussen:Ja, Geschwindigkeit fand ich ein richtig guten richtig guten Take. Ich hab selber so eine Urgency, wo ich immer denke, Mensch und wir müssten und let's go. Jetzt ist aber Geschwindigkeit ist auch notwendig, damit Du Speed aufnehmen kannst, dass Du überhaupt die Rennstrecke hast, auf der Du schneller fahren kannst oder die Laufstrecke, auf der Du laufen kannst, ne. Du kannst in der Menschenmasse oder Du kannst ja auch nicht Geschwindigkeit aufnehmen. Wo sind Punkte und da würde ich gerne jetzt hören von dir in Unternehmen, wo Du merkst, okay, die Datenaufbereitung ist aufwendig, die die die Politics, die I don't know, also wirklich so die Stellschrauben, wo Du sagst, wenn ich ein Wunsch frei hätte, lass uns die lösen und wir wären schneller.
Christoph Magnussen:Gibt's die eine oder verteilt sich das? Also alles, was so Blocker sind, die Du die Du siehst, die Du benennen kannst, wo Du merkst, das würde jetzt helfen, wenn mehr Leute verstehen würden, das blockiert. Weil ich glaube, Datenschutz ist ja son allgemeines Schutzargument. Mhm. Du hast aber eine ganz andere strategische Komponente dahinter mit den Daten.
Christoph Magnussen:Bedeutet, wenn man sich entschieden hat, spricht nichts dagegen, möglichst schnell zu sein. Und da vermute ich mal immer noch trotzdem irgendwelche Blocker, Stolpersteine.
Daniel J. Beutel:Ich glaube, das Wichtige ist, das muss das muss von von ganz oben auch ins Unternehmen getragen werden. Und man muss gerade als Vorstand beispielsweise die Mitarbeiter unterstützen und ermutigen, was auszuprobieren, vielleicht auch mal ein Fehler zu machen und nicht mit der Erwartung rangehen, dass alles, was man ausprobiert, sofort perfekt funktioniert und völlig fehlerfrei ist. Datenschutz ist enorm wichtig. Das darf man gar nicht infrage stellen. Ich glaube, das Wichtige an der Stelle ist es eben, Räume zu schaffen, wo die Mitarbeiter was ausprobieren können, wo der Datenschutz trotzdem weiter gewährleistet wird.
Daniel J. Beutel:Und das ist eben beispielsweise was, wo man mit' ner komplett souveränen KI Lösung, die man selbst inhouse betreut, kann man eben diese Freiräume schaffen, wo man sagen kann, okay, die Daten bleiben komplett bei uns, aber wir geben den Mitarbeitern hier Zugriff auf KI Tools, KI Agenten, mit denen sie experimentieren können, wo sie versuchen können, gewisse Workflows neu zu denken, ohne dass wir uns über den Datenschutz Gedanken machen müssen, weil die Daten ja alle bei uns bleiben.
Christoph Magnussen:Weihnachten rum war es so, dass ganz viele Chefs gedacht haben, ich code die Datenbank selbst, weil dieser Breakthrough-Moment mit Opus kam und alle waren so, ja, jetzt bauen wir das. Jetzt betreibst Du ja nun auch eigene Strukturen. Wo sollte ich als Unternehmen sehen, da ist ein Limit, da brauche ich jemanden und wenn Du das jetzt, also wenn Du jetzt sagst, nee, doch in Wirklichkeit ist es möglich, wo wo wo sagst Du da, lohnt es sich wirklich selber Sachen zu bauen, selber reinzugehen, unabhängig zu werden, die Kompetenz aufzubauen, aber Clearly in dem Bereich, don't touch it, das ist einfach zu zu kompliziert. Weißt Du, was ich meine? Also eigentlich sagt man ja, eigene Modelle zu trainieren ist crazy.
Christoph Magnussen:Jetzt kann man noch euch holen und ihr baut das und ihr macht das. Wo sind noch solche Bereiche, wo Du sagst, nee, also das kann man schon selber machen mit einem Partner, aber das ist einfach etwas, was man nicht anfassen sollte.
Daniel J. Beutel:Also ich glaube, das kommt immer auf die Kompetenz an, die man in house hat. Wenn man jetzt die Machine Learning Experten hat, die wissen, wie man LLMs trainiert, dann ist wahnsinnig viel Potenzial darin, LLMs zu trainieren. Das haben aber die meisten nicht.
Christoph Magnussen:Ich wollte sagen, bin relativ unsicher. Ob das in Deutschland so viele Firmen haben.
Daniel J. Beutel:Genau. Das ist was, wo wir gerne helfen können, aber das ist vielleicht nicht was, was man auf eigene Faust starten sollte, wenn man jetzt nicht die Kompetenz inhouse hat. Ich glaube, ich würde gar nicht so sehr nach Bereichen unterscheiden und sagen, im Marketing machen wir das und in der Forschung Entwicklung machen wir das nicht, sondern ich würde wirklich den Workflow anschauen und dann sagen bei jedem Workflow, was sind die kritischen Schritte in diesem Workflow? Ja.
Daniel J. Beutel:Und was ist das? Am Ende am Ende muss der Mensch die Verantwortung haben über diese über diese Workflows, über die Qualität des Outputs. Aber alles, dazwischen steht zwischen der Entscheidung, das ist gut genug und das ist richtig und dem, wo man diesen ganzen Prozess anfängt, all das ist potenziell potenziell sind potenzielle Cases, die man mit KI Agenten in vielen Fällen automatisieren kann. Da ist natürlich auch wieder die Empfehlung, erst mal klein anfangen, kleinen Case bauen für einen einfachen Workflow und sagen, vielleicht automatisieren wir auch nicht den ganzen Workflow, sondern wir automatisieren einen Schritt, der vielleicht viel Arbeit macht und dann schauen wir das wie wir wir wie das funktioniert und dann rollen wir das Schritt für Schritt auf andere Sachen aus. Das machen wir eigentlich mit jedem Kunden so, dass wir erst mal einen kleinen Case identifizieren und dann sagen okay, wir helfen euch den kleinen Case umzusetzen.
Daniel J. Beutel:Meistens ist der erste Case ist der schwierigste und bei dem ist es viel Neuland. Man muss viele Sachen erst mal lernen, wie funktionieren die, wie muss ich da drüber denken und dann kann man sich von da weiter hangeln und sagen okay, das sind jetzt weitere Schritte, die ich gehen kann. Gerade auf deine Frage zurückzukommen noch mal, es gibt natürlich sehr sehr sicherheitskritische Bereiche. Ja.
Daniel J. Beutel:Und da sollte man eine ganz klare Unterscheidung treffen. Das machen wir beispielsweise auch so in der Entwicklung. Alles was unser Kernframework angeht, unsere Kernplattform, alles was Security relevant ist, das muss auf jeden Fall von menschlichen Entwicklern gereviewt werden und approved werden und die müssen jede Zeile Code bis ins kleinste Detail verstehen. Das ist überhaupt keine Frage. Das kann man letztendlich auch nicht, zumindest heute nicht, weg automatisieren.
Daniel J. Beutel:Dann gibt es aber natürlich andere Bereiche. Wenn wir uns mal schnell ein internes Dashboard zusammenbauen wollen oder eine schnelle Demo zusammenbauen wollen für eine lose Idee, die jetzt nicht in den Produktionscode reingehen, die kann man Ende zu Ende vibecoden und da ist auch überhaupt kein Problem, wenn man an der Stelle nicht jede Zeile Code versteht, weil das eben Sachen sind, die nichts mit der Kernplattform, nichts mit den sicherheitsrelevanten Themen zu tun haben.
Christoph Magnussen:Was ist dein Daily Go to Haupttool, was Du im Einsatz hast und deine Arbeit zu machen?
Daniel J. Beutel:Wir haben verschiedene Tools. Nutzen OpenCode, aber auch Codex.
Christoph Magnussen:In der Kombination einfach für Code Entwicklung wahrscheinlich ist bei euch nicht für für Aufgaben. Also bei uns mischt sich das schon sehr stark, dass für White-Collar Work genutzt wird im Sinne von, gibt's eben diese Ende zu Ende Aufgabe, ohne selber was zu bauen. Und bei euch so wahrscheinlich dann eben auch viel Codebau.
Daniel J. Beutel:Genau, das ist jetzt für den Entwicklungsteil. Und sonst für andere White-Collar Work viel Flower Agent eben.
Christoph Magnussen:Okay, also wie nennt man das so im Berlin noch?
Daniel J. Beutel:Dogfooding.
Christoph Magnussen:Dogfooding. Genau. Das eigene Tool nutzen. Das finde ich stark. Auf jeden Fall.
Christoph Magnussen:Welchen Bereich haben wir noch nicht uns angeschaut, wo du sagst, den müssen wir aber noch angucken, wenn man das nach vorne denken will. Also wenn wir jetzt die Folge in einem Jahr von jetzt hören, wo sagst du, diesen Bereich, da müssen wir noch mal ein Auge drauf haben, damit ich ihn nicht vergesse, ja?
Daniel J. Beutel:Ja, ich glaube, 2 Aspekte sind wichtig. Der eine Aspekt ist so diese Self Improvement Loop, die man eigentlich erreichen möchte.
Christoph Magnussen:Erklär das mal noch noch mal für die, das kann man glaube ich nicht oft genug wiederholen, dass man sich das wirklich vorstellt. Du hast die das Modell als ein Judge und das sorgt dafür, wenn es irgendwo angekommen ist, noch mal zu sagen, ich mach noch mal weiter.
Daniel J. Beutel:Das ist eine Möglichkeit, das so zu machen, genau. Aber so, wenn wir ein kleines bisschen rauszoomen, ist die Kernidee, wenn ich so ein System aufsetze, dann das erste Mal, wo ich den Agenten nutze, produziert der Agent eine gewisse Qualität an Output. Mhm. Und letztendlich, was ich als Ziel haben sollte, es ist immer zu sagen, der Agent wird mit jeder Interaktion besser.
Christoph Magnussen:Mhm.
Daniel J. Beutel:Und das ist ganz entscheidend. Das ist das, was heute auch in diesem Bereich, den wir vorhin AI Assisted genannt haben, eigentlich gar nicht der Fall ist. Jedes Mal, wenn ich ChatGPT prompte, dann fange ich quasi bei 0 an und ich muss viele Sachen immer wieder erklären. Es gibt so ein kleines Memory Feature, also ein kleines bisschen ist da was da, aber letztendlich was man erreichen möchte ist, dass man einen oder mehrere Agenten hat, die mit jeder Aktion Interaktion besser werden. Und das bedeutet quasi, dass man ja wie in der Fabrik eine Fertigungslinie hat, aber in dem Fall eben eine Fertigungslinie für wissensbasierte Arbeit und dass diese Fertigungslinie, ohne dass ich die Fertigungslinie irgendwie umbauen muss oder sowas, immer immer besser wird durch jede Interaktion.
Daniel J. Beutel:Und das ist eben glaube ich für die Zukunft ganz ganz entscheidend und das ist auch das, wo man sich genau diese Frage stellen möchte oder muss strategisch, in welche Richtung möchte ich mich als Unternehmen entwickeln? Möchte ich, dass ich diese Loop intern hab und dass jede Interaktion uns besser macht und uns letztendlich unseren Wettbewerbsvorteil ausbaut oder nutze ich Systeme, wo Stück für Stück dieses Wissen, das in diesen Interaktionen drinsteckt, abfließt. Und das ist wirklich der... Was das glaube ich noch nicht so allgemein verstanden ist bei vielen, weil man so denkt, ja vielleicht von der Oberfläche her, das sieht ja relativ gleich aus, ob ich jetzt ChatGPT prompte oder beispielsweise ein Flower Agent, den ich intern laufen hab. Das UI sieht erst mal ähnlich aus, also es ist relativ einfach zu verwechseln, aber fundamental für mich als Unternehmen und strategisch ist ein sehr, sehr großer Unterschied da.
Christoph Magnussen:Nun ist, ja, ich übertrage das gerade mal auf uns und allein zu entscheiden, wann und wo fließt dieser Verbesserungsloop raus? Finde ich schon schwer. Also weißt Du, rein technisch zu sagen, ja okay, keine Ahnung, mal ganz platt gesagt, jeder macht Ende der Woche, geht einmal manuell durch seine Agents oder fragt den He, wo hätten wir improven können, was hätte besser sein können? Versus es ist ein fixer Baustein in diesem Prozess, der das macht. Gäbe es denn eine Möglichkeit, technisch zu sagen, der Improvement Loop ist intern, aber die ganze normale Arbeit findet mit den normalen Agents statt?
Christoph Magnussen:Also dass Du wie so einen, keine Ahnung, einen Baustein im Code hast, wie Du früher ein Baustein hattest oder heute auch immer noch, der in Maschinencode übersetzt, Compiler. Und jetzt hast Du den eigentlich Improver und das ist ein Schnipselcode, der zieht ein Teil raus und sagt, das ist ein Improvement Step, Improvement Step, Improvement Step und speist es dann ein, sodass die die Learnings intern bleiben, Du aber trotzdem die Power der großen Modelle nutzen kannst.
Daniel J. Beutel:Genau, das funktioniert, aber nur auf gewissen Ebenen. Also dieses Self Improvement, das läuft das läuft an verschiedenen Stellen ab. Das heißt, man kann Self Improvement haben, indem man beispielsweise den Prompt oder den Kontext verbessert und sagt, okay, deine Aufgabe ist es, Blogposts zu schreiben. Mhm. Hier sind 3 Positivbeispiele, hier sind 3 Negativbeispiele.
Daniel J. Beutel:Und jedes Mal, wo ein Blogpost geschrieben wird, wird der natürlich am Ende vom Menschen noch mal gegengelesen, wird vielleicht korrigiert und dann hat man entweder ein weiteres Positivbeispiel oder ein weiteres Negativbeispiel. Und das ist reines Context Engineering. Das funktioniert und das kann man auch mit den Frontier-Modellen kombinieren, wenn man sich dort dann kontinuierlich diese Datenbasis aufbaut und eben den Kontext kontinuierlich aufgrund der Datenbasis verbessert. Was man nicht machen kann mit den Frontiermodellen ist, diese selbst zu trainieren.
Christoph Magnussen:Ja, ja, klar.
Daniel J. Beutel:Und das ist halt der Vorteil, wenn man tatsächlich Open-Weight-Modelle nutzt, dann kann man diese ganzen Datenbasis auch nutzen und sagen, okay, ich jetzt für ein Fall, gerade Fälle, wo viel Traffic drauf passiert, für den Fall feintune ich jetzt das Modell und mach das Modell wirklich fundamental besser in dem, was es machen soll. Oder ich gehe sogar her und wechsel vielleicht auf ein kleineres Modell, das ich dann super spezialisiere auf ein bestimmten Case und dadurch kann ich das Modell extrem viel günstiger trainieren. Und wenn ich son Fall hab, ich weiß nicht, beispielsweise Customer Support, da kommen ja Tausende, wenn nicht Millionen E-Mails am Tag rein. Wenn ich dafür ein spezialisierteres Modell hab, das bestimmte Sachen macht, zum Beispiel das Routing oder sowas, das entscheidet, an welches andere Modell soll diese Ja. Soll diese E-Mail weitergeleitet werden, dann macht das ein Riesenunterschied aus, ob ich jetzt Fable 5 dafür nutze Mhm.
Daniel J. Beutel:Oder ob ich ein kleines spezialisiertes LLM hab, das vielleicht ein Zehntel oder ein Hundertstel von dem kostet, was Fable 5 kostet.
Christoph Magnussen:Wenn die Folge rauskommt, sind wir, glaube ich, schon bei den echten Paidkosten von Fable 5. Und ich hoffe, jeder verstanden hat, dass man das als orchestrator Model nutzt und dann kleinere working Models losschickt, weil das war hier sone Diskussion in den letzten Wochen. Und das kristallisiert sich heraus. Wenn ihr euch Architekturen überlegt und sagt, okay, wie gehen wir da ran? Wir hatten, als wir eben hier so standen darüber gesprochen, wie pragmatisch in den USA manche Sachen auch entstanden sind, wo Du sagst, okay, ist ein Problem.
Christoph Magnussen:Ich probier eine Lösung und die funktioniert. Ist nicht immer unbedingt die beste. Und manche Sachen funktionieren. Wir hatten über MCP gesprochen, wir hatten David auch im Podcast, der das mitentwickelt hat. Und Du sagtest auch, ja, ist nicht die beste Lösung oder beziehungsweise es gibt auch noch andere Sachen, die es ablöst.
Christoph Magnussen:Wonach geht ihr und entscheidet ihr, wo ihr sagt, okay, das kommt rein, das ist eine Idee? Also wo kommen die Ideen her, diese Struktur zu verändern? Weil grade, wenn sich dieses gesamte Spielfeld ändert, Du kannst es ja nicht nach den alten Regeln machen. Du kannst ja den Fußballplatz nicht mehr beurteilen, nach Fußballplatz, sondern es ist ein neues Spiel, bevor man über den Rasen diskutiert. Vielleicht brauchst Du ihn gar nicht mehr.
Christoph Magnussen:Wo kommen diese Ideen dann her?
Daniel J. Beutel:Wir haben den großen Vorteil, dass wir eine 1 sehr sehr große Nutzer Community haben über das Open Source Framework und bei uns kommt eine 1 große Teil der Ideen oder Requirements kommt tatsächlich aus der Community, wo wir wir hören allen Nutzern zu und wir hören, okay, was sind jetzt neue Features, die die Nutzer haben wollen oder was sind Probleme, in die die reinlaufen? Und was wir dann machen ist, wir setzen nicht 1 zu 1 das sondern was wir versuchen ist, wir hören uns viele verschiedene Perspektiven an und dann überlegen wir, was ist eigentlich das zugrunde liegende Problem und dann sagen wir, was ist denn eigentlich unsere... Wie würde denn unsere ideale Lösung aussehen dafür? Und so ist letztendlich sone Art, wir destillieren letztendlich das Feedback, das wir bekommen von vielen und kommen dadurch auf die Lösung, die wir dann letztendlich in der Plattform implementieren. Das ist so die eine Richtung.
Daniel J. Beutel:Die andere Richtung ist komplett forschungsgetrieben, also das, wir beispielsweise auf der LLM Trainingsseite machen. Da arbeiten wir letztendlich an Stück für Stück immer herausfordernden Problemen und dann schauen wir, okay, was ist die Herausforderung und wie können wir das lösen? Was sind die besten Sachen, die bisher im Forschungsbereich, im wissenschaftlichen Kontext vorgeschlagen wurden und wie bauen wir da drauf auf, den nächsten Schritt zu erreichen? Also 1 der Projekte, die öffentlich sind, ist beispielsweise in den USA mit dem Department of Energy. Das Department of Energy ist unter anderem für die nukleare Infrastruktur in den USA verantwortlich und dort arbeiten wir mit Sandia National Labs und noch 2 weiteren National Labs, ein LLM zu trainieren, ein relativ großes mit 70 Milliarden Parametern und dieses LLM trainieren wir komplett dezentral über diese 3 National Labs.
Daniel J. Beutel:Also das ist ein wirklich geografisch sehr dezentrales Training, weil diese National Labs sehr weit voneinander entfernt sind. Jedes National Lab hat eigene Trainingsressourcen, hat eigene GPUs. Die sind leider auch unterschiedlich in den einzelnen National Labs. Jedes Lab hat eine eigene Software Infrastruktur und was wir mit Flower machen ist letztendlich ein Netzwerk zu bauen aus diesen 3 National Labs, wo man wirklich große Large Language Modelle dezentral trainieren kann. Wer das mal probiert hat, der wird der wird gemerkt haben, das ist nicht ganz trivial. Und was wir dort eben machen ist einfach kontinuierlich unseren Ansatz, unsere Trainingspipeline, die nennt sich Flower Frontier, weiterzuentwickeln, immer größere Modelle im dezentralen Bereich trainieren zu können.
Christoph Magnussen:Jetzt ist ein bisschen deep technische Frage. Wie kontinuierlich kann man Modelle trainieren? Also weil bisher ist es ja immer so, dass ein Training run ist abgeschlossen, damit schickste das Modell in die Welt, läuft. Und die sind ja auch eben nicht ganz trivial, wie Du sagtest, weil die Auslastung ziemlich konstant bleiben muss auf den GPUs, weil Du auch die Energy Spikes entsprechend rechnen musst. Gibt es Experimente oder Theorien, dass man sagt, man hat Continual Training, sodass man sagen könnte wie, ihr habt nicht nur Federated Training, sondern Federated Continual Training, was laufen würde.
Christoph Magnussen:Gibt's sowas schon oder ist das Zukunftsmusik?
Daniel J. Beutel:Also das gibt es, aber das hängt immer, da kann man keine allgemeine Antwort geben, sondern es hängt immer von den Daten ab. Das Training ist ja auch nicht, das ist ja auch nicht mehr ein Trainingsrun, sondern das teilt sich auf in viele verschiedene Phasen. Das heißt, wir haben klassisch haben wir Pre-Training und Post-Training. Die Phasen unterteilen sich aber immer mehr, also es wird immer kontinuierlicher, man hat Pre-Training, Mid-Training, Post-Training, dann hat man im Post-Training hat man auch verschiedene Stufen. Je nachdem welche Daten man hat und je nachdem in welche Stufe diese Daten reinpassen.
Daniel J. Beutel:Also es gibt gewisse Daten, die passen sehr gut in die Pre-Trainings-Phase, die wären absolut desaströs in der Post-Trainings-Phase. Was zum Beispiel? Also eine Pre-Trainings-Phase versucht man eigentlich sehr große, sehr allgemeine Datenmengen zu nutzen. Und eine Post-Trainings-Phase, es einfach ganz vereinfacht darzustellen, hat man verschiedene Phasen wie SFT zum Beispiel oder dann halt eben auch Instruction Tuning immer mehr Reinforcement Learning. Und man versucht dann das Modell quasi eher in diese Richtung zu formen, wie es sich final verhalten soll.
Daniel J. Beutel:Und da gibt es dann eben und da ändern sich auch die Daten, die man dann in der einzelnen Phase braucht. Das heißt, wenn ich Instruction Tuning mach, dann brauche ich wirklich ein Datenset, wo ich sage, okay, das ist die Instruktion und das ist die Antwort, die ich erwarten würde. Oder wenn ich DPO mach, dann muss ich sagen, okay, also da muss ich sagen, okay, ich hab 2 Beispiele, die sind recht ähnlich, aber das Beispiel hier, das ist das bessere. Das heißt, ich ich optimiere die Preference des Modells in die eine Richtung hin zu dem einen Beispiel, weg von dem anderen Beispiel. Und dann ist die Frage, auf deine, auf das Continual Learning zurückzukommen, wie wie häufig sammle ich neue Daten und welche Daten sammle ich wann?
Daniel J. Beutel:Und habe ich dann eben relevante Daten, die ich jetzt in dieses Training einfließen lassen kann und in welche Phase des Trainings würden diese Daten einfließen?
Christoph Magnussen:Ja, ich sehe schon und die müsstest Du da auch in der entsprechenden Menge verfügbar haben, was halt nicht so super easy ist. Plus Du musst immer noch wissen, wo wendest Du es nachher an, wo bringst Du es in einen Prozess rein? Ist ein Riesenumbau, der vorher so nicht da war. Ich sehe, wenn ich die die alten Videos sehe, sehe ich diese Magnetstreifen. Es gibt es gibt einen einen MIT Forscher, wie hieß ein der noch?
Christoph Magnussen:Der hat immer sone markante Fliege getragen. Der hat der hat das Thema Time Sharing mit entwickelt. Also dass dass Du quasi am Zentralrechner, wo kaum Platz war, den zu benutzen, die Clients dran saßen. Und er hatte quasi das Programm geschrieben, sodass die die reingesteckt wurden und dann wurde priorisiert und dass es über waren ging auf das auf das Magnetic Tape. Und allein diese ganze Struktur, das von links und rechts nach schieben, stell ich mir jetzt vor bei euch wenn Du sagst, okay, jetzt haben wir irgendwie 3 Standorte, wo geht das hin?
Christoph Magnussen:Also es muss ja richtig Architekten geben, zu wissen, wo lässt Du was durchfließen. Hättest Du freie Wahl Und Du könntest dir ein Datenset nehmen von 1 Institution oder 1 Firma oder irgendwas, wo Du sagst, okay, das wär richtig, richtig interessant, denen würde ich gerne helfen. Aber die sind vielleicht noch, weiß ich nicht, zu verteilt oder wissen noch gar nicht, dass es so wichtig wäre. Welcher welches Datenset und welche Institution wäre das? Und Du hättest Free Capacity to train.
Daniel J. Beutel:Also ich glaube, es wäre nicht eine Institution, sondern ich würde wirklich alle gesundheitsrelevanten Daten aus Europa oder idealerweise der Welt in einem Netzwerk verbinden. Natürlich muss jede Institution die Daten bei sich behalten und die volle Kontrolle darüber behalten, aber wenn wir dieses Netzwerk hätten, könnten wir KI Modelle im Gesundheitsbereich trainieren, die uns wirklich helfen, neue Insights zu geben und vor allem Krankheiten zu behandeln und zu lösen und die Gesundheitsversorgung auf ein nie da gewesenes Niveau anzuheben. Und davon würden wir glaube ich alle profitieren, nicht nur in Europa, sondern weltweit. Sobald man son KI Modell hat, das wirklich sehr sehr gut ist darin, bestimmte Sachen zu erkennen, bestimmte Sachen auch früh zu erkennen. Es gibt ja viele Krankheiten, die lassen sich verhindern, wenn man sie früh erkennt und früh Gegenmaßnahmen einleitet, dann verhindert man eben die schlimmeren Verläufe.
Christoph Magnussen:Mhm.
Daniel J. Beutel:Und das wäre wirklich mein großer Wunsch, dass wir das in Europa gemeinsam angehen und idealerweise auch weltweit und damit viele viele Krankheiten verhindern und ja uns allen helfen.
Christoph Magnussen:Das finde ich ein sehr sehr guten, sehr positiven Blick nach vorne und danke dir für deutlich mehr Zeit, als ich gedacht hab.
Daniel J. Beutel:Ich seh grade schon, wir haben hier
Christoph Magnussen:sind richtig abgetaucht. Danke, dass Du da warst und so viel Einblicke gegeben hast.
Daniel J. Beutel:Vielen Dank für die Einladung und die guten Fragen.