Kontext ist der Burggraben. Aber wessen Kontext, und wer hat die Schlüssel?

Diese Woche hat eine der glaubwürdigsten Gruppen in der KI – unterstützt von General Catalyst, Kleiner Perkins und Sequoia, mit Andrej Karpathy als Berater – eine neunstellige Summe hinter eine einzige Idee gestellt: Die Modelle, die wir täglich nutzen, verstehen nicht wirklich, was wir tun, und der Weg, das zu ändern, besteht darin, sie aus unserem eigenen Kontext lernen zu lassen statt aus dem öffentlichen Internet.

Wir könnten dem nicht mehr zustimmen. Wie es einer ihrer Geldgeber formulierte: Die Modelle, die wir täglich nutzen, sind „brillante Fremde“ – sie vergessen Ihre Welt in dem Moment, in dem ein Chat endet, und lernen sie bei der nächsten Anfrage von Grund auf neu. Genau gegen diese Lücke wurde Ostler gebaut. Es ist, fast Wort für Wort, die Wette, die wir eingegangen sind.

Das ist also keine Entgegnung. Es ist ein Willkommen. Wenn eine These, über die man zwei Jahre lang still nachgedacht hat, den Stempel derjenigen bekommt, die das Feld definieren, ist die richtige Antwort nicht zurückzuweichen. Es heißt zu sagen: gut. Nun lassen Sie uns über den Teil sprechen, der als Nächstes kommt.

Die Übereinstimmung, und dann die Weggabelung

Hier sind sich mittlerweile fast alle einig: Die Grenze ist nicht länger ein größeres Modell, trainiert mit mehr vom Internet. Dieses Rennen läuft aus. Die nächste Achse ist Ihr Kontext – die Projekte, Menschen, Entscheidungen und die Geschichte, auf die kein öffentliches Modell je trainiert wurde. Das Gedächtnis ist der Burggraben.

Sobald Sie das akzeptieren, bleibt genau eine Frage, und sie ist das ganze Spiel: Wo lebt dieses Gedächtnis, und wer kontrolliert es?

Es gibt zwei ehrliche Antworten.

Eine – die Unternehmensantwort – besteht darin, die Daten einer Organisation zu nehmen und sie in ein Modell zu trainieren. Die Dokumente und den Chatverlauf des Unternehmens in die Gewichte einzubacken und kontinuierlich neu zu trainieren, damit das Modell aktuell bleibt. Für eine Anwaltskanzlei oder ein Großunternehmen ist das wirklich mächtig. Die Kanzlei will ein Modell, das die gesamte Kanzlei verinnerlicht hat. In Ordnung.

Die andere – die persönliche Antwort – unterscheidet sich in der Art, nicht im Grad. Eine Person ist kein Unternehmen. Ihr Kontext ist kein gemeinsamer Arbeitsbereich mit genehmigten Dokumenten. Es sind zehn Jahre Nachrichten, Fotos, E-Mails und halb fertige Notizen – die intimste Aufzeichnung, die es von Ihrem Leben gibt. Und die Vorstellung, ein Assistent verstehe Sie, indem man all das in ein Labor hochlädt und in Gewichte trainiert, die Sie nie zu sehen bekommen, auf Servern, die Ihnen nicht gehören, ausgerichtet auf eine Kennzahl, die nicht Ihre ist – das ist kein Gefährte. Das ist eine Aufzeichnung von Ihnen, gehalten von jemand anderem.

Dafür gibt es Belege, nicht nur Prinzip. Als Forscher die beiden Ansätze direkt verglichen – Fine-Tuning neuer Fakten in ein Modell gegenüber deren Retrieval in den Kontext – gewann Retrieval mit deutlichem Vorsprung (Ovadia et al., „Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs“, 2023: etwa 0,87 gegen 0,50 bei Aufgaben zu neuem Wissen). Modelle sind schlicht schlecht darin, neue Fakten durch Training zu lernen, und sie riskieren zu vergessen, was sie schon wussten. Für die eigenen Fakten einer Person ist die auf Retrieval basierende Antwort auch die besser belegte. Neuere Trainingsmethoden zielen darauf ab, diese Lücke zu schließen, und werden das vielleicht auch; aber eine Architektur, die Ihr Gedächtnis lesbar, korrigierbar und auf Ihrer eigenen Maschine hält, hängt nicht davon ab, dieses Rennen zu gewinnen.

Ein Gedächtnis, das Sie nicht sehen können, gehört Ihnen nicht

Wir glauben, die persönliche Antwort muss lokal sein. Nicht als Slogan, sondern als Architektur.

Ostler trainiert Ihr Leben nicht in ein Modell in unserer Cloud. Wir haben keine Cloud für Ihre Daten. Ostler liest die Speicher, die bereits auf Ihrem Mac liegen – Messages, Mail, Kontakte, Kalender, Ihre Notizen – und baut einen persönlichen Wissensgraphen, der auf Ihrer Maschine sitzt. Das Gedächtnis ist etwas, das Sie öffnen, lesen, korrigieren und löschen können. Wenn Ihnen der Assistent etwas über Ihr eigenes Leben erzählt, liest er aus einem Graphen, der Ihnen gehört, nicht ruft er etwas ab, das in Gewichte aufgelöst wurde, die niemand inspizieren kann.

Das ist der Unterschied zwischen einem Gedächtnis und einer Aufzeichnung. Ein Gedächtnis, das Sie halten, gehört Ihnen. Ein Gedächtnis auf dem Server eines anderen, das Sie nicht sehen und nicht entfernen können, ist eine Aufzeichnung, die derjenige über Sie führt. Für ein Unternehmen mag eine Aufzeichnung akzeptabel sein. Für eine Person sollte sie es nicht sein.

Das ist auch der Grund, warum „lokal zuerst“ zum Grundstandard wird und nicht mehr die ganze Geschichte ist. Viele Produkte werden das nun beanspruchen. Das schwierigere, ehrlichere Versprechen ist das darunterliegende: nicht nur, dass die Daten lokal sind, sondern dass Sie die Naht halten – Sie entscheiden, was behalten, was hervorgeholt und was vergessen wird. Ostler ist so gebaut, dass Sie das können. Datenschutzstufen auf jeden Fakt. Ein Korrekturmechanismus, der Ihnen erlaubt, zu löschen, zu ersetzen oder zu ergänzen, was das System glaubt. Ein Wiki Ihres eigenen Lebens, das Sie tatsächlich durchstöbern und prüfen können. Die Kontrolle ist das Feature, nicht die Reibung.

Dieselbe Wette, gezogen auf den persönlichen Winkel

Nichts davon stellt uns in Widerspruch zu den Laboren, die jetzt Geld in den Kontext pumpen. Es stellt uns auf dieselbe Karte, an einen anderen Ort. Sie bauen das Gedächtnis einer Organisation, in der Cloud, für das Unternehmen. Wir bauen das Gedächtnis einer Person, auf ihrer eigenen Maschine, für sie.

Wir sind froh, dass die Kategorie real ist. Wir denken das seit langer Zeit – das Muster einer automatisch kompilierten Wissensbasis, „wie Code gepflegt“, ist eines, das Karpathy selbst beschrieben hat, und es sitzt heute in unserer Architektur. Die Bestätigung ist willkommen.

Wir haben lediglich die Frage beantwortet, die nach der Übereinstimmung kommt. Das Gedächtnis ist der Burggraben – ja. Und das persönlichste Gedächtnis der Welt sollte an genau einem Ort leben: bei der Person, der es gehört. Das ist es, was wir bauen. Es läuft auf Ihrem Mac. Die Schlüssel verlassen niemals Ihre Hände.

Wenn das die Zukunft ist, auf die Sie setzen wollen, können Sie über die Architektur hier lesen. Fragen, Korrekturen, Widersprüche – [email protected].