Cette semaine, l'un des groupes les plus crédibles de l'IA – soutenu par General Catalyst, Kleiner Perkins et Sequoia, avec Andrej Karpathy comme conseiller – a placé une somme à neuf chiffres derrière une seule idée : les modèles que nous utilisons chaque jour ne comprennent pas vraiment ce que nous faisons, et la façon de résoudre cela est de les faire apprendre de notre propre contexte plutôt que de l'internet public.

Nous ne pouvons qu'être d'accord. Comme l'a dit l'un de leurs bailleurs, les modèles que nous utilisons chaque jour sont des « étrangers brillants » – ils oublient votre monde à l'instant où une conversation se termine, puis le réapprennent à partir de zéro à la requête suivante. C'est exactement l'écart contre lequel Ostler a été conçu. C'est, presque mot pour mot, le pari que nous avons fait.

Il ne s'agit donc pas d'une réfutation. C'est un accueil. Quand une thèse que vous contemplez discrètement depuis deux ans obtient un cachet des personnes qui définissent le domaine, la bonne réponse n'est pas de reculer. C'est de dire : bien. Maintenant, parlons de la partie qui vient ensuite.

L'accord, puis la bifurcation

Voici où presque tout le monde s'accorde désormais : la frontière n'est plus un plus gros modèle entraîné sur davantage d'internet. Cette course plafonne. Le prochain axe est votre contexte – les projets, les personnes, les décisions et l'historique sur lesquels aucun modèle public n'a jamais été entraîné. La mémoire est le fossé.

Une fois que vous acceptez cela, il reste exactement une question, et c'est tout l'enjeu : où vit cette mémoire, et qui la contrôle ?

Il y a deux réponses honnêtes.

L'une – la réponse d'entreprise – consiste à prendre les données d'une organisation et à les entraîner dans un modèle. Cuire les documents de l'entreprise et l'historique des conversations dans les poids, et réentraîner continuellement pour que le modèle reste à jour. Pour un cabinet d'avocats ou une grande entreprise, c'est véritablement puissant. Le cabinet veut un modèle qui a intériorisé l'ensemble du cabinet. Très bien.

L'autre – la réponse personnelle – est différente en nature, pas en degré. Une personne n'est pas une entreprise. Votre contexte n'est pas un espace de travail partagé de documents approuvés. Ce sont dix ans de messages, de photos, d'e-mails et de notes inachevées – le dossier le plus intime qui existe de votre vie. Et l'idée que la façon de faire comprendre un assistant à votre égard est de tout téléverser vers un laboratoire et de l'entraîner dans des poids que vous ne verrez jamais, sur des serveurs que vous ne possédez pas, ajustés à une métrique qui n'est pas la vôtre – ce n'est pas un compagnon. C'est un enregistrement de vous, détenu par quelqu'un d'autre.

Il y a des preuves derrière cela, pas seulement un principe. Lorsque des chercheurs ont comparé les deux approches en face à face – ajuster de nouveaux faits dans un modèle par rapport à les récupérer dans le contexte – la récupération l'a emporté avec une marge importante (Ovadia et al., « Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs », 2023 : environ 0,87 contre 0,50 sur les tâches de nouvelles connaissances). Les modèles sont tout simplement mauvais pour apprendre de nouveaux faits en les entraînant, et ils risquent d'oublier ce qu'ils savaient déjà. Pour les faits propres à une personne, la réponse en forme de récupération est également la mieux étayée. Des méthodes d'entraînement plus récentes visent à combler cet écart, et pourraient y parvenir ; mais une architecture qui garde votre mémoire lisible, corrigeable et sur votre propre machine ne dépend pas de la victoire dans cette course.

Une mémoire que vous ne pouvez pas voir n'est pas la vôtre

Nous pensons que la réponse personnelle doit être locale. Non pas comme un slogan, mais comme une architecture.

Ostler n'entraîne pas votre vie dans un modèle sur notre cloud. Nous n'avons pas de cloud pour vos données. Ostler lit les données déjà présentes sur votre Mac – Messages, Mail, Contacts, Calendrier, vos notes – et construit un graphe de connaissances personnel qui se trouve sur votre machine. La mémoire est une chose que vous pouvez ouvrir, lire, corriger et supprimer. Lorsque l'assistant vous dit quelque chose sur votre propre vie, il lit à partir d'un graphe que vous possédez, et non en rappelant quelque chose de dissous dans des poids que personne ne peut inspecter.

C'est la différence entre une mémoire et un dossier. Une mémoire que vous détenez est à vous. Une mémoire sur le serveur de quelqu'un d'autre, que vous ne pouvez pas voir et ne pouvez pas retirer, est un dossier qu'ils conservent sur vous. Pour une entreprise, un dossier peut être acceptable. Pour une personne, cela ne devrait pas l'être.

C'est aussi pourquoi le « local-first » devient un pré-requis et n'est plus toute l'histoire. Beaucoup de produits le revendiqueront désormais. La promesse plus difficile et plus honnête est celle qui se trouve en dessous : non seulement que les données sont locales, mais que vous tenez la couture – vous décidez ce qui est conservé, ce qui est mis en avant et ce qui est oublié. Ostler est conçu pour que vous le puissiez. Des niveaux de confidentialité sur chaque fait. Un mécanisme de correction qui vous permet de supprimer, remplacer ou ajouter à ce que le système croit. Un wiki de votre propre vie que vous pouvez réellement parcourir et auditer. Le contrôle est la fonctionnalité, pas la friction.

Le même pari, tiré vers le coin personnel

Rien de tout cela ne nous met en désaccord avec les laboratoires qui déversent maintenant de l'argent dans le contexte. Cela nous met sur la même carte, à un endroit différent. Ils construisent la mémoire d'une organisation, dans le cloud, pour l'entreprise. Nous construisons la mémoire d'une personne, sur sa propre machine, pour elle.

Nous sommes heureux que la catégorie soit réelle. Nous le pensons depuis longtemps – le motif d'une base de connaissances auto-compilée, « entretenue comme du code », est un motif que Karpathy lui-même a décrit, et il est présent dans notre architecture aujourd'hui. La validation est la bienvenue.

Nous venons simplement de répondre à la question qui vient après l'accord. La mémoire est le fossé – oui. Et la mémoire la plus personnelle au monde devrait vivre à exactement un endroit : chez la personne à qui elle appartient. C'est ce que nous construisons. Cela fonctionne sur votre Mac. Les clés ne quittent jamais vos mains.

Si c'est l'avenir sur lequel vous voulez parier, vous pouvez en savoir plus sur l'architecture ici. Questions, corrections, désaccords – [email protected].