Questa settimana uno dei gruppi più credibili nel campo dell'IA – sostenuto da General Catalyst, Kleiner Perkins e Sequoia, con Andrej Karpathy come consulente – ha messo una somma a nove cifre dietro un'unica idea: i modelli che usiamo ogni giorno non capiscono davvero ciò che facciamo, e il modo per porvi rimedio è farli imparare dal nostro contesto invece che dall'internet pubblico.

Non potremmo essere più d'accordo. Come ha detto uno dei loro finanziatori, i modelli che usiamo ogni giorno sono "brillanti estranei" – dimenticano il Suo mondo nell'istante in cui una chat finisce, poi lo riapprendono da zero alla query successiva. È esattamente la lacuna contro cui è stato costruito Ostler. È, quasi parola per parola, la scommessa che abbiamo fatto.

Quindi questa non è una replica. È un benvenuto. Quando una tesi che si contempla in silenzio da due anni riceve il timbro delle persone che definiscono il campo, la risposta giusta non è trasalire. È dire: bene. Adesso parliamo della parte che viene dopo.

L'accordo, e poi la biforcazione

Ecco su cosa quasi tutti ora concordano: la frontiera non è più un modello più grande addestrato su una parte più ampia di internet. Quella corsa sta raggiungendo il suo limite. Il prossimo asse è il Suo contesto – i progetti, le persone, le decisioni e la storia su cui nessun modello pubblico è mai stato addestrato. La memoria è il fossato.

Una volta accettato questo, resta esattamente una domanda, e in essa si gioca l'intera partita: dove vive quella memoria, e chi la controlla?

Ci sono due risposte oneste.

Una – la risposta enterprise – è prendere i dati di un'organizzazione e addestrarli in un modello. Incorporare i documenti e la cronologia delle chat dell'azienda nei pesi, e riaddestrare continuamente perché il modello resti aggiornato. Per uno studio legale o una grande azienda, è davvero potente. Lo studio vuole un unico modello che abbia interiorizzato l'intero studio. Bene.

L'altra – la risposta personale – è diversa per natura, non per grado. Una persona non è un'azienda. Il Suo contesto non è uno spazio di lavoro condiviso di documenti approvati. Sono dieci anni di messaggi, foto, e-mail e appunti a metà – il registro più intimo che esista della Sua vita. E l'idea che il modo per far comprendere Lei a un assistente sia caricare tutto ciò in un laboratorio e addestrarlo in pesi che non vedrà mai, su server che non possiede, tarati su una metrica che non è la Sua – quello non è un compagno. È una registrazione di Lei, custodita da qualcun altro.

Dietro questo c'è dell'evidenza, non solo un principio. Quando i ricercatori hanno confrontato i due approcci fianco a fianco – fare fine-tuning di nuovi fatti in un modello contro recuperarli nel contesto – il recupero ha vinto con ampio margine (Ovadia et al., "Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs", 2023: circa 0,87 contro 0,50 sui compiti di nuova conoscenza). I modelli sono semplicemente scadenti nell'imparare nuovi fatti facendoli addestrare al loro interno, e rischiano di dimenticare ciò che già sapevano. Per i fatti personali di una persona, la risposta a forma di recupero è anche quella meglio supportata dai dati. Metodi di addestramento più recenti mirano a colmare quel divario, e forse ci riusciranno; ma un'architettura che mantiene la Sua memoria leggibile, correggibile e sulla Sua macchina non dipende dal vincere quella corsa.

Una memoria che non può vedere non è Sua

Riteniamo che la risposta personale debba essere locale. Non come slogan, ma come architettura.

Ostler non addestra la Sua vita in un modello nel nostro cloud. Non abbiamo alcun cloud per i Suoi dati. Ostler legge gli archivi già presenti sul Suo Mac – Messaggi, Mail, Contatti, Calendario, i Suoi appunti – e costruisce un grafo della conoscenza personale che risiede sulla Sua macchina. La memoria è una cosa che può aprire, leggere, correggere ed eliminare. Quando l'assistente Le dice qualcosa sulla Sua vita, sta leggendo da un grafo che Le appartiene, non richiamando qualcosa dissolto in pesi che nessuno può ispezionare.

Questa è la differenza tra una memoria e un registro. Una memoria che possiede è Sua. Una memoria sul server di qualcun altro, che non può vedere e non può rimuovere, è un registro che tengono su di Lei. Per un'azienda, un registro potrebbe essere accettabile. Per una persona, non dovrebbe esserlo.

È anche per questo che "local-first" sta diventando un requisito minimo e non è più l'intera storia. Molti prodotti ora lo rivendicheranno. La promessa più dura e più onesta è quella sottostante: non solo che i dati siano locali, ma che sia Lei a tenere la cucitura – decide Lei cosa viene conservato, cosa viene mostrato e cosa viene dimenticato. Ostler è costruito perché Lei possa farlo. Livelli di privacy su ogni fatto. Un meccanismo di correzioni che Le permette di eliminare, sostituire o aggiungere a ciò che il sistema crede. Un wiki della Sua stessa vita che può davvero sfogliare e verificare. Il controllo è la funzionalità, non l'attrito.

La stessa scommessa, portata nell'angolo personale

Nulla di tutto questo ci mette in contrasto con i laboratori che ora stanno riversando denaro nel contesto. Ci mette sulla stessa mappa, in un posto diverso. Loro stanno costruendo la memoria di un'organizzazione, nel cloud, per l'enterprise. Noi stiamo costruendo la memoria di una persona, sulla sua macchina, per lei.

Siamo lieti che la categoria sia reale. Lo pensiamo da tempo – lo schema di una base di conoscenza auto-compilata, "mantenuta come codice", è uno che Karpathy stesso ha descritto, ed è oggi nella nostra architettura. La validazione è benvenuta.

Abbiamo semplicemente risposto alla domanda che viene dopo l'accordo. La memoria è il fossato – sì. E la memoria più personale al mondo dovrebbe vivere in un solo posto: presso la persona a cui appartiene. È ciò che stiamo costruendo. Gira sul Suo Mac. Le chiavi non lasciano mai le Sue mani.

Se questo è il futuro su cui vuole scommettere, può leggere di più sull'architettura qui. Domande, correzioni, disaccordi – [email protected].