Che cos'è la distillazione e perché è diventata la parola d' ordine delle Big Tech americane

La parola d' ordine più utilizzata all' interno delle big tech statunitensi nelle ultime settimane è "distillazione". Ha iniziato a circolare subito dopo il lancio di DeepSeek, il chatbot cinese ottenuto a basso costo ma con prestazioni ugualmente performanti. Questa tecnica viene utilizzata per creare modelli di intelligenza artificiale più economici, se ne prende di grandi dimensioni, chiamato "maestro", da cui vengono generate delle informazioni che a loro volta vengono addestrate in modo rapido con un modello più piccolo definito "studente". Niente di nuovo e di rivoluzionario, visto che la distillazione esiste da diverso tempo ma ha preso ulteriormente il piede dopo l' arrivo sul mercato di DeepSeek.

I vari Microsoft, OpenAI, Meta e via dicendo hanno deciso di far proprio questo processo per rispondere alla Cina, nella convinzione che questa è la strada da inseguire per il successo. La distillazione è davvero magnifica, un processo molto efficace per compiti specifici, ha dichiarato il responsabile dei prodotti di OpenAI, Olivier Godement. 

Solitamente un azienda parte dai dati grezzi per addestrare un modello linguistico. Con questo modus superando si allungano i tempi e aumentano i costi. Come sottolinea il Financial Times, questi non sono stati mai pubblicati. Ma la sensazione che si tratti di centinaia di milioni di dollari. Un' enormità se paragonati con la spesa servita per DeepSeek, che ha  dimostrato a tutto il comparto che progresso non significa per forza sovvenzioni gigantesche. Resta da vedere se lo ha fatto basandosi sul modello di Chatgpt costruito da OpenAI, il che sarebbe una violazione delle regole interne dell' azienda di Sam Altman. Lo ha affermato anche David Sacks, lo zar dell' intelligenza artificiale scelto da Donald Trump. 

Ad ogni modo le questioni che ruotano attorno alla distillazione sono tante sia Positive, quanto quelle Negative. 

Tra le prime c'è sicuramente un cambio di paradigma che se dovesse essere perseguito rivoluzionerebbe il settore. La domanda che in molti si sono posti è infatti se convenga  ancora essere una società leader quando per diventarlo bisogna investire tantissimi dollari. A chiederselo è anche il vicepresidente per l' intelligenza artificiale all' interno di ibm Research, David Cox, secondo cui ogni volta che puoi rendere un modello e ti dà le prestazioni che desideri ci sono ben poche ragioni per non farlo. Un consiglio ascoltato immediatamente da Meta, pronta a utilizzare la distillazione nei suoi prodotti.

Dall' parte c'è chi è convinto che i grandi finanziamenti alla fine portino maggiori risultati. Come abbiamo visto un modello linguistico addestrato tramite distillazione ha i suoi vantaggi è vero, ma alla fine quello tradizionale rimane il più affidabile e preciso. Secondo un ricercatore Microsoft la distillazione presenta un interessante compromesso. Meno soldi ma allo tempo meno capacità. Agli sviluppatori la decisione da che parte stare.