archivio

Modelli AI da 125 miliardi su una GPU consumer: entusiasmo e dubbi

Il progetto Strata, che promette di far girare Qwen 3.8 Flash Next (125 miliardi di parametri) su una RTX 4090 a 100 token al secondo, è tra le discussioni più partecipate della prima pagina di Hacker News. Prevale l'entusiasmo per l'inferenza locale resa possibile da quantizzazioni sempre più efficienti, con velocità riportate dai commentatori tra 7 token al secondo su vecchi processori Ryzen e 124 su RTX 4090 e configurazioni tipiche con 48-128 GB di RAM; le obiezioni riguardano la perdita di qualità con la quantizzazione a 2 bit e l'affidabilità rispetto ai servizi cloud come Claude.

Lettura strategica: I modelli aperti eseguibili in locale riducono costi e rischi sui dati: per agenzie e aziende con informazioni sensibili diventano un'alternativa concreta per i compiti di routine, lasciando i modelli di frontiera ai casi complessi.