Un Nuovo Re nell'Intelligenza Artificiale

Matt Shumer, co-fondatore e CEO della startup di scrittura AI HyperWrite, ha recentemente svelato Reflection 70B, un nuovo modello di linguaggio di grandi dimensioni (LLM) basato su Llama 3.1-70B Instruct di Meta. Questo modello utilizza una nuova tecnica di auto-correzione degli errori e si distingue per le sue prestazioni superiori nei benchmark di terze parti.

Performance e Benchmark

Shumer ha dichiarato su X che Reflection 70B è ora considerato "il miglior modello di AI open-source al mondo". Il modello è stato testato in modo rigoroso su vari benchmark, tra cui MMLU e HumanEval, utilizzando il LLM Decontaminator di LMSys per garantire risultati privi di contaminazione. I risultati mostrano che Reflection supera costantemente i modelli della serie Llama di Meta e compete direttamente con i migliori modelli commerciali.

Accesso e Disponibilità

È possibile provare Reflection 70B attraverso una demo su un sito dedicato. Tuttavia, come notato da Shumer, l'annuncio ha generato un traffico elevato, costringendo il team a cercare GPU sufficienti per soddisfare la domanda. Reflection 70B non solo è competitivo con i modelli di alta gamma, ma offre anche capacità uniche, come l'identificazione e la correzione degli errori.

La Tecnica di Tuning della Riflessività

Il modello utilizza una tecnica chiamata reflection tuning, che consente di rilevare e correggere errori nel proprio ragionamento prima di fornire una risposta finale. Reflection 70B introduce nuovi token speciali per il ragionamento e la correzione degli errori, facilitando l'interazione degli utenti con il modello in modo più strutturato.

Esempi di Utilizzo

Il sito demo include suggerimenti per gli utenti, come chiedere a Reflection 70B quante lettere "r" ci sono nella parola "Strawberry" o quale numero è maggiore tra 9,11 e 9,9. Questi problemi semplici, che molti modelli AI non risolvono correttamente, sono stati affrontati da Reflection 70B, che ha fornito la risposta corretta dopo oltre 60 secondi.

Prospettive Future: Reflection 405B

La pubblicazione di Reflection 70B è solo l'inizio della serie. Shumer ha annunciato che un modello ancora più grande, Reflection 405B, sarà disponibile la prossima settimana. HyperWrite sta lavorando per integrare Reflection 70B nel suo principale prodotto di assistenza alla scrittura AI. 

Collaborazione con Glaive

Un fattore chiave del successo di Reflection 70B è rappresentato dai dati sintetici generati da Glaive, una startup specializzata nella creazione di dataset specifici per casi d'uso. Glaive consente una rapida formazione di modelli linguistici altamente focalizzati, democratizzando l'accesso agli strumenti AI. 

Storia di HyperWrite

Fondata nel 2020, HyperWrite ha guadagnato popolarità con il suo prodotto principale, inizialmente una estensione di Chrome per la scrittura di email, oggi conta due milioni di utenti e ha ricevuto un investimento di 2,8 milioni di euro nel marzo 2023. Con Reflection 70B, HyperWrite segna un traguardo significativo per l'AI open-source, offrendo agli sviluppatori e ai ricercatori uno strumento potente che compete con i modelli proprietari. La sua innovativa approccio al ragionamento e alla correzione degli errori potrebbe stabilire un nuovo standard.