Alibaba ha rilasciato giovedì un nuovo modello di intelligenza artificiale (AI), noto come Qwen with Questions (QwQ), che funge da ultimo concorrente open source del modello di ragionamento OpenAI o1.
Lanciato in anteprima, si dice che il modello di linguaggio di grandi dimensioni (LLM) QwQ-32B superi GPT-o1-preview in diversi benchmark correlati al ragionamento logico e matematico. Il nuovo modello AI è disponibile per il download su Hugging Face, tuttavia non è completamente open source.
Cos’è Qwen with Questions (QwQ)?
Come altri modelli di ragionamento di grandi dimensioni (LRM), QwQ utilizza cicli di elaborazione aggiuntivi durante l’inferenza per rivedere le sue risposte e correggere i suoi errori, rendendolo più adatto per attività che richiedono ragionamento logico e pianificazione come matematica e codifica.
In un post sul blog, Alibaba ha descritto in dettaglio il suo nuovo LLM incentrato sul ragionamento e ha evidenziato le sue capacità e limitazioni. Il QwQ-32B, come suggerisce il nome, è basato su 32 miliardi di parametri e ha una finestra di contesto di 32.000 token. Il modello ha completato sia le fasi di pre-addestramento che di post-addestramento. Il modello è attualmente in anteprima, il che significa che è probabile che seguirà una versione più performante.
Per quanto riguarda la sua architettura, il gigante tecnologico cinese ha rivelato che il modello AI si basa sulla tecnologia dei trasformatori. Per la codifica posizionale, QwQ utilizza Rotary Position Embeddings (RoPE), insieme alle funzioni Switched Gated Linear Unit (SwiGLU) e Root Mean Square Normalization (RMSNorm), nonché Attention Query-Key-Value Bias (Attention QKV).
Secondo i test di Alibaba, QwQ batte o1-preview nei benchmark AIME e MATH, che valutano le capacità di risoluzione dei problemi matematici. Supera anche o1-mini su GPQA, un benchmark per il ragionamento scientifico. QwQ è inferiore a o1 nei benchmark di codifica LiveCodeBench ma supera comunque altri modelli di frontiera come GPT-4o e Claude 3.5 Sonnet.
QwQ non è accompagnato da un documento di accompagnamento che descriva i dati o il processo utilizzato per addestrare il modello, il che rende difficile riprodurre i risultati del modello. Tuttavia, poiché il modello è aperto, a differenza di OpenAI o1, il suo “processo di pensiero” non è nascosto e può essere utilizzato per dare un senso al modo in cui il modello ragiona quando risolve i problemi.
In particolare, Alibaba ha reso disponibile il modello AI tramite un elenco Hugging Face e sia i privati che le aziende possono scaricarlo per scopi personali, accademici e commerciali con la licenza Apache 2.0.
