Reranker di Voyage: Innovazione nella Ricerca AI

Il reranker di Voyage rappresenta un avanzato sistema di reti neurali progettato per migliorare la qualità dei risultati di ricerca in applicazioni come la Generazione Augmentata da Recupero (RAG). Questo strumento valuta la rilevanza dei risultati di ricerca iniziali e li riordina in base ai punteggi ottenuti.

Performance senza precedenti

Voyage ha recentemente lanciato il suo primo reranker di uso generale, dimostrando prestazioni superiori in un'ampia valutazione che ha coinvolto 27 dataset su vari argomenti, tra cui documentazione tecnica, codice, diritto, finanza, recensioni web, documenti lunghi, medicina e conversazioni. Questo strumento ha superato i concorrenti come Cohere, stabilendo un nuovo standard nel settore.

Importanza della Qualità di Recupero

La Generazione Augmentata da Recupero (RAG) è attualmente la strategia predominante per l'AI generativa nelle aziende, dove informazioni rilevanti vengono recuperate per migliorare le capacità dei modelli di linguaggio di grandi dimensioni (LLM). La qualità del recupero, ovvero la pertinenza dei documenti recuperati, influisce notevolmente sulla qualità delle risposte finali. Con il nuovo endpoint API del reranker di Voyage, è possibile integrare facilmente questo strumento nel proprio stack RAG, migliorando sia la qualità del recupero che quella delle risposte.

Funzionamento del Reranker

Il reranker viene utilizzato come fase di raffinamento in un sistema di recupero a due stadi. Nella prima fase, metodi basati su embedding o algoritmi di ricerca lessicale come BM25 e TF-IDF generano un ampio set di risultati iniziali. Successivamente, il reranker valuta i punteggi di rilevanza tra la query e i documenti candidati, selezionando il sottoinsieme più pertinente.

Vantaggi del Cross-Encoding

I rerankers sono reti neurali di tipo cross-encoder che eccellono nell'elaborare coppie di query-documento insieme, catturando interazioni complesse. A differenza degli approcci basati su embedding, dove le interazioni sono limitate alla comparazione della similarità coseno, i rerankers forniscono punteggi di rilevanza più precisi grazie alla loro analisi approfondita.

Scalabilità e Modularità

Il sistema di recupero a due stadi sfrutta i vantaggi tra ricerca basata su embedding e rerankers. Sebbene i rerankers offrano una qualità superiore, il costo computazionale aumenta linearmente con il numero di documenti candidati. Pertanto, sono più efficaci quando si lavora con un numero relativamente ridotto di documenti (ad esempio, 100 o meno).

Il reranker di Voyage è compatibile con qualsiasi metodo di ricerca di prima fase, sia esso basato su vettori o lessicale, facilitando la sua integrazione come passo aggiuntivo in qualsiasi sistema di recupero esistente.

Caratteristiche del Reranker di Voyage

• Prestazioni all'avanguardia: Risultati senza pari su 27 dataset, superando concorrenti in vari settori.
• Lunghezza del contesto estesa: Supporta un contesto di 4K, quasi 8 volte superiore rispetto ai concorrenti, per gestire documenti e query più complessi.
• Prezzi flessibili: Tariffazione basata sui token anziché sulle ricerche, garantendo risparmi nei casi d'uso con documenti più brevi.

Dataset e Metodologia

Voyage ha valutato il reranker su 27 dataset di recupero, coprendo vari argomenti e corpus. Ogni dataset include un corpus di documenti e un insieme di query. La metodologia prevede il recupero di 100 documenti candidati utilizzando modelli di embedding o ricerca lessicale, seguita dalla selezione dei documenti più rilevanti tramite il reranker.

Risultati e Conclusioni

Pçer diverse combinazioni di metodi di ricerca e rerankers, si evidenzia come Voyage si posizioni come il reranker superiore in tutti i domini. I risultati dettagliati per tutti i 27 dataset sono disponibili in un foglio di calcolo dedicato.

Per scoprire come il reranker di Voyage possa elevare la qualità del recupero, è possibile visitare il loro quickstart. Questo strumento si integra perfettamente con gli altri componenti dello stack RAG.