RAG: scegliere come cercare e rispondere.

Le due misure usate in tutto il progetto. La recall conta quante fonti giuste compaiono fra i primi dieci risultati; l'nDCG premia anche la posizione: una fonte giusta in cima vale più di una in fondo alla lista.

def recall_at(ranked_ids, relevant, k):
    return len(set(ranked_ids[:k]) & relevant) / len(relevant)


def ndcg_at(ranked_ids, relevant, k):
    dcg = sum(1 / math.log2(rank + 2)
              for rank, pid in enumerate(ranked_ids[:k]) if pid in relevant)
    ideal = sum(1 / math.log2(rank + 2) for rank in range(min(k, len(relevant))))
    return dcg / ideal if ideal else 0.0

Da scripts/run_d1_pilot.py.

Ogni brano dell'archivio diventa un vettore una volta sola; a ogni domanda si codifica solo la domanda e la si confronta con tutti i brani con un prodotto scalare. La versione del modello è fissata, perché un aggiornamento dei pesi cambierebbe i risultati.

self.model = SentenceTransformer(model_name, revision=revision, device="cpu")

# Vettori normalizzati a lunghezza 1: il prodotto scalare è la similarità coseno.
self.embeddings = self.model.encode(
    [p.indexed_text for p in passages],
    batch_size=batch_size,
    normalize_embeddings=True,
)

def search(self, query, top_k=10):
    query_vector = self.model.encode(
        [self.query_instruction + query], normalize_embeddings=True)[0]
    scores = self.embeddings @ query_vector      # la domanda contro tutti i brani
    order = np.argsort(-scores, kind="stable")[:top_k]
    return [RankedPassage(self.passages[i].passage_id, float(scores[i])) for i in order]

Da src/retrieval.py.

Nella configurazione finale ho mantenuto fissi modelli e domande; ho variato solo quanti brani passare al reranker.

for d in RERANK_DEPTHS:  # 20, 30, 50, 60
    per_q = []
    for i, g in enumerate(gold_ranks):
        order = np.argsort(-sc[i][:d], kind="stable")
        pos = {int(p): r + 1 for r, p in enumerate(order)}
        per_q.append(metrics([pos[r - 1] if r <= d else r for r in g]))
    record(f"reranking sui primi {d}", per_q)

Adattato da esperimenti/studio-embedding-retrieval/16_configurazione_finale.py.