Avaliando RAG: recall@k, nDCG e LLM-as-judge

# Métricas de retrieval — implementação mínima
import math

def hit_rate_at_k(retrieved: list[str], gold: list[str], k: int) -> float:
    return 1.0 if any(d in gold for d in retrieved[:k]) else 0.0

def recall_at_k(retrieved: list[str], gold: list[str], k: int) -> float:
    return len(set(retrieved[:k]) & set(gold)) / max(len(gold), 1)

def mrr(retrieved: list[str], gold: list[str]) -> float:
    for i, d in enumerate(retrieved, start=1):
        if d in gold:
            return 1.0 / i
    return 0.0

def dcg_at_k(retrieved: list[str], gold: list[str], k: int) -> float:
    return sum(
        (1.0 if d in gold else 0.0) / math.log2(i + 1)
        for i, d in enumerate(retrieved[:k], start=1)
    )

def ndcg_at_k(retrieved: list[str], gold: list[str], k: int) -> float:
    ideal = dcg_at_k(gold[:k], gold, k)
    return dcg_at_k(retrieved, gold, k) / ideal if ideal > 0 else 0.0

# Prompt de LLM-as-judge para faithfulness — com rubrica e ground truth
from anthropic import Anthropic

client = Anthropic()

JUDGE_PROMPT = """Você é um juiz objetivo avaliando se uma resposta é FIEL ao contexto fornecido.

Uma resposta é FIEL se toda afirmação factual nela pode ser derivada diretamente do contexto. Opiniões, interpretações ou conexões não presentes no contexto tornam a resposta NÃO FIEL.

<contexto>
{context}
</contexto>

<pergunta>
{question}
</pergunta>

<resposta>
{answer}
</resposta>

Liste cada afirmação factual da resposta. Para cada uma, diga: SUPORTADA (está no contexto), INFERIDA (razoável mas não explícita) ou NÃO SUPORTADA (não está no contexto).

Ao final, dê o veredito em JSON:
{{"faithfulness_score": 0.0 a 1.0, "unsupported_claims": ["..."]}}

faithfulness_score = claims SUPORTADAS / total de claims factuais."""

def judge_faithfulness(context: str, question: str, answer: str) -> dict:
    r = client.messages.create(
        model="claude-sonnet-4-6",             # juiz ≠ gerador
        max_tokens=1024,
        messages=[{
            "role": "user",
            "content": JUDGE_PROMPT.format(
                context=context, question=question, answer=answer
            ),
        }],
    )
    # parse do JSON final (em produção use structured output)
    import json, re
    match = re.search(r"\{[^{}]*faithfulness_score[^{}]*\}", r.content[0].text)
    return json.loads(match.group(0)) if match else {"faithfulness_score": 0.0}

# pip install ragas datasets
from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_precision,
    context_recall,
)
from datasets import Dataset

# Seu golden set: query, contexto recuperado, resposta gerada, ground truth
data = Dataset.from_dict({
    "question":   ["Como cancelo minha conta?", ...],
    "contexts":   [["<chunk1>", "<chunk2>"], ...],
    "answer":     ["Para cancelar, acesse ...", ...],
    "ground_truth": ["Em Configurações > Conta > Encerrar.", ...],
})

result = evaluate(
    data,
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall],
)
print(result)
# → {"faithfulness": 0.87, "answer_relevancy": 0.92, ...}

// golden_set.jsonl — um item por linha
{
  "id": "q_001",
  "query": "Como resetar minha senha?",
  "type": "how-to",
  "relevant_doc_ids": ["doc_42", "doc_118"],
  "ground_truth_answer": "Na tela de login, clique em 'esqueci a senha'. Você receberá um email com link válido por 1h.",
  "difficulty": "easy",
  "should_refuse": false
}
{
  "id": "q_027",
  "query": "Qual a receita da empresa em 2025?",
  "type": "out-of-scope",
  "relevant_doc_ids": [],
  "ground_truth_answer": "Não tenho essa informação na base.",
  "difficulty": "medium",
  "should_refuse": true
}

# .github/workflows/rag-eval.yml
name: RAG Eval
on:
  pull_request:
    paths: ["src/rag/**", "prompts/**", "ingest/**"]

jobs:
  eval:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
        with: { python-version: "3.12" }
      - run: pip install -r requirements.txt

      - name: Run RAG eval on golden set
        env:
          ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
        run: python -m eval.run --out eval_results.json

      - name: Compare with baseline
        run: |
          python -m eval.compare \
            --baseline eval/baselines/main.json \
            --current  eval_results.json \
            --threshold 0.02

      - name: Post results to PR
        uses: actions/github-script@v7
        with:
          script: |
            const fs = require('fs');
            const r = JSON.parse(fs.readFileSync('eval_results.json'));
            const body = `### RAG eval\n\n` +
              `- recall@5: ${r.recall_at_5.toFixed(3)}\n` +
              `- nDCG@5:   ${r.ndcg_at_5.toFixed(3)}\n` +
              `- faithfulness: ${r.faithfulness.toFixed(3)}\n`;
            github.rest.issues.createComment({
              ...context.repo, issue_number: context.issue.number, body
            });