evalgate
En desarrolloUna puerta de CI para apps RAG y LLM: un número que se mueve cuando se rompe la calidad de las respuestas
Rol: Desarrollador en solitario
En solitario · Desde nov 2026 · Repo público
Un conjunto de evaluación versionado, una línea base guardada y un comando que sale con código distinto de cero cuando la calidad cae más de una tolerancia. Corre sin claves de API y da el mismo resultado siempre, así que puede correr en cada pull request.
Problema
Los cambios de prompt y de recuperador suelen mezclarse con "se ve bien en los tres ejemplos que probé". Quería para la calidad de las respuestas lo mismo que una suite de pruebas da al código.
Solución
El repo incluye una pequeña app RAG de referencia (un corpus original de 25 pasajes, un recuperador BM25 en la biblioteca estándar y un respondedor extractivo) con 41 preguntas de evaluación, 7 sin respuesta en el corpus. Las métricas son deterministas y sin conexión: hit@k, MRR, corrección de citas, precisión de citas, si la respuesta contiene el dato y precisión al abstenerse. La puerta imprime una tabla con línea base, actual, diferencia y tolerancia por métrica.
Todavía no
El corpus y las preguntas son míos y pequeños, así que los números dicen que la puerta funciona, no que una app real sea buena. La precisión de abstención de la línea base es 0,71, que es baja y la dejé así. No está publicada en PyPI.
Puntos clave de arquitectura
- Degradar la app de referencia a propósito hace fallar la puerta con una diferencia legible: el tokenizador por espacios baja la corrección de citas de 0,94 a 0,50 y top_k=1 baja hit@k de 1,00 a 0,97. La salida real está en el repo
- Una métrica que sube no es un fallo: la precisión al abstenerse subió con el tokenizador por espacios, y el informe la muestra en vez de ocultarla
- 146 pruebas verifican números exactos y cubren corpus vacío, unicode, empates en el ranking, límites de tolerancia, línea base ausente, NaN e infinito, y líneas mal formadas con su número de línea
- Una auditoría independiente mostró que la puerta se podía pasar citando todos los pasajes, borrando preguntas del conjunto de evaluación o con --tolerance inf. Corregido: una métrica de precisión de citas, un tope de longitud de respuesta, el hash del conjunto guardado en la línea base y comprobaciones de números finitos. El código de salida 1 ahora significa solo una regresión
- La métrica con un LLM como juez es solo una interfaz y un ejemplo, desactivada por defecto y sin usarse en CI. No conecté ningún proveedor real