RAG funciona mejor cuando tus datos ya están ordenados
Todos los proyectos de retrieval que vi salir mal, salieron mal por lo mismo, y no era el modelo.
La demo funciona. Lo apuntás a una carpeta limpia de veinte documentos y contesta bien. Después lo apuntás al disco compartido real y empieza a citar con total seguridad una política que se reemplazó en 2022.
Los chunks malos producen pavadas bien redactadas
Las fuentes desprolijas no hacen fallar el retrieval. Eso sería más fácil. Devuelve algo plausible, bien formateado y equivocado. Si un índice de contenidos cae en el mismo chunk que un párrafo de política real, ese chunk matchea la mitad de tus consultas y no ayuda en ninguna. Arreglar el chunking le gana a otra ronda de prompt engineering, siempre.
Los metadatos trabajan más que los embeddings
Tipo de documento, sistema de origen, fecha de vigencia, dueño. Filtrá por eso antes de rankear cualquier cosa y buena parte de las respuestas malas desaparece, porque el modelo nunca llega a ver la versión vieja. Es ETL sin glamour y es la mayor parte del trabajo.
Logueá qué se recuperó
Guardá los ids de los chunks, los scores y si se activó el camino de fallback. Sin eso, cada queja por una respuesta mala se convierte en un proyecto de arqueología. Con eso, en un minuto sabés si falló el retrieval o si el modelo ignoró lo que le pasaron, y esas dos cosas se arreglan distinto.
Acotado le gana a amplio
RAG aguanta cuando el corpus tiene dueño y las preguntas tienen forma. Buscar todo lo que la empresa escribió alguna vez no es un problema acotado, y ningún reranking lo va a convertir en uno. Prefiero entregar el manual de un solo departamento funcionando bien que todo funcionando más o menos.