Pipeline de inteligencia regulatoria
Clasificación y enriquecimiento con LLMs a escala de documento, en un SaaS en producción.
- Año
- 2023 — actualidad
- Rol
- Ingeniero senior en el equipo de plataforma de datos
- Stack
- Python FastAPI Airflow PostgreSQL MongoDB LLMs AWS
Problema
Los clientes enterprise necesitan saber cuáles de entre miles de documentos regulatorios y noticias les afectan de verdad. La clasificación que respondía a esa pregunta era un cuerpo enorme de reglas mantenidas a mano: caro de cambiar, imposible de razonar y alejándose poco a poco de cómo pensaban el problema los analistas.
Enfoque
Sustituí etapas concretas de ese conjunto de reglas por clasificación con LLMs, construida alrededor de la evaluación y no de la intuición: un conjunto etiquetado a partir de decisiones reales de analistas, un harness que puntúa cada combinación de prompt y modelo contra él, y una columna de coste al lado de la de precisión. Varias etapas acabaron en un modelo más pequeño y barato cuando los números mostraron que igualaba al grande en la tarea que importaba.
Resultado
Etapas de clasificación que antes costaban semanas de escribir reglas ahora son un cambio de prompt y una ejecución de evaluación. En el mismo periodo, el procesado batch de informes se movió a Airflow, convirtiendo un job opaco de varias horas en tareas observables y reintentables por separado.
La evaluación es el producto
Elegir modelo es la decisión menos interesante. Lo que hace desplegable una etapa con LLM es tener forma de responder “¿esto es mejor que lo que teníamos?” antes de que llegue a un cliente. Construir el harness de evaluación primero hizo que cambiar de modelo más adelante fuese un experimento de una línea en lugar de una negociación.
Qué puedo y qué no puedo enseñar
Este trabajo está bajo NDA, así que esta página describe forma y resultado, no interioridades: sin datos de clientes, sin prompts propietarios, sin diagramas de arquitectura interna. Encantado de explicar el razonamiento de ingeniería en una entrevista.