dominican-tools-mcp
En desarrolloUn servidor MCP con herramientas fiscales y laborales dominicanas, y evaluaciones que comprueban que un modelo las usa bien
Rol: Desarrollador en solitario
En solitario · Desde nov 2026 · Repo público
Un servidor del Model Context Protocol con cinco herramientas de solo lectura: validar un RNC, una cédula o un NCF dominicanos, buscar en el Código de Trabajo y leer un artículo. Reutiliza el código de mis proyectos dgii-helper y del Código de Trabajo, más un conjunto de evaluaciones que miden si las herramientas devuelven lo correcto y si un modelo las usa bien.
Problema
Conectar una herramienta a un modelo es lo fácil. Lo difícil es comprobar que la herramienta responde bien, que su descripción basta para que el modelo la elija y que el modelo no inventa lo que la herramienta no dijo.
Solución
Cada herramienta es de solo lectura, tiene entradas acotadas y una descripción que dice lo que no hace. Encima hay dos tipos de evaluación: una determinista contra respuestas conocidas que corre en el CI, y otra que le da prompts a Gemini con las herramientas reales y comprueba qué herramienta elige y qué contiene la respuesta. El servidor y un cliente MCP real se prueban conectados en memoria, así que se ejercita el protocolo y no solo los métodos.
Todavía no
La evaluación con Gemini son 20 prompts que escribí yo, un modelo pequeño, una corrida y comprobaciones de texto en vez de un juez: muestra que las descripciones no confundieron a ese modelo y no dice nada de otros. La búsqueda es por palabras y falla 7 de las 21 preguntas de prueba. El código está copiado de otros dos repos, no compartido. No consulta ningún servicio externo, corre solo por stdio y no lo probé con ningún cliente MCP de escritorio.
Puntos clave de arquitectura
- 42 pruebas ejecutan el servidor real contra un cliente MCP real por tuberías en memoria. Quitar el tope de longitud de entrada o cambiar los pesos del dígito verificador del RNC rompe tres pruebas cada vez
- Un identificador inválido es una respuesta normal (valid: false y por qué); un uso incorrecto como un valor de 65 caracteres o top = 0 es un error de la herramienta. Los validadores nunca repiten la entrada, así que una cadena hostil no vuelve al modelo como si fuera una instrucción
- Las descripciones dicen lo que las herramientas no hacen (por ejemplo que validar un RNC no consulta a la DGII), y una prueba lo exige, porque la descripción es lo que el modelo lee al elegir
- La evaluación determinista tiene 50 casos: 43 pasan y 7 están marcados como fallos conocidos de la búsqueda por palabras, como el artículo del preaviso. Si un cambio arregla uno, el reporte avisa de la mejora y sale con código distinto de cero hasta quitar la marca
- La evaluación con Gemini corrió 20 prompts: la herramienta correcta en 19 de 19 corridas válidas, el contenido esperado en 19 de 19, y una falsa alarma de mi propia comprobación de números (el artículo escribe la cifra en palabras y el modelo puso 100 %). Dejé la comprobación como estaba en vez de ajustarla hasta que diera cero
- La primera corrida se cortó a los 8 prompts por la cuota del plan gratis. Añadí espera y reintentos y conservé los dos archivos de resultados