mcp-probe
En desarrolloPruebas guionadas para servidores MCP: describes las llamadas en YAML y obtienes pasa/falla en CI
Rol: Desarrollador en solitario
En solitario · Desde nov 2026 · Repo público
Una herramienta de línea de comandos que arranca un servidor MCP por stdio, habla con él como un cliente e informa qué comprobaciones pasaron. Sale con código distinto de cero si algo falla, así que puede bloquear un pull request.
Problema
Yo seguía publicando herramientas MCP y no tenía una forma barata de notar que un refactor cambió la salida de una herramienta o dejó de rechazar entradas malas. Una herramienta colgada es el peor caso: un cliente que solo espera un fallo no la distingue de un error limpio.
Solución
Un archivo YAML nombra el comando del servidor y las llamadas a hacer, cada una con una expectativa: debe funcionar o fallar y, opcionalmente, su texto debe contener una cadena, cumplir un patrón o ser igual a un valor de referencia. Las comprobaciones incluidas cubren el handshake, los esquemas de las herramientas, las herramientas desconocidas y si el servidor sigue respondiendo al final. Un timeout es un fallo propio, así que un error esperado no se cumple con un cuelgue.
Todavía no
Solo stdio y solo herramientas: sin transporte HTTP, recursos ni prompts. Compara el primer bloque de texto, no la salida estructurada. No valida cada mensaje contra el esquema del protocolo y no está publicada en npm.
Puntos clave de arquitectura
- Una llamada fallida puede ser un error de protocolo lanzado o un resultado con isError según el servidor, y la herramienta acepta ambos, así que no falla servidores que están bien
- Una llamada que nunca responde se informa como timeout y nunca cuenta como fallo esperado. Hay una prueba con un servidor que se cuelga a propósito
- Las pruebas arrancan un pequeño servidor MCP real y otro que sale durante el handshake, en vez de simular el cliente
- El ejemplo corre contra el servidor de referencia oficial fijado a una versión y con los scripts de instalación desactivados: 11 comprobaciones, todas pasan. Eso dice que el servidor de referencia se comporta como la herramienta espera, no que encontró errores en él
- Una auditoría independiente encontró falsos aciertos en mi propia herramienta: un typo en el YAML o en el nombre de una herramienta contaba como éxito, y el servidor heredaba todo el entorno del proceso padre. Todo corregido con pruebas que fallaron primero, y los archivos de sondeo ahora son estrictos