Skip to content
Volver a proyectos

mcp-probe

En desarrollo

Pruebas guionadas para servidores MCP: describes las llamadas en YAML y obtienes pasa/falla en CI

Rol: Desarrollador en solitario

En solitario · Desde nov 2026 · Repo público

TypeScriptMCP SDKVitestGitHub Actions
32
Tests, contra un servidor MCP real
11
Comprobaciones en el ejemplo

Una herramienta de línea de comandos que arranca un servidor MCP por stdio, habla con él como un cliente e informa qué comprobaciones pasaron. Sale con código distinto de cero si algo falla, así que puede bloquear un pull request.

Problema

Yo seguía publicando herramientas MCP y no tenía una forma barata de notar que un refactor cambió la salida de una herramienta o dejó de rechazar entradas malas. Una herramienta colgada es el peor caso: un cliente que solo espera un fallo no la distingue de un error limpio.

Solución

Un archivo YAML nombra el comando del servidor y las llamadas a hacer, cada una con una expectativa: debe funcionar o fallar y, opcionalmente, su texto debe contener una cadena, cumplir un patrón o ser igual a un valor de referencia. Las comprobaciones incluidas cubren el handshake, los esquemas de las herramientas, las herramientas desconocidas y si el servidor sigue respondiendo al final. Un timeout es un fallo propio, así que un error esperado no se cumple con un cuelgue.

Todavía no

Solo stdio y solo herramientas: sin transporte HTTP, recursos ni prompts. Compara el primer bloque de texto, no la salida estructurada. No valida cada mensaje contra el esquema del protocolo y no está publicada en npm.

Puntos clave de arquitectura

  • Una llamada fallida puede ser un error de protocolo lanzado o un resultado con isError según el servidor, y la herramienta acepta ambos, así que no falla servidores que están bien
  • Una llamada que nunca responde se informa como timeout y nunca cuenta como fallo esperado. Hay una prueba con un servidor que se cuelga a propósito
  • Las pruebas arrancan un pequeño servidor MCP real y otro que sale durante el handshake, en vez de simular el cliente
  • El ejemplo corre contra el servidor de referencia oficial fijado a una versión y con los scripts de instalación desactivados: 11 comprobaciones, todas pasan. Eso dice que el servidor de referencia se comporta como la herramienta espera, no que encontró errores en él
  • Una auditoría independiente encontró falsos aciertos en mi propia herramienta: un typo en el YAML o en el nombre de una herramienta contaba como éxito, y el servidor heredaba todo el entorno del proceso padre. Todo corregido con pruebas que fallaron primero, y los archivos de sondeo ahora son estrictos