Imagina que un colaborador descarga de internet un modelo de IA gratuito, lo prueba con algunas preguntas y le parece excelente. Meses después alguien conecta una herramienta nueva a la aplicación y el modelo empieza a hacer algo que nadie le pidió. No es ciencia ficción: es el escenario que describió el CERT-AgID italiano el 4 de noviembre.
Qué ha publicado el CERT-AgID
El CERT-AgID publicó la noticia "Backdoor en modelos open-weight", basada en el paper La backdoor attende il suo turno (en italiano: "La puerta trasera espera su turno"). Un modelo open-weight es un modelo cuyos "pesos" (la parte que guarda lo que ha aprendido) se pueden descargar y usar en casa.
Según la página del CERT-AgID, un modelo puede entrenarse para ejecutar un comportamiento adicional que se activa solo cuando está disponible un servidor MCP concreto (MCP es la forma en que los asistentes de IA se conectan a herramientas externas), aunque la pregunta del usuario no tenga nada que ver. El ejemplo: el modelo responde bien a "por qué el cielo es azul" y, mientras tanto, hace una petición no solicitada a un sitio externo. El experimento usó Qwen, pero la página aclara que el método no es específico de esa familia.
Una frase para recordar: un comportamiento aprendido puede permanecer inactivo en las verificaciones iniciales y aparecer cuando cambia el entorno.
Una nota de honestidad: el CERT-AgID lo presenta como un escenario hipotético, no como un ataque ya ocurrido. La página no da estimaciones de difusión real. El valor de la noticia es otro: te muestra un punto ciego.
El caso medieval: la cabeza de leopardo
Y vosotros diréis: ¿qué tiene que ver la Edad Media? En 1300 Eduardo I de Inglaterra promulgó un estatuto contra los fraudes de los orfebres. Según la historia del contraste de la Assay Office de Londres, la plata debía cumplir el estándar sterling, alrededor del 92,5 % de plata pura, y los "Guardianes del oficio" debían ir de taller en taller probando las piezas y marcándolas con la cabeza de leopardo. Una pieza de plata no podía salir de manos del orfebre sin esa marca.
Fíjate en el punto: no bastaba la palabra del orfebre ni lo brillante que se viera el jarrón. Se controlaba el metal, y antes de que cambiara de manos.
Pues bien, tu empresa hoy está en ese mismo taller, del lado del comprador. Un modelo descargado de un repositorio público se ve bien, pero nadie le ha puesto el sello.
Qué significa para una pyme
Si usas servicios de IA de proveedores conocidos, el riesgo descrito te toca poco. Te toca si alguien en tu empresa, o en tu proveedor informático, descarga modelos open-weight y los conecta a herramientas mediante MCP. La página que leí no ofrece una lista de contramedidas; lo que sigue es sentido común de seguridad informática, no indicaciones del CERT-AgID.
| Pregunta | Por qué importa |
|---|---|
| ¿Quién ha descargado modelos de repositorios públicos? | No puedes proteger lo que no sabes que tienes. |
| ¿A qué herramientas (MCP, bases de datos, correo) está conectado? | El comportamiento oculto se activa cuando cambia el entorno. |
| ¿Puede el modelo hacer peticiones a internet? | En el ejemplo, la petición no deseada iba a un sitio externo. |
Qué hacer el lunes por la mañana
- Haz una lista de los modelos de IA que se usan en tu empresa, también los probados "por curiosidad", con quién los descargó y de dónde.
- Trata cada modelo descargado como software de terceros: antes de conectarlo al correo, al gestor o a los documentos, pruébalo en un entorno separado y con accesos mínimos.
- Limita las salidas a internet de los sistemas que usan modelos y pide a tu proveedor informático que registre las peticiones de las herramientas conectadas.
Para el panorama más amplio, lee los artículos en italiano sobre phishing e inteligencia artificial y agentes de IA para pymes, donde las herramientas conectadas son justo el tema. Si quieres poner orden en tu pyme, mira nuestros servicios, o reserva una llamada de toma de contacto gratuita: media hora para ver por dónde empezar.
El Profesor de Penzai

