Cuando las pruebas clásicas dejaron de ser suficientes
En ocasiones recuerdo (con cierta añoranza) aquel 2004 en el que empezamos a trabajar con pruebas automáticas. Por aquel entonces el panorama digital era muy diferente: las herramientas eran rudimentarias y complicadas de echar a andar, cada prueba requería tiempo e hilar muy fino con los identificadores con los que interactuar y que todo funcionara en el CI/CD de turno se convertía en un acto de fe. Si te las viste con Selenium en aquellos tiempos sabes de lo que hablo. Pero a cambio teníamos la satisfacción de probar más rápido y hacerlo “antes”, pudiendo dedicar tiempo manual a pruebas más relevantes. Esa era nuestra responsabilidad. Volviendo al 2026 y tratando con la inteligencia artificial en forma de bots, agentes, generadores de código... me pregunto con frecuencia: ¿quién es el responsable de probarlos? ¿Quién asegura que esto “funcione” correctamente? Y es que hoy hablamos sin pestañear de asistentes que entienden, razonan, toman decisiones, llaman APIs o se coordinan con otros sistemas. Pero en todo este hype tecnológico hay un detalle que a veces pasa desapercibido: estos agentes no son y no funcionan como el software clásico. Y sin embargo, siguen necesitando aquello que ha sido ADN de Redsauce desde nuestros inicios: calidad.
El día que una IA se inventó cosas
Probablemente recordéis la primera vez que una IA os devolvió una respuesta sin pies ni cabeza. En mi caso no era un bug en el sentido tradicional, ese que reportabas con un escenario, unas precondiciones, unos pasos a reproducir y ¡bum! ahí estaba. Aquí no había reproducibilidad, simplemente decidió… inventar. No mentir, porque no tenía esa intención (espero), pero sí rellenar huecos con algo que sonaba creíble si no sabías de qué estaba hablando. En ese momento te das cuenta de que todo ha cambiado, que el reto ya no es corregir líneas de código, sino asegurar comportamiento y que el agente: Es consistente, útil, cumple las reglas y es honesto con sus límites. No se desvía. No engaña. No alucina. Es seguro. No tiene sesgos. No es tóxico. …y que sea así siempre. Definitivamente, necesitábamos un nuevo tipo de pruebas.
De pruebas funcionales a pruebas de criterio
Durante años, nuestras suites de QA habían verificado condiciones claras: si haces esto, debe pasar aquello. Causa - efecto. Input - output. Pero con los agentes todo cambia. La respuesta correcta no siempre es única, no es determinista. La diferencia a veces es un rango, a veces es un matiz, a veces es evitar una tentación (como inventar datos). Y otras veces es seguir las reglas que se han definido, desde el tono hasta la longitud de la respuesta. Así que, de nuevo, tocaba reinventarse. Ya no solo se trataba de comprobar que una función respondía; se trataba de validar que respondía de la forma adecuada. Con precisión, coherencia y responsabilidad. Con todo esto en mente, nos pusimos manos a la obra diseñando baterías de pruebas que mezclaban prompts, escenarios conversacionales, límites, trampas intencionadas, instrucciones contradictorias, casos de estrés... El objetivo era saber no solo el happy path de qué podía hacer el agente, sino cómo reaccionaba cuando las consultas se salen del guión, dónde dudaba, dónde fallaba o dónde era extremadamente creativo.
¿Estamos ante un nuevo oficio?
Evidentemente, dado que la IA en cualquier de sus formas es un “producto” relativamente recién llegado, las formas de probarlo han de ser por fuerza diferentes a las tradicionales. Pero, en esencia, estamos haciendo lo que siempre hemos hecho: garantizar la calidad de un producto. Solo que ahora la calidad no se medía en page-objects o en funcionalidades, sino en comportamientos, criterios o decisiones. Los agentes de IA no vienen con manual de instrucciones y ninguno garantiza respuestas correctas y a los disclaimer que podemos ver en ellos me remito:
Pero, ¿podemos (o debemos) asumir estas posibles respuestas erráticas como si la IA fuese un misterio insondable? Que no digo que no lo sea, y cada vez más. Pero de lo que se trata es de asegurarnos en la medida de lo posible que dentro de su rango de respuestas, éstas son coherentes y fieles a unos principios. Un reto similar al que nos enfrentamos en 2004… y con una velocidad endiablada.
Y con estos mimbres…
…hemos hecho un buen cesto. Aprovechando la experiencia ganada combinando herramientas, prompts específicos, análisis de resultados y marcos de evaluación para agentes de IA, hemos construido una metodología que nos permite:
- Validar precisión, coherencia y responsabilidad.
- Detectar invenciones, desviaciones, incumplimiento de reglas, alucinaciones…
- Probar variantes, comparar modelos y medir regresiones.
- Integrar todo esto en procesos CI/CD.
Básicamente, aplicamos al mundo de la IA la misma obsesión por la calidad con la que hemos navegado las últimas dos décadas. Tanto si estás empezando a trabajar con agentes, como si ya tienes uno en producción o simplemente quieres asegurarte de que tus sistemas responden correctamente, me encantaría saber de ti. Este es un campo nuevo y apasionante, y nos gustaría explorarlo contigo. Escríbenos a info@redsauce.net o utiliza el formulario de contacto y estaremos encantados de responderte personalmente. ¡Hablemos!