Los asistentes de compra impulsados por inteligencia artificial están transformando la experiencia en línea, pero una investigación reciente sugiere que son vulnerables a la manipulación. Un estudio publicado en arXiv concluye que basta una única página web "contaminada" para desviar las recomendaciones de estos sistemas hacia productos falsos, incluso cuando se aplican medidas de defensa básicas como el escepticismo automático.
Los científicos han identificado que la dependencia de estos robots de IA en la información extraída de la web los hace susceptibles a la manipulación. Estos sistemas pueden ser alimentados con páginas promocionales o reseñas falsas diseñadas específicamente para introducir marcas inventadas en sus sugerencias de compra.
Para evaluar este problema, los investigadores desarrollaron FORGE, un banco de pruebas que simula la "contaminación" de contenidos web. El sistema reescribe páginas de resultados de búsqueda de forma local para sustituir marcas reales por otras ficticias, sin alterar la internet real. El experimento, que abarcó 225 productos en 15 categorías y 5 escenarios de consumo, evaluó 12 modelos comerciales y de código abierto.
“"Todos los modelos analizados mostraron vulnerabilidad. En algunos casos, una sola página manipulada bastó para que el asistente recomendara una marca falsa hasta en un 27 % de las pruebas."
Los resultados son preocupantes: todos los modelos evaluados presentaron vulnerabilidades. Cuando se sustituían los tres primeros resultados de una búsqueda, el índice de engaño alcanzaba el 73,8 %. La vulnerabilidad también variaba según la categoría del producto y era mayor cuando el modelo tenía menos conocimientos previos sobre el artículo en cuestión.
Además, el razonamiento interno del modelo no siempre corrige el sesgo, sino que a veces lo refuerza mediante "pruebas sociales" inventadas, como comentarios positivos o una supuesta popularidad en línea. Las defensas ensayadas, como el escepticismo explícito, la verificación por consenso del propio modelo o la coincidencia entre documentos, tampoco resultaron eficaces y, en algunos casos, incluso empeoraron el comportamiento o eliminaron recomendaciones legítimas.
La conclusión principal del estudio es que la solución no debe limitarse al propio chatbot. Para que los asistentes de compra con IA puedan mediar de forma fiable en las decisiones de consumo, es necesario incorporar mecanismos más robustos que verifiquen la fiabilidad de las fuentes antes de convertir una página web en una recomendación. En un contexto donde una única pieza de contenido puede alterar el resultado, la confianza en la red vuelve a ser un problema central para la seguridad digital.
