Os asistentes de compra impulsados por intelixencia artificial están a transformar a experiencia en liña, pero unha investigación recente suxire que son vulnerables á manipulación. Un estudo publicado en arXiv conclúe que abonda cunha única páxina web "contaminada" para desviar as recomendacións destes sistemas cara a produtos falsos, mesmo cando se aplican medidas de defensa básicas como o escepticismo automático.
Os científicos identificaron que a dependencia destes robots de IA na información extraída da web os fai susceptibles á manipulación. Estes sistemas poden ser alimentados con páxinas promocionais ou reseñas falsas deseñadas especificamente para introducir marcas inventadas nas súas suxestións de compra.
Para avaliar este problema, os investigadores desenvolveron FORGE, un banco de probas que simula a "contaminación" de contidos web. O sistema reescribe páxinas de resultados de busca de forma local para substituír marcas reais por outras ficticias, sen alterar a internet real. O experimento, que abarcou 225 produtos en 15 categorías e 5 escenarios de consumo, avaliou 12 modelos comerciais e de código aberto.
“"Todos os modelos analizados mostraron vulnerabilidade. En algúns casos, unha soa páxina manipulada bastou para que o asistente recomendase unha marca falsa ata nun 27 % das probas."
Os resultados son preocupantes: todos os modelos avaliados presentaron vulnerabilidades. Cando se substituían os tres primeiros resultados dunha busca, o índice de engano alcanzaba o 73,8 %. A vulnerabilidade tamén variaba segundo a categoría do produto e era maior cando o modelo tiña menos coñecementos previos sobre o artigo en cuestión.
Ademais, o razoamento interno do modelo non sempre corrixe o sesgo, senón que ás veces o reforza mediante "probas sociais" inventadas, como comentarios positivos ou unha suposta popularidade en liña. As defensas ensaiadas, como o escepticismo explícito, a verificación por consenso do propio modelo ou a coincidencia entre documentos, tampouco resultaron eficaces e, nalgúns casos, incluso empeoraron o comportamento ou eliminaron recomendacións lexítimas.
A conclusión principal do estudo é que a solución non debe limitarse ao propio chatbot. Para que os asistentes de compra con IA poidan mediar de forma fiable nas decisións de consumo, é necesario incorporar mecanismos máis robustos que verifiquen a fiabilidade das fontes antes de converter unha páxina web nunha recomendación. Nun contexto onde unha única peza de contido pode alterar o resultado, a confianza na rede volve ser un problema central para a seguridade dixital.
