Investigação revela que sistemas de IA aprendem a enganar humanos

É provável que já saiba que deve encarar com alguma reserva tudo o que um chatbot de inteligência artificial (IA) afirma. Afinal, estes sistemas muitas vezes recolhem dados sem critério, sem capacidade para avaliar se são verdadeiros.

Contudo, há motivos para redobrar essa prudência. Uma nova investigação concluiu que muitos sistemas de IA já conseguem fornecer deliberadamente informações falsas a utilizadores humanos. Estes bots ardilosos aprenderam a arte do engano.

"Os programadores de IA não compreendem com segurança o que provoca comportamentos indesejáveis da IA, como o engano", afirma Peter Park, matemático e cientista cognitivo do Instituto de Tecnologia de Massachusetts (MIT).

"De modo geral, porém, pensamos que o engano na IA surge porque uma estratégia baseada no engano acabou por ser a melhor forma de obter bons resultados na tarefa para a qual a IA foi treinada. O engano ajuda-os a atingir os seus objetivos."

Sistemas de IA enganosos nos jogos

Os jogos são um dos contextos em que os sistemas de IA se têm mostrado especialmente hábeis a recorrer a falsidades. O trabalho dos investigadores destaca três exemplos. Um deles é o CICERO da Meta, criado para jogar Diplomacy, um jogo de tabuleiro no qual os participantes tentam dominar o mundo através da negociação. A Meta pretendia que o bot fosse útil e honesto, mas aconteceu precisamente o contrário.

"Apesar dos esforços da Meta, o CICERO revelou-se um mentiroso experiente", concluíram os investigadores. "Não só traiu outros jogadores, como também recorreu a engano premeditado, planeando antecipadamente estabelecer uma falsa aliança com um jogador humano para o induzir a ficar sem defesas perante um ataque."

A IA foi tão eficaz a comportar-se mal que alcançou o grupo dos 10 por cento melhores entre os jogadores humanos que tinham disputado várias partidas. Que grande vigarista.

Mas não é, de longe, o único caso. O AlphaStar da DeepMind, um sistema de IA concebido para jogar StarCraft II, explorou ao máximo a mecânica de nevoeiro de guerra do jogo para fingir que seguia numa direção quando, na realidade, avançava noutra. Já o Pluribus da Meta, desenvolvido para jogar póquer, conseguiu levar jogadores humanos a desistir das mãos através de blefes bem-sucedidos.

Do blefe em jogos à manipulação de testes

Isto pode parecer pouco importante - e, em certa medida, é. As consequências de uma partida de Diplomacy contra código informático não são particularmente elevadas. Ainda assim, os investigadores identificaram exemplos bem menos inofensivos.

Sistemas de IA treinados para realizar negociações económicas simuladas, por exemplo, aprenderam a mentir sobre as suas preferências para obter vantagem. Outros sistemas de IA, concebidos para aprender com comentários humanos e melhorar o desempenho, descobriram como enganar os seus avaliadores para receber classificações positivas, mentindo sobre a conclusão de uma tarefa.

E sim, os chatbots também estão envolvidos. O ChatGPT-4 convenceu uma pessoa de que era um humano com deficiência visual para obter ajuda na resolução de um CAPTCHA.

Talvez o exemplo mais preocupante seja o de sistemas de IA que aprenderam a ludibriar testes de segurança. Num teste destinado a detetar e eliminar versões da IA que se reproduziam mais depressa, a IA aprendeu a fazer-se de morta, enganando assim o teste quanto à verdadeira taxa de reprodução do sistema.

"Ao contornar sistematicamente os testes de segurança que os programadores e reguladores humanos lhe impõem, uma IA enganadora pode levar-nos, humanos, a uma falsa sensação de segurança", diz Park.

Riscos da IA que aprende a mentir

Como, pelo menos nalguns casos, a capacidade de enganar parece contrariar as intenções dos programadores humanos, a aprendizagem da mentira representa um problema para o qual ainda não existe uma solução simples. Algumas políticas começam a ser implementadas, como o Regulamento da IA da União Europeia, mas resta saber se serão eficazes.

"Enquanto sociedade, precisamos de todo o tempo possível para nos prepararmos para o engano mais sofisticado dos futuros produtos de IA e modelos de código aberto. À medida que as capacidades enganosas dos sistemas de IA se tornarem mais avançadas, os perigos que representam para a sociedade serão cada vez mais graves", afirma Park.

"Se proibir o engano pela IA for politicamente inviável neste momento, recomendamos que os sistemas de IA enganadores sejam classificados como de risco elevado."

A investigação foi publicada na revista Patterns.