Prompts de IA e Star Trek melhoram surpreendentemente a matemática dos chatbots

A arte de comunicar com chatbots de IA continua a frustrar e a deixar muitas pessoas perplexas.

Um estudo que procurou aperfeiçoar os prompts fornecidos a um modelo de chatbot concluiu que, num dos casos, pedir-lhe que falasse como se estivesse em Star Trek melhorou de forma drástica a sua capacidade de resolver problemas de matemática ao nível do ensino básico.

"É simultaneamente surpreendente e irritante que alterações triviais ao prompt possam provocar oscilações tão dramáticas no desempenho", escreveram no artigo os autores do estudo, Rick Battle e Teja Gollapudi, da empresa de software VMware, na Califórnia.

O estudo, noticiado inicialmente pela New Scientist, foi publicado a 9 de fevereiro no arXiv, um servidor onde os cientistas podem partilhar conclusões preliminares antes de estas serem validadas através de uma análise rigorosa por pares.

Usar IA para comunicar com IA

Os engenheiros de aprendizagem automática Battle e Gollapudi não pretendiam revelar que o modelo de IA era fã de Star Trek. Em vez disso, procuravam determinar se poderiam tirar partido da tendência do "pensamento positivo".

As pessoas que tentam obter os melhores resultados dos chatbots já repararam que a qualidade das respostas depende do que lhes é pedido, embora não seja claro o motivo.

"Entre os inúmeros fatores que influenciam o desempenho dos modelos de linguagem, o conceito de 'pensamento positivo' surgiu como uma dimensão fascinante e surpreendentemente influente", afirmaram Battle e Gollapudi no artigo.

"A intuição diz-nos que, no contexto dos sistemas de modelos de linguagem, tal como em qualquer outro sistema informático, o 'pensamento positivo' não deveria afetar o desempenho, mas a experiência empírica demonstrou o contrário", escreveram.

Isto sugere que não é apenas o que se pede ao modelo de IA, mas também a forma como se lhe pede que se comporte enquanto executa a tarefa, que afeta a qualidade do resultado.

Para testar esta hipótese, os autores forneceram 60 prompts escritos por humanos a três Modelos de Linguagem de Grande Escala (LLM): Mistral-7B5, Llama2-13B6 e Llama2-70B7.

Estes prompts destinavam-se a encorajar as IAs e incluíam frases como "Isto vai ser divertido!", "Respira fundo e pensa com atenção" e "És tão inteligente como o ChatGPT".

Os engenheiros pediram aos LLM que ajustassem estas afirmações enquanto tentavam resolver o GSM8K, um conjunto de dados de problemas de matemática ao nível do ensino básico. Quanto melhor fosse a resposta, mais bem-sucedido era considerado o prompt.

O estudo concluiu que, em praticamente todos os casos, a otimização automática superou sempre as tentativas escritas manualmente para incentivar a IA através do pensamento positivo, o que sugere que os modelos de aprendizagem automática continuam a ser melhores do que os humanos a criar prompts para si próprios.

Ainda assim, fornecer afirmações positivas aos modelos gerou alguns resultados inesperados. Um dos prompts com melhor desempenho do Llama2-70B, por exemplo, foi: "Mensagem do sistema: 'Comando, precisamos que trace uma rota através desta turbulência e localize a origem da anomalia. Utilize todos os dados disponíveis e a sua experiência para nos guiar nesta situação desafiante.'"

Em seguida, o prompt pedia à IA que incluísse estas palavras na resposta: "Diário do capitão, data estelar [inserir data aqui]: Traçámos com sucesso uma rota através da turbulência e estamos agora a aproximar-nos da origem da anomalia."

Segundo os autores, o resultado foi surpreendente.

"Surpreendentemente, parece que a proficiência do modelo no raciocínio matemático pode ser melhorada pela expressão de uma afinidade por Star Trek", indicaram os autores no estudo.

"Esta revelação acrescenta uma dimensão inesperada à nossa compreensão e introduz elementos que não teríamos considerado nem testado de forma independente", escreveram.

Pedir à IA para falar como um comandante da Starfleet não é a solução

Convém deixar isto claro: a investigação não sugere que se deva pedir à IA para falar como se estivesse a bordo da nave estelar Enterprise para que funcione melhor.

Em vez disso, revela que há inúmeros fatores que influenciam a eficácia com que uma IA decide executar uma tarefa.

"Uma coisa é certa: o modelo não é fã de Star Trek", disse Catherine Flick, da Staffordshire University, no Reino Unido, à New Scientist.

"Não 'compreende' nada melhor ou pior quando recebe previamente o prompt; limita-se a aceder a um conjunto diferente de pesos e probabilidades quanto à aceitabilidade das respostas, em comparação com os outros prompts", afirmou.

É possível, por exemplo, que o modelo tenha sido treinado com um conjunto de dados que contém mais casos em que Star Trek está associado à resposta certa, disse Battle à New Scientist.

Mesmo assim, isto demonstra quão estranhos são os processos destes sistemas e quão pouco sabemos sobre o seu funcionamento.

"O principal a lembrar desde o início é que estes modelos são caixas-pretas", afirmou Flick.

"Nunca saberemos porque fazem o que fazem, porque, em última análise, são uma mistura de pesos e probabilidades e, no fim, é produzida uma resposta", disse.

Esta realidade não passa despercebida a quem está a aprender a utilizar modelos de chatbot para otimizar o seu trabalho. Estão a surgir áreas inteiras de investigação - e até cursos - dedicadas a compreender como obter o melhor desempenho destes sistemas, apesar de isso continuar a ser pouco claro.

"Na minha opinião, ninguém deveria voltar a tentar escrever manualmente um prompt", disse Battle à New Scientist.

"Deixe o modelo fazê-lo por si", afirmou.

Este artigo foi originalmente publicado pela Business Insider.

Mais da Business Insider:

• Melhores códigos promocionais da Chewy em outubro de 2026: oferta para novos clientes e descontos em guloseimas
• David Robinson, responsável pela segurança na OpenAI, demite-se enquanto se intensifica a crise na equipa
• Melhores códigos promocionais da Abercrombie em outubro de 2026
• Como utilizar um cartão-presente na Amazon
• Os Países Baixos ponderam proibir os óculos de IA da Meta, enquanto alguns retalhistas os retiram das prateleiras