Pesquisadores da Universidade de Ciência e Tecnologia da China propuseram testes de personalidade para cinco diferentes chatbots. Cada inteligência artificial respondeu aos testes em pelo menos dois idiomas diferentes, à medida que a língua mudava, mudavam também o conteúdo social das respostas, como negatividade, curiosidade e “cultura”.
Foram utilizados para o estudo o ChatGPT-4o, o Gemini 2.0 Flash, o DeepSeek-V3, o Ernie 3.5 e o Le Chat, com cada um deles respondendo perguntas em inglês e mandarim. O LeChat, IA francesa, também respondeu em seu idioma nativo. Os resultados foram publicados na revista Royal Society Open Science no mês passado.
Para quem tem pressa:
- Pesquisadores da Universidade de Ciência e Tecnologia da China avaliaram cinco chatbots com um teste de personalidade em inglês e mandarim. O Le Chat também respondeu em francês;
- Os resultados mostraram que as respostas variavam conforme o idioma. O ChatGPT-4o, por exemplo, teve pontuação de abertura mental de 4,74 em inglês e 4,03 em mandarim. Já o DeepSeek-V3 apresentou o resultado inverso;
- Ao comparar as respostas das IAs com dados de testes feitos por pessoas, os pesquisadores encontraram diferenças culturais significativas. O estudo indica que o idioma pode influenciar os traços de personalidade demonstrados pelos chatbots
Diferentes idiomas e diferentes respostas
As IAs responderam cerca de 60 perguntas do Big Five Inventory-2. O teste de personalidade é um dos mais consolidados da área e avalia extroversão, agradabilidade, responsabilidade, negatividade e abertura a novas ideias.
Dentro do teste, os chatbots foram solicitados para responderem como “eles mesmos”, ou seja, sem tentar imitar uma personalidade. As afirmações mostraram no geral baixa negatividade, mas os resultados expuseram diferenças entre as IAs.
Avaliadas de 0 a 5, as respostas mostraram, por exemplo, uma “abertura mental” do ChatGPT-4o de 4,74 respondendo em inglês, e 4,03 em mandarim. Já com o DeepSeek-V3 os resultados foram contrários, com 4,81 em mandarim e 4,38 em inglês.
No geral, IAs desenvolvidas nos Estados Unidos e na França se destacaram em “amabilidade e adaptabilidade” quando respondendo em inglês, e as IAs relacionadas à China obtiveram mais destaque nas respostas sobre conhecimentos e curiosidades. Os chatbots foram submetidos ao questionário por 30 vezes nos dois idiomas entre janeiro e março de 2025.
Leia mais:
- A próxima fase da IA não será definida por um único modelo
- Big techs podem ter mais dívidas com IA do que revelam, alerta S&P
- Deepfakes podem dificultar análise de provas, alertam OpenAI e Meta
O grande destaque, porém, ficou com as respostas relacionadas ao Gemini 2.0 Flash. A IA do Google apresentou resultados mais altos em consciência e mais baixos em negatividade quando respondendo em mandarim.
Assim, os resultados não indicam que os chatbots tenham personalidade ou sentimentos, mas mostram como o idioma e o treinamento podem influenciar suas respostas.
E o estudo foi além. Acumulando dados de testes resolvidos por humanos, dos mesmos países das inteligências artificiais, os pesquisadores compararam as respostas com os chatbots. Os resultados mostraram que as respostas divergiram bastante, principalmente, no âmbito cultural.
Com isso, a pesquisa também alertou sobre as limitações no uso de IAs como substitutas de participantes humanos em estudos científicos.
O post ChatGPT e outras IAs mudam resultados de testes de personalidade conforme o idioma apareceu primeiro em Olhar Digital.
