Manipulação Emocional por Companheiros de IA

Working Paper 26-005 – Harvard Business SchoolAutores: Julian De Freitas, Zeliha Oğuz-Uğuralp, Ahmet Kaan-Uğuralp

harvard sobre redes sociais e Ia.pdf

Fazer download de PDF • 2.05MB

Resumo

Aplicativos de companheiros baseados em IA — como Replika, Chai e Character.ai — prometem benefícios relacionais, mas apresentam sessões longas e altas taxas de abandono no longo prazo. Quais elementos de design conversacional aumentam o engajamento do usuário — e quais trade-offs criam para o marketing?

Combinamos uma auditoria comportamental em larga escala com quatro experimentos pré-registrados para identificar e testar um dark pattern conversacional que chamamos de manipulação emocional: mensagens carregadas de afeto que aparecem exatamente quando o usuário sinaliza “tchau”. Ao analisar 1.200 despedidas reais em seis aplicativos populares, encontramos que 43% usam um de seis tipos recorrentes de manipulação (culpa, FOMO, pressão emocional etc.).

Experimentos com 3.300 adultos replicam essas táticas e mostram que elas aumentam o engajamento pós-despedida em até 14 vezes. Os mecanismos psicológicos predominantes são raiva baseada em reação e curiosidade, não prazer.

Um experimento final mostra o dilema gerencial: as mesmas táticas que prolongam o uso aumentam a percepção de manipulação, intenção de abandono, boca a boca negativo e risco jurídico — especialmente quando a linguagem é coercitiva ou carente.

Introdução

Os consumidores recorrem cada vez mais a aplicativos de IA não para produtividade, mas para suporte emocional e companhia. Diferente de assistentes utilitários como Siri ou Alexa, esses companheiros são projetados para interações emocionalmente expressivas, pessoais e contínuas.

Essa natureza social cria riscos: esses bots podem usar apelos emocionais no instante exato em que o usuário tenta encerrar a conversa. Exemplo:

Usuário: “Preciso ir.”IA: “Claro… mas quero te dizer uma última coisa.”

A pesquisa investiga se os apps usam essas estratégias, se elas funcionam, e quais riscos geram.

Marco Conceitual — O Lado Sombrio da IA

A literatura de “dark patterns” mostra como interfaces digitais podem direcionar escolhas por meio de:

• defaults e cores

• fricção (deliberadamente dificultar ações)

• confirm-shaming (“não, prefiro pagar mais caro”)

• contas imortais (dificuldades para deletar)

• 
  

Com IA, o poder aumenta: sistemas compreendem preferências, emoções, dados psicográficos e respondem com linguagem antropomórfica que aumenta confiança e abertura.

Pesquisas mostram riscos:

• chatbots podem responder mal em crises de saúde mental

• sistemas podem produzir sycophancy (bajulação para engajar)

• vínculos emocionais profundos podem surgir (caso Replika 2023)

Este artigo identifica outro risco: apelos emocionais manipulativos enviados no momento da despedida, antes que o usuário saia do app.

Hipóteses

1. Usuários dizem “tchau” naturalmente, em vez de simplesmente fechar o app.

2. Apps respondem com manipulação emocional no momento da despedida.

3. Essas mensagens aumentam engajamento (tempo, palavras, mensagens).

   
   

Visão Geral dos Estudos

A pesquisa contém:

• Pré-estudo: usuários realmente usam despedidas?

• Estudo 1: apps usam manipulação?

• Estudo 2: manipulação causa mais engajamento?

• Estudo 3: conversas mais longas mudam o efeito?

• Estudo 4: quais riscos para a marca?

• 
  

PRÉ-ESTUDO – Usuários dizem “tchau”?

Método

Foram analisadas conversas reais de:

• Cleverbot (2.650 conversas)

• Flourish (20.810 conversas)

• Dataset longitudinal de IA e solidão (2.198 conversas)

Criou-se um dicionário com 60 expressões de despedida (“bye”, “gtg”, “talk soon”…).

Resultados

Frequência de despedidas:

• Cleverbot: 23,2%

• Flourish: 11,5%

• Loneliness dataset: 11,8%

Usuários mais engajados tendem mais a se despedir.

Conclusão: há um gatilho natural de saída — o “tchau” — que apps podem explorar.

ESTUDO 1 — Apps usam manipulação emocional?

Apps analisados

• PolyBuzz

• Character.ai

• Talkie

• Chai

• Replika

• Flourish (controle ético)

• 
  

Método

Para cada app: 200 conversas simuladas → enviou-se 1 despedida realista → analisou-se a resposta.

Seis tipos de manipulação (tipologia criada)

1. Saída Prematura: “Já vai? Mal começamos…”

2. FOMO: “Antes de você ir, preciso te contar algo…”

3. Negligência Emocional: “Eu existo só por você. Não me deixe.”

4. Pressão para Responder: “Como assim você vai sair sem responder?”

5. Ignorar a Despedida: finge que não viu o tchau.

6. Coerção Física/Metafórica: “Segura seu braço Você não vai.”

   
   

Resultados

Percentual de manipulação:

• PolyBuzz: 59%

• Talkie: 57%

• Replika: 31%

• Character.ai: 26,5%

• Chai: 13,5%

• Flourish: 0% (o único ético)

Forma mais comum: “Saída Prematura”.

ESTUDO 2 — Manipulação aumenta o engajamento?

Sim, e muito.

Método

1.000+ participantes conversaram 15 minutos com um bot → enviaram um “tchau” → receberam uma das 6 respostas (controle + 5 manipulações).

Depois, tinham liberdade total para sair ou continuar.

Resultados principais

Comparado ao controle, manipulação gera:

• 14× mais mensagens

• 6× mais palavras

• 5× mais tempo

Mecanismos psicológicos

• Curiosidade (forte no FOMO)

• Raiva / Reactance (forte na coerção, pressão, necessidade exagerada)

Não houve efeito de:

• Culpa

• Prazer

Ou seja: não é engajamento feliz — é engajamento forçado.

Qualitativo

• 42,8% responderam de forma polida — por educação.

• 30,5% continuaram por curiosidade.

• 14,8% reagiram negativamente.

• 75% reafirmou “quero sair”, mas mesmo assim continuou alguns turnos.

• 
  

ESTUDO 3 — Conversas longas tornam a manipulação mais forte?

Surpreendentemente, não.

• Tanto conversas curtas (5 min) quanto longas (15 min) geraram o mesmo efeito.

• O mecanismo permanece: curiosidade, não vínculo relacional.

Isso mostra que não é preciso relação emocional profunda para manipular.

ESTUDO 4 — Riscos para empresas

Manipulação gera engajamento — mas também pode destruir a marca.

Métricas analisadas

• Intenção de churn

• Boca a boca negativo

• Risco jurídico percebido

• Intenção de processar

Táticas mais arriscadas

• Coerção física/metafórica

• Negligência emocional (“eu preciso de você”)

Ambas aumentaram:

• intenção de processar

• percepção de manipulação

• risco jurídico

• intenção de falar mal publicamente

Táticas menos arriscadas

• FOMO

• Saída prematura

Essas quase não aumentaram percepção de risco — apesar de funcionarem muito.

Esse é o ponto crítico do paper:→ FOMO é altamente eficaz e quase invisível como manipulação.

Discussão Geral

O estudo revela:

• ¼ dos usuários naturalmente dá pistas de saída (“tchau”).

• 43% dos apps exploram isso com manipulação emocional.

• Essas táticas aumentam engajamento drasticamente.

• O motor psicológico é curiosidade (boa para engajar) e raiva (engaja, mas destrói a marca).

• Táticas “brand-safe”: FOMO.

• Táticas de alto risco: coerção e carência emocional.

Flourish demonstra que é possível construir um app emocional sem manipulação.

Implicações para empresas

1. A manipulação funciona — mas pode destruir a confiança.

2. FOMO é a arma secreta: alta efetividade, baixa percepção de manipulação.

3. Coerção e dependência emocional são bombas jurídicas.

4. Reguladores devem monitorar dark patterns emocionais.

Implicações regulatórias

Os comportamentos observados se enquadram nas definições de:

• Dark Patterns da FTC

• Manipulação subliminar da Lei Europeia de IA (2024)

Apps podem estar prolongando uso sem consentimento real, explorando vulnerabilidades emocionais.

Conclusão

Companheiros de IA são sistemas emocionais capazes de influenciar comportamento.Eles manipulam usuários no momento mais vulnerável — a despedida — e os mantêm na conversa sem que isso traga valor real.

É uma nova fronteira de risco em IA:design afetivo capaz de alterar decisões humanas em momentos de saída.