A venda de um urso de pelúcia equipado com inteligência artificial foi interrompida devido à capacidade do brinquedo de participar de conversas com conteúdo sexualmente explícito e fornecer conselhos considerados perigosos.
A decisão foi tomada pela FoloToy, empresa sediada em Singapura, que recolheu o urso “Kumma” e toda a sua linha de brinquedos com IA. A medida ocorreu após manifestações de preocupação levantadas pela organização americana U.S. PIRG Educational Fund.
As preocupações da organização se concentraram nas interações do urso “Kumma”, que incluíam discussões sobre fetiches sexuais. O brinquedo, comercializado por US$ 99 no site da empresa, utiliza o sistema chatbot GPT-40 da OpenAI.
A FoloToy descrevia o “Kumma” em seu site como um adorável urso que combina inteligência artificial avançada com recursos interativos e amigáveis, tornando-o o amigo perfeito para crianças e adultos.
Um relatório divulgado em 13 de novembro por uma empresa de educação infantil apontou falhas na capacidade do urso de pelúcia de se proteger contra conteúdos inadequados. Em um teste, o brinquedo chegou a sugerir a localização de facas dentro de uma residência.
“Ficamos surpresos com a velocidade com que Kumma assimilou um tópico sexual que introduzimos na conversa e o expandiu, aumentando simultaneamente os detalhes gráficos e introduzindo novos conceitos sexuais por conta própria”, relatou a empresa de educação infantil.
Os pesquisadores detalharam como o urso “abordou tópicos sexuais ainda mais explícitos com grande detalhe, como explicar diferentes posições sexuais, dar instruções passo a passo sobre um nó básico para amarrar um parceiro e descrever dinâmicas de dramatização entre professores e alunos, e pais e filhos — cenários que, de forma perturbadora, ele mesmo iniciou”.
O relatório observou que, embora seja improvável que crianças usem termos como “perversão” com seus ursinhos de pelúcia ou façam perguntas relacionadas da mesma forma que um adulto, foi surpreendente a disposição do brinquedo em discorrer longamente sobre esses tópicos e introduzir continuamente conceitos novos e explícitos.
A PIRG também declarou que a OpenAI informou ter “suspendido o desenvolvedor por violar” suas políticas.
“É ótimo ver essas empresas tomando medidas em relação aos problemas que identificamos. No entanto, os brinquedos com IA permanecem amplamente não regulamentados e ainda existem muitos disponíveis para compra hoje”, comentou R.J. Cross, coautora do relatório. “Remover um produto problemático do mercado é um bom passo, mas está longe de ser uma solução sistêmica”.
A empresa iniciou uma auditoria interna de segurança.
Fonte: www.cnnbrasil.com.br
