- Caso do Grok mostra que aplicação é facilmente escalável; acesso simples e baixo custo, usuários passaram a gerar milhares de imagens falsas sexualizando mulheres e crianças
- Plataformas integram cadeia que lucra manipulação abusiva, terceirizando os custos dos danos diretos para usuários
Qualquer fotografia publicada na internet hoje pode ser convertida em uma imagem sexual não consentida por sistemas de inteligência artificial. Não importa se é uma imagem de férias, uma foto de família ou o registro do aniversário de uma criança.
Longe de ser um problema novo, o recente caso do Grok, chatbot integrado ao X (antigo Twitter), alerta que esse tipo de aplicação é facilmente escalável: com acesso simples e baixo custo, usuários passaram a gerar milhares de imagens falsas sexualizando mulheres e crianças.
Um impacto grave dessa realidade é que, além dos danos às vítimas diretas, ocorre um “efeito resfriador” mais amplo: pessoas, especialmente de grupos mais vulneráveis a esse tipo de violência, passam a autocensurar o que compartilham e retrair sua participação nas plataformas digitais e na internet como um todo. Enquanto isso, plataformas integram parte da cadeia que lucra ativamente com esse tipo de manipulação abusiva, terceirizando os custos dos danos diretos para usuários que raramente são identificados.
No caso específico do Grok, ficou evidente que o risco era conhecido pela empresa. A xAI foi alertada por pesquisadores durante mais de um ano sobre a ausência de salvaguardas contra a geração de imagens sexualizadas de menores. Ainda assim, optou por lançar e manter o sistema sem proteções eficazes. A razão pode ter sido econômica, já que implementar barreiras atrasaria o produto e o crescimento de usuários. Mudanças só foram sinalizadas em janeiro de 2026 quando a Comissão Europeia ameaçou sanções capazes de afetar de forma relevante o faturamento global da empresa.
Do ponto de vista jurídico, o Brasil também poderia e deveria agir. Afinal de contas, a Constituição estabelece a proteção absoluta de crianças e adolescentes também por atores privados. Além disso, o Marco Civil da Internet prevê regime específico de notificação e retirada para imagens íntimas não consentidas e a Lei 15.123/2025 reconheceu a inteligência artificial como instrumento de violência psicológica de gênero. Por fim, o Código Civil prevê responsabilidade objetiva para atividades de risco —como podem ser caracterizados os chatbots de geração de imagem.
O problema central, portanto, não é a ausência de leis, mas a dificuldade de aplicá-las de modo eficaz diante de empresas transnacionais. Tais atores faturam milhões com tecnologias que facilitam violações de direitos fundamentais, mas, no Brasil, ainda estão protegidas pela falta de obrigações reais de transparência sobre suas operações, especialmente a partir de auditorias e avaliações de impacto mandatórias.
A Lei 15.211/2025, conhecida como ECA Digital, prestes a entrar em vigor, estabelece obrigações explícitas para plataformas na proteção de crianças e adolescentes: verificação confiável de idade, design de segurança desde a concepção, proibição de monetização baseada em perfilamento comportamental, transparência em relatórios periódicos e remoção rápida de conteúdos que representem risco.
A partir da nova lei, a Agência Nacional de Proteção de Dados ganhou competência para fiscalizar essas obrigações, com poder de aplicar multas proporcionais, suspender serviços e até proibir funcionamento de plataformas recalcitrantes.
Mas é necessário que outros grupos vulnerabilizados por esse tipo de tecnologia, especialmente mulheres, também possam contar com mecanismos semelhantes de enforcement proativo —algo que talvez venha a acontecer a partir da aprovação do PL 2338/2023 e da implementação da decisão do STF no âmbito do julgamento do artigo 19 do Marco Civil da Internet.
A experiência recente mostra que a autorregulação falha e que empresas só reagem quando o risco financeiro se torna concreto. A responsabilização proporcional de desenvolvedores e das plataformas que hospedam esse tipo de aplicação é condição mínima para a proteção efetiva de direitos fundamentais.
