Alunos usam IA para criar imagens íntimas de meninas: E Agora?

Recentemente, alunas de um Colégio de classe média alta do Rio de Janeiro foram surpreendidas por uma série de fotos suas nuas geradas por Inteligência Artificial por outros alunos. O caso tem repercutido em todo o país, e foi tema de uma extensa reportagem no programa “Fantástico” da TV Globo.

Segundo informações da CNN Brasil, o Colégio enviou uma circular aos pais informando sobre o uso de ferramentas de inteligência artificial para criar montagens de fotos de alunas pelos próprios estudantes. A escola lamentou o uso inadequado de uma “ferramenta criada para solucionar problemas e apoiar a vida moderna” e ofereceu apoio às famílias das alunas afetadas, incluindo orientação jurídica. Além disso, a escola prometeu tomar medidas disciplinares no âmbito escolar e pediu aos pais que monitorem a vida virtual de seus filhos. A Polícia Civil está investigando o caso, que envolve mais de 29 vítimas, incluindo alunas e não alunas da escola.

O delegado da Delegacia de Proteção à Criança e ao Adolescente (DPCA) confirmou que as montagens de “nudes” foram criadas com inteligência artificial e que os suspeitos são alunos da escola. As investigações estão em andamento para identificar a autoria do crime e esclarecer o caso.

Como eles estão criando essas imagens?

Nos últimos anos, temos testemunhado um aumento preocupante no uso da inteligência artificial por pessoas mal-intencionadas para criar imagens íntimas de indivíduos sem o consentimento deles.

A alteração de imagens não é algo novo, na verdade, ela data desde os tempos de Stalin, Mao, Mussolini. Contudo essas técnicas tem se tornado cada vez mais acessíveis ao grande público. Essa é uma das preocupações de pesquisadores como Hany Farid. Ele é professor de Ciência da Computação na Escola de Engenharia e Ciências Aplicadas da Universidade da Califórnia (Berkley), nos Estados Unidos. Ele é um dos principais especialistas em forense de imagens e autenticação digital, e suas pesquisas têm implicações importantes no campo da segurança cibernética, justiça criminal e na luta contra a desinformação e a manipulação de imagens na era digital.

Farid tem desempenhado um papel significativo na conscientização sobre a importância da ética e responsabilidade no uso de tecnologias de manipulação de imagens. Seu trabalho é amplamente citado e respeitado na comunidade acadêmica e na indústria, e ele é frequentemente consultado como especialista em casos envolvendo análise forense de imagens digitais. Ultimamente, ele tem demonstrado uma preocupação especial com as imagens alteradas de meninas menores de idade.

Essa prática, muitas vezes referida como “deepfake pornô“, envolve o uso de algoritmos de IA para manipular rostos e corpos em fotos e vídeos, criando representações enganosas e explicitamente falsas de pessoas, muitas vezes em situações íntimas. Isso representa uma grave violação da privacidade e segurança das vítimas, que podem sofrer consequências emocionais e sociais devastadoras.

Primeiramente, são necessárias algumas imagens de referência da pessoa cujo rosto será substituído. Essas imagens servem como o conjunto de treinamento para um modelo de aprendizado profundo, como uma rede neural, que aprenderá a reproduzir características faciais e expressões da pessoa original.

Uma vez que o modelo é treinado, ele pode ser utilizado para gerar imagens deepfake. Isso envolve a sobreposição das características faciais da pessoa de referência na imagem de destino, de forma a criar uma ilusão convincente de que a pessoa original está presente na nova imagem.

Essa tendência levanta questões éticas, legais e de segurança, uma vez que as imagens criadas podem ser amplamente compartilhadas na internet, causando danos irreparáveis às vítimas.

Os modelos generativos de imagem por inteligência artificial apesar de já existirem no mercado há algum tempo, neste momento está ganhando mais popularidade. Se antes para ter acesso a esse tipo de ferramenta era necessário ter algum contato com a “DeepWeb“, hoje basta ter um celular e acesso à internet que com uma busca simples, qualquer um pode encontrar ferramentas que prometem “tirar as roupas” de terceiros através de suas fotos. Essas ferramentas estão se tornando cada dia mais simples e com resultados mais convincentes.

Segundo números do Google Trends, as buscas por aplicativos de Inteligência Artificial que prometem esse tipo de serviço cresceu de maneira sustentada nos últimos 12 meses, e após o último caso divulgado pela imprensa, o interesse aumentou ainda mais. A ferramenta do Google projeta um récorde de interesse nos próximos meses. Tudo indica que o problema veio para ficar em nossa sociedade.

Agora basta ter um celular e uma foto tirada de uma rede social de algum indivíduo que já é possível gerar fotos íntimas desse menor de idade. Como bem sabemos, nossas jovens estão cada vez mais cedo em plataformas sociais e com suas fotos publicadas, sendo assim, o alcance dessa nova prática pode ser enorme. A partir daí, os autores costumam compartilhar as fotos em grupos do Telegram, Discord e até mesmo no Whatsapp.

Quais podem ser as Consequências?

Os alunos vítimas deste novo tipo de prática, especialmente quando são menores de idade, pode enfrentar diversas consequências negativas. Lembre-se que espaços digitais são um importante “local” onde a vida desses jovens já se desenvolve, por isso ter um espaço como este invadido por fotos suas falsas é aterrorizante especialmente para eles.

Não existe a possibilidade de apenas “ignorar” o ocorrido, pois é um trauma que pode ser relembrado a cada vez que pegam o celular, e são fotos que podem nunca mais desaparecer da internet.

As consequências podem ser várias, incluindo:

E as Consequências Legais?

(com a colaboração Dra. Mabely Meira Fernandes)*

A sociedade tecnocientífica está nos mostrando como o direito digital nas escolas tem se mostrado desafiador, principalmente porque a forma e a velocidade com que se opera o mundo virtual é diferente do mundo real. 

Não é novidade que já se considera como crime, o registro não autorizado de conteúdo com cena de nudez ou ato sexual ou libidinoso de caráter íntimo e privado. Em 2018, através da Lei 13.772, houve uma alteração no código Penal Brasileiro, no qual ficou determinado pelo artigo 216 –B, que: 

“Produzir, fotografar, filmar ou registrar, por qualquer meio, conteúdo com cena de nudez ou ato sexual ou libidinoso de caráter íntimo e privado sem autorização dos participantes:

Pena – detenção, de 6 (seis) meses a 1 (um) ano, e multa.

Parágrafo único. Na mesma pena incorre quem realiza montagem em fotografia, vídeo, áudio ou qualquer outro registro com o fim de incluir pessoa em cena de nudez ou ato sexual ou libidinoso de caráter íntimo.”

Neste mesmo sentido, quem compartilha nude ou pornô fake também incorre em crime, conforme o artigo 218-C do Código Penal.  

Diante deste cenário, muito se questionou se haveria tipificação penal para tal conduta, e a resposta é sim. Apesar da legislação vigente não ser específica quanto ao uso de  da  inteligência artificial (IA), ela se aplica as condutas praticadas, sendo considerada como crime, nos termos do artigo 216-B do Código Penal. 

Contudo, é verdade que a pena atual é branda, e, portanto, deve existir maior rigidez e maior efetividade no combate deste crime, que com as novas tecnologias tornam os danos às vítimas cada vez maiores e extensos. 

E é neste intuito que, foi proposto um projeto de lei (PL 5.342/2023), que pretende tipificar o crime de pornô fake e quer acrescenta o artigo 218-D ao Código Penal, para tipificar o crime de criação, divulgação e comercialização de imagem de nudez ou de cunho sexual não autorizada, gerada por softwares e inteligência artificial (AI), alterando também para pública incondicionada a natureza da ação penal dos crimes contra a dignidade sexual e estabelecer causas de aumento de pena para esses crimes. 

O texto do projeto de lei, foi encaminhado a comissões temáticas da Câmara para debate. 

Portanto, a Escola se deparando com esta situação, deve, imediatamente, procurar orientação jurídica, além de buscar mecanismos preventivos de orientação aos alunos, sempre no intuito de coibir esta conduta, demonstrando a gravidade de tal ato e suas consequências, não só para quem as pratica, mas principalmente para a vítimas. 

Como Educadores e Escolas devem agir?

Inicialmente, em termos de reação a este tipo de caso, por se tratar de um ato grave de disciplina, as providências cabíveis podem ser de suspensão e transferência compulsória dos autores.

Porém, como analisamos anteriormente, estas ferramentas de IA vieram para ficar em nossas vidas, por isso não é possível que as escolas fiquem apenas focadas na reação a esses episódios e sim na prevenção deles.

Há alguns meses, os pais de um colégio chamado Carmel Central School District (New York) receberam um comunicado inédito da escola: “Alunos do sétimo ano se utilizaram de aplicativos de IA para criar vídeos da equipe pedagógica da escola, estejam em alerta”.

Tratavam-se de vários vídeo produzidos com aplicativos simples, mas eram bem convincentes. Em um deles, o diretor do Colégio perpretava um discurso racista e convidava os alunos a “levarem suas armas para a escola”.

Por sorte, nada aconteceu (ninguém levou armas à escola). No entanto, o que o comunicado da escola na escola não havia mencionado é que, na realidade, esses DeepFakes já estavam em circulação há alguns dias, e Escola e Família foram os últimos a saberem.

Por que isto acontece?

Se você assistiu alguma das minhas palestras no último ano, você deve ter visto a imagem acima. Ela ilustra o que eu chamo de “Curva de Adoção” para novas tecnologias/tendências no contexto escolar. Como eu sempre enfatizo, as novas tendências (no caso aqui, o “DeepFake”) sempre têm como seus primeiros usuários os alunos, enquanto escola e famílias são os últimos.

Não é de se surpreender que em todos os casos citados acima, escola e famílias sempre são tomadas de surpresa e convidadas a reagirem à situações como estas.

Mas como poderia ser diferente?

Ao ser questionados sobre o caso, advogados são unânimes em um ponto: escolas deverão trabalhar o mais rápido possível em medidas de prevenção contra incidentes tecnológicos.

Nós temos trabalhado incessantemente para desenvolver uma boa respostas para esta questão. Criar a capacidade em escolas para não apenas viverem de “reação” e sim para a “prevenção” é o nosso grande desafio.

Parte deste trabalho é ajudar nossos alunos a desenvolver sua percepção de como compartilha suas fotos, quais são suas consequências hoje e no futuro deste ato. Em uma de nossas intervenções, por exemplo, chamada “Minhas Fotos” nós executamos exatamente isto:

Seguindo um passo a passo pensado especialmente para esta faixa etária, nós buscamos desenvolver neles algumas aspectos como:

Compreender a importância de pensar antes de publicar uma foto ou vídeo na internet, considerando sua adequação e como nos sentiríamos ao mostrá-los para outras pessoas. 

Reconhecer as possíveis consequências negativas de compartilhar fotos ou vídeos pessoais na internet, tanto no presente quanto no futuro. 

Conscientizar sobre a permanência e disseminação de conteúdo na internet, enfatizando que uma vez publicado, pode ser difícil ou impossível removê-lo completamente.

Assim, nós contribuímos para o trabalho de prevenção contra incidentes virtuais dentro das escolas. Lembro que neste último caso de DeepFakes, só foi possível a identificação do problema pois um dos alunos (de dezenas) discordou da ação do grupo e relatou a situação aos seus pais. Por que apenas 1 aluno de vários se sentiu desconfortável? E os outros?

Nossa iniciativa existe para que mais alunos como este existam e sejam ativos no uso ético das redes sociais e novas tecnologias.

Quer saber como levar nosso trabalho para sua escola? Clique-aqui.

Sócia da CCFM Advocacia. Atua na área do Direito Cível Educacional, nas esferas contenciosa e preventiva, análise de contratos, processos decorrentes à responsabilidade civil e consumidor, direito digital e  palestrante.