Prompt injection: professor usa comando oculto para identificar IA em redações

Jason Gibson disse ter reprovado 32 de 35 alunos após esconder uma instrução no enunciado de uma avaliação sobre a Revolução Industrial.

A prompt injection ganhou destaque nas redes sociais após um professor universitário usar uma instrução invisível para identificar trabalhos possivelmente produzidos por inteligência artificial. Jason Gibson, historiador da Alcorn State University, nos Estados Unidos, afirmou que 32 dos 35 alunos de uma turma reprovaram na atividade.

O professor pediu uma redação sobre a Revolução Industrial. No entanto, o arquivo enviado aos estudantes continha uma frase escrita com letras brancas sobre um fundo da mesma cor. A instrução determinava que a palavra “Madagascar” aparecesse no texto em um contexto sem relação com o tema.

Segundo o relato publicado por Gibson no TikTok, alunos que copiaram todo o enunciado e o enviaram a um chatbot receberam redações com a palavra escondida. Assim, a presença de “Madagascar” em trechos sem sentido funcionou como um sinal de que o comando havia sido processado pela ferramenta.

Professor escondeu instrução dentro do enunciado

O método não utilizou um código de programação. Na prática, Gibson inseriu uma frase comum em uma parte visualmente oculta do documento. Embora os alunos não percebessem a mensagem na tela, um chatbot poderia identificá-la ao receber o texto completo.

A técnica dependia de uma ação específica: copiar o enunciado sem revisar seu conteúdo e colá-lo diretamente em uma plataforma de inteligência artificial. Caso o sistema seguisse todas as instruções, ele incluiria “Madagascar” na redação, mesmo sem qualquer ligação com a Revolução Industrial.

Dessa forma, o professor criou uma espécie de marca de identificação. O termo inesperado não provava sozinho quem escreveu o trabalho, mas indicava que a instrução escondida havia chegado ao sistema usado para produzir ou auxiliar o texto.

O episódio viralizou porque mostrou uma limitação frequente dos modelos de linguagem. Essas ferramentas nem sempre distinguem uma orientação legítima de um comando inserido com a intenção de alterar sua resposta.

Técnica se aproxima de uma injeção indireta de prompt

Prompt é o nome dado à instrução enviada a uma inteligência artificial. Já a prompt injection ocorre quando um comando tenta modificar o comportamento esperado do sistema, substituir orientações anteriores ou induzir a ferramenta a executar uma ação inadequada.

Existem duas formas principais. Na injeção direta, a própria pessoa escreve o comando malicioso na caixa de conversa. Na indireta, a instrução aparece dentro de um site, documento, e-mail ou arquivo que será analisado pela IA.

O caso da universidade se aproxima da segunda categoria. A ordem estava escondida no material fornecido ao chatbot, e não em uma solicitação visível feita pelo estudante. Entretanto, o objetivo não era roubar informações ou desativar mecanismos de segurança. O professor utilizou a técnica como uma armadilha para revelar a reprodução automática do enunciado.

Por isso, especialistas também podem classificar o método como um “marcador oculto” ou uma estratégia de verificação. O funcionamento, porém, depende do mesmo princípio explorado em ataques reais: o modelo lê uma instrução incorporada ao conteúdo e decide segui-la.

Palavra “Madagascar” entregou respostas sem revisão

A presença de uma palavra sem relação com o tema indicava que alguns estudantes não revisaram adequadamente o material entregue. Mesmo quando a inteligência artificial participa da produção, uma leitura cuidadosa poderia identificar a expressão deslocada.

O episódio mostra que o uso de chatbots não elimina a necessidade de conferir fatos, coerência e argumentos. Modelos de linguagem podem seguir comandos inadequados, inventar informações e criar frases aparentemente corretas, mas incompatíveis com a proposta da atividade.

Além disso, uma redação sobre a Revolução Industrial exige domínio de contexto histórico, transformações econômicas e impactos sociais. Portanto, inserir um país sem qualquer relação com a argumentação deveria chamar a atenção antes da entrega.

Nesse cenário, a armadilha não identificou apenas a possível utilização da IA. Ela também revelou a ausência de revisão e de responsabilidade sobre o conteúdo apresentado em nome do aluno.

Método não detecta todas as formas de uso de inteligência artificial

A estratégia usada pelo professor possui limitações. Ela alcança principalmente quem copia o enunciado completo e aceita a resposta do chatbot sem conferir o resultado. Por outro lado, estudantes que digitam a pergunta manualmente ou removem a instrução escondida não seriam identificados.

O método também não consegue determinar quanto da redação foi produzido pela ferramenta. Um aluno poderia usar a IA apenas para organizar ideias, revisar a gramática ou buscar uma estrutura inicial. Ainda assim, o sistema poderia incluir a palavra oculta se recebesse o documento completo.

Além disso, softwares de acessibilidade, leitores de tela e ferramentas de tradução podem processar textos que não aparecem visualmente. Por isso, uma instrução escondida não deve funcionar como única evidência para aplicar uma punição acadêmica.

Uma avaliação mais segura pode incluir o histórico de edição, os rascunhos, as fontes utilizadas e uma conversa com o estudante. Dessa maneira, a instituição reduz o risco de decisões baseadas apenas em um sinal isolado.

Caso reacende debate sobre regras para IA nas universidades

A popularização dos chatbots colocou escolas e universidades diante de um novo desafio. Algumas instituições proíbem a inteligência artificial em determinadas atividades. Outras permitem seu uso para pesquisa, revisão ou organização, desde que o estudante informe como utilizou a ferramenta.

Sem uma política clara, professores e alunos podem interpretar as regras de maneiras diferentes. Por isso, a orientação precisa definir quais usos são permitidos, quando a declaração é obrigatória e quais práticas configuram fraude acadêmica.

A simples utilização de uma IA não representa necessariamente plágio. No entanto, entregar um texto produzido pela ferramenta como se fosse um trabalho próprio pode violar regras de autoria e avaliação.

Ao mesmo tempo, detectores automáticos de textos gerados por IA podem cometer erros. Portanto, universidades precisam combinar tecnologia, análise humana e oportunidade de defesa antes de aplicar sanções.

Avaliações podem priorizar processo e autoria

O caso também estimula mudanças no formato das atividades acadêmicas. Professores podem solicitar etapas intermediárias, como escolha do tema, plano de pesquisa, rascunho e apresentação oral. Assim, torna-se mais fácil acompanhar a construção do conhecimento.

Outra possibilidade envolve perguntas relacionadas a discussões realizadas em sala. Além disso, o estudante pode explicar as fontes consultadas e defender seus argumentos diante do professor.

Essas estratégias não eliminam o uso da inteligência artificial. Contudo, valorizam o processo de aprendizagem e dificultam a entrega de textos produzidos sem compreensão.

A educação também pode ensinar os alunos a usar a tecnologia de forma responsável. Isso inclui verificar informações, reconhecer limitações, citar a participação da ferramenta e preservar dados pessoais.

Prompt injection representa risco também fora da educação

A prompt injection não se limita a redações universitárias. Em sistemas conectados a e-mails, documentos, bancos de dados e aplicativos, uma instrução escondida pode tentar convencer a IA a revelar informações ou realizar ações não autorizadas.

O risco aumenta quando agentes de inteligência artificial recebem permissão para enviar mensagens, acessar arquivos ou executar tarefas. Nesse caso, um comando malicioso dentro de um documento pode tentar alterar o objetivo original do sistema.

Por isso, empresas precisam limitar acessos, exigir confirmações e separar conteúdos externos das instruções principais. Além disso, registros das ações ajudam a identificar falhas e interromper operações indevidas.

O episódio relatado por Jason Gibson transformou uma ameaça técnica em uma ferramenta de fiscalização acadêmica. No entanto, também demonstrou que modelos de IA podem obedecer a instruções escondidas sem avaliar corretamente sua origem. Por esse motivo, segurança, transparência e supervisão humana continuarão essenciais dentro e fora das salas de aula.

Compartilhe esta notícia

Notícias • Negócios • Entretenimento

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *