Injeção de prompt idiota do dia: basta escrever como a IA Researchers demonstrated a new prompt injection attack on large language models by writing malicious instructions in the style of the model's own reasoning chain, achieving up to 70% success in bypassing safeguards. The attack exploits the model's inability to distinguish between user input and its own generated text, as detailed in the paper 'Prompt injection as role confusion.' The findings suggest that prompt injection is an inherent vulnerability in current LLM architectures. Injeção de prompt idiota do dia: basta escrever como a IA Quando você coloca um texto num grande modelo de linguagem LLM , ele responde com algumas palavras. Você transforma um LLM num chatbot alimentando-o com a conversa inteira até o momento, com seu prompt no final, e ele responde a esse texto todo com o que quer que ache que vem a seguir. Um chatbot de “raciocínio” usa um modelo para quebrar seu prompt em etapas a seguir para responder sua pergunta, alimenta as etapas para outro modelo, depois alimenta essa saída para um modelo final, que gera a próxima resposta. Esse modelo final não vê etapas. Ele só vê um fluxo contínuo de texto https://role-confusion.github.io/assets/figures/text-stream-2.png . Você consegue fazer injeção de prompt no chatbot escrevendo seu ataque como se fosse uma das etapas de raciocínio. Aí o chatbot simplesmente segue o que você disser como se tivesse sido ele mesmo a produzir aquele texto. O artigo sobre isso se chama “Prompt injection as role confusion” https://arxiv.org/abs/2603.12277 algo como “injeção de prompt como confusão de papéis” : LLMs enxergam o mundo como um único fluxo de texto, dividido em papéis como