Edition 14

O instinto de tratar um chatbot como confidente privado é precisamente a armadilha. Retire a intimidade e a verdade é banal: o ChatGPT é um serviço na nuvem gerido por uma empresa que regista os seus dados, os retém e os entrega quando um tribunal, ou a sua própria política, assim o determina. Está mais próximo de um e-mail do que de um diário, e o e-mail é passível de descoberta judicial há décadas. O erro não é usar IA; é esquecer o que ela é.

Para a sua organização, isto não é uma nota de rodapé sobre privacidade pessoal; é um problema de gestão de registos que já lhe pertence. Cada uma das 1.200 aplicações de IA não oficiais que mencionei há algumas semanas é agora um repositório de registos empresariais passíveis de descoberta judicial, potencialmente sujeitos a medidas de preservação legal e possivelmente fora das suas regras de retenção e classificação. Se um regulador ou uma parte litigante lhe pedisse para produzir ou preservar tudo o que os seus colaboradores escreveram em ferramentas de IA, conseguiria responder? Trate as conversas com IA pelo que são juridicamente: registos corporativos na nuvem de terceiros, e governe-as em conformidade.

A história que toda a gente contou esta semana foi «a grande IA é regulada», o que é verdade e aborrecido. O pormenor mais revelador é a categoria. Chamar ao ChatGPT um motor de busca é o som da regulação a esticar um regulamento com uma década sobre algo para o qual não foi escrito, e não será a última vez, porque a alternativa, um regime específico para cada novo tipo de IA, avança muito mais devagar do que a tecnologia. Espere mais este tipo de adaptação forçada, e espere que as fronteiras sejam litigadas.

A substância não diz respeito à segurança destes serviços, que já é melhor do que a de quase qualquer organização. Diz respeito ao efeito do produto nas pessoas que o utilizam. Um modelo generativo tem agora de avaliar e mitigar formalmente a forma como difunde conteúdo ilegal, prejudica menores, distorce eleições e erode a saúde mental, com auditores independentes e investigadores prestes a ter acesso para verificar o trabalho. É um tipo novo de exigência: não «o seu sistema é seguro», mas «o que é que o seu sistema está a fazer ao público». É a primeira vez que um regulador obriga uma IA generativa a prestar contas pelo seu efeito na sociedade e não pelo seu tempo de disponibilidade, e a forma como o ChatGPT responde até janeiro é a verdadeira história, mesmo que a obrigação em si nunca chegue à maioria das organizações.

Esta é uma caixa genuinamente nova para o seu modelo de ameaças, e merece uma. Durante dois anos, a superfície de ataque da IA foi o prompt, o elemento à entrada do modelo. A memória desloca o alvo para trás, para o estado persistente, e isso transforma o risco de um truque momentâneo num implante duradouro. É a mesma lição do ataque de persistência de passkey que abordei no mês passado: o movimento perigoso não é o que termina com a sessão; é o que fica silenciosamente instalado.

Por isso, se está a implementar agentes com memória, e após os números da semana passada provavelmente está, quer tenha decidido ou não, as perguntas mudam. O que pode escrever na memória do agente, e alguma dessa entrada é não confiável, como um e-mail ou uma página web? Consegue inspecionar, higienizar e reverter o que foi armazenado? A OWASP já codificou isto como um risco de topo em IA agêntica com defesas identificadas, pelo que não é especulativo. E sim, as ferramentas que detetam memória envenenada são elas próprias IA, que é o ciclo em que agora vivemos: usar IA para defender contra IA, indefinidamente. Não é um paradoxo a resolver; é simplesmente o trabalho agora.

Observe o que falhou de facto, porque é a tese central desta newsletter numa única sanção. Sem MFA. Sem VPN. Sem segmentação de acessos. Sem monitorização. Não foi uma vulnerabilidade zero-day, não foi um Estado-nação; foram simplesmente os controlos básicos que nunca foram implementados, e 727.000 pessoas pagaram por isso. Qualquer framework do mundo teria sinalizado estas lacunas. O problema nunca foi saber o que fazer. Foi fazê-lo.

Agora a parte que devia incomodar qualquer pessoa que se preocupe com onde o risco se concentra realmente. O hospital privado recebeu uma coima de meio milhão de euros e uma humilhação pública. Um hospital público francês, que detém dados igualmente sensíveis, não enfrenta legalmente qualquer coima, e o Estado francês ainda não transpôs sequer a NIS2 para os seus próprios organismos. Assim, as entidades sujeitas a menor pressão de fiscalização são frequentemente as que detêm os dados de cidadãos mais sensíveis, recolhidos por obrigação, não por escolha. Essa inversão é a ponte para o último ponto, e não é apenas um problema francês.

Serei breve porque o argumento está no artigo, mas eis o núcleo, e aplica-se onde quer que vote. A cibersegurança não tem uma verdadeira divisão ideológica. Ninguém faz campanha por encriptação mais fraca ou por uma resposta a vulnerabilidades mais lenta. Por isso, quando se torna um marcador de campanha, a única coisa que um candidato pode acrescentar é uma reformulação: uma nova agência, um âmbito redesenhado, um orçamento re-anunciado, e cada reformulação custa doze a dezoito meses de re-familiarização contra prazos que não se movem. A IA é diferente; tem divisões genuínas que valem a pena debater. A ciber defensiva não tem.

O que o setor público precisa não é de uma doutrina por eleição, mas de execução entre elas: financiamento plurianual que sobreviva à luta orçamental anual, marcos reportados publicamente ao parlamento em vez de enterrados numa comissão, e idealmente um compromisso transpartidário em torno de alguns prazos concretos que ninguém reabre. Vi, na Valónia, o que acontece sem esse patrocínio: boas auditorias a transformarem-se em PDFs arquivados. O argumento completo, com os números, está ligado. Se trabalha em contexto próximo do Estado, é a leitura que mais gostaria de ver nas suas mãos esta semana.