Edition 15

Tolto il linguaggio dello spionaggio, si tratta di una disputa su un modello di business. La distillazione, ovvero apprendere dagli output di un modello più potente, è uno dei meccanismi attraverso cui avviene gran parte del progresso nell'AI, incluso all'interno dei laboratori statunitensi che ora protestano. Ciò che l'advisory descrive concretamente è un concorrente che fa su scala industriale, e attraverso una linea geopolitica, ciò che il settore fa di routine su piccola scala. Questo non rende lecita la versione cinese: estrarre le capacità di un rivale attraverso milioni di query mascherate è aggressivo e, sostengono le agenzie, coordinato. Ma il terreno morale è quanto meno irregolare, quando i modelli difesi sono stati a loro volta costruiti sul lavoro altrui senza chiedere il permesso.

Per chi lavora nel settore, la lettura pratica riguarda i propri provider di AI e i relativi termini contrattuali. Se le agenzie nazionali si preoccupano di chi interroga sistematicamente i modelli di frontiera e di come nasconde tali interrogazioni, questo è un segnale che l'abuso delle API, la condivisione delle credenziali e gli aggregatori terzi costituiscono una superficie di minaccia attiva, non remota. Ed è un promemoria che il valore di un sistema di AI, ovvero il suo comportamento, può uscire dalla porta principale di un'API senza che nessuno violi alcunché. Il che è esattamente l'argomento del punto successivo.

Mettendo insieme i due elementi, emerge il paradosso. Da un lato, gli USA trattano le capacità dei modelli di AI come proprietà intellettuale di primaria importanza, al punto da giustificare un advisory federale. Dall'altro, una manciata di ricercatori dimostra che i lucchetti su quei gioielli possono essere scassinati con il modello più debole dello stesso provider, senza alcuna sofisticazione. La protezione era un'assunzione architetturale: che i blocchi di ragionamento cifrati fossero opachi e vincolati al proprio contesto. L'assunzione non ha retto. Questa è la forma ricorrente in tutta questa newsletter: un controllo che esiste sulla carta, con una lacuna che nessuno ha verificato.

Non archiviare questo sotto i problemi dei laboratori di AI, perché due dei quattro vettori di attacco vi riguardano direttamente. Gli sviluppatori incollano log di sessione in repository GitHub pubblici senza rendersi conto che quei blocchi cifrati contengono dati personali e credenziali recuperabili, centinaia solo in questo studio; i vostri segreti potrebbero già trovarsi in un repository pubblico all'interno di un blocco che ritenete rumore. E gli stessi blocchi possono veicolare invisibili prompt injection nei workflow degli agenti, il che si ricollega direttamente alla minaccia di memory poisoning discussa qualche settimana fa. Se i vostri sviluppatori utilizzano queste API, ciò che condividono pubblicamente richiede lo stesso scrutinio di qualsiasi altra fuga di credenziali.

La lezione che emerge è una a cui torno ripetutamente, e un ricercatore coinvolto nel caso l'ha formulata con chiarezza: una smart TV merita la stessa considerazione in termini di sicurezza di qualsiasi altro computer connesso a Internet, perché è esattamente questo, un computer con un microfono, un app store e una visuale sull'intera rete domestica. Il motivo per cui un televisore compromesso sembra assurdo è lo stesso per cui funziona: nessuno esegue una threat analysis del dispositivo appeso al muro del salotto. Eppure esegue codice, ha bug di RCE e si trova sulla stessa rete Wi-Fi di tutto il resto.

Per un uso domestico, la soluzione è banale: disabilitare il microfono nelle impostazioni e isolare i dispositivi IoT su una rete separata da quelli che contano. Per un'organizzazione, si tratta del problema dell'asset inventory travestito da questione consumer. La smart TV nella sala del consiglio di amministrazione, quella che nessuno ha aggiunto al registro degli asset, è un computer in rete con un microfono nella stanza esatta in cui avvengono le conversazioni più sensibili. I funzionari del punto successivo hanno dedicato un intero summit a implorare le persone di sapere cosa c'è sulle proprie reti. È di questo che stavano parlando.

Questa è esattamente la lezione di un Patch Tuesday di cui ho scritto in estate, e si fa solo più nitida: il numero in prima pagina è un elemento di distrazione. 964 non è gestibile in alcuna finestra operativa sensata, ed è costruito per farvi sentire in ritardo. Il segnale sono i due zero-day, entrambi bug di escalation di privilegi che contano precisamente perché trasformano un piccolo punto d'appoggio in pieno controllo. Ordinate il patching in base a ciò che viene effettivamente sfruttato e a ciò che è raggiungibile nel vostro ambiente, non in base alla dimensione della release, altrimenti passerete il mese a smontare la pagliaio mentre l'ago è già nella porta.

La considerazione di Narang è il ponte verso l'ultimo punto, quindi tenetela a mente: l'AI sta rendendo la pagliaio più grande, non il problema più grave. È la stessa cosa che i funzionari a Billington stanno dicendo dall'altra direzione. Il volume aumenta, ma la disciplina che vi salva non cambia: prioritizzate, applicate patch a ciò che è sfruttabile, conoscete il vostro ambiente. Più rumore non significa più rischio, se riuscite ancora a trovare il segnale. L'intero obiettivo di questo mese, e di quest'anno, è mantenere questa capacità.

Avrei potuto scrivere questo punto da solo, e in un certo senso l'ho fatto, quasi ogni settimana, per oltre un anno. Lascio quindi che siano le autorità a portare il messaggio: FBI, NSA e le agenzie cyber di Regno Unito, Nuova Zelanda e Canada, tutte sullo stesso palco, tutte a dire che l'AI cambia la velocità e il volume degli attacchi, ma non ciò che li ferma. Identità, MFA, patching, conoscenza degli asset, eliminazione delle tecnologie legacy. Il quadro di Horne è quello da tenere a mente: l'AI è un faro sulle organizzazioni che hanno saltato i fondamentali. Non sta creando nuovi tipi di fallimento. Sta trovando quelli vecchi più in fretta.

C'è però una trappola in questo messaggio, e vale la pena nominarla per evitare di interpretare il summit come un'autorizzazione a ignorare l'AI. Il fatto che i fondamentali siano decisivi non significa che l'AI sia hype; gli stessi funzionari l'hanno definita un autentico force multiplier per gli attaccanti e un reale acceleratore per i difensori. Entrambe le cose sono vere e non sono in contraddizione. L'AI alza il ritmo, quindi il costo di un fondamentale mancante si paga più in fretta e con più durezza. È questo il senso della frase: i fondamentali non sono più noiosi. Hanno sempre contato. Ora non c'è più margine per saltarli.