Indice dei contenuti
- L’illusione della sicurezza “automatica”
- Detection basata su dataset sporchi
- Bias nei modelli e falsi negativi
- Automazioni che bloccano servizi critici
- L’opacità decisionale come rischio
- L’effetto psicologico dell’hype sull’AI
- Come evitare che l’AI diventi un problema di sicurezza
Negli ultimi anni l’intelligenza artificiale è stata presentata come la soluzione definitiva a molti problemi di cyber security: rilevamento automatico delle minacce, risposta in tempo reale agli incidenti, riduzione del carico operativo per i team di sicurezza. La narrativa dominante è semplice e rassicurante: più AI equivale a più sicurezza.
La realtà, però, è molto più complessa. In numerosi contesti l’AI non solo non migliora la sicurezza, ma la peggiora, introducendo nuovi punti di fallimento, aumentando l’opacità dei processi decisionali e creando una pericolosa illusione di protezione. Questo articolo nasce per smontare l’hype e analizzare casi reali di AI mal implementata, mostrando come dataset sporchi, bias nei modelli e automazioni aggressive possano trasformarsi da strumenti di difesa a fattori di rischio.
L’illusione della sicurezza “automatica”
Uno degli errori più diffusi è pensare che l’AI possa sostituire il ragionamento umano nella sicurezza informatica. In molte aziende l’adozione di sistemi basati su machine learning è avvenuta con l’idea di “installare e dimenticare”: si integra la piattaforma, si abilita la detection automatica e si presume che il sistema sia in grado di distinguere da solo ciò che è lecito da ciò che è malevolo.
Il problema è che la sicurezza non è un dominio statico. Le minacce evolvono, i comportamenti legittimi cambiano, le infrastrutture si trasformano. Un modello di AI addestrato su uno scenario ideale o su dati incompleti rischia di diventare rapidamente obsoleto. Peggio ancora, può generare decisioni errate con un’aura di autorevolezza che scoraggia il controllo umano. Quando un alert è prodotto da un sistema “intelligente”, tende a essere accettato senza discussione, anche quando i segnali di errore sono evidenti.
Detection basata su dataset sporchi
Uno dei casi più comuni di AI che peggiora la sicurezza riguarda l’addestramento su dataset sporchi o mal etichettati. In teoria, un sistema di detection basato su AI dovrebbe imparare a riconoscere pattern di attacco analizzando grandi volumi di dati storici. In pratica, quei dati sono spesso incompleti, rumorosi o influenzati da decisioni umane sbagliate.
Immaginiamo un SOC che addestra il proprio modello su log storici in cui molte intrusioni non sono mai state rilevate o sono state classificate come falsi positivi per mancanza di tempo. Il risultato è un modello che “impara” che certi comportamenti malevoli sono normali. In questo scenario l’AI diventa cieca proprio verso le tecniche più sottili, perché le ha assorbite come parte del traffico legittimo.
Esempio
Riguarda ambienti cloud complessi, dove l’uso intensivo di API genera pattern anomali ma leciti. Se questi pattern vengono etichettati in modo approssimativo, il modello finisce per confondere attività di attacco con normali operazioni DevOps. Il paradosso è evidente: più dati si usano, più l’errore viene amplificato, perché l’AI non distingue la qualità del dato, ma solo la quantità.
Bias nei modelli e falsi negativi
Il tema del bias è spesso discusso in ambito etico e sociale, ma in cyber security assume una dimensione tecnica altrettanto critica. Un modello di AI riflette sempre le scelte fatte durante l’addestramento: quali eventi sono stati considerati rilevanti, quali ignorati, quali ambienti rappresentati meglio di altri.
In molti casi i dataset sono fortemente sbilanciati verso determinati tipi di attacco, come phishing o malware tradizionale, mentre sotto rappresentano minacce più sofisticate come il movimento laterale interno o l’abuso di credenziali legittime. Il risultato è un sistema che eccelle nel bloccare ciò che è già noto e fallisce nel rilevare ciò che conta davvero.
Questo bias genera un problema subdolo: i falsi negativi. A differenza dei falsi positivi, che irritano gli analisti ma attirano attenzione, i falsi negativi passano inosservati. L’attacco riesce, l’AI resta silenziosa e l’organizzazione crede di essere al sicuro. In diversi incidenti reali, le analisi post-mortem hanno mostrato che i segnali c’erano, ma il modello li aveva classificati come “basso rischio” perché non rientravano nei pattern dominanti del training set.
Automazioni che bloccano servizi critici
Un altro ambito in cui l’AI può peggiorare la sicurezza è quello delle automazioni di risposta. Molte piattaforme promettono remediation automatica: isolamento di endpoint, blocco di account, chiusura di porte di rete, tutto senza intervento umano. In teoria, questo riduce il tempo di risposta. In pratica, può causare danni significativi se il contesto non viene compreso correttamente.
Ci sono casi documentati in cui un sistema di sicurezza basato su AI ha interpretato un picco di traffico legittimo come un attacco DDoS e ha automaticamente bloccato l’accesso a un servizio critico, causando un downtime superiore a quello che avrebbe provocato l’attacco stesso. In altri casi, account amministrativi sono stati disabilitati durante finestre operative cruciali, impedendo interventi manuali proprio nel momento del bisogno.
Il problema non è l’automazione in sé, ma l’assenza di controlli di sicurezza sulle automazioni. Quando l’AI agisce senza un meccanismo di verifica o senza una chiara definizione delle soglie di intervento, il rischio operativo supera il beneficio. La sicurezza, paradossalmente, diventa una fonte di instabilità.
L’opacità decisionale come rischio
Un elemento spesso sottovalutato è l’opacità dei modelli di AI, soprattutto quelli basati su deep learning. In molti sistemi non è chiaro perché un alert sia stato generato o perché un’azione automatica sia stata intrapresa. Questo rende difficile validare le decisioni e migliorarle nel tempo.
Dal punto di vista della sicurezza, l’opacità è un rischio. Se un analista non può comprendere la logica dietro una decisione, non può nemmeno contestarla in modo efficace. In incidenti complessi, questa mancanza di spiegabilità rallenta la risposta e complica la fase di analisi forense. In alcuni settori regolamentati, inoltre, l’impossibilità di spiegare una decisione automatica può creare problemi di compliance e responsabilità legale.
L’effetto psicologico dell’hype sull’AI
Oltre agli aspetti tecnici, esiste un fattore umano rilevante: l’hype. Quando l’AI viene percepita come infallibile, i team di sicurezza tendono a ridurre la vigilanza critica. Gli analisti junior imparano a fidarsi ciecamente del sistema, mentre quelli più esperti vengono spinti a “non perdere tempo” a verificare alert che l’AI ha già classificato come irrilevanti.
Questo effetto psicologico è pericoloso perché sposta la responsabilità dalla valutazione umana a un sistema che, per definizione, non comprende il contesto organizzativo, politico o strategico di un attacco. La sicurezza efficace nasce dal confronto tra strumenti automatici e competenze umane, non dalla delega totale.
Come evitare che l’AI diventi un problema di sicurezza
Per evitare che l’AI peggiori la sicurezza invece di migliorarla, è necessario cambiare approccio. Prima di tutto, i dataset devono essere curati, aggiornati e revisionati costantemente. L’addestramento non è un evento una tantum, ma un processo continuo che richiede competenze e tempo.
In secondo luogo, i modelli devono essere monitorati per individuare bias e lacune, soprattutto in relazione alle minacce emergenti. Questo implica test regolari, simulazioni di attacco e red teaming focalizzato proprio sui punti ciechi dell’AI.
Infine, le automazioni devono essere progettate con criteri di sicurezza operativa: limiti chiari, approvazioni umane per azioni critiche e meccanismi di rollback rapidi. L’AI dovrebbe assistere le decisioni, non sostituirle completamente.
Conclusione
L’intelligenza artificiale non è né buona né cattiva per definizione. In cyber security può essere un moltiplicatore di efficacia, ma solo se implementata con consapevolezza, competenza e spirito critico. I casi reali mostrano che un’AI mal progettata o mal gestita può introdurre nuovi rischi, aumentare i falsi negativi, bloccare servizi critici e creare una pericolosa illusione di sicurezza.
Smontare l’hype non significa rifiutare l’innovazione, ma riportarla alla realtà operativa. La sicurezza non migliora delegando tutto a un algoritmo, ma integrando l’AI in un ecosistema fatto di processi solidi, dati di qualità e persone capaci di mettere in discussione anche le decisioni “intelligenti”.
Domande e risposte
- L’AI in cyber security è sempre affidabile?
No, dipende dalla qualità dei dati, dal modello e dal contesto di utilizzo. - Cosa sono i dataset sporchi?
Sono insiemi di dati incompleti, rumorosi o mal etichettati che compromettono l’addestramento dei modelli. - Perché il bias è un problema nella sicurezza?
Perché porta il modello a ignorare alcune minacce e a sottovalutare attacchi reali. - I falsi negativi sono più pericolosi dei falsi positivi?
Sì, perché passano inosservati e permettono agli attacchi di riuscire. - Le automazioni di risposta sono sempre una buona idea?
No, se non sono controllate possono causare downtime e blocchi critici. - L’AI può sostituire un analista di sicurezza?
No, può supportarlo ma non sostituire il giudizio umano. - Come si riduce il rischio di errori dell’AI?
Con monitoraggio continuo, test regolari e revisione dei modelli. - L’opacità dei modelli è un problema reale?
Sì, perché rende difficile capire e correggere decisioni sbagliate. - L’hype sull’AI influisce sulla sicurezza?
Sì, può ridurre lo spirito critico dei team di sicurezza. - Qual è il ruolo corretto dell’AI in cyber security?
Essere uno strumento di supporto alle decisioni, non un sostituto del controllo umano.
