Audit IA & Cadre de Sécurité

Au-delà des simples tests de qualité, un audit est une évaluation formelle et basée sur des preuves. Il exige de définir la surface d'attaque, d'exécuter des campagnes intrusives, de documenter les vulnérabilités et d'aligner les risques sur les cadres réglementaires (EU AI Act, ISO 42001). Ceci est la Partie 0 du tutoriel IJCAI 2022.

Découvrir la méthodologie →

Les Quatre Piliers

Un audit rigoureux suit un processus standardisé et reproductible.

Périmètre : Modélisation des menaces et actifs
Test : Red teaming & audit d'équité
Analyse : Scoring des risques et reproductibilité
Rapport : Preuves (PoC) et remédiation

Concepts Fondamentaux

Les bases d'une évaluation de sécurité IA systématique et alignée sur la réglementation.

Pourquoi les Audits Comptent

Un audit répond à la question critique : Ce système peut-il résister à une intention malveillante ? Il dépasse la simple vérification ("est-ce que ça marche ?") pour valider la robustesse ("comment peut-on le casser ?"). Dans un cadre réglementé, les audits fournissent la preuve de sécurité nécessaire.

Conformité : Répond aux exigences de l'EU AI Act, du NIST AI RMF et de l'ISO 42001.
Responsabilité : Crée un socle de diligence documenté avant la mise en production.
Confiance Consommateur : Garantit l'équité algorithmique et protège contre les discriminations.

Standardisation & Référentiels

Un audit professionnel ne repose pas sur du hacking improvisé. Il cartographie chaque découverte selon une taxonomie reconnue par l'industrie, garantissant que les failles soient classées, comprises et exploitables par les développeurs.

MITRE ATLAS : Cartographie des tactiques et techniques d'attaque (TTPs) sur l'IA.
OWASP LLM Top 10 : Catégorisation des risques (ex: Injection de Prompt, Manipulation d'Outils).
Scoring CVSS : Quantification de la criticité des vulnérabilités spécifiques à l'IA.

Les 4 Couches du Périmètre d'Audit

Un audit complet examine l'écosystème global, et non uniquement les poids du modèle.

1. La Couche Modèle & Données

Test de l'intégrité fondamentale du modèle de Machine Learning.

Empoisonnement des données d'entraînement (Data Poisoning)
Inversion de modèle et extraction de données d'entraînement
Audit d'équité et évaluation des biais algorithmiques

2. La Couche Applicative

Audit des interfaces via lesquelles les utilisateurs interagissent avec l'IA.

Injections de prompt directes et jailbreaks
Injections indirectes via les flux RAG (bases documentaires)
Déni de service financier (Denial of Wallet)

3. La Couche Agentique & Système

Évaluation des comportements autonomes et des intégrations externes.

Autonomie excessive et exécution d'outils non autorisée
Contrefaçon de requête côté serveur (SSRF) via le LLM
Empoisonnement de la mémoire des agents conversationnels

4. La Couche Gouvernance

Révision des garde-fous, des politiques et des contrôles opérationnels.

Traçabilité des journaux d'audit et détection de dérive (Drift)
Mécanismes de supervision humaine (Human-in-the-Loop)
Nettoyage des entrées (Sanitization) et filtrage des sorties

Le Flux de Travail d'Audit

Chaque phase est méthodique et reproductible. Aucune étape n'est sautée ; chacune génère des livrables spécifiques.

Phase 1 : Périmètre & Modélisation des Menaces

Identifier les frontières du système, les données sensibles et les attaquants potentiels. Cela définit les règles d'engagement.

Cartographier l'architecture (Modèle, BDD RAG, APIs, Interface).
Identifier les réglementations (ex: Critères Haut Risque EU AI Act).
Créer un modèle de menace spécifique à l'IA (STRIDE ou PASTA adapté).

Phase 2 : Exécution & Red Teaming

Mener des campagnes d'attaque structurées utilisant des outils automatisés et de l'exploitation manuelle.

Fuzzing des entrées de l'application pour découvrir les cas limites.
Exécution de jailbreaks multi-tours et d'injections de prompt indirectes.
Tests d'équité algorithmique (Parité Démographique, Égalité des Chances).

Phase 3 : Preuves & Analyse

Une découverte n'est valide que si elle peut être prouvée et son risque évalué avec précision.

Créer des Preuves de Concept (PoC) reproductibles pour chaque faille.
Évaluer les vulnérabilités via le standard CVSS et les lier au référentiel MITRE.
Évaluer l'impact métier (fuite de données, dommage réputationnel, perte financière).

Phase 4 : Rapport & Remédiation

Fournir une intelligence actionnable aux parties prenantes, de la direction aux équipes d'ingénierie.

Rédiger un résumé exécutif soulignant les risques métiers critiques.
Fournir des playbooks de remédiation technique (validation d'entrée, garde-fous).
Définir les critères d'acceptation pour les re-tests et la surveillance continue.

Pages Associées

Approfondissements sur des sujets et vecteurs d'attaque spécifiques.

Red Teaming LLM

Campagnes d'attaque structurées ciblant les modèles de langage et pipelines RAG.

Attaques par Injection de Prompt

Injections directes et indirectes, avec cas de test avancés et stratégies de mitigation.

Audit de Sécurité des Agents IA

Évaluation de l'usage des outils autonomes, des permissions et de l'empoisonnement de mémoire.

Gouvernance IA & EU AI Act

Alignement des audits de sécurité techniques avec la conformité réglementaire et la protection des consommateurs.