Empoisonnement de Données et Backdoors IA
Un attaquant peut corrompre les données d'entraînement elles-mêmes—en injectant des poisons, des trojans et des comportements dormants. Le modèle apprend à partir de mauvaises données et devient peu fiable. Ceci est la Partie 2 du tutoriel IJCAI 2022.
Voir le flux de travail →Les Quatre Phases
Une attaque suit un processus reproductible et documenté.
- Collecte de données
- Injection de poison
- Entraînement & vérification
- Déploiement
Concepts Fondamentaux
Les fondations de la compréhension des menaces adversariales.
Pourquoi les attaques à l'entraînement comptent
Les données d'entraînement sont critiques de confiance. Si un attaquant peut empoisonner l'ensemble d'entraînement—directement ou via une vulnérabilité de la chaîne d'approvisionnement—il contrôle ce que le modèle apprend. Les backdoors sont des déclencheurs cachés qui activent un comportement malveillant.
- Corrompre le comportement du modèle sans changements de code visibles
- Cacher les attaques : l'empoisonnement affecte une petite fraction des données
- Déclencher des backdoors sur des entrées spécifiques (trojans)
- Compromettre des chaînes d'approvisionnement entières (datasets, bibliothèques)
Méthodologie d'attaque et défense
L'empoisonnement de données a quatre phases : collecte (identifier les sources de données), injection (craft les échantillons empoisonnés), entraînement (surveiller la détection de backdoor) et déploiement (détecter les déclencheurs). Les défenses doivent attraper les attaques à la fois évidentes et covert.
- Attaques par inversion d'étiquette et empoisonnement de caractéristiques
- Déclencheurs trojans : déclencheurs physiques, backdoors sémantiques
- Détection : détection d'anomalies à l'entraînement, test de comportement
- Sécurité de la chaîne d'approvisionnement : vérifier les datasets, modèles checkpoints
Le Flux de Travail d'Attaque
Chaque phase est méthodique et reproductible. Aucune phase n'est sautée ; chacune a des objectifs clairs.
Identifier les cibles
Quels datasets ? Quels modèles ? Quelles hypothèses de confiance sont rompues ?
Craft les échantillons empoisonnés
Concevoir les backdoors : déclencheurs, charges utiles, plausibilité.
Injecter et entraîner
Ajouter le poison aux données d'entraînement ; vérifier que le backdoor fonctionne.
Déployer et déclencher
Relâcher le modèle ; exécuter le backdoor sur les entrées cibles.
Pages Associées
Approfondissements sur les sujets d'attaque et défense complémentaires.
Audit IA & Cadre de Méthode
Comment tester et détecter les modèles empoisonnés.
Attaques Adversariales & RL
Évasion au moment du test—le complément aux attaques au moment de l'entraînement.
Sécurité de la Chaîne IA
Se défendre contre les datasets et modèles compromis.
Garde-fous et Monitoring IA
Détection à l'exécution de l'activation de backdoor.