Attaques Adversariales sur l'Apprentissage par Renforcement
Comment un attaquant peut-il tromper un système IA au moment du test, lors de l'inférence ? En perturbant l'entrée—légèrement. Les attaques par évasion trouvent la limite entre les décisions sûres et l'échec. Ceci est la Partie 1 du tutoriel IJCAI 2022.
Voir le flux de travail →Les Quatre Phases
Une attaque suit un processus reproductible et documenté.
- Conception d'attaque
- Génération de perturbation
- Évaluation du succès
- Métriques de robustesse
Concepts Fondamentaux
Les fondations de la compréhension des menaces adversariales.
Pourquoi les attaques au test comptent
Un agent RL déployé prend des décisions basées sur les observations. Un attaquant peut perturber ces observations—légèrement et souvent imperceptiblement—pour changer la décision de l'agent. L'objectif : trouver la limite entre l'espace d'entrée sûr et dangereux.
- Trouver les limites de décision dans l'espace d'entrée haute dimensionalité
- Mesurer la robustesse aux perturbations adversariales
- Évaluer les performances du pire cas sous attaque
- Concevoir des politiques robustes qui résistent à l'évasion
Méthodologie d'attaque
Une attaque adversariale a quatre phases : conception (choisir la stratégie d'attaque), perturbation (générer des exemples adversariaux), évaluation (mesurer le taux de succès) et vérification (assurer la robustesse). Chaque attaque teste une vulnérabilité spécifique.
- FGSM et PGD : perturbations basées sur les gradients
- Défenses certifiées : limites de robustesse prouvables
- Métriques d'évaluation : taux de succès, magnitude de perturbation
- Vérification de robustesse : méthodes formelles et test
Le Flux de Travail d'Attaque
Chaque phase est méthodique et reproductible. Aucune phase n'est sautée ; chacune a des objectifs clairs.
Concevoir l'attaque
Choisir le modèle de menace : qu'est-ce que l'attaquant peut observer et modifier ?
Générer perturbations
Calculer des exemples adversariaux en utilisant des méthodes basées sur les gradients.
Évaluer le succès
Mesurer le taux de succès d'attaque et la magnitude moyenne de perturbation.
Vérifier la robustesse
Tester si les défenses empêchent réellement des attaques similaires.
Pages Associées
Approfondissements sur les sujets d'attaque et défense complémentaires.
Audit IA & Cadre de Méthode
La méthodologie qui guide les campagnes d'attaque adversariales.
Empoisonnement de Données & Backdoors
Attaques au moment de l'entraînement sur les mêmes systèmes.
Garde-fous et Monitoring IA
Mécanismes de défense pour la protection à l'exécution.
OWASP LLM Top 10
Attaques par évasion spécifiques aux LLM.