Fuzzilli et BigSleep trouvent des vulnérabilités complémentaires dans V8
Une étude de Google Project Zero compare Fuzzilli, un outil de fuzzing, et BigSleep, un agent fondé sur un modèle de langage, pour détecter des vulnérabilités dans le moteur JavaScript V8 de Chrome. Sur six mois d’utilisation en production, BigSleep a identifié 45 vulnérabilités exploitables contre 37 pour Fuzzilli, avec environ 25 % de recouvrement. Une expérience rétrospective estime toutefois ce recouvrement à près de 60 %, en raison d’une méthodologie différente. Les résultats suggèrent que les deux approches détectent encore des failles distinctes : le fuzzing reste efficace pour certains bugs complexes ou non locaux, tandis que l’agent peut repérer des problèmes nécessitant un raisonnement sur le code. L’étude recommande donc de combiner les deux méthodes plutôt que de remplacer le fuzzing par l’IA.
Ce qu’il faut retenir
Project Zero compare Fuzzilli, un fuzzer JavaScript, et BigSleep, un système de recherche de bugs fondé sur un modèle de langage, sur le moteur V8 de Chrome.
Sources : Google Project Zero
Sur six mois de fonctionnement en production, BigSleep a trouvé 45 vulnérabilités exploitables contre 37 pour Fuzzilli.
Sources : Google Project Zero
Le recouvrement des vulnérabilités identifiées en production est estimé à environ 25 %, soit 20 rapports sur 81 dans la mesure retenue par l’étude.
Sources : Google Project Zero
Une expérience rétrospective menée sur d’anciennes vulnérabilités attribuées à Fuzzilli estime que BigSleep pouvait en retrouver environ 60 %, et environ 70 % après des essais avec des points de départ et des consignes différents.
Sources : Google Project Zero
Les résultats indiquent que le fuzzing et l’analyse agentique ne détectent pas exactement les mêmes vulnérabilités et restent donc complémentaires.
Sources : Google Project Zero
Selon l’étude, BigSleep peut tirer parti d’un raisonnement progressif pour identifier des bugs liés à des combinaisons complexes de mécanismes, à des valeurs particulières ou à des fonctionnalités peu couvertes par le fuzzer.
Sources : Google Project Zero
Selon l’étude, Fuzzilli conserve des avantages pour les bugs non locaux, les états difficiles à déduire du seul code source et certains problèmes liés aux optimisations des compilateurs.
Sources : Google Project Zero
L’article recommande aux éditeurs d’utiliser à la fois le fuzzing et l’analyse agentique afin d’augmenter le nombre de vulnérabilités détectées avant qu’elles n’affectent les utilisateurs.
Sources : Google Project Zero
Désaccords et incertitudes
Les deux mesures présentées dans l’étude donnent des estimations sensiblement différentes du recouvrement entre les deux approches, en raison de protocoles distincts et de biais méthodologiques.
L’analyse des rapports de production conclut à un recouvrement d’environ 25 % des vulnérabilités exploitables.
Sources : Google Project Zero
L’expérience de redécouverte sur des vulnérabilités historiques estime le recouvrement à environ 60 %, voire 70 % avec des essais supplémentaires.
Sources : Google Project Zero
Sources
- Google Project ZeroFuzzers vs. AI: Comparing Fuzzilli and BigSleep on JavaScript Engines Ouvrir l'article ↗