Comment le machine learning détecte-t-il les malwares ? L'explication étape par étape

En résumé : l'antivirus par signatures ressemble à un videur muni d'un album photos — si votre visage n'y figure pas, vous entrez. La détection par machine learning, c'est comme un videur qui a étudié des milliers de bagarres et appris à lire le langage corporel — même si vous lui êtes inconnu, votre façon de vous comporter vous trahit. C'est cette distinction qui sépare « nous avons intercepté le virus d'hier » de « nous avons intercepté une attaque zero-day que personne n'avait encore répertoriée. » Ce qui suit : ce que font réellement les signatures, pourquoi elles ne suffisent pas, comment fonctionnent les classificateurs ML, les trois principales approches, ce que Casper's Cloak fait spécifiquement au niveau de la couche réseau, et les limites honnêtes du système.

Détection par signatures vs détection par ML en un coup d'œil

Avant d'entrer dans les détails techniques, voici la comparaison de haut niveau. Les deux approches ont leur place ; la question est de savoir quelles menaces chacune gère le mieux.

La réponse pragmatique est « utiliser les deux. » Les signatures sont rapides et précises pour les menaces connues ; le ML détecte les nouvelles. La plupart des produits de sécurité modernes les combinent. La question intéressante est de savoir comment fonctionne la partie ML — et c'est ce que nous allons examiner dans le reste de cet article.

Ce que fait la détection par signatures (et pourquoi elle ne suffit pas)

La détection par signatures est conceptuellement simple : un chercheur en sécurité analyse un nouveau malware, en extrait une séquence d'octets unique (la « signature ») et l'ajoute à une base de données. Chaque fichier analysé par votre antivirus est comparé à cette base. Correspondance trouvée ? Mis en quarantaine. Pas de correspondance ? Propre.

Ce modèle fonctionnait bien jusqu'au début des années 2000, quand de nouveaux malwares apparaissaient à raison de quelques dizaines par jour et que des analystes humains pouvaient suivre le rythme. L'Institut AV-TEST recense aujourd'hui plus de 450 000 nouveaux malwares et applications potentiellement indésirables par jour. Aucune équipe d'analystes humains ne peut écrire 450 000 signatures par jour. Même la génération automatique de signatures ne peut pas suivre, car les auteurs de malwares utilisent le polymorphisme — ils modifient la séquence d'octets du code à chaque distribution tout en préservant son comportement. Un virus polymorphe peut avoir des milliers de variantes, chacune avec un hash différent, nécessitant une signature distincte. Le jeu est truqué contre la correspondance de motifs statiques.

Le deuxième problème est la fenêtre d'exposition. Entre le moment où un nouveau malware apparaît dans la nature et le moment où une signature pour celui-ci est livrée sur votre appareil, il existe un délai. Ce délai était en moyenne de 24 à 48 heures en 2020 ; avec une automatisation plus rapide des pipelines, il est plus court aujourd'hui, mais il n'est jamais nul. Pendant ce délai, votre antivirus basé sur les signatures est complètement aveugle à la nouvelle menace. C'est là que vivent les attaques zero-day.

Le troisième problème est le mobile. L'analyse par signatures traditionnelle exige de comparer chaque fichier à une large base de données — une opération qui vide la batterie et nécessite un espace de stockage pour la base de données elle-même. iOS ne permet même pas aux applications d'analyser les fichiers d'autres applications. Sur mobile, faire tourner un moteur AV traditionnel en arrière-plan est soit impraticable (consommation de batterie Android) soit architecturalement impossible (sandboxing iOS). La détection doit se faire ailleurs.

Comment les modèles ML apprennent à reconnaître ce qui est « malveillant »

La détection par machine learning adopte une approche fondamentalement différente. Au lieu de mémoriser des spécimens individuels de malwares, on entraîne un modèle sur des caractéristiques — des propriétés mesurables qui tendent à différer entre les logiciels malveillants et bénins (ou le trafic réseau malveillant et bénin). Le modèle apprend une frontière de décision : « les choses présentant ces combinaisons de caractéristiques sont probablement malveillantes ; celles avec ces autres combinaisons sont probablement sûres. »

Étape 1 : Constituer un jeu de données d'entraînement

Vous avez besoin d'exemples étiquetés — des échantillons connus comme malveillants et d'autres connus comme bénins. Pour le ML basé sur les fichiers, cela représente typiquement des millions de fichiers PE (Portable Executable) issus de flux de renseignements sur les menaces, de dépôts publics comme VirusTotal, de honeypots d'entreprise et de consortiums de partage de malwares. Pour le ML basé sur le réseau, cela comprend des journaux de requêtes DNS étiquetées, des enregistrements de flux réseau et des métadonnées d'enregistrement de domaines — des millions de domaines malveillants connus et des millions de domaines bénins connus.

Étape 2 : Extraire les caractéristiques

Les données brutes ne sont pas directement utilisables par un classificateur. Vous transformez chaque échantillon en un vecteur de caractéristiques — une liste de nombres décrivant ses propriétés. Pour un exécutable Windows, les caractéristiques peuvent inclure : l'entropie de chaque section de code (le code compressé/chiffré a une entropie plus élevée), les appels API importés (les malwares ont tendance à importer des API d'injection de processus et de manipulation du registre), le ratio entre sections lecture-écriture et lecture seule, si le fichier possède une signature numérique valide, les motifs de chaînes dans le binaire. Pour un nom de domaine, les caractéristiques peuvent inclure : l'âge du domaine, le registrar, le statut de confidentialité WHOIS, les attributs du certificat TLS, l'historique des enregistrements DNS, la structure lexicale du nom de domaine lui-même.

Étape 3 : Entraîner un classificateur

Avec des vecteurs de caractéristiques étiquetés en main, vous entraînez un modèle de machine learning — des arbres à gradient boosté (XGBoost, LightGBM), des forêts aléatoires, des réseaux de neurones profonds, ou des combinaisons d'ensemble de plusieurs. Le modèle apprend quelles combinaisons de caractéristiques sont corrélées avec « malveillant » et lesquelles le sont avec « bénin. » La validation croisée et les ensembles de test de rétention garantissent que le modèle se généralise à des échantillons non vus plutôt que de mémoriser le jeu d'entraînement.

Étape 4 : Déployer pour l'inférence

Le modèle entraîné est déployé là où il peut évaluer de nouveaux échantillons en temps réel. Pour la détection basée sur les fichiers, c'est généralement un agent de point de terminaison sur l'appareil de l'utilisateur ou un bac à sable cloud. Pour la détection basée sur le réseau, c'est un classificateur intégré au résolveur DNS ou au proxy réseau. Un nouvel échantillon arrive, les caractéristiques sont extraites, le modèle lui attribue un score (typiquement une probabilité entre 0.0 et 1.0), et un seuil détermine l'action — bloquer, autoriser, ou signaler pour révision humaine.

La différence essentielle par rapport aux signatures : le modèle n'a jamais vu cet échantillon spécifique auparavant, mais il reconnaît le schéma. Une nouvelle variante polymorphe de ransomware existant change sa séquence d'octets mais importe toujours les mêmes API de chiffrement, a toujours des sections à haute entropie, ne dispose toujours pas d'un certificat valide — le modèle le détecte parce que les caractéristiques correspondent au schéma malveillant, même si aucun humain n'a écrit de règle pour cette variante.

Les trois principales approches ML de détection des malwares

La détection par ML n'est pas une chose unique — c'est au moins trois approches différentes, chacune opérant à une couche différente de la pile et détectant différentes catégories de menaces.

1. Analyse statique : inspecter le fichier sans l'exécuter

Les modèles ML statiques analysent la structure, les métadonnées et le contenu du fichier sans l'exécuter. Les caractéristiques comprennent les attributs de l'en-tête PE, l'entropie des sections, les tables d'importation, les chaînes intégrées, les métadonnées de ressources, l'identification des packers, et de plus en plus, les séquences d'octets brutes injectées dans des réseaux de neurones convolutifs qui apprennent leurs propres caractéristiques directement depuis le binaire.

Points forts : rapide (aucune exécution en bac à sable requise), passe à l'échelle pour des millions de fichiers, détecte de nombreuses menaces courantes. Points faibles : peut être contourné par l'obfuscation, le packing, ou le code métamorphique qui se restructure. Un attaquant suffisamment motivé peut transformer son binaire jusqu'à ce que ses caractéristiques statiques paraissent bénignes. Le framework MITRE ATT&CK documente ces techniques d'évasion sous Évasion de la défense (TA0005).

2. Analyse dynamique/comportementale : exécuter le fichier et observer son comportement

L'analyse dynamique exécute le fichier suspect dans un bac à sable (une machine virtuelle instrumentée) et enregistre son comportement à l'exécution : quels fichiers il lit et écrit, quelles clés de registre il modifie, quelles connexions réseau il ouvre, quels processus il engendre, quels appels système il effectue. Un modèle ML entraîné sur ces traces comportementales peut classer l'échantillon en fonction de ce qu'il fait, et non de ce à quoi il ressemble.

Points forts : beaucoup plus difficile à contourner — même si le binaire est obfusqué, le comportement doit se dérouler pour que le malware atteigne son objectif. Le ransomware doit chiffrer des fichiers ; un keylogger doit accrocher le clavier ; une balise C2 doit appeler son serveur. Le comportement est la vérité de terrain. Points faibles : lent (l'exécution en bac à sable prend des secondes à des minutes), coûteux (les VM consomment du calcul), et certains malwares détectent les bacs à sable et refusent de s'exécuter. L'évasion de bac à sable est son propre jeu du chat et de la souris.

3. Analyse du trafic réseau : classer les connexions sans inspecter les charges utiles

Le ML au niveau réseau opère sur les métadonnées des connexions réseau — requêtes DNS, attributs de handshake TLS, statistiques de flux, schémas d'enregistrement de domaines — sans déchiffrer ni inspecter la charge utile réelle. C'est l'approche la plus pertinente pour la sécurité mobile grand public, et c'est là où Casper's Cloak opère.

Points forts : fonctionne sur n'importe quel appareil sans installer d'agent de point de terminaison qui analyse les fichiers, gère le trafic chiffré sans casser le chiffrement, passe à l'échelle pour des millions de requêtes DNS par seconde, détecte l'infrastructure de phishing et de C2 au niveau de l'enregistrement de domaine avant même que le malware n'atteigne l'appareil de l'utilisateur. Points faibles : ne peut pas voir ce qui se trouve dans la charge utile chiffrée, ne peut pas détecter les malwares qui ne font pas de connexions réseau, et dépend de la qualité des caractéristiques de domaine/réseau.

Quelles caractéristiques le modèle examine-t-il réellement ?

C'est là que l'abstraction « le ML détecte des schémas » devient concrète. Pour la classification ML au niveau réseau — l'approche la plus pertinente pour Casper — les caractéristiques se répartissent en six catégories :

• Âge du domaine et schémas d'enregistrement. Les domaines malveillants sont massivement jeunes — enregistrés des jours ou des heures avant leur utilisation, souvent en masse via des registrars automatisés. Un domaine enregistré il y a 72 heures via un registrar à confidentialité WHOIS qui a également enregistré 200 autres domaines dans le même lot est statistiquement bien plus susceptible d'être malveillant qu'un domaine enregistré il y a huit ans avec un historique WHOIS cohérent. Le classificateur pondère fortement l'âge du domaine, et pour de bonnes raisons : le Cadre de cybersécurité du NIST identifie la gestion des actifs et le risque lié à la chaîne d'approvisionnement (y compris la provenance des domaines) comme des contrôles essentiels de la fonction d'identification.
• Attributs du certificat TLS. Les sites légitimes utilisent de plus en plus des certificats d'autorités de certification établies avec validation d'organisation. L'infrastructure de phishing et de malwares s'appuie sur des certificats DV (Domain Validation) gratuits et émis automatiquement — en particulier, un grand volume de certificats Let's Encrypt émis en succession rapide pour des domaines sans présence web préalable. Le classificateur examine l'émetteur du certificat, la période de validité, les entrées SAN (Subject Alternative Name), et si la chaîne de certificats correspond à l'utilisation apparente du domaine.
• Comportement DNS. L'infrastructure C2 des malwares utilise souvent le DNS fast-flux (rotation rapide des adresses IP derrière un domaine), des noms de domaines générés par DGA (chaînes générées algorithmiquement comme xk3j7mq9.net), ou des types d'enregistrements inhabituels (enregistrements TXT utilisés pour l'exfiltration de données). Le classificateur examine les valeurs TTL, le nombre d'adresses IP retournées, la diversité géographique des IP résolues, et l'entropie lexicale du nom de domaine lui-même.
• Infrastructure d'hébergement. Les fournisseurs d'hébergement à l'épreuve des balles et certains ASN (Autonomous System Numbers) sont disproportionnellement associés à l'infrastructure de malwares. Le modèle apprend quels environnements d'hébergement sont corrélés avec une activité malveillante — non pas comme une liste de blocage, mais comme une caractéristique pondérée parmi toutes les autres.
• Schémas de requêtes. Les balises C2 des malwares ont tendance à produire des schémas de trafic distinctifs : rappels à intervalles réguliers, petites charges utiles dans les deux sens, connexions à une infrastructure sans contenu web légitime. Le classificateur peut identifier ces schémas à partir des métadonnées de flux (timing, taille, direction) sans inspecter le contenu chiffré.
• Analyse lexicale et structurelle du nom de domaine. Les domaines DGA ont une entropie élevée et une faible prononçabilité. Les domaines de phishing imitent des marques légitimes avec des substitutions de caractères (paypa1.com, arnazon-security.com). Les caractéristiques NLP mesurent la distance d'édition par rapport aux marques connues, les distributions de n-grammes de caractères, et si le domaine suit les schémas structuraux des enregistrements légitimes.

Aucune caractéristique unique n'est déterminante — de nombreux domaines légitimes sont récents, utilisent Let's Encrypt, ou sont hébergés sur une infrastructure partagée. Le rôle du classificateur est de peser toutes les caractéristiques simultanément et de produire un score de risque. Un nouveau domaine seul pourrait obtenir un score de 0,3 ; un nouveau domaine avec un nom ressemblant à un DGA, un certificat Let's Encrypt vieux de 48 heures, hébergé sur un ASN connu pour les abus, ne servant aucun contenu web ? Il obtient un score de 0,95+.

Comment Casper's Cloak utilise la détection ML au niveau réseau

La protection contre les menaces de Casper opère au niveau de la résolution DNS. Lorsque votre appareil effectue une requête DNS — quelle que soit l'application, quelle que soit la connexion — la requête passe par le résolveur de Casper avant qu'une adresse IP ne soit retournée. Voici ce qui se passe dans les millisecondes entre la requête et la réponse :

1. La requête DNS arrive au résolveur de Casper. Votre téléphone demande « quelle est l'adresse IP de suspicious-domain.com ? » La requête transite par le tunnel VPN chiffré, de sorte que personne sur le réseau local (WiFi de café, FAI) ne peut la voir.
2. Vérification de la liste de blocage statique. D'abord, une recherche rapide dans des listes de blocage organisées — domaines de phishing connus, domaines C2 de malwares connus, domaines de trackers connus. C'est l'équivalent de la vérification par signature : précise, rapide, et limitée aux menaces connues. En cas de correspondance, le domaine est immédiatement bloqué.
3. Évaluation par le classificateur ML. Si le domaine ne figure sur aucune liste statique, le classificateur extrait des caractéristiques : âge du domaine, registrar, métadonnées du certificat, historique des enregistrements DNS, analyse lexicale, infrastructure d'hébergement, et schémas de requêtes récents pour ce domaine parmi tous les utilisateurs de Casper (anonymisés et agrégés). Le modèle évalue le risque du domaine.
4. Décision basée sur un seuil. Si le score de risque dépasse le seuil configuré, le domaine est bloqué (le résolveur retourne NXDOMAIN). S'il est en dessous du seuil, l'adresse IP légitime est retournée. Les scores limites peuvent déclencher un « blocage souple » — l'utilisateur voit un avertissement interstitiel plutôt qu'un blocage définitif, avec la possibilité de continuer.
5. L'ensemble du processus se termine avant l'établissement de la connexion. La classification se produit au moment de la résolution DNS — avant le handshake TCP, avant la négociation TLS, avant tout échange de données. La connexion malveillante ne s'établit jamais.

C'est ce qui rend la détection ML au niveau DNS particulièrement bien adaptée au mobile : elle protège chaque application de l'appareil, ne nécessite aucune analyse sur l'appareil (le modèle s'exécute sur notre infrastructure de résolveurs), ne vide pas la batterie, et fonctionne à la fois sur iOS et Android sans les limitations architecturales qui empêchent l'antivirus traditionnel de fonctionner sur mobile. Nous avons couvert en détail l'aspect phishing dans notre analyse de trois vraies campagnes de phishing.

Ce que le ML au niveau réseau de Casper ne fait pas : il n'analyse pas les fichiers sur votre appareil. Il n'inspecte pas le contenu des connexions chiffrées. Il ne surveille pas le comportement des applications sur l'appareil. Si un fichier malveillant se trouve déjà sur votre appareil et ne communique que via une adresse IP (sans requête DNS), le classificateur DNS de Casper ne le verra pas. C'est la limite honnête de la détection au niveau réseau — elle est extrêmement efficace pour détecter les menaces qui impliquent une infrastructure basée sur des domaines (ce qui représente la grande majorité du phishing, de la distribution de malwares et des communications C2), mais elle ne remplace pas la sécurité endpoint sur l'appareil dans les environnements d'entreprise où des attaquants sophistiqués et ciblés pourraient utiliser des canaux C2 uniquement par IP.

Limites et mises en garde honnêtes

La détection de malwares par ML représente une véritable amélioration par rapport aux seules signatures, mais elle a des limites réelles qu'une discussion honnête doit nommer.

Les faux positifs ont un coût réel

La classification probabiliste signifie que le modèle signalera parfois des domaines légitimes comme malveillants. Une toute nouvelle startup avec un domaine récemment enregistré, un certificat Let's Encrypt et un hébergement chez un fournisseur économique peut déclencher les mêmes caractéristiques que l'infrastructure de malwares. Le taux de faux positifs pour un classificateur DNS bien calibré se situe typiquement entre 0,01 et 0,1 % — faible en pourcentage, mais quand on traite des millions de requêtes par jour, même 0,01 % représente des milliers de requêtes légitimes signalées. Le travail d'ingénierie consiste à calibrer le seuil, à créer des mécanismes rapides de mise en liste blanche, et à réentraîner continuellement sur les retours de faux positifs pour réduire ce taux.

Le ML adversarial est une vraie discipline

Les attaquants qui comprennent les classificateurs ML peuvent concevoir leur infrastructure pour les contourner — en vieillissant les domaines avant utilisation, en obtenant des certificats EV, en s'hébergeant chez des fournisseurs réputés, en utilisant des noms de domaines à l'apparence légitime. C'est ce qu'on appelle le machine learning adversarial, et c'est un domaine actif de recherche académique et de jeu du chat et de la souris dans le monde réel. Le framework MITRE ATLAS (Adversarial Threat Landscape for AI Systems) répertorie les techniques ML adversariales connues spécifiquement pour ce domaine.

L'avantage du défenseur : contourner une caractéristique est facile ; contourner toutes les caractéristiques simultanément est coûteux. Vieillir un domaine prend du temps (et le temps, c'est de l'argent pour les campagnes d'attaque). Obtenir un certificat EV nécessite une vérification d'identité organisationnelle. S'héberger chez des fournisseurs réputés signifie accepter leurs processus de réponse aux abus. Le classificateur ML n'a pas besoin que chaque caractéristique soit individuellement imbattable — il a besoin que la combinaison soit suffisamment coûteuse à contourner pour que la plupart des attaquants n'y prennent pas la peine, et que ceux qui le font soient pris sur d'autres caractéristiques ou lors du prochain cycle de réentraînement.

Les charges utiles chiffrées sont opaques au niveau réseau

Le ML au niveau réseau voit les métadonnées — noms de domaines, attributs de certificats, statistiques de flux — et non le contenu des charges utiles. Si une charge utile malveillante est livrée via HTTPS depuis un domaine à l'apparence légitime (un site WordPress compromis, un fichier malveillant hébergé sur le stockage d'un grand fournisseur cloud), le classificateur DNS pourrait ne pas le signaler parce que les caractéristiques du domaine semblent propres. C'est pourquoi la détection au niveau réseau complète mais ne remplace pas les autres couches : le blocage des trackers au niveau DNS stoppe le canal d'exfiltration de données ; les protections au niveau du navigateur et du système d'exploitation (Google Safe Browsing, XProtect d'Apple) gèrent la couche d'inspection des charges utiles.

La dérive du modèle nécessite un réentraînement continu

Le paysage des menaces évolue constamment. Les attaquants changent de registrars, adoptent de nouveaux fournisseurs d'hébergement, modifient leurs algorithmes de génération de domaines. Un modèle entraîné sur des données de 2025 verra sa précision se dégrader en quelques mois s'il n'est pas réentraîné sur de nouvelles données étiquetées. Le réentraînement continu sur de nouveaux renseignements sur les menaces — ainsi que les boucles de rétroaction provenant des faux positifs et faux négatifs en production — est indispensable. Un classificateur ML déployé n'est pas un artefact « entraîner une fois, déployer définitivement » ; c'est un système vivant qui nécessite un investissement continu.

Ce que cela signifie pour votre téléphone

Si vous lisez ceci sur un téléphone — ce qui est statistiquement le cas pour la plupart d'entre vous — voici les conclusions pratiques :

• L'antivirus traditionnel ne fonctionne pas bien sur mobile. iOS ne le permet pas architecturalement ; sur Android, il vide la batterie et ne peut toujours pas analyser la plupart des données des applications. Le modèle par signatures a été conçu pour les ordinateurs de bureau avec accès complet au système de fichiers.
• La détection ML au niveau réseau fonctionne sur toutes les plateformes mobiles. Elle n'a pas besoin d'accéder au système de fichiers, n'a pas besoin de s'exécuter sur l'appareil, et protège simultanément toutes les applications. Quand votre téléphone essaie de joindre un domaine de phishing, le classificateur DNS le bloque avant l'ouverture de la connexion — quelle que soit l'application qui a initié la connexion.
• La combinaison de listes de blocage statiques et de classification ML couvre à la fois les menaces connues et inconnues. Les listes de blocage interceptent les domaines déjà répertoriés ; le classificateur ML détecte les nouveaux qui ne l'ont pas encore été. Ensemble, ils sont significativement plus efficaces que l'un ou l'autre seul.
• Aucune couche unique ne couvre tout. Le ML DNS détecte les menaces basées sur des domaines (phishing, distribution de malwares, communication C2, pistage). Il ne détecte pas les menaces hébergées en première partie ni celles qui contournent entièrement le DNS. Une approche en couches — Casper au niveau réseau, protections du navigateur au niveau du contenu, protections du système d'exploitation au niveau système — offre la couverture la plus large.

Le message plus large : le machine learning en sécurité n'est ni du battage médiatique ni de la magie. C'est une discipline d'ingénierie spécifique qui reconnaît des schémas dans les données — et pour le problème précis de « ce domaine est-il probablement malveillant ? », l'approche par reconnaissance de schémas surpasse largement les listes statiques, surtout pour les menaces zero-day que les signatures ne pourront jamais intercepter à temps. La question est de savoir si vos outils de sécurité l'utilisent, et s'ils sont honnêtes sur ce qu'ils couvrent et ce qu'ils ne couvrent pas.

À lire aussi : SMS de phishing en 2026 — anatomie de trois campagnes illustre le classificateur ML en action contre une infrastructure de phishing réelle. Protection contre les menaces est la page de fonctionnalité pour la détection ML de Casper. Blocage des trackers couvre la couche de filtrage DNS complémentaire. Pour les fondements académiques, le framework MITRE ATLAS répertorie les techniques ML adversariales, et le Cadre de cybersécurité du NIST fournit le contexte de gestion des risques plus large dans lequel ces systèmes de détection opèrent.