L’IA comme objet de menace.
Le développement de l’usage de systèmes d’intelligence artificielle (SIA) dans différents secteurs d’activité s’accompagne de progrès et de risques. Parmi ces risques, l’atteinte à la sécurité des systèmes d’information peut nuire à l’intégrité, la disponibilité et la confidentialité des données.
La cybersécurité est la pratique consistant à protéger les ordinateurs, les dispositifs mobiles et les autres actifs numériques contre des attaques malveillantes. Les cyberattaques représentent un danger grandissant pour les particuliers et les organisations. Les risques majeurs sont les violations de données, notamment personnelles, les délits financiers, les atteintes à la réputation et à la propriété intellectuelle.
Les SIA n’échappent pas à ces menaces. Certains types d’attaques peuvent même cibler spécifiquement les SIA, comme l’empoisonnement (envoi massif de données qui vont biaiser les probabilités), l’inférence (obtention par recoupement d’informations inaccessibles) ou l’évasion (communication de modifications dans les données entrantes qui vont modifier la classification).
Le SIA peut être utilisé en tant que tel (filtre anti-spam, par exemple) mais peut également être intégré à un système d’information plus vaste (gestion de la relation client). Comme le développement de la technologie a entraîné une plus forte interconnexion des systèmes des structures privées et publiques, cette interconnexion induit l’interdépendance des risques devenant complexes et systémiques.
Face à ces risques, les solutions sont technologiques et surtout organisationnelles. Mise en place d’une équipe dédiée, établissement d’une politique de sécurité, audit, contrôle, formation et solutions juridiques. La réponse juridique se trouve essentiellement dans la responsabilité des organisations. Cela signifie qu’elles doivent répondre des dommages qui pourraient être causés aux données de leurs salariés, clients et partenaires. Pour éviter ces dommages, leurs obligations sont de sécuriser leur système d’information, par des moyens techniques et organisationnels.
Quand les données sont à caractère personnel, ce qui est fréquemment le cas, la réglementation a introduit une obligation spécifique de sécurité depuis 1978, dans la première version de la loi Informatique et Libertés. Le RGPD a largement renforcé cette obligation.
De plus, afin de palier au risque systémique, le cadre juridique de la cybersécurité a été spécifiquement développé en France depuis 2013. Dans l’Union européenne également, depuis 2016, une directive sur la sécurité des réseaux (dite NIS - Network and Information Security) a mis en place des mesures de cybersécurité pour les entités publiques et privées. Elle est remplacée, en janvier 2023, par la directive NIS2. Dans un contexte de numérisation et d’interconnexion croissante des activités et face à des acteurs malveillants mieux outillés, le texte renforce ses objectifs et son périmètre d’application. Il entrera en vigueur d’ici septembre 2024.
Un autre texte consolide la coordination stratégique de la cybersécurité européenne, le Règlement Cybersecurity Act, du 7 juin 2019. Il poursuit un double objectif : le renforcement du rôle de l’ENISA, Agence européenne pour la cybersécurité, et la définition d’un cadre européen de certification de cybersécurité. Ce texte est applicable depuis juin 2023.
A côté de ces textes relatifs à la cybersécurité, une proposition de réglementation européenne dédiée à l’IA a été adoptée le 14 juin 2023 par le Parlement. Le Règlement établissant des règles harmonisées concernant l’intelligence artificielle, ou AI Act, a pour objectif d’évaluer l’impact des SIA et de les contrôler. Sa publication définitive est attendue pour la fin de l’année 2023 et son application pour 2025.
Dans l’AI Act, des obligations sont prévues tant pour les fournisseurs que les utilisateurs d’IA, notamment de gouvernance et de transparence. Ce Règlement intègre l’aspect de cybersécurité de l’IA, en exigeant que les SIA à haut risque atteignent un niveau approprié d’exactitude, de robustesse et de cybersécurité. (Voir Encadrement juridique de l’intelligence artificielle : les réponses essentielles.)
Les acteurs de l’IA devront respecter un ensemble de normes harmonisées et seront soumis à des évaluations de conformité par des organismes d’évaluation notifiés. L’ENISA a publié, en mars 2023, un rapport qui examine comment la normalisation peut soutenir la mise en œuvre des aspects de cybersécurité intégrés dans l’AI Act.
L’IA comme nouvelle menace.
La technologie de l’IA peut être utilisée avec des intentions malveillantes. Il est probable que nous assisterons à l’avenir à des cyberattaques plus sophistiquées et plus complexes basées sur l’IA.
Les SIA peuvent par exemple préparer des modèles de courrier destinés au phishing ou générer des deep fakes en manipulant voix ou visages dans une vidéo. Les attaquants peuvent tirer parti des données d’entraînement pour créer une "porte dérobée" dans les algorithmes. Les attaquants peuvent également utiliser l’IA pour décider quelle vulnérabilité est la plus susceptible d’être exploitée. Les logiciels malveillants pilotés par l’IA peuvent utiliser des techniques d’apprentissage par renforcement pour s’améliorer et mener des attaques encore plus dommageables.
Selon Europol, les menaces les plus répandues sont l’usage du ransomware, les défigurations de sites et les attaques par déni de service.
Quels que soient les délits commis dans le monde numérique, la réponse majeure est d’ordre pénal. Le Code pénal prévoit un ensemble de délits applicables, notamment l’escroquerie, l’abus de confiance ou la contrefaçon en matière de propriété intellectuelle, pour sanctionner les actes malveillants. Voir Intelligence artificielle et propriété intellectuelle : le débat.
Outre ces infractions traditionnelles, certaines dispositions pénales sont, depuis 1988, spécifiquement applicables dans le cas d’atteintes aux systèmes de traitement automatisé de données.
Ces délits peuvent en théorie permettre de sanctionner les actes malveillants relatifs aux systèmes d’information mais en pratique, les enquêteurs de la police et la gendarmerie sont confrontés à des difficultés liées à la faible proportion de plaintes et au caractère international de la délinquance. En janvier 2023, le réseau de délinquants diffusant le rançongiciel Hive a été démantelé, dans le cadre d’une opération internationale rassemblant les services de 13 pays.
Au-delà de la délinquance, l’usage de l’IA bouscule le cadre de la cybersécurité. La sécurité de l’information dépasse la sécurisation des données et comprend également la traçabilité des instructions. L’utilisation d’une application d’IA peut générer des risques complexes. Qui sera responsable des décisions prises d’après les recommandations d’un SIA, dans une entreprise ou un hôpital ?
Comment estimer la part d’intervention ou de contrôle humain ? Comment rendre les décisions explicables ? En cas de litige, les processus seront-ils reproductibles ? Le législateur européen cherche à faciliter les recours pour les victimes de l’IA, avec une proposition de Directive de septembre 2022, sur la responsabilité civile extracontractuelle en matière d’IA. Elle vise à simplifier le processus juridique pour les victimes. Pour prouver que la victime a subi un dommage, en cas de faute établie, une présomption de faute sera suffisante. Cette présomption sera introduite dès lors qu’il peut être considéré comme probable que la faute en cause a influencé le résultat du système d’IA, la juridiction pouvant présumer que ce non-respect a causé le dommage. Et les victimes disposeront d’un droit d’accès aux éléments de preuve auprès des entreprises et des fournisseurs, lorsque des systèmes d’IA à haut risque sont utilisés.
Le bénéfice pour les entreprises sera de leur permettre de mieux évaluer et anticiper leurs risques en matière de responsabilité.
L’IA comme outil de cybersécurité.
L’intelligence artificielle n’est pas seulement un moyen de renforcer les attaques, mais représente un moyen de fortifier les défenses.
L’intelligence artificielle dans la cybersécurité permet d’améliorer les outils et processus de sécurité. Depuis quelques années, les procédures de protection des systèmes d’information des entreprises ont intégré des applications IA dans des pare-feux, des logiciels antivirus ou anti-malware.
Les solutions traditionnelles de machine learning et de réseaux neuronaux sont largement utilisées dans différentes tâches de cybersécurité telles que la détection de menaces, la remédiation et la sécurisation des développements :
La détection des menaces est optimisée par l’IA, de par sa capacité à analyser rapidement de grands volumes de données. L’IA peut détecter les attaques de réseau et autres cybermenaces pour stopper la progression de l’attaque le plus rapidement possible et éviter ainsi sa propagation dans le système d’information. L’IA peut aussi détecter les anomalies dans les flux des données, internes et externes, facilitant ainsi la détection d’un comportement suspect, permettant de vérifier le contexte des actions analysées et d’éviter la réalisation d’un acte malveillant ;
Outre sa rapidité d’analyse, l’IA peut générer un correctif de défense adapté à la menace. L’IA est utilisée pour construire des modèles permettant d’identifier en amont les failles dans la gestion du risque cyber d’une organisation et d’améliorer le processus existant ;
L’IA est utilisée dans le cadre de développement des logiciels sécurisés, en fournissant aux programmeurs un retour en temps réel sur la robustesse de leur code. L’analyse par le SIA met en évidence les vulnérabilités du code applicatif, leurs impacts, leurs emplacements et les moyens de remédiation correspondants.
Les obligations légales précitées en matière de cybersécurité sont technologiquement neutres. Les lois n’imposent généralement pas l’usage d’un outil ou d’un autre, mais contraignent parfois les organisations à choisir des applications ou prestataires certifiés par un organisme public, notamment par l’ANSSI en France, agence nationale de sécurité des systèmes d’information.
A la charge des organisations de sélectionner et de financer les mesures de sécurité, incluant les SIA, en proportion des enjeux et risques encourus. La volonté du législateur européen est cependant de renforcer l’articulation entre normes juridiques et techniques, tant dans le domaine de l’IA que celui de la cybersécurité, afin d’élever le niveau de sécurité.
Les questions soulevées par l’IA représentent un défi, afin qu’elle puisse déployer toute sa puissance. Mesurer son impact et la contrôler, en vue de la rendre cybersécurisée et robuste, passe notamment par des voies juridiques.