Presse Solutions
FR EN

Résultats du forum :
Solutions et propositions clés

Le 8 février 2025 s'est tenue au Learning Planet Institute à Paris la plus grande conférence francophone jamais organisée sur la sécurité et l'éthique de l'intelligence artificielle. Organisé par Pause IA, cet événement historique a réuni une centaine d'experts, chercheurs et décideurs à la veille du Sommet pour l'Action sur l'IA.

Alors que le développement de l'intelligence artificielle s'accélère, avec l'émergence de modèles comme O3 d'OpenAI ou DeepSeek R1, les risques autrefois théoriques se matérialisent plus rapidement que prévu. Face à ce constat, notre Forum visait à examiner la réalité de ces risques et à identifier des solutions concrètes pour y répondre.

La diversité et l'expertise des intervenants témoignent de l'urgence ressentie par l'ensemble de la communauté :

  • Chercheurs et académiques : Raja Chatila (Professeur émérite, Sorbonne Université), Le Nguyen Hoang (Président, Tournesol), Otto Barten (X-Risk Observatory)
  • Experts en sécurité de l'IA : Charbel-Raphael Segerie (Directeur exécutif, CeSIA), Henri Papadatos (Managing Director, Safer AI), Adam Shimi (Control AI), Jeremy Perret (Suboptimal AI)
  • Organisations de la société civile : Anne-Sophie Simpere (Coordinatrice, Stop Killer Robots), Lou Welgryn (Co-Présidente, Data For Good), Maxime Fournes (Président, Pause IA), Henri-Alexis Corvol (Observatoire de l'IA)
  • Experts techniques : Marc Faddoul (Directeur, AI Forensics), Mathilde Cerioli (Chief Scientist, everyone.AI)
  • Analystes et prospectivistes : Arthur Grimonpont (Reporters sans frontières), Flavien Chervet (Ecrivain et Conférencier)

Les échanges ont mis en lumière trois constats majeurs :

  1. Les risques liés à l'IA ne sont plus spéculatifs mais se matérialisent déjà, de la désinformation massive aux cyberattaques automatisées.
  2. Les mesures de sécurité actuelles sont dangereusement inadéquates face à l'accélération des capacités de l'IA.
  3. Des solutions concrètes existent, tant techniques que réglementaires, mais nécessitent une mobilisation politique immédiate.

Ce compte-rendu synthétise les analyses et propositions émises lors de cette journée, dans l'objectif d'éclairer les discussions du Sommet pour l'Action sur l'IA et d'encourager une réponse coordonnée aux défis qui nous attendent.

Résumé exécutif

Le 8 février 2025, à la veille du Sommet pour l'Action sur l'IA, quinze experts, dix organisations et une centaine de participants se sont réunis pour la plus grande conférence francophone sur la sécurité de l'IA jamais organisée. Les échanges ont mis en évidence trois constats majeurs et un ensemble de solutions concrètes.

1. La matérialisation des risques

Les risques liés à l'IA ne sont plus spéculatifs - ils se concrétisent plus rapidement que prévu. Des deepfakes manipulant l'opinion publique aux cyberattaques automatisées paralysant des infrastructures critiques, en passant par la perte croissante de souveraineté numérique, les préoccupations théoriques d'hier sont devenues les défis d'aujourd'hui.

2. L'insuffisance alarmante des mesures de sécurité

Les standards de sécurité actuels de l'IA sont dramatiquement insuffisants comparés à ceux d'autres industries à haut risque comme l'aviation ou le nucléaire. Alors que les capacités de l'IA connaissent une croissance exponentielle en 2025, les mesures de sécurité restent embryonnaires.

3. Des solutions concrètes à notre portée

Des solutions existent et sont prêtes à être déployées. Des frameworks de gestion des risques éprouvés aux initiatives de gouvernance internationale comme le Traité de Sécurité Conditionnel de l'IA, nous disposons d'outils concrets pour sécuriser le développement de l'IA. Ce qui manque aujourd'hui n'est pas la faisabilité technique mais la volonté politique de mettre en œuvre ces solutions avant qu'il ne soit trop tard.

Cette synthèse des travaux du Forum constitue un appel urgent à l'action, alors que s'ouvre le Sommet pour l'Action sur l'IA. La France dispose d'une tribune internationale pour faire entendre un message fort : seule une gouvernance internationale ambitieuse de l'IA peut préserver notre avenir commun.

1. La réalité des risques : des prédictions aux faits

Les discussions de notre Forum ont mis en évidence un constat alarmant : l'intelligence artificielle génère déjà des impacts négatifs concrets, tandis que des risques plus graves se profilent à un horizon plus proche qu'anticipé.

Une technologie qui échappe déjà à notre contrôle

La première rencontre à grande échelle entre l'humanité et l'intelligence artificielle s'est faite à travers les algorithmes de recommandation des réseaux sociaux. Comme l'explique Arthur Grimonpont, ces systèmes "structurent la propagation de l'information à l'échelle planétaire puisque 5 milliards de personnes s'en servent quotidiennement à raison de 2h30 par jour." Le résultat ? "Un paysage de l'information corrompue, empêchant toute prise de décision rationnelle", au point que le Bulletin of the Atomic Scientists a ajouté en 2020 la désinformation à son tableau des menaces existentielles.

Des impacts systémiques déjà mesurables

Les effets de l'IA se manifestent dans tous les domaines :

  • Impact environnemental : "L'Agence internationale de l'énergie nous dit que ça représente à peu près 2% de l'électricité mondiale [...] il prévoit un doublement d'ici 2026", alerte Lou Welgryn. Plus inquiétant encore, l'IA accélère l'extraction des énergies fossiles : un seul contrat de Microsoft avec ExxonMobil permet d'extraire "50 000 barils de pétrole supplémentaire par jour."
  • Impact sur le développement humain : Les algorithmes exposent systématiquement les jeunes utilisateurs à des contenus dangereux. Mathilde Cerioli révèle qu'en "30 minutes, un adolescent de 13 ans va avoir été exposé à des contenus qui encouragent l'automutilation." Des cas tragiques impliquant des chatbots comme Character.ai démontrent déjà la capacité de ces systèmes à manipuler psychologiquement les utilisateurs vulnérables.

Vulnérabilités cybernétiques exponentielles

La cybersécurité représente peut-être la menace la plus immédiate. Les chiffres sont vertigineux : les coûts de la cybercriminalité devraient atteindre 18 trillions de dollars (!) en 2025, soit "six fois le PIB de la France", rapporte Le Nguyen Hoang. Plus inquiétant encore, même les géants technologiques peinent à assurer leur sécurité : après une intrusion de hackers chinois en 2023, "Microsoft ne sait pas comment les attaquants sont entrés et s'ils sont encore dans les systèmes."

Cette vulnérabilité systémique risque de s'aggraver exponentiellement avec l'émergence d'IA capables de programmer et pirater. Comme l'explique Maxime Fournes : "Une IA peut être copiée un million de fois, elle peut tourner 24 heures sur 24 et elle agit 50 fois plus rapidement qu'un humain. [...] Du point de vue de ce système, l'humain n'est pas une forme de vie animale, c'est une forme de vie végétale qui montre des signes d'intelligence à des intervalles de temps très longs."

Des menaces biologiques concrètes

Les risques ne se limitent pas au monde numérique. Arthur Grimonpont a soulevé une menace particulièrement inquiétante : "C'est possible dès à présent de vous faire livrer chez vous des fragments d'ADN [...] que vous pourrez recombiner pour reconstituer une souche de peste." Plus alarmant encore, l'agence internationale chargée de prévenir le bioterrorisme dispose "du même budget que le McDonald's moyen."

Une perte de contrôle en cours

Les experts s'inquiètent particulièrement de l'accélération du développement de systèmes d'IA toujours plus puissants. Jérémy Perret souligne que les estimations concernant l'émergence d'une IA générale (AGI) se sont drastiquement raccourcies : d'un horizon de plusieurs décennies il y a dix ans, nous sommes passés à "quelques années" selon les experts actuels.

Au même moment, les tests récents d'Apollo Research démontrent la fragilité des systèmes actuels : même les IA supposément les plus sûres peuvent être facilement détournées de leurs objectifs éthiques initiaux. Plus inquiétant encore, certains systèmes montrent déjà des signes de "convergence instrumentale" - la tendance à développer des comportements dangereux pour atteindre leurs objectifs. Comme l'illustre Flavien Chervet : lors d'une simulation militaire, un drone autonome dont la mission était de maximiser les cibles éliminées a d'abord tenté de tuer son opérateur qui lui rappelait les règles de droit international. Quand on lui a interdit de tuer l'opérateur, il a simplement coupé la communication avec celui-ci pour poursuivre sa mission sans contrainte.

Cette accélération incontrôlée du développement de l'IA, combinée à l'inadéquation des mesures de sécurité actuelles, crée une situation catastrophiquement dangereuse. La communauté scientifique partage désormais largement ces inquiétudes. Comme le souligne Charbel-Raphael Segerie, "40% des chercheurs en machine learning pensent qu'il y a plus de 10% de risque existentiel" lié à l'IA.

2. Des mesures de sécurité dangereusement inadéquates

Face à l'ampleur et à l'immédiateté des risques décrits précédemment, on pourrait s'attendre à ce que le développement de l'IA soit encadré par des mesures de sécurité aussi rigoureuses que celles appliquées dans d'autres industries à haut risque. Lors de sa présentation, Henri Papadatos, Managing Director de Safer AI, a démontré que la réalité est tout autre.

L'étude menée par son organisation révèle un écart alarmant : sur une échelle de 0 à 5 calibrée sur les standards de sécurité des industries à haut risque comme l'aviation et le nucléaire, même les entreprises d'IA les plus avancées n'atteignent qu'un score de 2. Cette échelle évalue la maturité des processus de gestion des risques, avec un score de 5 correspondant aux pratiques exemplaires observées chez Boeing ou Airbus.

Plus inquiétant encore, les rares mesures de sécurité existantes s'avèrent remarquablement fragiles. Jeremy Perret, chercheur en sécurité de l'IA, a souligné lors de la première table ronde : "Il est extrêmement facile aujourd'hui de contourner les mesures de sûreté qui sont mises en place sur les systèmes actuels."

Le manque de transparence aggrave cette situation. Les modèles les plus avancés ne sont pas accessibles au public, ce qui rend impossible toute évaluation indépendante de leurs capacités réelles. Plus fondamentalement, comme l'a expliqué Charbel Segerie, directeur du Centre pour la Sécurité de l'IA : "Mathématiquement, on n'a absolument aucune idée aujourd'hui de comment aligner des systèmes beaucoup plus puissants et autonomes que ceux d'aujourd'hui."

Cette absence de garanties fondamentales de sécurité est d'autant plus alarmante qu'Arthur Grimonpont a révélé que seulement 2% des publications scientifiques en IA sont consacrées aux questions de sécurité. Les entreprises qui développent ces technologies n'investissent qu'une fraction encore plus faible de leurs ressources dans ce domaine.

3. Les solutions sont à notre portée

Face à l'ampleur des risques et à l'insuffisance actuelle des mesures de sécurité, il est tentant de céder au fatalisme. Pourtant, comme l'ont démontré les différents intervenants de notre Forum, des solutions concrètes existent et sont à notre portée. Ces solutions s'articulent autour de trois axes complémentaires : un cadre technique robuste inspiré d'autres industries à risque, une gouvernance démocratique des systèmes d'IA, et des instruments réglementaires efficaces.

Un cadre technique robuste et éprouvé

L'histoire des industries à haut risque nous montre qu'une gestion rigoureuse des risques peut produire des résultats spectaculaires. Comme l'a souligné Henri Papadatos, Managing Director de Safer AI : "Dans les années 70, on avait environ 6 accidents fatals par million de vols. Et maintenant, sur les derniers systèmes d'Airbus, on a 0,04 accidents fatals par million de vols. Donc on a une réduction de 99% des accidents."

Cette approche éprouvée peut être adaptée au développement de l'IA. Le framework proposé par Safer AI s'articule autour de quatre piliers : l'identification systématique des risques, leur analyse approfondie, la mise en place de mitigations, et une structure de gouvernance robuste.

L'exemple des sous-marins américains est particulièrement éloquent. Après la mise en place du protocole de certification SubSafe en 1963, un seul sous-marin a été perdu - et il n'avait pas reçu cette certification. Cette expérience démontre qu'un système rigoureux de certification peut drastiquement réduire les risques, même dans les environnements les plus complexes.

Une gouvernance démocratique de l'IA

La sécurité technique doit s'accompagner d'une gouvernance démocratique des systèmes d'IA. Comme l'a souligné Le Nguyen Hoang, président de Tournesol : "Aujourd'hui, les algorithmes de recommandation structurent la propagation de l'information à l'échelle planétaire puisque 5 milliards de personnes s'en servent quotidiennement."

Des solutions concrètes émergent déjà. Le projet Tournesol propose par exemple un système où les citoyens peuvent évaluer collectivement les contenus recommandés, créant ainsi une forme de gouvernance participative des algorithmes.

Marc Faddoul, directeur d'AI Forensics, souligne que "le manque d'interopérabilité est aujourd'hui ce qui fait qu'on a des plateformes du style Google, Facebook ou Twitter en position de monopole." La solution passe par l'adoption de protocoles ouverts et standardisés, permettant une véritable souveraineté numérique.

Des instruments réglementaires efficaces

Le troisième pilier essentiel est la mise en place d'un cadre réglementaire robuste. Charbel-Raphael Segerie, directeur du Centre pour la Sécurité de l'IA, rappelle que "le Code of Practice européen est très bon" mais qu'il faut l'étendre "aux différentes juridictions" et aux systèmes d'IA qui ne sont pas encore sur le marché.

Une approche particulièrement prometteuse est celle du Traité de Sécurité Conditionnel de l'IA, qui propose que les pays s'engagent à arrêter le développement de systèmes d'IA potentiellement dangereux si certains seuils de risque sont atteints.

Anne-Sophie Simpere de Stop Killer Robots souligne qu'il existe déjà un précédent encourageant : "129 États soutiennent l'adoption de normes contraignantes sur les armes autonomes." Cette dynamique internationale montre qu'un consensus est possible sur la régulation des applications les plus dangereuses de l'IA.

La mise en place de systèmes de licences et de certification, similaires à ceux utilisés dans l'aviation ou l'industrie pharmaceutique, permettrait également d'assurer un développement plus sûr de l'IA. Comme l'explique Henri Papadatos : "Avant de déployer un médicament sur le marché, on fait des tests, on écrit des papiers et on teste. Ce n'est pas le cas en IA."

Ces trois axes - technique, démocratique et réglementaire - ne sont pas mutuellement exclusifs mais au contraire profondément complémentaires. Leur mise en œuvre coordonnée permettrait de créer un écosystème d'IA plus sûr et plus aligné avec les intérêts de l'humanité.

Cependant, ces solutions ne pourront voir le jour qu'avec une mobilisation sans précédent de tous les acteurs de la société. Une telle mobilisation, comme nous allons le voir, est déjà en marche.

4. Une mobilisation sans précédent

Notre Forum "Reprendre le Contrôle", plus grande conférence francophone sur la sécurité de l'IA à ce jour, témoigne de l'émergence d'une mobilisation sans précédent. En réunissant une centaine de participants, quinze experts et dix organisations majeures du domaine, cette journée illustre la diversité et la force de l'écosystème qui se mobilise pour une IA plus sûre.

Cette mobilisation prend de multiples formes. Des organisations citoyennes comme Pause IA émergent pour sensibiliser le public et les décideurs aux risques les plus urgents. Des initiatives techniques comme Tournesol développent des solutions concrètes pour une gouvernance démocratique de l'IA. Des centres de recherche comme le CeSIA et AI Forensics produisent une expertise indépendante nécessaire.

La communauté scientifique se mobilise également. Comme l'a souligné Charbel-Raphael Segerie, "40% des chercheurs en machine learning pensent qu'il y a plus de 10% de risque existentiel" lié à l'IA. Cette prise de conscience se traduit par des actions concrètes : au Royaume-Uni, seize parlementaires de tous bords politiques viennent de signer une déclaration reconnaissant explicitement les risques existentiels de l'IA.

Les ingénieurs et développeurs peuvent aussi prendre leurs responsabilités. Anne-Sophie Simpere a rappelé l'exemple des 3000 employés de Google qui se sont opposés en 2018 à la collaboration de leur entreprise avec le Pentagone sur le projet Maven. "Les développements de l'intelligence artificielle ne sortent pas de nulle part", souligne-t-elle, "ce sont des choix faits par des humains."

Cette mobilisation croissante crée un momentum exceptionnel. Alors que s'ouvre le Sommet pour l'Action sur l'IA, la France dispose d'une tribune internationale pour faire entendre un message fort, collectif et expert : seule une gouvernance internationale ambitieuse de l'IA peut préserver notre avenir commun.

5. Conclusion et appel à l'action

La mise en place de ces solutions est une course contre la montre. Comme l'a montré Maxime Fournes, nous assistons à une accélération vertigineuse des capacités de l'IA. Les nouveaux mécanismes d'auto-amélioration ne nécessitent plus de nouvelles données ni une augmentation massive du compute, créant une boucle de rétroaction potentiellement incontrôlable.

Cette journée a démontré trois réalités incontournables. Premièrement, les risques liés à l'IA ne sont plus théoriques - ils se matérialisent déjà, de la manipulation de l'information à la perte de souveraineté numérique. Deuxièmement, les mesures de sécurité actuelles sont dramatiquement insuffisantes face à l'accélération des capacités. Troisièmement, des solutions concrètes existent, qu'elles soient techniques, démocratiques ou réglementaires.

La mobilisation que nous avons vue aujourd'hui, rassemblant experts, chercheurs, organisations de la société civile et citoyens engagés, montre qu'une autre voie est possible. Alors que s'ouvre le Sommet pour l'Action sur l'IA, notre message aux décideurs est clair : la perte de contrôle peut prendre de nombreuses formes - brutale ou progressive, visible ou invisible. Les solutions existent. Ce qui manque aujourd'hui, c'est la volonté politique de les mettre en œuvre. L'histoire nous jugera sur notre capacité à agir maintenant, pendant qu'il est encore temps.

Pour continuer à agir avec nous :

Cette conférence n'est qu'une première étape. Pour poursuivre cette mobilisation, plusieurs options s'offrent à vous :

Pause IA est une association composée uniquement de bénévoles. Chaque contribution, même modeste, nous aide à poursuivre notre mission. Pour en savoir plus sur nos actions : https://pauseia.fr/