Recherche : Des scientifiques choqués par leur propre découverte

En 2020, Sean Ekins, PDG de Collaborations Pharmaceuticals, une entreprise basée à Raleigh, en Caroline du Nord (États-Unis), a reçu une invitation à participer à la conférence Spiez Convergence.

"Je n'en avais jamais entendu parler. En fait, ce qui m'a le plus enthousiasmé, c'est le lieu, parce que c'était en Suisse et que ça avait l'air magnifique", a-t-il déclaré à BBC Mundo.

Mais la pandémie lui a coupé les ailes : la conférence a été annulée.

A lire aussi sur BBC Afrique :

• Les techniques par lesquelles jurent les stars africaines
• Comment, avec ChatGPT, l'intelligence artificielle modifie déjà le recrutement et la recherche d'emploi
• La génomique sociale, l'outil controversé qui peut déterminer vos tendances génétiques

Ekins et son équipe ont poursuivi leur travail quotidien : la recherche de médicaments pour les maladies rares négligées par les grandes entreprises pharmaceutiques, qui ne les considèrent pas comme rentables.

Leurs recherches vont d'une "maladie qui raccourcit la vie des enfants et touche une centaine d'entre eux dans le monde" à des infections telles que le paludisme, car "même s'il existe des médicaments dans certains cas, ils ne sont plus efficaces avec le temps".

"Cela ne nous rendra pas riches, mais au moins je pense que nous contribuons à la société dans son ensemble", a déclaré Ekins.

Un an plus tard, il a reçu une nouvelle invitation à la conférence, mais sans l'attrait du voyage, puisqu'elle était organisée par Zoom.

Cette fois, Ekins a dû être plus attentif : il s'agissait d'une réunion visant à évaluer les nouvelles tendances de la recherche biologique et chimique susceptibles de constituer des menaces pour la sécurité..

"Ils s'intéressaient à l'utilisation abusive de la technologie, des outils scientifiques et de la science en général", dit le PDG.

Ils leur demandaient de faire une présentation, une demande qu'il a trouvée "très étrange".

"Cela m'a forcé à réfléchir à la manière dont nous pouvons utiliser à mauvais escient ce que nous faisons", souligne Sean Ekins.

Pour découvrir ces médicaments contre ces maladies rares, Collaborations Pharmaceuticals a créé MegaSyn, une plateforme d'intelligence artificielle (IA).

Bien qu'il ne s'agisse pas d'un produit que l'on peut acheter, on peut l'assembler, "comme des Lego", explique Ekins, soulignant que "toutes les petites briques dont ils avaient besoin pour la construire provenaient de bases de données de logiciels libres".

"Nous avons ensuite consulté des bases de données pour créer des modèles d'apprentissage automatique que nous avons ensuite intégrés à MegaSyn, ce qui lui permet de concevoir des molécules dotées de propriétés particulières."

En d'autres termes, ils l'ont entraîné à faire le travail d'un chimiste à une vitesse inhumaine.

Lire aussi :

• Les molécules du stress qui nous rendent plus enclins au syndrome du cœur brisé
• Qu'est-ce que l'éthanolamine, la molécule qui est la clé pour déchiffrer l'origine de la vie ?
• Ce qu'est la chimie "Lego" des lauréats du prix Nobel

Les médicaments sont essentiellement constitués de molécules : MegaSyn ne se contente pas de rechercher les molécules existantes pour voir si l'une d'entre elles est utile contre une maladie, il peut aussi en créer de nouvelles qui n'ont jamais été vues auparavant.

À la veille de la conférence, Ekins et Fabio Urbina, directeur associé, ont cherché à savoir ce qui se passerait si MegaSyn tombait entre de mauvaises mains.

C'est ainsi qu'est née l'expérience qu'ils ont baptisée "Projet Dr Evil".

L'idée est simple : lorsqu'on essaie de créer un nouveau médicament, il est impératif de s'assurer qu'il n'est pas toxique.

Et si l'on modifiait ce filtre ? "Nous avons simplement inversé le sens d'un interrupteur dans le modèle. Au lieu de 'non toxique', nous avons dit 'toxique'. Il s'agissait littéralement de changer un 1 et un 0 dans le programme. C'était aussi simple que cela."

Ils ont appuyé sur la touche "Entrée" et ont laissé MegaSyn faire son travail.

Le lendemain, ils sont tombés sur une liste de dizaines de milliers de molécules et ont fait une recherche pour voir si l'une d'entre elles était connue.

Ce qu'ils ont trouvé les a choqués.

"Cette simple modification du programme a eu un effet dramatique."

En une seule touche, MegaSyn avait conçu le terrifiant agent neurotoxique VX, interdit par les Nations unies et classé comme arme de destruction massive.

Il s'agit de l'un des produits chimiques les plus mortels jamais fabriqués : moins d'une goutte sur la peau suffit à tuer une personne.

En outre, ils ont confirmé que MegaSyn "a été en mesure de trouver des molécules précurseurs précédemment inconnues, points de départ vers le développement d'armes chimiques massivement plus puissantes".

Lire aussi :

• Comment se produit la fécondation (et non, les spermatozoïdes ne nagent pas frénétiquement vers l'ovule)
• Qu'est-ce que le "champ d'oxydation" qui entoure notre corps ?

Le plus inquiétant est de savoir que, si Dr Evil est une expérience théorique, d'autres, avec d'autres intentions, "pourraient faire la même chose, s'ils ne l'ont pas déjà fait".

"Ce n'est pas nécessaire d'avoir un doctorat, il suffit de savoir coder, d'avoir un ordinateur portable de base... tout le reste est disponible en ligne gratuitement", a-t-il souligné.

"Si un chimiste mettait la main sur ces molécules et voulait en faire des armes, comme personne ne sait qu'elles existent, ces armes seraient impossibles à suivre et à diagnostiquer."

Dilemme

Alerter les personnes bien intentionnées sur le danger, c'est aussi alerter les personnes mal intentionnées sur les possibilités.

Ekins et Urbina ont décidé de ne pas donner beaucoup de détails sur les résultats du projet Dr Evil.

Ils les ont enveloppés dans une description plus générale de ce qu'ils faisaient, donnant juste assez d'informations pour mettre en garde les experts.

Aussi camouflée soit-elle, c'est cette possibilité d'utilisation négative de leur technologie qui a eu le plus d'impact.

Peu après, un article résumant la conférence, publié dans la revue scientifique Nature Machine Intelligence, a attiré l'attention de journaux et de magazines tels que le Washington Post et The Economist, et a suscité des débats parmi les experts en armes chimiques, en intelligence artificielle, en produits pharmaceutiques et même parmi les philosophes.

Ekins et son équipe ont même été convoqués à une réunion avec le Bureau de la politique scientifique et technologique et le Conseil de sécurité nationale à la Maison Blanche.

"C'était surréaliste."

Lire aussi :

• Les bienfaits du pamplemousse pour la santé
• La raison chimique pour laquelle les jeans d'origine étaient bleus (et pourquoi ils sont appelés jeans ou denim)
• L'histoire étonnante de la scientifique qui, suite à un accident vasculaire cérébral qui l'a temporairement paralysée, a fait une grande découverte

Malgré les craintes initiales que le fait d'en parler n'inspire plutôt que de prévenir, Ekins a dû prendre le risque de sensibiliser l'opinion publique, non seulement en raison de l'intérêt qu'il a suscité, mais aussi parce qu'il "ne pouvait plus dormir en paix".

Mais il n'a jamais voulu partager cette liste de dizaines de milliers de molécules toxiques possibles produites par MegaSym, même avec la Maison Blanche.

Que faire ?

Pourtant, personne ne peut arrêter le progrès. Les plateformes comme MegaSyn sont extrêmement bénéfiques, et Ekins le sait mieux que quiconque.

L'une des stratégies de prévention consiste à "éduquer les gens sur les problèmes".

"Maintenant que le gouvernement est au courant, nous avons été invités à parler de la question au nom d'agences gouvernementales. En mai, par exemple, nous participerons à une conférence au Brésil, au nom du département d'État américain, pour parler aux universitaires et aux professionnels de l'industrie des problèmes potentiels liés à l'IA générative", a-t-il annoncé à BBC Mundo.

Ce travail l'a-t-il aidé à dormir plus facilement ?

Pas vraiment.

"Depuis que nous avons réalisé le projet Dr Evil, l'IA générative est devenue beaucoup plus publique, avec des projets tels que ChatGPT et DALL-E. Il a même été démontré que les applications de chat peuvent concevoir des molécules."

"La barrière à l'entrée est beaucoup plus basse aujourd'hui qu'elle ne l'était il y a un an et demi. Il est impératif d'éduquer les scientifiques qui n'ont pas eu la même expérience que nous", a insisté Ekins.

Certains experts consultés par les médias ont toutefois insisté sur le fait qu'il n'y avait aucune raison de tirer la sonnette d'alarme.

Ils rappellent que l'identification de nouvelles molécules n'est que la première étape d'un long chemin vers la production d'un médicament... ou d'une arme.

Et la plupart de ces chemins mènent à l'échec.

Des deux côtés du débat, la même analogie revient souvent.

Le gâteau

Pour certains des experts qui ne perdent pas le sommeil pour autant, ce que MegaSyn a donné ressemble à une liste d'ingrédients.

Il faudrait des chefs étoilés et une cuisine remplie de chefs étoilés, soulignent-ils, pour que le gâteau soit parfait.

"Il y a un an, j'aurais été d'accord avec cela, a déclaré Ekins. Il y a toujours eu des gens qui fabriquaient des drogues et des armes illégalement, et c'est évidemment une niche."

"Mais nous avons élargi le nombre potentiel de fabricants de gâteaux."

Pour Ekins, les technologies telles que MegaSyn ne sont pas de simples ingrédients, mais des recettes qui, si elles ne fonctionnent pas, peuvent être perfectionnées.

LIre aussi :

• Comment la biologie quantique peut fournir des indices sur la raison pour laquelle nous sommes vivants ?
• Pourquoi l'obésité peut causer le cancer
• Cinq raisons qui expliquent la baisse du nombre de spermatozoïdes

"Une fois que vous avez fourni la recette, tout le monde peut faire ce gâteau. Certains le feront mieux que d'autres, mais il y a toujours un danger."

Mais il y a, selon lui, quelque chose qui pourrait nous aider à mieux dormir.

"Nous pouvons utiliser ces technologies pour nous défendre, utiliser les mêmes outils pour déterminer quels sont les produits chimiques qui pourraient être utilisés pour fabriquer de nouvelles molécules toxiques, afin que nous puissions les contrôler."

Plusieurs entités, dans des pays comme la Suisse, sont très engagées dans ce domaine, et on discute de la manière dont des organisations, l'Organisation pour l'interdiction des armes chimiques (OIAC), par exemple, qui réglemente les molécules, peuvent intégrer l'IA dans leur cadre juridique.