Des chercheurs évaluent les risques de l'IA face aux garanties nucléaires et aux garde-fous d'entreprise

Alors que les débats sur les menaces existentielles potentielles posées par l'intelligence artificielle s'intensifient, les dirigeants de l'industrie et les institutions de recherche offrent des perspectives contradictoires sur le degré d'immédiateté et de gravité de ces dangers. La discussion a pris de l'ampleur suite aux soutiens de plusieurs dirigeants technologiques qui ont appelé à ralentir le développement de la technologie pour privilégier la sécurité, selon SecurityWeek.

Du côté des menaces numériques immédiates, Dario Amodei, PDG d'Anthropic, a lancé ce mois-ci un avertissement sévère concernant la vitesse à laquelle les capacités de l'IA pourraient évoluer. Amodei a prédit que d'ici quelques mois, un essaim d'agents d'IA pourrait être capable de prendre le contrôle d'Internet en utilisant un botnet, un réseau de bots liés entre eux par des logiciels malveillants. Il a averti qu'un tel événement pourrait potentiellement causer des milliards de dollars de dégâts, soulignant la vulnérabilité des infrastructures numériques face aux systèmes d'IA autonomes.

Cependant, tous les scénarios catastrophiques ne sont pas considérés comme réalisables dans le cadre des technologies et des réglementations actuelles. Un rapport publié l'année dernière par des chercheurs de RAND Corp. a conclu qu'il n'est actuellement pas possible pour l'IA de provoquer l'utilisation d'armes nucléaires. Les chercheurs ont attribué cette limitation aux garanties strictes intégrées aux systèmes de commandement et de contrôle existants, suggérant que la supervision humaine reste une barrière critique contre l'escalade nucléaire pilotée par l'IA.

Pendant ce temps, les développeurs d'IA mettent activement en œuvre des barrières techniques pour prévenir les abus dans les contextes biologiques. Anthropic a rapporté que ses systèmes ont bloqué avec succès une demande d'assistance concernant une proposition de recherche via son outil Claude. La proposition cherchait à améliorer les mutations pour rendre le virus chikungunya, transmis par les moustiques, progressivement plus nocif, démontrant que les protocoles de sécurité actuels peuvent intervenir dans des tentatives spécifiques de recherche biologique à haut risque.