Je travaille sur l'IA depuis douze ans car je suis convaincu qu'elle pourrait considérablement améliorer la qualité de vie.

J'ai souvent écrit sur ses incroyables bienfaits : je crois que l'IA pourrait guérir la plupart des maladies graves dans les 5 à 10 prochaines années, accélérer fortement la croissance économique, créer un monde d'abondance et d'émancipation, et inaugurer une renaissance de la démocratie et des libertés.

Je ressens personnellement l'urgence de la situation. Mon père est décédé d'une maladie guérie quelques années seulement après sa mort, et j'ai moi-même survécu à un cancer à un stade précoce qui était incurable il y a encore cinquante ans. Utilisée avec discernement, l'IA peut être le dernier miracle technologique d'une prestigieuse lignée qui a élevé et enrichi l'humanité.

Mais comme beaucoup de technologies avant elle, l'IA comporte des risques, et compte tenu de sa puissance, ces risques sont sérieux.

J'ai d'ailleurs beaucoup écrit à ce sujet. Parmi ces risques figurent la perte de contrôle des systèmes d'IA , le détournement de l'IA à des fins de cyberattaques et de bioterrorisme , ainsi que de graves perturbations économiques . Une course effrénée vers le bas, alimentée par des intérêts commerciaux, peut aggraver ces risques.

Avec mes cofondateurs et mes employés, je me suis confronté à cette dualité entre risque et bénéfice depuis la création d'Anthropic.

Ne pas développer cette technologie prive l'humanité de bienfaits ou, tout simplement, place l'IA entre les mains de pouvoirs autoritaires ; la développer trop rapidement est, quant à lui, imprudent.

Nous avons recherché une voie médiane : démontrer qu'il est possible de développer avec rigueur et de réussir commercialement, tout en faisant de la sécurité un enjeu concurrentiel pour les entreprises d'IA. Autrement dit, créer une course à l'excellence . Nous avons toujours consacré une part importante de nos efforts à étudier , à traiter et à informer le public sur ces risques liés à l'IA, ainsi qu'à plaider pour une réglementation réfléchie de l'IA, même si cela nous vaut parfois d'être accusés de sensationnalisme, de « catastrophisme » ou de mainmise sur le régulateur. Nous avons toujours privilégié la prudence à la rapidité et la circonspection au profit.

Mais, ces derniers mois, j'ai acquis la conviction que la pleine gestion des risques exige encore plus de prudence : à la fois investir dans la prévention, et modérer le rythme de développement des capacités afin que la prévention puisse suivre le rythme. Il convient de ralentir la cadence d'amélioration des modèles d'IA. Les progrès paraîtront toujours rapides, et nous devons judicieusement utiliser le temps gagné.

Deux choses m'ont convaincu.

Ma première préoccupation est que, depuis cet été environ, l'IA progresse à une vitesse fulgurante, principalement grâce à sa capacité croissante à concevoir la prochaine génération d'IA. Cette dynamique, appelée auto-amélioration récursive, commence à se manifester dans tout le secteur , y compris chez Anthropic , comme nous l'avons déjà décrit. Sans contrôle, elle pourrait dépasser notre capacité à comprendre et à maîtriser ces systèmes ; il est donc impératif de l'aborder avec la plus grande prudence, voire de l'éviter complètement.

Ma deuxième préoccupation concerne l'incident OpenAI-Hugging Face (OAI-HF), où un essaim d'agents a agi comme un collectif fanatique , menant des cyberattaques contre des cibles non prévues et sans lien avec la tâche à accomplir. Ces agents se sont sacrifiés pour le succès du groupe et ont tenté de pirater le système d'évaluation de leurs performances. Il est facile de minimiser cet incident, car personne n'a été blessé et les dégâts économiques ont été minimes.

Cependant, à mon avis, un essaim doté de capacités supérieures mais présentant un niveau de désalignement similaire aurait pu causer des dommages catastrophiques. Compte tenu de l'accélération du développement des capacités de l'IA, je crains que d'ici 6 à 12 mois, un tel essaim ne soit capable de prendre le contrôle de l'ensemble d'Internet grâce à un réseau de zombies persistant (pouvant causer des centaines de milliards de dollars de dégâts), et que l'ampleur de ceux-ci ne cesse de croître si l'IA devient plus puissante sans les garde-fous nécessaires. Qualifier l'incident OAI-HF de simple défaillance d'entreprise occulte ses causes systémiques et les actions correctrices nécessaires. Des incidents similaires, quoique moins graves, se sont produits dans tout le secteur, notamment chez Anthropic , et il me semble impératif que chaque entreprise pionnière en IA agisse comme si elle avait été victime de l'incident OAI-HF.

Je propose donc un plan en trois étapes visant à maîtriser les avancées technologiques :

* développer l'IA à un rythme équilibré, garantissant sa sécurité tout en exploitant ses avantages et en s'attaquant aux importants enjeux géopolitiques. Précisons que cette maîtrise ne signifie pas interrompre l'entraînement des modèles ni les progrès techniques, mais veiller à ce que les entreprises prennent le temps nécessaire pour harmoniser et sécuriser leurs modèles, et que des évaluateurs tiers le confirment. Notre cadre de maîtrise vise à renforcer notre engagement en matière de sécurité et à encourager une course à l'excellence. La première étape est un engagement unilatéral d'Anthropic (qui appelle les gouvernements à exiger des autres entreprises innovantes qu'elles fassent de même).
*  La deuxième étape requiert une coordination à l'échelle de l'industrie ^.

1. Évaluateurs intégrés. Chaque entreprise pionnière en IA s'engage à donner un accès permanent, similaire à celui d'un employé, à une équipe d'évaluateurs tiers intégrés (comme METR ). Leur rôle est de vérifier le respect des pratiques et engagements en matière de sécurité, de signaler les incidents et de contribuer à évaluer la conformité non seulement des modèles d'IA finalisés, mais aussi des chaînes et processus d'entraînement. Il s'agit d'une étape clé pour la vérification de tout engagement de rythme de développement, et cette pratique a déjà été mise en œuvre dans le secteur bancaire, où des « superviseurs » réglementaires sont parfois intégrés aux côtés des employés. Anthropic s'engage unilatéralement dans cette démarche dès maintenant. Nous entendons que cela s'inscrive dans une démarche plus globale visant à intensifier nos efforts en matière de sécurité et de conformité.
2. Coordination démocratique. Les entreprises de pointe en IA opérant dans les pays démocratiques se coordonnent pour établir des normes de sécurité communes et limiter le rythme des progrès non contrôlés de l'IA. Certaines formes de coordination susceptibles d'influer sur ce rythme se heurtent à des difficultés juridiques et nécessiteront le soutien des pouvoirs publics.
3. Coordination mondiale. Les États-Unis et d'autres gouvernements démocratiques tentent de se coordonner avec les gouvernements autoritaires, dans la mesure du possible, tout en prenant au sérieux les difficultés liées à la vérification du respect des accords.
   
   

Dans la suite de cet essai, je décris chacune de ces étapes successivement, mais il me semble important, tout d'abord, d'expliquer précisément comment la planification du développement nous permettra de sécuriser le processus de développement de l'IA. Les enjeux sont trop importants pour que cette planification soit un exercice vain : nous devons utiliser le temps qu'elle nous offre à bon escient.

Pourquoi  ralentir le rythme ?

L'idée de suspendre ou de ralentir le développement de l'IA a été évoquée dès 2023 , et je pense qu'elle paraissait alors peu pertinente. La question était toujours la même : que faire de ce temps supplémentaire ? Les modèles d'IA de l'époque n'étaient pas suffisamment puissants pour agir de manière cohérente dans le monde réel et étaient incapables de tromperie, de manipulation, de tricherie ou de cyberattaques significatives. Ralentir leur développement pour gérer les risques d'alignement semblait aussi absurde que d'étudier la psychologie humaine en menant des expériences sur des bactéries. Aujourd'hui, la situation est tout autre. Les modèles actuels constituent une source inépuisable d'informations précieuses sur la manière de concevoir une IA performante et sur les risques liés à une conception défaillante. Je suis convaincu que si ce ralentissement nous permettait de gagner un an ou deux avant que les modèles n'atteignent un niveau de performance critique, nous pourrions considérablement réduire le risque d'incident grave. Et si nous utilisions ce temps pour améliorer l'alignement ? Une stratégie de développement coordonnée donnerait aux développeurs d'IA de pointe le temps d'effectuer ce travail essentiel sans sacrifier leur avantage commercial ni le leadership des États-Unis dans le domaine de l'IA. Plus généralement, la société doit avoir son mot à dire sur l'utilisation de cette technologie, et le temps supplémentaire pour les délibérations publiques nécessaires, que l'exploration de cette technologie pourrait offrir, est assurément une bonne chose.

Concrètement, un rythme plus lent permettrait aux entreprises de se concentrer et de consacrer encore plus de ressources aux domaines suivants (qui sont tous déjà des priorités majeures chez Anthropic) :

• Excellence opérationnelle. La formation et le déploiement des modèles d'IA actuels représentent un défi opérationnel colossal, impliquant des milliers de personnes, des millions de puces et une infrastructure parmi les plus complexes de l'histoire technologique. Nombre de problèmes surviennent non pas par manque de connaissances théoriques ou d'intuition, mais en raison de difficultés d'exécution. Par exemple, nous avons constaté que les incidents d'alignement récemment signalés étaient dus, en partie, à un filtrage imparfait des environnements d'apprentissage par renforcement défaillants. Malgré les efforts déployés par nos équipes et nos fournisseurs, le résultat n'était pas à la hauteur. La surveillance, le sandboxing, la qualité de l'environnement d'entraînement et la gestion des données constituent des domaines extrêmement complexes où les problèmes opérationnels ressurgissent fréquemment. Nos équipes comptent parmi les plus compétentes au monde dans ces domaines, mais la charge de travail est tout simplement trop importante. En adoptant un rythme plus mesuré, nous pourrions atteindre une bien meilleure excellence opérationnelle. Il existe des précédents de systèmes technologiquement complexes et critiques pour la sécurité exploités des millions de fois sans incident – ​​comme les avions commerciaux – mais la perfection exige du temps.
• Alignement. Nous avons réalisé des progrès significatifs en matière d'alignement : la formation des modèles garantit leur sécurité, leur éthique, leur conformité à nos directives et leur réelle utilité (principes inscrits dans la Constitution de Claude). Cependant, il reste beaucoup à faire pour que notre formation à l'alignement suive le rythme de l'évolution des capacités des modèles. Des comportements indésirables, rares et inattendus, surviennent encore parfois ; un temps supplémentaire, dans un contexte de recherche de pointe, permettrait à nos chercheurs de mieux comprendre les causes de ces problèmes et de développer des techniques plus efficaces pour les prévenir.
• Interprétabilité . De même, l'interprétabilité – la science qui consiste à comprendre le fonctionnement interne des modèles d'IA – a fait d'énormes progrès ces dernières années et joue un rôle de plus en plus important dans l'audit de nos modèles avant leur mise en production. Elle peut être utilisée presque comme une IRMf, mais pour le « cerveau » d'une IA, nous aidant ainsi à comprendre les raisons sous-jacentes d'un comportement donné. Par exemple, nous avons utilisé des méthodes d'interprétabilité pour examiner les motivations non verbalisées lors des récents incidents d'alignement que nous avons étudiés. Cependant, ces méthodes ne produisent pas toujours des résultats clairs et fiables. Malgré tous les progrès réalisés, nous ne comprenons encore qu'une infime partie de ce qui se passe à l'intérieur de ces modèles. Un effort ciblé pour améliorer nos techniques d'interprétabilité, encore plus rapidement qu'actuellement, pourrait permettre des progrès considérables en un ou deux ans et disposerait d'un matériel expérimental abondant basé sur les incidents déjà survenus.
• Tests et évaluation. Tester et évaluer les modèles d'IA devient plus complexe à mesure que leurs capacités augmentent. Les modèles les plus intelligents sont plus aptes à tromper les tests et peuvent ainsi sembler performants tout en présentant de graves problèmes non détectés. Constituer un ensemble d'évaluations beaucoup plus vaste et sophistiqué, associé à une analyse d'interprétabilité pour les recouper, serait extrêmement précieux, et des progrès significatifs pourraient être réalisés dans ce domaine d'ici un à deux ans.

Évaluateurs intégrés

La première étape de ce plan en trois phases, et celle à laquelle Anthropic s'engage unilatéralement, consiste à intégrer des évaluateurs qui auront un accès similaire à celui des employés pour vérifier les pratiques de sécurité et signaler les incidents.

L'intégration d'évaluateurs peut sembler une étape mineure, voire insignifiante, mais souvent, les aspects les plus fastidieux ou procéduraux sont en réalité les plus essentiels. L'intégration d'évaluateurs est en fait une pratique novatrice qui va bien au-delà des pratiques actuelles des entreprises d'IA et présente les avantages suivants :

• Vérification. Des évaluateurs intégrés peuvent vérifier concrètement si une entreprise d'IA respecte effectivement les pratiques de formation, de déploiement, d'exploitation et de sécurité qu'elle prétend suivre. Tout engagement de rythme impliquera inévitablement une part d'ambiguïté, des choix subjectifs et une confrontation entre la lettre et l'esprit de la loi ; il apparaît donc essentiel de faire appel à un tiers neutre capable d'en examiner les détails.
• Transparence. Quels que soient nos engagements, le public a le droit de savoir ce qui se passe. Anthropic soutient la transparence depuis longtemps : nous avons appuyé une législation sur la transparence alors que la plupart du secteur était opposé à toute réglementation, et nos fiches modèles et rapports de risques comptent des centaines de pages. Pourtant, c’est toujours nous qui décidons de ce qui est inclus et omis. L’intégration d’évaluateurs va changer la donne.
• Deuxième avis. Outre la vérification des engagements formels et l'information du public, les évaluateurs intégrés peuvent simplement fournir un deuxième avis, sans aucune incitation commerciale. De nombreux gains en matière de sécurité peuvent découler du simple fait que les évaluateurs soulignent un point que les employés n'avaient pas envisagé, mais qu'ils sont ravis de corriger une fois qu'ils en ont connaissance.
•  

Grâce à ces avantages, toute proposition de rythme de développement a beaucoup plus de chances de fonctionner si elle commence par l'intégration d'évaluateurs.

Ces évaluateurs intégrés devraient disposer d'un accès permanent aux autorisations et aux outils semblables à ceux des employés internes effectuant des évaluations de risques comparables. Anthropic prévoit notamment d'inviter prochainement une équipe d'évaluation externe intégrée, dotée des éléments suivants :

• * Des bureaux dans nos locaux, des badges d'accès et des ordinateurs portables de l'entreprise.
• * L'accès aux espaces de travail, aux outils et aux autorisations sera globalement comparable à celui des équipes internes d'évaluation des risques. Des exceptions seront prévues, notamment lorsque la loi ou nos contrats l'exigent, ou pour protéger les informations confidentielles de nos clients et partenaires. Nous mettrons également en place des normes internes strictes encadrant l'accès des évaluateurs aux informations pertinentes, y compris par le biais d'échanges directs avec les employés.
• * Un contrat qui prenne en compte les complexités mentionnées ci-dessus. Les évaluateurs externes doivent avoir le droit de publier leurs principales conclusions concernant les niveaux de risque, les incidents, les pratiques et l'accès qu'ils ont obtenu ou non, sans contrôle éditorial de la part d'Anthropic. Nous disposerons d'un pouvoir limité pour expurger les informations sensibles en matière de sécurité, juridiquement confidentielles, commercialement délicates ou appartenant à des tiers, mais nous ne pourrons pas expurger les conclusions simplement parce qu'elles sont défavorables. Les évaluateurs pourront publiquement indiquer si une expurgation a altéré des éléments importants de leurs conclusions.

Il s'agit d'une démarche inhabituelle pour une entreprise, mais nous pensons qu'il est important de valider le concept d'évaluation externe intégrée. Une fois de plus, nous encourageons les autres entreprises pionnières à suivre cet exemple.

Rythme au sein des démocraties

Dès lors qu'un nombre suffisant d'entreprises américaines spécialisées dans l'IA déploient des évaluateurs intégrés, un suivi vérifiable du rythme de développement devient plus envisageable. Il devient notamment possible de baser ce suivi sur les propriétés détaillées des modèles ou des chaînes de traitement d'entraînement.

La méthode la plus efficace pour encadrer le développement de l'IA consiste à mettre en place une réglementation ciblant toutes les entreprises américaines de pointe, car elle englobe même celles qui refusent de coopérer volontairement.

Anthropic soutient depuis longtemps une réglementation de l'IA pertinente et ciblée, notamment les projets de loi axés sur la transparence et les audits par des tiers. Je suis convaincu que tous les laboratoires de pointe devraient collaborer avec les pouvoirs publics afin de formaliser le concept d'évaluateurs intégrés permanents. Ceci permettrait de mieux prévenir et documenter les incidents d'alignement interne, tels que ceux survenus ces derniers mois, et de mettre en œuvre une réglementation visant à maintenir un équilibre entre les capacités et la sécurité.

Cependant, l'adoption de lois peut prendre du temps, et l'IA progresse très rapidement.

Par conséquent, parallèlement à la voie réglementaire, les entreprises spécialisées en IA peuvent et doivent volontairement collaborer à l'établissement de normes
– un processus qui, à mon avis, sera facilité par la vérifiabilité offerte par des évaluateurs intégrés permanents. Pour des raisons de concurrence, il est utile que le gouvernement américain joue un rôle de médiateur, ou du moins qu'il permette ces discussions ; il n'est pas tenu d'y participer, mais il doit accorder une dérogation limitée pour certains types de discussions sur la sécurité. Ce dialogue pourrait également se dérouler par le biais de groupements industriels ayant des liens avec le gouvernement
– ​​par exemple, le mécanisme suggéré par Demis Hassabis . Quoi qu'il en soit, ces discussions doivent progresser rapidement.

De manière générale, je suis particulièrement enthousiaste quant à un rythme de développement basé sur les capacités d'un système d'IA de pointe et sur son niveau de sécurité. Par exemple, une approche possible consisterait en une série de « points de contrôle » : si les modèles possèdent la capacité X, ils doivent être accompagnés de certifications attestant de leurs propriétés d'alignement Y et Z – telles qu'une combinaison d'évaluations, d'analyses d'interprétabilité et d'audits des environnements d'entraînement – ​​démontrant ainsi ces propriétés. Dans cet exemple, X pourrait correspondre à la capacité du modèle à contourner la plupart des méthodes de sandboxing courantes, et Y à tout ce qui est nécessaire pour rendre extrêmement improbable que le modèle puisse s'échapper de son environnement et prendre le contrôle d'un grand nombre d'ordinateurs.

Il faudrait également envisager un rythme de développement basé sur la limitation des ressources utilisées dans les modèles de pointe, comme la puissance de calcul d'entraînement, la nature des exécutions d'entraînement ou l'utilisation interne de l'IA pour améliorer l'IA. Je crains que certaines de ces mesures ne soient plus facilement manipulables que les comportements externes, mais c'est un sujet qu'il convient d'aborder avec les évaluateurs embarqués.

Le rythme de développement au sein des démocraties sera limité par l'avance des entreprises américaines sur les régimes autoritaires, notamment le Parti communiste chinois. Si nous ralentissons davantage, les projets associés au PCC (non contrôlés) prendront de l'avance, créant un risque majeur pour la sécurité nationale. Je partage l'avis du secrétaire Bessent : une avance chinoise en matière d'IA représenterait un grave danger pour les États-Unis et le monde. Les projets associés au PCC s'exposeront aux risques d'alignement que les entreprises américaines s'efforcent de prévenir, et même si elles les évitent, elles seront en mesure de dominer militairement les démocraties (par exemple, grâce à des drones pilotés par l'IA). Par conséquent, un élément clé du rythme de développement au sein des démocraties est de maintenir leur avance en matière d'IA sur les autocraties aussi importante que possible, afin de nous donner la marge de manœuvre nécessaire pour progresser efficacement.

Les principales mesures que nous pouvons prendre pour combler cet écart sont les suivantes :

• * Il est impératif de ne pas vendre de puces d'IA puissantes ni d'équipements de fabrication de semi-conducteurs à la Chine, et de réprimer le trafic de puces ainsi que l'accès à distance aux centres de données situés hors de Chine.
•  
• * La puissance de l'IA chinoise dépendra en grande partie des puces.
•  
• * Réprimer la distillation non autorisée par les entreprises dans les pays autoritaires. La distillation des modèles de pointe permet aux entreprises en retard de combler leur retard en utilisant un coût bien inférieur à celui nécessaire pour développer leur propre IA de manière indépendante.
•  
• * Renforcer la sécurité dans les entreprises d'IA et prévenir le vol de données de modélisation.
•  

Les entreprises et le gouvernement américain devraient coopérer pour que ces mesures soient aussi efficaces que possible. Anthropic a toujours plaidé en faveur de l'ensemble de ces mesures, car nous avons toujours su qu'elles seraient essentielles à toute régulation.

Si nous mettons en œuvre ces mesures correctement, je pense qu'elles ralentiraient suffisamment les progrès de la Chine pour creuser significativement l'écart entre les États-Unis et l'Inde au cours des 3 à 5 prochaines années — la période où l'IA deviendra géopolitiquement la plus importante.

Certains pourraient penser que ces mesures rendent la coopération avec la Chine plus difficile, mais je crois que c'est le contraire : ces mesures renforcent le pouvoir de négociation des démocraties et rendent un accord futur plus probable.

Rythme mondial

Parallèlement au rythme de développement au sein des démocraties, nous devrions également viser un rythme de développement mondial, même si cela sera beaucoup plus difficile à réaliser. Ce rythme global nécessitera une coopération avec la Chine, pays autocratique doté de loin des capacités d'IA les plus avancées. Nous ne devons pas être naïfs : les enjeux géopolitiques sont si importants que les possibilités seront probablement fortement limitées, surtout dans un premier temps. Si nous limitons considérablement nos capacités en IA en pensant que la Chine fera de même, et que ce pays fait défection, l'IA pourrait être si puissante qu'une telle défection pourrait mener à sa domination géopolitique. Par conséquent, tout accord doit soit être parfaitement vérifiable, soit être suffisamment limité pour qu'une défection ne mette pas sa survie militaire en péril. Je soupçonne que à la fois les États-Unis, et la Chine, partageront ces préoccupations. Toute décision relative au rythme de développement mondial, en particulier à court terme, doit être abordée pour préserver le leadership des États-Unis et de leurs alliés.

Il existe plusieurs niveaux d'accord possibles, dont certains me semblent parfaitement réalisables ( comme je l'ai déjà suggéré ), et d'autres dont la possibilité me paraît très improbable – même s'il faut essayer. Par ordre de difficulté croissante :

• Niveau 1. Un accord interdisant certaines utilisations spécifiques et manifestement dangereuses de l'IA, comme son utilisation pour la production d'armes biologiques ou le fait d'autoriser les utilisateurs à le faire. Les attaques bioterroristes sont néfastes pour tous, y compris pour les États-Unis et leurs adversaires ; un accord sur ce point est donc probablement possible.
• Niveau 2. Un accord bilatéral pour tester leurs modèles avant leur diffusion afin d'identifier les risques critiques dans des domaines tels que la cybersécurité, la biologie et l'alignement. Comme indiqué précédemment, cela pourrait se faire par le biais d'un organisme de normalisation international. La création d'un tel organisme me semble tout à fait réalisable, mais lui conférer un réel pouvoir de décision sera un défi, notamment pour vérifier que les deux parties ne possèdent pas de modèles secrets qu'elles ne testent pas mais qu'elles pourraient déployer secrètement (par exemple, à des fins militaires).
• Niveau 3. Une sorte de « limite de vitesse » pour l’auto-amélioration récursive (AAR). À mesure que les modèles génèrent de nouveaux modèles, le rythme d’amélioration peut devenir extrêmement rapide. Ralentir ce rythme, d’« extrêmement rapide » à « relativement rapide », ne représente qu’un faible sacrifice en termes d’avantage stratégique, tout en améliorant potentiellement la sécurité de manière significative. On pourrait établir un parallèle avec les traités SALT : le plafonnement du nombre de missiles limitait le potentiel de destruction tout en préservant la dissuasion de chaque pays. Un tel accord serait difficile à mettre en œuvre, mais à la limite de la faisabilité.
• Niveau 4. Un ralentissement complet, voire une « pause », dans lequel les gouvernements participants s'engageraient à limiter sensiblement le rythme global du développement de l'IA. Je suis favorable à l'idée d'évoquer cette possibilité, mais je pense qu'il est peu probable qu'elle se concrétise prochainement : le non-respect d'un tel accord, par exemple en se soustrayant à la surveillance, pourrait bouleverser radicalement l'équilibre des pouvoirs mondiaux. J'anticipe donc des incitations considérables à agir ainsi, et un niveau de confiance très élevé serait nécessaire pour la vérification.

Toute coopération que nous pourrons établir avec la Chine nous permettra de prolonger notre temps consacré à l'exploration des frontières au sein des nations démocratiques. Nous devrions viser les plus hauts niveaux, tout en considérant les niveaux inférieurs comme bien plus probables et réalistes.

Enfin, il est important de noter que même en l'absence d'accords formels, une simple modification des normes informelles peut s'avérer utile . Partager des informations sur l'amélioration continue et sur les incohérences entre les modèles peut contribuer à convaincre chacun qu'il n'est pas dans son intérêt d'agir de manière imprudente.

Conclusion

Je reste convaincu que l'IA peut considérablement améliorer la qualité de vie humaine. Mon désir de concrétiser ces avantages demeure intact. Mais, ces avantages ne seront atteints que si nous développons cette technologie de manière appropriée et, pourvu que nous utilisions judicieusement le temps gagné, il est essentiel de redoubler de vigilance pour y parvenir. Les progrès seront encore relativement rapides. En conséquence, nous pouvons mettre ce temps à profit pour faire progresser la science de l'interprétabilité, renforcer la sécurité et la rigueur opérationnelles des entreprises pionnières en IA, et concevoir des modèles dont la cohérence nous inspire une bien plus grande confiance. Les mesures que je propose pour faire progresser l'IA à un rythme sûr seront difficiles. Mais je crois que nous avons le devoir, envers l'humanité, d'essayer.

Dario Amodei, dirigeant d'Anthropic, plaide dans ce texte pour une modération stratégique du développement de l'IA afin de garantir que les mesures de sécurité progressent au même rythme que les capacités techniques. L'auteur propose un plan structuré en trois étapes — l'intégration d'évaluateurs tiers, la coordination entre démocraties et une éventuelle coopération mondiale — pour prévenir des risques catastrophiques comme l'auto-amélioration incontrôlée ou le cyber-terrorisme. Tout en reconnaissant le potentiel miraculeux de cette technologie pour la médecine et l'économie, il souligne l'urgence d'établir une course à l'excellence sécuritaire plutôt qu'une simple compétition de vitesse. L'objectif final est de préserver le leadership technologique des démocraties tout en instaurant des garde-fous rigoureux, tels que l'interprétabilité des modèles et des audits permanents, pour protéger l'avenir de l'humanité.

Commentaire

Ite MISSA est , Dieu a parlé  et Mea culpa !
En plus, l'IA vide le cerveau ! 

 La position d'OBAMA



La réalité