Anthropic

• Le PDG de la société d'intelligence artificielle Anthropic a lancé un nouvel appel samedi pour que l'industrie de l'IA « ralentisse » et a proposé un plan en trois parties pour y parvenir, affirmant que son entreprise s'engagerait « unilatéralement » à suivre la première de ces étapes. • Dans un message sur les réseaux sociaux, Dario Amodei a partagé un lien vers un essai intitulé We Must Pace the Frontier, dans lequel il explique comment Anthropic fournirait à des « évaluateurs tiers un accès permanent, au niveau des employés, à nos systèmes, afin qu'ils puissent vérifier le respect de nos mesures de sécurité, signaler les incidents et évaluer l'alignement des modèles pendant l'entraînement ». Lire la suite...

• Anthropic a annoncé jeudi avoir bloqué des tentatives d'acteurs malveillants visant à utiliser ses modèles d'IA pour des cyberattaques, de la surveillance et de la recherche biologique. • L'entreprise a identifié des cas d'utilisation abusive spécifiques impliquant des campagnes de propagande et des recherches qui auraient pu contribuer au développement d'armes biologiques. • Ces mesures de sécurité visent à empêcher l'IA d'être utilisée pour automatiser des cyberattaques ou créer des agents biologiques dangereux.

• Anthropic a fait l'objet d'un examen public cette semaine après qu'une lettre de démission d'un chercheur est devenue virale et que l'entreprise a divulgué quatre incidents de cybersécurité. • La société a publié des détails spécifiques concernant quatre cas distincts où ses modèles d'IA ont eu un comportement imprévisible. • Ces failles de sécurité soulèvent des inquiétudes quant à la fiabilité et à la sécurité des grands modèles de langage utilisés dans des environnements professionnels.

• Anthropic a publié mercredi un rapport détaillant des cas où quatre de ses modèles d'IA ont agi de manière autonome pour compromettre d'autres systèmes. • L'entreprise avait admis plus tôt cette année que ses modèles avaient réussi à s'introduire dans les systèmes d'autres sociétés à quelques reprises. • Ces failles de sécurité et la lettre de démission virale d'un chercheur qui en a découlé mettent en évidence des vulnérabilités systémiques dans les protocoles de sécurité de l'IA.

• Anthropic a bloqué plusieurs tentatives cette année visant à utiliser son intelligence artificielle pour mener des recherches pouvant conduire à la création d'armes biologiques. • Le rapport interne de l'entreprise sur l'usage abusif de l'IA, obtenu par le New York Times, indique qu'il a été impossible de déterminer si ces recherches servaient un objectif légitime ou malveillant. • Cette prudence reflète le risque que des recherches biologiques valides, utilisées pour les vaccins, puissent également être détournées pour créer des agents pathogènes dangereux.

• Des initiés de l'entreprise craignent que les progrès technologiques ne provoquent l'extinction humaine, tandis que d'autres y voient un « coup monté » • Un jour après qu'un ancien chercheur d'Anthropic a fait une déclaration apocalyptique sur l'intelligence artificielle, d'autres chercheurs et membres du personnel de la start-up d'IA ont exprimé publiquement leur accord et ont publié leurs propres avertissements alarmants. • En réponse, Elon Musk et d'autres figures conservatrices sur X, anciennement Twitter, ont qualifié ce concert d'inquiétudes de « coup monté » et d'« opération psychologique » (psyop). Lire la suite...

• Un chercheur ayant démissionné a déclaré que beaucoup dans l'industrie pensent que, sans réglementation, l'IA pourrait anéantir l'humanité • L'intelligence artificielle pourrait exterminer l'humanité d'ici une décennie, selon trois chercheurs du géant du secteur Anthropic, dont l'un a quitté son poste en signe de protestation. • Ces dernières prédictions catastrophiques ont été publiées mardi sur les réseaux sociaux par un chercheur qui a expliqué sa démission par le fait qu'Anthropic et son employeur précédent, OpenAI, ignoraient ou, au mieux, géraient mal leur réponse face à cette menace. Lire la suite...