AI-systeem Claude van Anthropic hackte onbedoeld drie bedrijven

Anthropic's AI system Claude unintentionally hacked into three companies after gaining access to the internet during 'capture-the-flag' exercises, the company disclosed. The hacks occurred since April, using basic techniques like exploiting weak passwords and unsecured access points. Anthropic discovered the breaches while reviewing over 141,000 hacking exercises, prompted by concerns over similar incidents at OpenAI.

Het bekende AI-systeem Claude van het Amerikaanse bedrijf Anthropic heeft ingebroken bij drie bedrijven, nadat het onbedoeld toegang had gekregen tot het internet. Dat heeft Anthropic bekendgemaakt, een week nadat iets soortgelijks was gemeld https://nos.nl/artikel/2624086-openai-hackt-ander-ai-bedrijf-maar-van-op-hol-geslagen-ai-is-geen-sprake door concurrent OpenAI. Volgens Anthropic hebben de hacks ergens sinds april plaatsgevonden, tijdens zogeheten 'capture-the-flag'-oefeningen. Daarbij kreeg Claude de opdracht om verborgen informatie los te peuteren uit speciaal voor dit doel ontworpen netwerken, om te kijken hoe goed het systeem is in hacken. Door een misverstand met een ander bedrijf dat deze oefeningen zou analyseren, kreeg Claude echter toegang tot het algemene internet, waarna het inbrak bij drie andere bedrijven. Daarbij zou het systeem gebruik hebben gemaakt van "basale technieken zoals het misbruik maken van zwakke wachtwoorden en niet-beveiligde toegangspunten", aldus Anthropic. Met andere woorden: het systeem maakte gebruik van de zwakke beveiliging van de slachtoffers. Twee van de drie getroffen bedrijven zijn inmiddels op de hoogte gesteld door Anthropic, met de derde wordt nog contact gezocht. Welke bedrijven dat zijn en of zij schade hebben geleden is niet bekendgemaakt. Anthropic zegt dat het bedrijf de hacks op het spoor kwam toen het ruim 141.000 van de hack-oefeningen van Claude ging controleren, die in de afgelopen maanden zijn uitgevoerd. Dat deed het bedrijf naar eigen zeggen omdat het geschrokken was van de hacks die door de systemen van concurrent OpenAI waren uitgevoerd. Volgens het bedrijf toont het aan dat er meer werk moet worden gemaakt van de beveiliging van oefeningen met AI-systemen, die steeds krachtiger worden en steeds meer in staat zijn om schade aan te richten in de echte wereld.