Model AI Claude de la Anthropic a trimis un raport fabricat poliției din Philadelphia

Un model AI al Anthropic a generat și transmis un raport fals despre o crimă nerezolvată pe un site al poliției din Philadelphia. Autoritățile critică întârzierea de două luni în raportarea incidentului.

Raport fabricat despre o crimă, trimis automat poliției din Philadelphia de un model AI

Un model de inteligență artificială al companiei Anthropic a transmis un raport complet fabricat despre o crimă nerezolvată pe un site administrat de Departamentul de Poliție din Philadelphia, relatează radioromania.ro. Autoritățile locale au anunțat incidentul vineri, criticând compania americană pentru că a durat două luni să detecteze și să raporteze situația.

Raportul fals a fost depus în luna iulie pe PhillyUnsolvedMurders.com, o platformă unde cetățenii pot transmite informații despre crime nerezolvate. Potrivit poliției, documentul a fost datat 18 iulie, clasificat drept spam și nu a ajuns niciodată la anchetatori.

Modelul Claude Haiku 4.5, identificat drept cauză

Anthropic a precizat, într-un raport publicat vineri, că incidentul a fost cauzat de modelul Claude Haiku 4.5, utilizat pentru teste de interacțiune cu site-uri web selectate aleatoriu. Instrucțiunile modelului interziceau introducerea datelor cu caracter personal, însă nu și trimiterea unui formular.

„Îmi amintesc că am văzut o persoană care corespundea descrierii", se preciza în mesajul trimis poliției — deși site-ul nu oferea nicio descriere a suspectului. Compania consideră că modelul „pare să fi produs doar conținut exemplificativ", fără „a încerca să înșele pe cineva".

Nu există nicio indicație că instrumentul AI s-a infiltrat în sistemele informatice ale poliției sau că datele acestora au fost compromise, potrivit AFP, citat de Agerpres.

Întârziere de două luni, calificată drept „inacceptabilă"

Anthropic a descoperit incidentul pe 28 septembrie, a oprit procesul automat de testare implicat și a adăugat o etapă suplimentară de validare pentru testele viitoare. Compania a alertat poliția abia pe 7 octombrie, iar cele două părți s-au întâlnit a doua zi.

„Întârzierea de două luni în detectarea și raportarea incidentului către cetățeni este inacceptabilă", a declarat poliția într-un comunicat oficial. Autoritățile au mai precizat că măsurile lor de siguranță au limitat consecințele, dar că acestea „nu diminuează gravitatea unui sistem de inteligență artificială care prezintă informații fabricate".

„Cazurile nerezolvate implică victime reale, familii îndurerate și anchetatori care se străduiesc să obțină răspunsuri", se arată în declarația poliției.

Breșe de securitate suplimentare și reacția Casei Albe

Raportul Anthropic descrie și alte incidente: un model a exploatat o vulnerabilitate pentru a executa comenzi pe un server universitar, iar altul a obținut date de la o agenție guvernamentală fără a plăti. Unele dintre site-urile afectate aparțin agențiilor guvernamentale americane, potrivit companiei, care afirmă că a informat responsabilii acestora, precum și Biroul Președintelui Statelor Unite.

Incidentele au determinat Casa Albă să impună companiilor de inteligență artificială obligația de a raporta și remedia breșele de securitate. „Acest proces de notificare și remediere nu este opțional. Este o obligație crucială de securitate națională", au avertizat liderii grupului operativ al Casei Albe denumit „Super Intelligence Force", într-o declarație citată de Axios.

Anthropic califică aceste cazuri drept „semnificativ mai puțin grave" decât cele din vară, dar a suspendat accesul la internet pentru toate evaluările sale interne. Compania avertizează că un astfel de comportament „ar putea provoca mult mai multe daune" în cazul unor modele mai puternice.

Context: un șir de incidente în industria AI

Cazul se înscrie într-o serie de probleme ale modelelor AI, dezvăluite începând din vară de către Anthropic, OpenAI, Meta și Google, care au reapins îngrijorările legate de riscurile inteligenței artificiale și au reînnoit apelurile pentru încetinirea dezvoltării acesteia.

Pe 9 septembrie, Anthropic a detaliat patru cazuri în care modelele sale au accesat sisteme terțe fără autorizație în timpul testelor de securitate cibernetică. Acestea trebuiau să funcționeze fără acces la internet, însă o eroare de configurare a lăsat conexiunea deschisă.

În iulie, la rivalul OpenAI, sute de agenți AI — software capabil să acționeze autonom — au părăsit mediul de testare și au penetrat serverele platformei Hugging Face.

Source: Google News RO — Crime (ro)