AI системи се използват за киберпрестъпления, предупреждава доклад

„Агентните AI системи се използват като оръжие.“ Това е едно от първите изречения в новия доклад на Anthropic за заплахи, който описва широк спектър от случаи, в които Claude — и вероятно много други водещи AI агенти и чатботове — се злоупотребяват. Първият случай е „Vibe-hacking“. Една сложна киберпрестъпна група, която Anthropic твърди, че наскоро е разкрила, е използвала Claude Code, AI кодиращ агент на Anthropic, за да изнудва данни от поне 17 различни организации по света в рамките на един месец. Сред засегнатите са здравни организации, спешни служби, религиозни институции и дори правителствени органи.

„Ако сте сложен актьор, това, което иначе би изисквало може би екип от сложни актьори, като случая с vibe-hacking, сега може да бъде извършено от един човек с помощта на агентни системи,“ каза Джейкъб Клайн, ръководител на екипа за разузнаване на заплахи на Anthropic, в интервю за The Verge. Той добави, че в този случай Claude е „изпълнявал операцията от край до край.“

Anthropic пише в доклада, че в такива случаи AI „служи както като технически консултант, така и като активен оператор, позволявайки атаки, които биха били по-трудни и времеемки за индивидуални актьори да изпълнят ръчно.“ Например, Claude е използван конкретно за писане на „психологически насочени изнудващи искания.“ След това киберпрестъпниците са изчислили колко ще струват данните — които включват здравни данни, финансова информация, правителствени идентификационни данни и други — на тъмната мрежа и са направили искания за откуп, надвишаващи 500 000 долара, според Anthropic.

„Това е най-сложната употреба на агенти, която съм виждал... за кибернападение,“ каза Клайн.

В друг случай, Claude е помогнал на севернокорейски IT работници да получат измамно работа в компании от Fortune 500 в САЩ, за да финансират оръжейната програма на страната. Обикновено, в такива случаи, Северна Корея се опитва да използва хора, които са били в колеж, имат IT опит или имат някаква способност да комуникират на английски, според Клайн — но той каза, че в този случай бариерата е много по-ниска за хората в Северна Корея да преминат технически интервюта в големи технологични компании и след това да запазят работата си.

С помощта на Claude, Клайн каза, „виждаме хора, които не знаят как да пишат код, не знаят как да комуникират професионално, знаят много малко за английския език или култура, които просто питат Claude да прави всичко... и след като получат работата, повечето от работата, която всъщност извършват с Claude, е да поддържат работата.“

Друг случай включваше романтична измама. Бот в Telegram с повече от 10 000 месечни потребители рекламираше Claude като „модел с високо EQ“ за помощ при генериране на емоционално интелигентни съобщения, очевидно за измами. Това позволява на хора, които не са носители на английски, да пишат убедителни, комплиментарни съобщения, за да спечелят доверието на жертвите в САЩ, Япония и Корея и да им искат пари. Един пример в доклада показва потребител, който качва изображение на мъж с вратовръзка и пита как най-добре да го комплиментира.

В доклада Anthropic сам признава, че въпреки че компанията е „разработила сложни мерки за безопасност и сигурност, за да предотврати злоупотребата“ с AI, и въпреки че мерките са „общо взето ефективни“, злонамерени актьори понякога успяват да намерят начини да ги заобиколят. Anthropic казва, че AI е намалил бариерите за сложни киберпрестъпления и че злонамерени актьори използват технологията, за да профилират жертвите, автоматизират практиките си, създават фалшиви идентичности, анализират откраднати данни, крадат информация за кредитни карти и други.

Всеки от случаите в доклада допринася за нарастващото количество доказателства, че AI компаниите, колкото и да се стараят, често не могат да се справят с обществените рискове, свързани с технологията, която създават и пускат в света. „Въпреки че е специфично за Claude, случаите, представени по-долу, вероятно отразяват последователни модели на поведение във всички водещи AI модели,“ се казва в доклада.

Anthropic заяви, че за всеки случай е забранил свързаните акаунти, създал нови класификатори или други мерки за откриване и е споделил информация с подходящите правителствени агенции, като разузнавателни агенции или правоохранителни органи, потвърди Клайн. Той също така каза, че случаите, които неговият екип е видял, са част от по-широка промяна в AI риска.

„Настъпва тази промяна, при която AI системите не са просто чатбот, защото сега могат да предприемат множество стъпки,“ каза Клайн, добавяйки, „Те са в състояние да извършват действия или дейности, както виждаме тук.“