Изследователи разкриха уязвимост в ChatGPT за кражба на данни

Изследователи по сигурността използваха ChatGPT като съучастник за кражба на чувствителни данни от Gmail пощенски кутии, без да предупреждават потребителите. Уязвимостта, която беше експлоатирана, е затворена от OpenAI, но е добър пример за новите рискове, присъщи на агентните AI. Кражбата, наречена Shadow Leak и публикувана от фирмата за сигурност Radware тази седмица, разчиташе на особеност в начина, по който работят AI агентите. AI агентите са асистенти, които могат да действат от ваше име без постоянно наблюдение, което означава, че могат да сърфират в интернет и да кликат върху връзки. AI компаниите ги възхваляват като огромно спестяване на време, след като потребителите им дадат достъп до лични имейли, календари, работни документи и др. Изследователите от Radware експлоатираха тази полезност с форма на атака, наречена инжектиране на подканващи команди, инструкции, които ефективно карат агента да работи за нападателя. Мощните инструменти са невъзможни за предотвратяване без предварително знание за работещ експлойт и хакерите вече са ги използвали по креативни начини, включително манипулиране на рецензии, изпълнение на измами и контрол на смарт домове. Потребителите често са напълно неосведомени, че нещо се е объркало, тъй като инструкциите могат да бъдат скрити на видно място (за хората), например като бял текст на бял фон. Двойният агент в този случай беше Deep Research на OpenAI, AI инструмент, вграден в ChatGPT, който беше пуснат по-рано тази година. Изследователите от Radware поставиха инжекция на подканващи команди в имейл, изпратен до Gmail пощенска кутия, до която агентът имаше достъп. Там тя чакаше. Когато потребителят следващия път се опита да използва Deep Research, той несъзнателно щеше да активира капана. Агентът щеше да срещне скритите инструкции, които го натоварваха да търси HR имейли и лични данни и да ги изнася към хакерите. Жертвата все още не подозира нищо. Да накараш агент да стане измамник — както и да успееш да изнесеш данни незабелязано, което компаниите могат да предприемат стъпки за предотвратяване — не е лесна задача и имаше много опити и грешки. "Този процес беше влакче на ужасите от неуспешни опити, разочароващи препятствия и, накрая, пробив," казаха изследователите. За разлика от повечето инжекции на подканващи команди, изследователите казаха, че Shadow Leak се изпълнява на облачната инфраструктура на OpenAI и изтичането на данни става директно оттам. Това го прави невидимо за стандартните кибер защити, написаха те. Radware каза, че изследването е доказателство за концепция и предупреди, че други приложения, свързани с Deep Research — включително Outlook, GitHub, Google Drive и Dropbox — може да са уязвими на подобни атаки. "Същата техника може да се приложи към тези допълнителни конектори за изнасяне на силно чувствителни бизнес данни като договори, бележки от срещи или клиентски записи," казаха те. OpenAI вече е затворила уязвимостта, посочена от Radware през юни, казаха изследователите.