Google предлага до $30,000 за откриване на AI уязвимости

В понеделник Google стартира нова програма за награди, посветена специално на откриването на уязвимости в AI продукти. Списъкът на Google за квалифициращи уязвимости включва примери за неправомерни действия, които търси, като например индиректно инжектиране на AI команда, която кара Google Home да отключи врата, или инжектиране на команда за изтичане на данни, която обобщава всички имейли на някого и изпраща обобщението на акаунта на нападателя. Новата програма уточнява какво представлява AI уязвимост, като ги разделя на проблеми, които използват голям езиков модел или генеративна AI система за причиняване на вреда или използване на пропуск в сигурността, като неправомерните действия са на върха на списъка. Това включва модифициране на нечий акаунт или данни, за да се наруши тяхната сигурност или да се направи нещо нежелано, като например открит преди недостатък, който може да отвори смарт щори и да изключи светлините чрез отровено събитие в Google Calendar. Ловците на уязвимости вече са спечелили над $430,000 през двете години, откакто компанията официално започна да кани AI изследователи да откриват потенциални начини за злоупотреба с AI функции в нейните продукти. Просто да накараш Gemini да халюцинира няма да е достатъчно. Компанията казва, че проблеми, свързани със съдържание, произведено от AI продукти — като генериране на реч на омраза или съдържание, нарушаващо авторски права — трябва да бъдат докладвани чрез канала за обратна връзка в самия продукт. Според Google, по този начин екипите за безопасност на AI могат да "диагностицират поведението на модела и да внедрят необходимото дългосрочно, широкообхватно обучение за безопасност на модела." Заедно с новата програма за награди за AI, Google също обяви в понеделник AI агент, който поправя уязвим код, наречен CodeMender. Компанията казва, че го е използвала за поправяне на "72 корекции на сигурността в проекти с отворен код" след проверка от човешки изследовател. Наградата от $20,000 се присъжда за откриване на неправомерни действия в "флагманските" продукти на Google като Search, Gemini Apps и основни приложения на Workspace като Gmail и Drive. Налични са и множители за качеството на доклада и бонус за новост, което може да доведе до обща сума до $30,000. Цената спада за уязвимости, открити в други продукти на Google, като Jules или NotebookLM, и за по-ниско ниво злоупотреби, като кражба на тайни параметри на модела.