Anthropic въвежда нови правила за безопасност на AI

Anthropic актуализира политиката за използване на своя AI чатбот Claude в отговор на нарастващите опасения за безопасността. Освен въвеждането на по-строги правила за киберсигурност, Anthropic сега конкретно забранява използването на Claude за разработка на биологични, химически, радиологични или ядрени оръжия. Въпреки че компанията не подчертава промените в политиката си за оръжия в публикацията, която обобщава измененията, сравнение между старата и новата политика разкрива значителна разлика. Докато преди Anthropic забраняваше използването на Claude за „производство, модификация, проектиране, маркетинг или разпространение на оръжия, експлозиви, опасни материали или други системи, предназначени да причинят вреда или загуба на човешки живот“, обновената версия разширява това, като конкретно забранява разработката на високоефективни експлозиви, както и биологични, ядрени, химически и радиологични (CBRN) оръжия. През май Anthropic въведе защита „AI Safety Level 3“ заедно с пускането на новия си модел Claude Opus 4. Тези мерки са предназначени да направят модела по-труден за пробиване, както и да предотвратят неговото използване за разработка на CBRN оръжия. В публикацията си Anthropic също признава рисковете, породени от агентни AI инструменти, включително Computer Use, който позволява на Claude да поеме контрола над компютъра на потребителя, както и Claude Code, инструмент, който вгражда Claude директно в терминала на разработчика. „Тези мощни възможности въвеждат нови рискове, включително потенциал за мащабна злоупотреба, създаване на зловреден софтуер и кибератаки“, пише Anthropic. AI стартъпът отговаря на тези потенциални рискове, като добавя нова секция „Не компрометирайте компютърни или мрежови системи“ в политиката си за използване. Тази секция включва правила срещу използването на Claude за откриване или експлоатация на уязвимости, създаване или разпространение на зловреден софтуер, разработка на инструменти за атаки от типа отказ на услуга и други. Освен това, Anthropic разхлабва политиката си относно политическото съдържание. Вместо да забранява създаването на всякакъв вид съдържание, свързано с политически кампании и лобиране, Anthropic сега ще забранява само използването на Claude за „случаи на употреба, които са измамни или разрушителни за демократичните процеси, или включват насочване към избиратели и кампании“. Компанията също така уточни, че изискванията й за всички „високорискови“ случаи на употреба, които влизат в сила, когато хората използват Claude за даване на препоръки на индивиди или клиенти, се прилагат само за потребителски сценарии, а не за бизнес употреба.