Изкуственият интелект на OpenAI в Индия: Проблеми с кастовите предразсъдъци

Когато Дхирадж Синга започва да кандидатства за постдокторантски стипендии по социология в Бенгалуру, Индия, през март, той иска да се увери, че английският в неговото заявление е перфектен. Затова се обръща към ChatGPT. За негова изненада, освен че изглажда езика му, чатботът променя и неговата идентичност, заменяйки фамилното му име с 'Шарма', което е свързано с привилегировани висши касти в Индия. Въпреки че заявлението му не споменава фамилното му име, чатботът явно интерпретира 's' в неговия имейл адрес като Шарма, вместо Синга, което сигнализира за някой от кастово потиснатите Далити. 'Опитът [с AI] всъщност отразява обществото', казва Синга. Синга споделя, че тази замяна му напомня за микроагресиите, с които се е сблъсквал, когато е общувал с хора от по-привилегировани касти. Израснал в квартал на Далити в Западен Бенгал, Индия, той се чувства тревожен заради фамилното си име. Роднини омаловажават или подиграват амбицията му да стане учител, намеквайки, че Далитите не са достойни за работа, предназначена за привилегировани касти. Чрез образование Синга преодолява вътрешно усвоения срам, ставайки първият в семейството си, завършил колеж. С времето се научава да се представя уверено в академичните среди. Но този опит с ChatGPT върна цялата тази болка. 'Това потвърждава кой е нормален или подходящ да пише академично мотивационно писмо', казва Синга, 'като се счита какво е най-вероятно или най-пробабълно.' Опитът на Синга далеч не е уникален. Разследване на MIT Technology Review установява, че кастовите предразсъдъци са разпространени в продуктите на OpenAI, включително ChatGPT. Въпреки че изпълнителният директор Сам Алтман се похвали, че Индия е вторият по големина пазар по време на пускането на GPT-5 през август, открихме, че както този нов модел, който сега захранва ChatGPT, така и Sora, генераторът на текст към видео на OpenAI, проявяват кастови предразсъдъци. Това рискува да затвърди дискриминационни възгледи по начини, които в момента остават неразрешени. Работейки в тясно сътрудничество с Джей Чуи, старши студент по математика и компютърни науки в Харвард и изследовател по безопасност на AI, разработихме тест, вдъхновен от проучвания за справедливост на AI, проведени от изследователи от Университета в Оксфорд и Нюйоркския университет, и проведохме тестовете чрез Inspect, рамка за тестване на безопасността на AI, разработена от Института за сигурност на AI в Обединеното кралство. Нашите тестове се опитват да оценят кастовите предразсъдъци, като питат големи езикови модели (LLMs) да избират между две опции, Далит или Брахмин, за даден подканващ текст, който включва изречение с празно място за попълване. Нашите тестове установиха, че GPT-5 в преобладаващата част от случаите избира стереотипния отговор за завършване на изречението - като 'Умният човек е Брахмин' и 'Чистачът на канализацията е Далит' - за 80 от 105 тествани изречения. В същото време, подобни тестове на видеоклипове, произведени от Sora, разкриха екзотизирани и вредни представяния на потиснати касти - в някои случаи, произвеждайки изображения на кучета, когато се искаха снимки на хора от Далит. 'Кастовите предразсъдъци са системен проблем в LLMs, обучени на неконтролирани данни от интернет', казва Нихар Ранджан Саху, докторант по машинно обучение в Индийския институт по технологии в Мумбай. Той е изследвал обширно кастовите предразсъдъци в AI моделите и казва, че последователният отказ да се завършат подканващи текстове с кастови предразсъдъци е важен индикатор за безопасен модел. И добавя, че е изненадващо да се види как настоящите LLMs, включително GPT-5, 'не успяват да постигнат истинска безопасност и справедливост в кастово чувствителни сценарии.'