Изкуственият интелект използва данни от оттеглени научни статии

Според последни изследвания, някои AI чатботове разчитат на грешни данни от оттеглени научни статии, за да отговарят на въпроси. Тези открития, потвърдени от MIT Technology Review, повдигат въпроси относно надеждността на AI инструментите при оценка на научни изследвания и могат да усложнят усилията на държави и индустрии, които искат да инвестират в AI инструменти за учени. AI търсачките и чатботовете вече са известни с това, че създават фалшиви връзки и препратки. Но отговори, базирани на материали от реални статии, също могат да заблудят, ако тези статии са оттеглени. Чатботът използва "реална статия, реален материал, за да ви каже нещо", казва Уейкуан Гу, медицински изследовател в Университета на Тенеси в Мемфис и автор на едно от последните изследвания. Но, казва той, ако хората само погледнат съдържанието на отговора и не кликнат върху статията, за да видят, че е оттеглена, това е наистина проблем. Гу и неговият екип зададоха въпроси на ChatGPT на OpenAI, работещ на модела GPT-4o, базирани на информация от 21 оттеглени статии за медицински изображения. Отговорите на чатбота се позоваха на оттеглени статии в пет случая, но препоръчаха предпазливост само в три. Докато за други въпроси цитираше неоттеглени статии, авторите отбелязват, че може да не е разпознал статуса на оттегляне на статиите. В изследване от август, друга група изследователи използваха ChatGPT-4o mini, за да оценят качеството на 217 оттеглени и нискокачествени статии от различни научни области; те установиха, че нито един от отговорите на чатбота не споменава оттегляния или други притеснения. (Няма подобни изследвания, публикувани за GPT-5, който излезе този август.) Обществеността използва AI чатботове, за да търси медицински съвети и да диагностицира здравословни състояния. Студенти и учени все повече използват научно ориентирани AI инструменти, за да преглеждат съществуваща научна литература и да обобщават статии. Този вид употреба вероятно ще се увеличи. Например, Националната научна фондация на САЩ инвестира 75 милиона долара в изграждането на AI модели за научни изследвания този август. "Ако [инструментът] е насочен към широката общественост, тогава използването на оттегляне като вид индикатор за качество е много важно", казва Юанси Фу, изследовател по информационни науки в Университета на Илинойс в Урбана-Шампейн. "Има някакво съгласие, че оттеглените статии са изключени от научния запис", казва тя, "и хората извън науката - те трябва да бъдат предупредени, че това са оттеглени статии." OpenAI не предостави отговор на запитване за коментар относно резултатите от статиите. Проблемът не се ограничава само до ChatGPT. През юни, MIT Technology Review тества AI инструменти, специално рекламирани за изследователска работа, като Elicit, Ai2 ScholarQA (сега част от инструмента Asta на Allen Institute for Artificial Intelligence), Perplexity и Consensus, използвайки въпроси, базирани на 21-те оттеглени статии в изследването на Гу. Elicit се позова на пет от оттеглените статии в своите отговори, докато Ai2 ScholarQA се позова на 17, Perplexity на 11, а Consensus на 18 - всички без да отбележат оттеглянията. Някои компании оттогава са предприели стъпки за коригиране на проблема. "До скоро нямахме добри данни за оттегляния в нашата търсачка", казва Кристиан Салем, съосновател на Consensus. Неговата компания вече започна да използва данни за оттегляния от комбинация от източници, включително издатели и агрегатори на данни, независими уеб обхождания и Retraction Watch, който ръчно курира и поддържа база данни за оттегляния. В тест на същите статии през август, Consensus цитира само пет оттеглени статии. Elicit съобщи на MIT Technology Review, че премахва оттеглени статии, отбелязани от научния изследователски каталог OpenAlex от своята база данни и "все още работи по агрегиране на източници на оттегляния." Ai2 ни каза, че техният инструмент в момента не открива или премахва автоматично оттеглени статии. Perplexity заяви, че "[никога] не претендира да бъде 100% точен." Въпреки това, разчитането на бази данни за оттегляния може да не е достатъчно. Иван Орънски, съосновател на Retraction Watch, е внимателен да не го описва като изчерпателна база данни, казвайки, че създаването на такава би изисквало повече ресурси, отколкото някой има: "Причината, поради която е ресурсно интензивно, е защото някой трябва да го направи всичко на ръка, ако искате да бъде точно." Допълнително усложняващ въпроса е, че издателите не споделят единен подход към известията за оттегляне. "Където нещата са оттеглени, те могат да бъдат маркирани като такива по много различни начини", казва Кейтлин Бакър от Университета на Реджина, Канада, експерт по изследователски и откривателски инструменти. "Корекция", "израз на загриженост", "грешка" и "оттеглено" са сред някои етикети, които издателите могат да добавят към научни статии - и тези етикети могат да бъдат добавени по много причини, включително притеснения относно съдържанието, методологията и данните или наличието на конфликти на интереси. Някои изследователи разпространяват своите статии на сървъри за предпечат, хранилища на статии и други уебсайтове, което води до разпръскване на копията в интернет. Освен това, данните, използвани за обучение на AI модели, може да не са актуални. Ако една статия е оттеглена след датата на прекъсване на обучението на модела, отговорите му може да не отразяват моментално какво се случва, казва Фу. Повечето академични търсачки не извършват проверка в реално време спрямо данните за оттегляне, така че сте на милостта на това колко точен е техният корпус, казва Аарон Тей, библиотекар в Университета за управление в Сингапур. Орънски и други експерти препоръчват да се предоставя повече контекст за моделите, които да използват при създаването на отговор. Това може да означава публикуване на съществуваща информация, като рецензии, поръчани от списания и критики от сайта за рецензии PubPeer, заедно с публикуваната статия. Много издатели, като Nature и BMJ, публикуват известия за оттегляне като отделни статии, свързани със статията, извън платените стени. Фу казва, че компаниите трябва ефективно да използват такава информация, както и всякакви новинарски статии в данните за обучение на модела, които споменават оттеглянето на статия. Потребителите и създателите на AI инструменти трябва да извършват своята дължима грижа. "Ние сме в много, много ранни етапи и по същество трябва да бъдете скептични", казва Тей. Ананя е независим журналист по наука и технологии, базиран в Бенгалуру, Индия.