Обычно науку считают «самоисправляющейся» системой: гипотезы и результаты экспериментов, опубликованные одним учёным, всегда подвергаются проверке и критике со стороны его коллег. Если повторные эксперименты дают не тот результат, что получился у первого автора, это значит, что либо проверку проводили неправильно, либо первый автор ошибся, и истина непременно торжествует. Однако выясняется, что так бывает далеко не всегда.
В 1998 году большой интерес вызвал психологический опыт, в котором перед тестом на коэффициент интеллекта испытуемых просили представить себе образ профессора или футбольного фаната. Во втором случае тест давал более низкий результат. Однако весной 2013 года стало известно, что повторные эксперименты, проведённые девятью независимыми группами, не обнаружили этот эффект.
Воспроизводимость результатов — важнейшее условие развития науки. Несколько лет назад специалисты одной американской фармацевтической фирмы решили воспроизвести 53 исследования, которые можно считать ключевыми для современной онкологии. Хотя часть проверок проводили в контакте с авторами оригинальных работ, подтвердились только шесть из них. Аналогичная проверка 67 основополагающих медицинских статей, проведённая в Германии, подтвердила лишь четверть из них.
В Университете здоровья и науки Орегона (США) проанализировали 238 медицинских и биологических статей из 84 журналов и обнаружили: более чем в половине из них методика изложена так, что повторить и проверить эти работы невозможно. Например, нет чётких указаний по применявшимся химическим реагентам.
Сложность ещё и в том, что организации, выдающие гранты на исследования, предпочитают финансировать не повторные проверочные, а совершенно оригинальные, новые работы.
Весной 2013 года авторитетный общенаучный журнал «Nature» опубликовал список из 18 требований, предъявляемых отныне к авторам статей. В частности, теперь необходимо гораздо более подробное изложение методик, сведений о применяемых приборах, химикатах и компьютерных программах обработки результатов. Чтобы экономить бумагу, часть подробностей будут выкладывать на сайт журнала.
По некоторым оценкам, три четверти статей по машинному обучению (созданию компьютерных программ, способных обучаться) являются ошибочными или даже бессмысленными.
Многие журналы относятся некритично к присылаемым статьям. Так, недавно Джон Бохэннон, биолог из Бостона (США), разослал в 304 научных журнала статью о действии соединения, выделенного из лишайников, на раковые клетки. Статья была целиком вымышленной, содержала многочисленные, вставленные специально ошибки и несообразности, и всё же 157 редакций согласились на публикацию.
Лет пять назад подобный эксперимент провели и в России: послали в один (правда, малоизвестный) научный журнал статью по математике, сгенерированную специальной компьютерной программой и не имеющую решительно никакого смысла. Статья была высоко оценена редколлегией и опубликована.
В 1998 году престижный «British Medical Journal» разослал двум сотням своих внештатных рецензентов статью с восемью намеренными ошибками. Никто не нашёл все восемь, в среднем заметили одну-две, некоторые эксперты не нашли ни одной.
В анонимном опросе специалистов по разным наукам (биомедицинским, инженерным, химии, экономике) 28% опрошенных сообщили, что знакомы с коллегами, которые в своих публикациях частично фальсифицируют или стопроцентно выдумывают данные. А 2% признались, что сами прибегали к обману.
В середине прошлого века во всём мире насчитывалось несколько сотен тысяч учёных, сейчас их шесть-семь миллионов. Обострившаяся конкуренция нередко заставляет спешно публиковать плохо проверенные результаты.