УДК 02+001.89
Вайнгаарт П.
Оценка результатов научных
исследований:
опасность манипулирования цифрами
Выходят ли из-под
контроля методы оценок?
В 1983 г. Б. Мартин и Дж. Ирвин
опубликовали в Великобритании свои первые
оценки результативности работы
исследовательских институтов (Martin B.R., Irvine
J. Assessing
basic researvh – some partial
indicators
of scientific
progress
in radio
astronomy.
– Research
Policy
12 (2): 61–90). В то время реакция ученого мира
оказалась в большинстве случаев негативной.
Научные работники не могли согласиться с
самой основой использованной методики и
грозились вызвать авторов аналитического
исследования в суд, поскольку опасались
негативных последствий этого анализа.
Такая реакция была вполне
предсказуема, ибо, во-первых, речь шла
прежде всего о первой попытке допустить к
каким-либо суждениям о выполненной научной
работе неспециалистов, «людей со стороны».
Это полностью противоречило устоявшемуся
мнению, что только сами ученые, в своем
кругу, имеют право судить о качестве и
актуальности проведенных исследований и
что соответствующий механизм научного
реферирования (peer
review)*
функционирует вполне адекватно.
Вторая причина
скептицизма, а точнее, яростного отрицания
– использованная в анализе методология.
Библиометрические измерения, хотя и
отраженные в количественных мерах и
поэтому, на первый взгляд, кажущиеся вполне
объективными, на самом деле не имели
теоретического обоснования, выглядели
грубо эмпирическими и зависящими от
неточных, непроверенных исходных данных.
Отрицание библиометрических индикаторов
со стороны части научного сообщества в то
время было поддержано правительственными и
ведомственными чиновниками, быть может, в
значительной мере ввиду отсутствия
интереса к их использованию.
С той поры ситуация изменилась
по ряду позиций. Бюджеты научных
организаций стабилизировались, и встал
вопрос о перераспределении финансирования,
а не о его увеличении. Поэтому потребность в
обосновании того или иного решения
стимулировала особый интерес к тем
способам, которые не заставляют чиновников
и управленцев вникать в тонкости научных
разъяснений. (Эти тонкости они все равно
никогда не смогут понять.)
Для начала, по крайней мере в
системе высшего образования Германии,
акцент был сделан на выравнивание учебной
нагрузки преподавателей и количества
студентов в группе путем подсчетов по
специальной формуле, выработанной в 1970-е гг.
Казалось бы, пример не относится к
рассматриваемому предмету, но это не так.
Впервые в истории удалось – в достаточно
сложной сфере университетского
образования с различными научными
дисциплинами, методологиями преподавания и
уровнем подготовки преподавателей и
студентов – найти способы регулирования,
основанные на использовании достаточно
простых и понятных количественных замеров.
Конечно, в данном случае целью являлось
достижение равномерного распределения
нагрузки на студентов и преподавателей, а в
итоге и контроль за численностью
профессорско-преподавательского состава
университета.
Система индикаторов
показателей активности и результативности
научных исследований разрабатывалась в те
же 1970-е гг., однако внедрение ее
откладывалось до тех пор, пока (через какое-то
время) не понадобилось осуществлять
контроль за эффективностью работы
факультетов, продуктивностью отдельных
ученых и проводить сравнительный анализ
деятельности университетов. Это время
настало, когда при общем снижении расходов
вместо поддержки университета в целом была
введена иная система финансирования,
предполагающая поддержку конкретных
научных программ.
Критерии оценки качества
научных работ пока не стали общепринятыми.
Правительство США, например, при всем
уважении к рационализации управления
наукой на основе индикаторов качества
исследований, не внедряет применение
библиометрических средств.
В Европейском союзе ситуация с
признанием библиометрических показателей
весьма неоднозначная. Крайний радикализм
проявляет Финляндия – единственная страна,
в которой национальным законодательством
закреплено понятие так называемого импакт
фактора. (Импакт
фактор – количественный показатель
авторитетности журнала, опирающийся на
приведенный уровень цитирования
публикуемых статей; по-русски его можно
было бы назвать фактор
воздействия, или показатель
цитирования. – А.З.)
Публикация хотя бы одной единственной
статьи в журнале с высоким импакт фактором
означает увеличение бюджета
университетской клиники на 7 тыс. долларов.
Привлекательность
использования простых количественных
показателей очень высока и для
правительств других стран, которые
копируют или перенимают друг у друга
управленческие приемы. Можно отметить, что
сейчас в ряде стран наблюдается явный и
решительный переход от сдержанного и
аргументированного скептицизма в
отношении библиометрии к некритическому
увлечению. Такое изменение позиции
характерно не только для правительственных
чиновников и администраторов, но и для
руководителей университетов, сотрудников
благотворительных фондов и членов ученых
советов, т. е. представителей того самого
научного сообщества, которое так яростно и
всеми доступными средствами
сопротивлялось введению оценок со стороны
внешних организаций.
Появились цифровые указатели,
которые якобы могут раскрыть секреты
научного мира, дать понимание механизма
распределения престижных званий и наград в
научной среде, позволить распознать
истинную ранжировку научных сотрудников –
являются ли они действительно учеными с
мировым именем или же простыми
провинциальными отшельниками. Эти
указатели можно считать мощными
инструментами для объяснения причин, по
которым не оправдались чьи-то претензии на
мировую славу.
Как и можно было ожидать, это
вновь возникшее «могущество цифр»
привлекло множество новых «игроков» (поставщиков
и потребителей информации) на быстро
растущий рынок оценок научных исследований,
в частности библиометрических.
В ряде стран созданы
национальные институты по сбору и
обработке данных, касающихся оценок
эффективности работы научных учреждений; в
других странах предпочитают полагаться на
независимые университетские или
коммерческие организации либо
исследовательские группы,
специализирующиеся на библиометрических
исследованиях, как плановых, так и по заказу.
В США с 1970 г. публикуется доклад
Национального научного фонда «Индикаторы
науки» (Science
Indicator Report),
в котором впервые были даны и
библиометрические параметры. Во Франции
выпускается обзорный журнал «Наблюдения за
наукой и техникой» (Observatoire
des
Sciences and
des
Techniques). Аналогичное издание
выходит в Голландии (NOWT). Швейцарский и Немецкий
научные советы также дают соответствующие
индикаторы в своих публикуемых докладах.
Конечно, внимание в этих изданиях
концентрируется в первую очередь на
национальных научных учреждениях.
Все вышеназванные организации в
настоящее время (и в обозримом будущем)
полагаются на один единственный источник
исходных библиометрических данных, а
именно – Институт научной информации (Institute
of
Scientific Information, ISI)**,
который создает междисциплинарный банк
данных научной литературы, содержащий
сведения о цитировании. На его основе можно
компилировать указатели цитирования,
составлять рейтинги импакт фактора,
готовить и более сложные материалы,
например графы и диаграммы коцитирования.
Изначально банк данных ISI
задумывался в качестве инструмента
наукометрии для тех или иных отраслей
знания, а также для определения
соответствующего круга специалистов.
Однако вскоре ученые поняли значение этого
банка данных и для социологических
исследований, изучения истории науки,
оценки научных учреждений и даже для оценки
продуктивности и эффективности
деятельности отдельно взятых ученых.
В течение многих лет ISI
сопротивлялся подобным побочным
применениям своей продукции. Однако сейчас
ситуация изменилась: «по многочисленным
требованиям общественности» ISI
признал растущее значение
библиометрических индикаторов и наладил
выпуск (по заказу) таких инструментов, как ISI
Essential Science
Indicators
(«Основные научные индикаторы Института
научной информации») и ISI
Highly Cited
Com
(«Высоко-цитируемые публикации»). Это
высокоэффективные средства, которые
позволяют любому человеку, имеющему доступ
через Интернет в какую-либо
университетскую библиотеку, найти наиболее
часто цитируемых сотрудников данного
университета, сравнить позицию
университета по отношению к другим в
пределах страны или в международном
аспекте, определить авторитет университета
в определенной отрасли знания.
Эти инструменты сейчас активно
продвигаются на рынок, а растущая
потребность в них подстегивает рост цен на
данную продукцию.
Эффект усиленной
коммерциализации ISI,
осуществляемой его новым владельцем –
группой компаний Томсон (Thomson Company
of
Toronto), имеет несколько аспектов.
Во-первых, с рынка оказались
вытесненными все независимые небольшие
группы квалифицированных аналитиков,
которые пользовались банком данных ISI
для проведения оценок, уточнения
исходных данных в соответствии с
конкретным заказом. Во-вторых,
легкодоступными стали, казалось бы, точные
показатели и предполагается, что любой
человек может участвовать в оценке работы
ученого, равно как и его трудов.
Однако же методологическое и
операционное происхождение этих данных
скрыто от конечного пользователя; столь же
неясно и теоретическое обоснование их
вывода. Все это ведет к растущему числу
инцидентов при разработке в
правительственных органах направлений
развития науки и в учреждениях высшей школы
при подготовке бюджетных решений или при
обсуждении в деканатах проблем приема на
работу новых ученых или изменения зарплаты
сотрудникам. Складывается такое
впечатление, что здоровый (хотя, может быть,
и не всегда справедливый) скептицизм,
существовавший несколько лет тому назад,
сменился совсем уж некритическим
увлечением библиометрическими методиками.
Подобная внедренческая и
управленческая активность, по крайней мере,
беспокоит – и это еще слишком мягко сказано.
Процесс оценки (т. е. научного реферирования),
который до последнего времени был
внутренним делом научного сообщества,
сейчас становится «внешним», доступным
широкой публике, которой дается
возможность анализировать, опираясь на
цифры, отражающие количественные аспекты
научного общения ученых. Эти же цифры
становятся основанием для принятия
бюджетных решений, напрямую влияющих на
исследовательский процесс и на
деятельность университетов в целом, на
работу клиник и других исследовательских
учреждений, зависящих от государственного
финансирования. Причем «производство» этих
цифр находится в руках частной
коммерческой компании, которая фактически
является монополистом в этой области. Это
значит, что сознательно или нет, но такая
компания определяет политические решения,
влияющие на исследовательские работы во
всем мире – через наборы данных, их
качество, через тот продукт, который она
поставляет на рынок.
Подчеркну еще раз: оценка
научных работ, финансирование тех или иных
направлений научной деятельности
университетов в той мере, в какой это
определяется использованием
библиометрических данных, целиком
находится в руках частной компании, имеющей
свой коммерческий интерес!
В силу названных причин
критическое рассмотрение точности и
надежности данных ISI,
равно как и методик их применения, в
особенности правительственными органами, а
также изучение тех эффектов, что вызывает
использование библиометрических средств,
– это задачи чрезвычайной важности, и в
интересах правительства и научного
сообщества заняться ими детально.
Точность и
надежность библиометрических показателей
Проблемы точности и надежности
библиометрических данных постоянно встают
перед учеными, занимающимися внедрением
таких показателей. Наиболее острыми эти
вопросы оказались при использовании
библиометрии в бюджетной сфере, когда в
практику был внедрен так называемый метод
финансирования по оценкам (evaluation based
funding,
EBF).
В дополнение к традиционным
проблемам, связанным с созданием и
внедрением любых значимых для общества
индикаторов, существует еще одна группа
проблем – непредсказуемые последствия
реального использования этих показателей и
адаптивные эффекты.
Нужно заметить, что весьма
нелегко отвыкать от милого сердцу
реферирования (рецензирования), которое, по
романтическому замечанию Дж. Реснера (J.
Roessner),
«остается той последней каплей, в которой
отражаются все другие способы оценки науки,
а также тем стандартом, по которому нужно
проверять справедливость тех или иных
суждений». И однако
же, по крайней мере частично,
причиной все большей популярности
количественных библиометрических оценок
среди официальных лиц является растущий
скептицизм и разочарование в методике
реферирования.
Изначальные
сомнения в утверждениях об открытости
реферирования (в действительности только
для круга «старых друзей по университету»,
однокашников) позже усилились рядом
скандалов и обвинений в мошенничестве,
захвативших очень высокие круги в
биомедицине и физике. Трудно утверждать, но
все же можно предположить, что смещение в
пользу количественной библиометрии
произошло из-за утраты веры в
справедливость научного реферирования. Это,
без сомнения, равнозначно частичной потере
автономности для научного сообщества и
означает большую вовлеченность
политически ориентированной публики в
выбор направлений развития.
Процесс научного реферирования
и особенно надежность и согласованность
оценок были предметом рассмотрения и
критики многочисленных эмпирических
исследований. Больше всего вопросов
возникало к функционированию этой системы
в таких дисциплинах, как медицина и
психология, а недавно в зону критики попала
и физика. Обнаружились действительно не
очень приятные вещи. Проверки, проведенные
самыми различными методами,
показали одни и те же результаты. Как при
составлении рекомендаций для выделения
грантов и субсидий, так и при оценках
качества работ, представленных для
публикации, референты расходились в своих
оценках, порой даже противоречили друг
другу и их оценки со временем могли
измениться.
Анализ, выполненный Д. Сичетти (D. Cichetti) и В. Баканич (V.
Bakanic),
показал, что референты финансирующих
агентств более единодушны в негативных
оценках, когда рекомендуют не выделять
средства на то или иное исследование. Но при
выражении поддержки их мнения резко
расходятся. Что касается референтов в
издательствах, то их мнения чаще совпадают
при рекомендации принять статью к
публикации и чаще расходятся в
отрицательных оценках.
Другие
аналитики указывают на существенную роль в
экспертных оценках каких-либо внешних
факторов, например просто удачу или
принадлежность автора к известному
научному сообществу, научному институту.
При более близком детальном
рассмотрении указанные факты не должны
удивлять, если учесть природу процесса
научных коммуникаций, а реферирование,
безусловно, – их неотъемлемая часть. Это
процесс открытый, противоречивый и
продолжающийся во времени. Различия во
мнениях весьма существенны для
продуктивности, поддержания
инновационности и предотвращения
доминирования какой-либо одной точки
зрения. Научный конформизм должен быть
исключением из правил, т.е. достаточно
редким. Только после установления истины в
ходе всестороннего обсуждения всех точек
зрения можно переходить в другую новую
область. Ожидания единодушных оценок
происходят от «разочарованного сайентизма»
вкупе с упрощенным пониманием права. И
поэтому рассмотренные выше недостатки не
следует использовать ни для критики
реферирования, ни для оправдания введения
библиометрических методов.
Какое все это имеет отношение к
оценкам на базе цитирования? Предположение,
что внедрение библиометрических методов
вызвано и поддерживается неверием в
научное реферирование; ошибочно по двум
причинам: во-первых, неверно, что
библиометрия независима от реферирования;
во-вторых, также неверно, что библиометрия
точнее реферирования благодаря
количественным замерам, которые якобы
более объективны.
В действительности измерения
количества публикаций и цитирования
являются элементами того же процесса
научных коммуникаций, как это видно на
примере журнальных публикаций, где также
непременно присутствует процедура
реферирования. Именно по этой причине
библиометрические данные никак не могут
быть более точными или объективными, чем
суждения научного референта. Кроме того,
базируясь на обработке больших массивов
информации, они поневоле несут в себе
ошибки в обработке данных. Поскольку они
основаны на просматривании только
некоторой части избранных журналов, то и
сами являются лишь частичным отражением
всего процесса. В силу своей зависимости от
исходных данных такие замеры несут на себе
отражение пристрастий в выборе стран,
научных дисциплин, наименований журналов.
Еще одна проблема –
наименование областей знания. В некоторых
случаях научные публикации исключаются из
рассмотрения, поскольку определение
научной области (предмета) в базе данных,
основанное на наименовании какого-либо
конкретного журнала, не полное или,
наоборот, частично перекрывается другими
предметами. Особенно сложная ситуация
возникает в междисциплинарных областях:
казалось бы, совершенно ясное
определение такой области науки и
техники, как «высокотемпературная
сверхпроводимость» в действительности
имеет отношение и к «физике твердого тела»,
и к «низкотемпературной физике», «физической
химии», «материаловедению», «изготовлению
тонких пленок» и т.д., что в
конце концов делает совершенно
невозможной однозначную предметизацию. В
результате может оказаться, что из-за
взаимопроникновения научных дисциплин
расчеты цитирования будут ошибочными.
Далее, пока нет ответа на вопрос,
в каком контексте применяются методы
цитирования в ходе процесса научных
коммуникаций: в положительном (чтобы
похвалить), негативном (чтобы выявить
недостатки) или вообще, т.е. без
определенной цели.
В настоящее время использование
данных цитирования базируется на том
предположении, что при достаточно большом
количестве найденных ссылок различные
мотивации, служащие побудительным стимулом
для цитирования той или
иной статьи, взаимно нейтрализуются и то,
что остается – это сам факт внимания к
указанной статье.
Мы также знаем, что в различных
отраслях науки сложились разные обычаи
цитирования. Статьи о результатах основных
биомедицинских исследований цитируются в
шесть раз чаще, чем статьи по математике.
Эти моменты нужно обязательно учитывать
при сравнении учреждений, работающих в
различных областях науки. Пока же не
существует общепринятой теории причин,
обусловливающих цитирование той или иной
работы; быть может, такая теория никогда и
не появится.
Наконец, еще одна проблема
связана с особенностями методологии
статистики. В ряде измерений количества
цитирования, особенно когда изучают работы,
выполненные отдельными независимыми
учеными или силами небольших научных
коллективов, сами изучаемые цифры
достаточно невелики и статистический
разброс может оказаться очень большим или
подверженным случайным факторам. Это может
быть случайно и неудачно выбранный
интервал времени анализа, какая-либо особая
позиция статьи в системе научных
коммуникаций, недостаточное «время
экспозиции» данной статьи для широкой
публики – и многие из этих факторов могут
очень быстро измениться.
При оценках рейтинга учреждений
относительно малое абсолютное количество
использованных ссылок может привести к еще
одному виду случайных эффектов. Всего лишь
одна часто цитируемая работа может «потащить»
за собой вверх репутацию всего учреждения,
вне зависимости от реального распределения
научного потенциала среди небольшого
коллектива. При этом может оказаться, что
автор нашумевшей статьи давно уже покинул
данное учреждение, а оно все еще живет
старыми запасами, не имеющими отношения к
истинному положению вещей, т.е. к
сегодняшнему потенциалу коллектива.
Небольшое различие или разница,
возникающие при анализе малых абсолютных
значений, не могут служить основой для
бюджетных или «зарплатных» изменений,
поскольку они не соответствуют каким-либо
значимым различиям в уровне
конкурентоспособности или научном
потенциале.
Общий вывод: измерения на базе
цитирования оказываются действенными
только при работе с большими массивами.
Какое это имеет отношение к
реферированию? Использование библиометрии
может положительно сказаться на
реферировании в нескольких аспектах.
Поскольку библиометрия опирается на
обработку больших массивов данных, при их
анализе выявляются такие закономерности,
которые невидимы для одиночного ученого.
Уникальный вклад библиометрии в
процесс научного общения и ее огромное
значение состоит в том, что она дает картину
в целом, что весьма важно и для
администраторов, и для широкой публики. На
широком полотне библиометрии можно
отчетливо разглядеть контуры
зарождающихся явлений, например взаимное
пересечение каких-либо научных дисциплин,
которое пока еще не оформлено
институционально. Интерпретация этих
связей, какие-то неожиданные противоречия с
устоявшимися представлениями – все это
должно изучаться экспертами или, по крайней
мере, с участием специалистов.
Научное реферирование призвано
вносить, если это необходимо, коррективы в
общую картину, созданную библиометрией.
Еще один, очень важный аспект
взаимодействия библиометрии и
реферирования, состоит в том, что
библиометрический анализ в какой-то мере
может контролировать, проверять научное
реферирование. Быстрый спад интереса к
какой-либо научной дисциплине, еще недавно
весьма популярной и имеющей ранее
созданную инфраструктуру, а значит, по
инерции стремящейся поддержать былое
могущество, не может надежно фиксироваться
системой научного реферирования ввиду
врожденной избирательности и уже
израсходованного на нее ресурса.
С этой точки зрения совместное
аналитическое расследование методами
реферирования и библиометрическими
методами лучше защищено от влияния «кумовства»
и студенческих привязанностей, а это, в свою
очередь, будет способствовать подъему и
укреплению авторитета такого подхода.
Предполагаемые и
случайные управляющие эффекты
библиометрических методов
Можно ли говорить о том, что
использование библиометрических методов
достигает поставленных целей при работе с
отдельными лицами или с учреждениями? Или
же люди как-то обходят все препятствия и
вовсе не следуют рекомендуемым изменениям
в практике научных исследований?
Библиометрические показатели,
используемые для составления бюджета
учреждения или с целью каких-либо санкций в
адрес учреждения, можно назвать реактивными
в том смысле, что они должны повлиять на
ваше поведение, вызвать ответную реакцию.
Например, если вас, качество вашей работы и
объем выделенных вам средств оценивают по
числу ссылок на ваши публикации, то можно
предполагать, что вы постараетесь
публиковаться чаще и в наиболее
авторитетных журналах. В ряде случаев
оценки и предложения по финансовой
поддержке выводятся по комбинации из
нескольких показателей, например по
библиометрическим индикаторам и по числу
полученных внешних грантов (предполагается,
что это будет побуждать чаще обращаться за
грантами).
В некоторых случаях вводится
такой показатель, как число соискателей,
работающих под вашим руководством –
делается это для того, чтобы стало больше
сотрудников со степенью.
Ряд
авторитетных специалистов (например сэр
Гаррет Робертс из Оксфорда) считают, что
трех вышеприведенных параметров (число
защитившихся, активность во внешних
грантах и число публикаций) достаточно для
проведения квалифицированных оценок
творческой активности и определения уровня
финансирования данного университета. При
этом молчаливо предполагается, что реакция
испытуемых на проведение измерений будет
однозначной и пробуждающей творческую
активность, но это заблуждение.
Известно, что некоторые ученые
искусственно увеличивают число своих
публикаций, разбивая текст статьи на «минимально
допустимые» в данном издательстве единицы.
Они также могут активно продвигать и
разрабатывать консервативные или даже
устаревшие, но надежные и простые проекты и
вполне могут существенно снизить
требования к подготовке выпускаемых ими
кандидатов и докторов наук. Это всего лишь
немногие примеры того, как отдельные ученые
могут манипулировать показателями или
уклоняться от целей, которые диктуют эти
показатели, заменяя все суррогатами
качества исследований и имитацией научной
активности.
Можно быть уверенным в том, что и
целые коллективы, т. е. научные учреждения
не преминут при случае воспользоваться
обходными путями. Очевидно, что
эффективность научной политики,
использующей оценочные показатели,
полностью зависит от прочной теоретической
базы, на которой покоится система этих
показателей, равно как и на необходимости
знать, каким образом отдельные лица или
организации будут реагировать на
проставленные им оценки.
До настоящего времени
практически не проводилось научных
исследований для уточнения эффективности и
прогноза реакций, подобных рассмотренным
выше. Не изучались также возможные
последствия такого поведения
для университетов и процесса научного
общения в целом. Исследования в области
социологии науки и этнографические
исследования показывают, что ученые
действительно откликаются на воздействие
самым неожиданным образом.
Исследование, выполненное в
Австралии, показало, что при управлении
финансированием на основе числа публикаций
в авторитетных журналах число статей
увеличилось значительно, однако качество
их (если судить по индексам цитирования)
отнюдь не выросло. Поскольку внутри так
называемых авторитетных журналов никакой
дифференциации качества не проводится, то
стимулов к передаче своих материалов в
наиболее требовательные редакции нет.
Испанская национальная
комиссия по оценке исследовательской
активности поощряет ученых, опубликовавших
свои работы в престижных журналах,
повышением зарплаты. Исследование показало,
что это положительно повлияло на
количество научной продукции.
Сравнивая опыт Австралии и
Испании, можно заметить, что испанцы своих
целей достигли (имеются в виду увеличение
производительности и международное
признание испанских научных проектов). Что
же касается Австралии, то там система была
настроена на повышение качества, а в
результате оказалось, что увеличилось
только количество. Что еще хуже – Австралия
оказалась далеко позади других стран
Организации экономического сотрудничества.
Сравнение двух австралийских
университетов (штатов Квинсленд и Западная
Австралия) еще более выпукло показало, что
введение правил финансирования на основе
количественных библиометрических формул
приводит к увеличению количества и
ухудшению качества.
Еще одно исследование изменений
в организации университетской науки при ее
финансировании на базе библиометрии
показало, что основные направления этих
изменений состоят в следующем: наращивание
количества в ущерб качеству; стремление
получить сиюминутные, кратковременные
преимущества, а не создавать прочный
фундамент для долговременного
высококачественного продвижения; соблюсти
условности, а не повлиять на суть дела.
В условиях библиометрических
оценок ученые стараются публиковаться чаще,
но без риска; излагать общепринятые
положения, а не выступать инициаторами
нового, новых революционных идей;
издаваться в журналах «попроще», «без
претензий» – лишь бы эти журналы были в
списке обработки ISI
для библиометрии.
В этих условиях процесс
публикации становится самоцелью для
увеличения мнимых показателей научной
активности, единственной целью
выколачивания средств любой ценой. Так что
в случае с австралийской наукой можно было
смело навешивать ярлычки-ценники:
публикация в реферируемом журнале – 3 тыс.
австралийских долларов, издание монографии
– 15 тыс. и т.д.
Проведение полномасштабных
замеров цитирования – довольно трудоемкая
и дорогостоящая работа, видимо, поэтому
некоторые смельчаки пошли простым путем.
Они всего лишь просматривают заметки о
публикациях какого-либо ученого и выносят
суждение о качестве его работы по импакт
фактору журналов, в которых он публиковался,
а эти цифры легко найти. Вообще можно
сказать, что импакт фактор – это ухудшенный
вариант анализа цитирования, поскольку, как
мы уже отмечали, в разных дисциплинах
сложилась различная практика цитирования.
Подобные данные ненадежны и по
причине очень неоднородного распределения
цитирования внутри конкретного журнала.
Это означает, что какая-то статья может быть
опубликованной в хорошем, авторитетном
журнале, но при этом быть слабее
цитированной по сравнению со статьей в
простеньком журнальчике.
Вообще
говоря, существует определенная корреляция
между числом цитирования (индексом
цитирования) данной статьи и импакт
фактором журнала, но это односторонняя
связь, журнал «не помогает» статье.
Неудивительно поэтому, что издатели
научных журналов стараются использовать
понятие импакт фактора для продвижения
своего продукта на рынке научных
публикаций.
Все это недавно вылилось в
попытку хорошо известного журнала «SHOCK» («Шок»), занимающегося
изучением медицинских проблем в
критических случаях, попытаться самым
абсурдным образом манипулировать
взаимодействием с авторами в своих
интересах. Помимо обычного письма автору о
приеме статьи к публикации, заместитель
главного редактора приписывал, что журнал в
настоящее время требует, чтобы в статье
содержалось несколько ссылок на работы,
опубликованные в «Шоке»: «Если вы сможете
вставить 4–6 ссылок на работы,
опубликованные у нас, это очень поможет
журналу».
Удачный или не очень, но этот
пример демонстрирует неожиданное и
непредусмотренное поведение не только
отдельных лиц, но и целых учреждений.
Все сказанное выше
заставляет нас настаивать на необходимости
проводить более тщательные исследования
процессов адаптации к новой системе
библиометрических замеров. Каким будет
воздействие новых методов оценки на
содержание научных работ, на стремление
достигнуть совершенства?
Культура академического общения, в
которой производство нового знания
определяется уникальной комбинацией
конкуренции, взаимного доверия и
коллективной критики, может оказаться
разрушенной. А что придет взамен?
Пользователи
библиометрических показателей
Сейчас уже частично
обозначились контуры будущей культуры
производства знания – на стыке между
научным миром, миром информации,
издательским бизнесом и обществом. Для
понимания происходящего нужно четко
представлять, что вновь созданная промышленность
оценок науки имеет несколько групп, или
сообществ пользователей.
Одна
группа состоит из чиновников, которые
собственно и стимулировали создание этой
отрасли, регулируют ее развитие и
используют ее как средство контроля за
работой исследовательских институтов во
имя интересов общества в целом. Их
мотивация оправдана ссылками на интересы
общества и необходимостью эффективно
расходовать общественные средства.
Другая группа включает в себя то
самое общество, которое нуждается в том,
чтобы деятельность исследовательских
институтов, их относительный статус и
качество работы были прозрачны для широкой
публики.
Неразумное упрощение
представляет собой одну из проблем при
появлении в прессе данных относительно
количества публикаций и присуждения
грантов, если это делается без учета таких
факторов, как, например, размер учреждения.
Выводы относительно ранжирования будут
бесполезными и вводящими в заблуждение,
хотя будут обслуживать потребность прессы
в драматизации событий и явлений.
Посмотрите, с какими
заголовками ISI
подает ранжировку университетов,
составленную журналом «Science
Watch» («Обзор науки»): «Гарвард
мчится впереди всех в новейшем обзоре
Первой Десятки». Эта ранжировка сделана на
основе импакт фактора для каждого
университета; при этом анализировались
статьи по 21 дисциплине, опубликованные в
1997–2001 гг., и данные цитирования за тот же
период. В результате получены
относительные данные, выраженные в
процентах; иногда ранжировка отличалась на
доли процента. Такая изумительная точность
– всего лишь элемент саморекламы продукции
ISI.
В контексте финансовых решений
такой подход вводит в заблуждение,
бессмыслен и безответственен. Можно и
больше сказать – это неэтично, если учесть
передачу такого рода материалов на суд
чиновников и широкой публики.
В другом примере ISI пользуется жаргоном средств
массовой информации – в заголовке номера
того же журнала за январь/февраль 2003 г.
сообщает: «Астрофизик Эндрю Фабиан ракетой
летит к славе». Оценки даются на базе 6 тыс.
ссылок за последние 10 лет.
Этот ярмарочный язык и
сенсационные соревнования проникают в
самоограниченный мир сообщества научного
реферирования. Конечно, научный мир хорошо
знаком с соревнованием ученых между собой
за приоритеты совершения открытий, но очень
редко это выносилось за пределы мира науки
и еще реже выражалось языком спортивных
комментаторов.
Можно поразмышлять о
последствиях происходящего. Очень похоже
на то, что ориентация на мнение широкой
публики, уже сейчас ясно ощущаемая, будет
только крепнуть. Кратковременный научный
успех, например высокая позиция в рейтинге,
будет отмечен и станет комментироваться в
стиле отчетов национальной футбольной лиги.
Все это вызовет положительные решения
ученых советов и университетской
администрации, и такой подход будет
превалировать над стратегией, более
осторожной, более устойчивой в обеспечении
долговременного развития.
За метафорами можно далеко не
ходить. Журнал «Science» («Наука») уже в 1997 г. писал: «Тактика
футбольных менеджеров возобладала в мире
высшего образования. Переходы из команды в
команду, другие подобные методы раздувания
авторитета университета стали частью нашей
жизни». Подобная потеря контроля за
собственной научной системой и модели
оценки ее эффективности будут иметь
глубочайшие долговременные последствия на
производство знания. К сожалению, в
подробностях мы этого не узнаем, поскольку
не с чем сравнивать.
Какие
выводы можно сделать из приведенного
анализа? В наши цели не входила
дискредитация библиометрических методов.
Это очень ценный инструмент и для
исследователя, и для управленца от науки. Мы
только предостерегаем от их некритического
использования в отрыве от процесса
научного реферирования. Разумно, по крайней
мере, соблюдать следующие принципы.
Библиометрические индикаторы:
-
Должны
применяться профессионалами, имеющими опыт
работы с сырыми
данными (заметим, что данные ISI
являются сырыми, неочищенными и непригодными для
глубокого и серьезного анализа в других
странах).
-
Могут использоваться только в
условиях аггрегирования (кумулирования),
при котором законы больших чисел помогают
сглаживать случайные статистические
ошибки и флуктуации.
-
Следует использовать в комбинации с
качественными оценками, полученными
методом научного реферирования, при этом
желательно, чтобы референты были из
институтов и учреждений соответствующего
профиля.
Суть дела в том, что
библиометрические индикаторы поддерживают
реферирование и могут скорректировать его
в том случае, если индивидуальные оценки
вступают в противоречие с аггрегированными
данными. С другой стороны,
библиометрические данные также могут быть
подправлены суждениями референтов в том
случае, если формальные алгоритмы почему-либо
не работают. Это объединение
библиометрических методов с
реферированием – так называемое
информированное реферирование – может
служить обеспечению прозрачности для
широкой публики и в то же время сохранять
все признаки научного подхода.
Для более
детального изучения темы предлагаем список
публикаций (в авторской редакции),
приложенный к этому докладу.
Список литературы
Adam,
D. (2002): The
counting house. Nature 415 (6873): 726–729.
Bakanic
V, McPhail C, Simon R.J. (1989):
Mixed messages – referees comments on the mauscripts they review. Sociological
Quaterly 30 (4): 639–654.
Braun,
T., Glanzel, W., Schubert, A. (2000):
How balanced is the Science Citation Index's journal coverage? A preliminary
overview of macrolevel statistical data. In: Cronin, B., Atkins, H.B. (eds): The
web of knowledge: a festschrift in honor of Eugene Garfield. Metford, NJ:
Information Today. ASIS Monograph Series, 251–277.
Butler,
L. (2003):
Modifying publication practices in response to funding formulas. Research
Evaluation 17 (1): 39–46.
Case,
D.O., Higgins, G.M. (2000):
How can we investigate citation behavior? A study of reasons for citing
literature in communication. Journal of the American Society for Information
Science 51 (7): 635–645.
Cichetti,
D.V. (1991): The
reliability of peer review for manuscript and grant submissions: a
cross-disciplinary investigation. Behavioral and Brain Sciences 14: 119-135.
Discussion: 135–186.
Cole,
S., Cole, J.R., Simon, G.A. (1981):
Chance and consensus in peer review. Science 214: 881–886.
Cronin,
B. (2000):
Semiotics and evaluative bibliometrics. Journal of Documentation 56 (3):
440–453.
Feller,
I. (2002): The
good, the indifferent, and the less than attractive: II. Research Evaluation 11
(2): 95–99.
Glaser,
J., Laudel, G., Hinze, S., Butler, L. (2002):
Impact of evaluation-based funding on the production of scientific knowledge:
what to worry about, and how to find out. Expertise for the German Ministry for
Education and Research. Hirschauer, S. (2002): Expertise zum Thema "Die
Innenwelt des Peer review. Qualitatszuschreibung und informelle
Wissenschaftskommunikation in Fachzeit-schriften." Expertise for the German
Ministry for Education and Research.
Marginson,
S., Considine, M. (2000):
The enterprise university: power, governance and reinvention in Australia.
Cambridge, UK: Cambridge University Press.
Martin,
B.R., Irvine, J. (1983):
Assessing basic research – some partial indicators of scientific progress in
radio astronomy. Research Policy 12 (2): 61–90.
Van
Raan, A.F.J. (1998):
In matters of quantitative studies of science the fault of theorists is offering
too little and asking too much. Scientometrics 43 (1): 129–139.
Roberts,
G. (2003): The
Guardian, 7 January.
Roessner,
J.D. (2002):
Outcome measurement in the USA: state of the art. Research Evaluation 11 (2):
85–93.
Small,
H.G. (1998): Citations
and cinsilience in science. Scientometrics 43 (1): 143–148.
Weingart,
P. (1993): Der
Forschungsindex. Bild der Wissenschaft 5: 32–39.
Weingart,
P. (2001): Die
Stunde der Wahrheit. Zum Verhaltnis der Wissenschaft zu Politik, Wirtschaft und
Medien in der Wissensgesellschaft. Weilerswist: Velbruck Wissenschaft.
Williams,
N. (1997): UK
universities: jostling for rank. Science 275 (5296): 18–19.
Zitt,
M., Ramanana-Rahary, S., Bassecoulard, E. (2003): Correcting
glasses help fair comparisons in international science landscape: country
indicators as a function of ISI database delineation. Scientometrics 56
(2): 259–282.
* См.:
Науч. и техн. б-ки. 2000, № 5. С. 110–111. – Ред.
** ISI часто называют Институт Гарфильда –
по имени его основателя. – А.З.
|
