Павлова Н.П. Открытое заседание редколлегии сборника «Научные и технические библиотеки» на Международном Крымском форуме

Сукиасян Э.Р. Сравнительный анализ моделей различных ИПЯ. Статья 2

Зильберборд А.Л., Коленко Л.В. Областная научная библиотека – территория, содействующая защите патентных, авторских и смежных прав читателей

Ядрова Г.В. Опрос удаленного пользователя как инструмент изучения и оценки электронных ресурсов вузовской библиотеки

Таращенко А.А. Роль и содержание чтения в условиях изоляции в пенитенциарных учреждениях. Часть 1

БИБЛИОМЕТРИЧЕСКИЙ АНАЛИЗ В НАУЧНЫХ ИССЛЕДОВАНИЯХ

Глянцель В., Дебакер К. Использование библиометрических показателей при выработке научной политики: возможности и ограничения

Вагнер-Доблер Р. Система индикаторов в исследованиях и разработках

Фюлес-Убах С. Оценка активности обращений к веб-сайту. (О трудностях получения статистических показателей)

ЗАЩИТА ДИССЕРТАЦИЙ

Клапиюк В.Т. В диссертационном совете при МГУКИ

АНОНС НОВОГО ИЗДАНИЯ

Проект учебника-монографии нового типа «Электронные издания, ресурсы, фонды, библиотеки»

Земсков А.И. Электронные документы, ресурсы, библиотеки

НАША ПРОФЕССИЯ

Березкина Е.И. Профессиональное самосознание современного библиотекаря университетской библиотеки: социологический анализ

ПРОФЕССИОНАЛЬНОЕ КРЕДО

Хамаганова Р.И. Обсуждение проекта "Этического кредо библиотекаря" Ю.Н. Столярова в Национальной библиотеке Республики Бурятия

НАША ИСТОРИЯ

Каратыгина Т.Ф. Римма и Командор

ОБЗОРЫ. РЕЦЕНЗИИ

Смирнова Е.М., Ступникова Л.А. От библиотечного обслуживания – к информационному сервису

НАШИ АВТОРЫ

Библиометрический анализ
в научных исследованиях

От редакции. В этой рубрике мы продолжаем публикацию переводов докладов, представленных на 2-й Международной конференции «Библиомет­рический анализ в науке и исследованиях. Применения, преимущества и ограничения» (Bibliometric analysis in science and research. Applications, benefits and limitations), которая состоялась  в Центральной библиотеке Научного центра Юлих (5–7 ноября 2003 г., Юлих, Германия). Обзор работы этой конференции опубликован в № 3 2004 (с. 100 –106; см. также № 7, 8 2004 г.).

Эта конференция привлекла внимание к актуальным проблемам библиометрии, активно развивающей сегодня свои современные направления, что может оказаться интересным и полезным и для российских специалистов.

Материалы для публикации проанализированы, переведены и прокомментированы главным редактором сборника А.И. Земсковым – единственным представителем России на этой конференции.

УДК 002.001.1

Глянцель В., Дебакер К.

Использование библиометрических показателей
при выработке научной политики:
возможности и ограничения

За последние десятилетия библиометрия стала стандартным инструментом при выработке научной политики и в управлении исследованиями. Как следствие появилось множество показателей для измерения научной и технологической активности, научной результативности.

Все существенные и значимые научные индикаторы полностью зависят от статистики публикаций и цитирования. Структурная наукометрия базируется на методиках ко-цитирования, на библиографических связях и частотности слов. В динамической наукометрии построены сложнейшие модели развития отдельных научных дисциплин.

Совсем недавно появились библиометрические исследования, касающиеся изучения связей между наукой и технологией, взаимоотношений библиотековедения и информатики, а также исследования веб-метрики.

К сожалению, сила и значимость библиометрических методов и показателей в какой-то мере омрачается негативными аспектами, которые зачастую – нечаянно или нарочно – упускаются.

Данная работа основана на 23-летнем опыте построения и использования библиометрических показателей в Венгрии, Германии и Бельгии.

С учетом главных задач библиометрии, сформулированных выше, можно утверждать, что библиометрия служит базой для создания инструментов оценки научных исследований, но отнюдь не их результатов. Более того, библиометрия не может никоим образом заменить качественные оценки количественными методами. Это значит, что библиометрия не предназначена для замены или корректировки системы научного реферирования, экспертных оценок – речь идет о взаимном дополнении, не более.

Библиометрические исследования можно разделить на три целевые группы.

1. Библиометрия, предназначенная для специалистов, занимающихся библиометрией. Это основные библиометрические исследования, направленные на совершенствование методик. (Традиционно работы в этой области поддерживаются грантами.)

2. Библиометрия для научных целей. Она отличается довольно узкой направленностью – ученого как правило интересует конкретная область науки, а не библиометрия в целом. Это направление можно рассматривать как продолжение научной информации метрологическими методами.

3. Библиометрия для целей управления наукой и выработки научной политики. Сейчас это наиболее важное направление. Здесь наибольший интерес вызывают оценки настоящего положения вещей, а не прошлых достижений, хотя технологическая задержка (отставание во времени между открытием и его проявлениями в области библиометрии) может достигать 3–4 лет.

Ограничения на использование библиометрических индикаторов

Источники ошибок и их последствия

Библиометрические показатели могут искажаться: различают систематические, случайные и встроенные ошибки.

Случайные ошибки возникают из-за ошибочной идентификации, неверной атрибуции (неверный адрес компании, неточная предметная рубрикация и т.п.) и проявляются на микроуровне, при анализе вклада отдельных ученых; на более высоком уровне обобщения эти ошибки сглаживаются.

То же самое можно сказать и о встроенных ошибках, которые связаны с ошибками самого автора статьи, редакции журнала, издателя или производителя баз данных. Последствия таких ошибок могут быть самыми разнообразными. В примере, касающемся одной из наших статей, ошибки при наличии 144 ссылок на нее, составили более 18%, что довольно много.

Систематические ошибки могут возникать на любом уровне и серьезно искажать результаты исследований.

Проблемы надежности

Проблема надежности библиометрических данных имеет две стороны. Во-первых, существует структурный аспект, связанный с тем, что не всегда можно доказать, что библиометрические показатели в действительности отражают то, что они призваны отражать. При каких условиях и в какой мере эти показатели соответствуют научной производительности, в какой мере соавторство означает реальное сотрудничество ученых, правда ли, что важность и значимость исследований отражается на их цитировании - все это предмет долгих и напряженных споров.

Показатели цитирования – это излюбленный инструмент интенсивности использования литературы. Хотя цитирование не может отразить сущность процесса восприятия, тем не менее этот фактор может быть полезным при оценке формальной стороны использования информации. Концепцию цитирования можно сформулировать следующим образом: это одна из важных форм использования научной информации в рамках документированного научного общения.

Неадекватность показателей совместных печатных работ как параметра сотрудничества на уровне отдельных лиц доказана еще в 1997 г. Соавторство на коллективном уровне – национальном или международном – может быть более информативным.

Точно так же интерпретация роли самоцитирования зависит от уровня рассмотрения: на уровне отдельных лиц самоцитирование существенно искажает, можно сказать фальсифицирует общую картину, а на коллективном уровне может быть естественным и полезным.

Второй аспект надежности библиометрических данных – аналитический. В частности, бывает так, что сырые библиометрические данные без какой-либо очистки и предварительной обработки «подаются на вход» сложных статистических систем. Конечно, полученный таким образом результат не может считаться надежным – как бы внушительно он ни выглядел, например в виде структурной карты научных исследований.

Статистическая надежность библиометрических показателей

Большинство библиометрических параметров являются статистическими функциями и при определенных условиях могут анализироваться инструментами математической статистики. Это может показаться заманчивым, но одновременно и опасным при попытках строить ранжирование: небольшие по времени или амплитуде изменения аргументов не должны сопровождаться многозначительными выводами, а должны интерпретироваться в рамках возможных отклонений (флуктуаций).

Нехватка стандартов в библиометрических исследованиях и технологиях является в настоящее время основной причиной несовместимости (а иногда и противоречивости) показателей, полученных разными исследовательскими группами.

Сомнительное ранжирование

Основные причины несовместимости и расхождения полученных библиометрических данных:

1. Применение разных методик обсчета статистических данных (различные способы усреднения или различные источники).

2. Различные предметные классификации, в особенности при детализации полей.

3. Различные методологии обсчета.

4. Разные периоды наблюдения публикаций и ссылок.

5. Недостаточное количество исходных данных для применения статистических методов.

Комбинированные индикаторы

В последнее время предпринимаются попытки совместить различные библиометрические показатели, например измерения производительности с цитированием, или совместить библиометрические данные с результатами научного реферирования. Такие составные индикаторы обычно представляют комбинацию различных статистических функций и/или некоторые функции различных величин; очень часто применяются методики статистических весов, т.е. произвольным образом некоторым величинам придают больший вес за счет повышающих коэффициентов.

Введение комбинированных показателей, с одной стороны, снижает воспроизводимость результатов и их истолкование. С другой стороны, комбинация библиометрии с научным реферированием выглядит достаточно заманчиво – эти методы неплохо дополняют друг друга.

Тенденциозное или неправильное использование
библиометрических данных

Основные приемы недобросовестного использования библиометрических данных:

• непреднамеренное неправильное представление, неверная интерпретация полученных данных или их применение в неподходящем контексте, возможно из-за недостаточного знания этой технологии;

• необоснованное обобщение каких-либо отдельных случаев и отнесение полученных результатов к более высокому уровню;

• неправильное поведение, например: преднамеренное разбиение единой статьи на несколько мелких, искусственное завышение числа соавторов или формирование сообществ «клакеров», т. е. групп, повязанных обязательством усиленных взаимных ссылок без всякого к тому реального повода.

Заключение

Многие из поднятых здесь проблем могут решаться просто за счет аккуратного применения  исследовательских методов в соответствии со стандартной научной практикой. Некоторые ограничения не зависят от поставщиков информации и библиотекарей, и их, конечно, следует помнить и учитывать при формулировании научных выводов и решений на их основе.