Электронная библиотека ГПНТБ России

Доклад на 2-й Международной конференции «Библиометрический анализ в науке и исследованиях. Применения, преимущества и ограничения» (Bibliometric analysis in science and research. Applications, benefits and limitations), 5–7 ноября 2003 г., Юлих, Германия.

Интернет изменил характер научных публикаций. Сегодня журналы поставляются по подписке как в печатном, так и в электронном форматах. Ученые широко пользуются сетью для поиска необходимой информации – от электронных библиотек издательских компаний и до огромных баз метаинформации, например таких, как «Мир науки» (Web of Science) Института научной информации (ИНИ), а также большого набора всякой не столь формальной сетевой информации.

И поставщики результатов научных исследований, и потребители этих результатов, конечно, также могут участвовать в процессе неформального издания своих трудов, в том числе и на персональных веб-страницах, веб-сайте университетского курса, или использовать сетевые страницы исследовательской группы.

Одновременно с этими переменами возникли и проблемы для тех, кто занимается непосредственно наукой, изучает научный процесс или каталогизирует научные работы. Нужно удостовериться в том, что механизм, разработанный для печатной технологии, может быть адаптирован или заменен чем-то таким, что соответствует технологическим изменениям и даст возможность использовать те широкие возможности, которые открывает новая технология.

Главная задача, или проблема для научных работников, библиотекарей, управленцев от науки и сотрудников фондов, спонсирующих научные исследования, – научиться оценивать важность и значимость самого исследования. Это очень важная и сложная задача.

Вторая проблема, имеющая также большое значение для научных работников и тех, кто занимается управлением научными исследованиями, – попытаться понять суть научного процесса, в том числе способы, к которым прибегают ученые при общении, сотрудничестве.

Традиционно сложилось так, что оценочная библиометрия занимается первой из названных проблем, реляционная библиометрия – второй, опираясь при этом прежде всего на данные цитирования в журнальных статьях. В эпоху господства сети достаточно логичный вопрос состоит в том, можно ли использовать сетевые публикации так, чтобы они помогали проведению исследований традиционными методиками, т.е. как оценочной библиометрии, так и реляционной. Другими словами, ставятся два существенных вопроса:

Прежде чем заняться рассмотрением этих вопросов, полезно вспомнить некоторые основные моменты, касающиеся анализа цитирования и библиометрии.

Основополагающие принципы теории цитирования сформулированы в 1973 г. Р. Мертоном [1]. Ссылки в журнальных статьях, по его мнению, имеют познавательную ценность, так как указывают на творческие связи. Автор, цитирующий чью-то статью, использует научные результаты того, на кого он ссылается. Базируясь на этой упрощенной идее, можно полагать, что статья, на которую часто ссылаются, имеет большое значение, поскольку ее активно используют в последующих работах. Никем не замеченная статья либо не относится к делу, либо не релевантна по отношению к общему направлению продвижения научных исследований.

В некоторых странах ученые попросту указывают число ссылок на собственные работы в качестве подтверждения своей способности к открытиям или как приложение к заявкам на финансирование. Более того, можно попытаться ранжировать журналы в соответствии со средним числом ссылок на статьи, в них опубликованные (это так называемый импакт фактор, приводимый ИНИ). Эта же самая частотность цитирования может оказаться базой для оценки работы подразделений университета, а иногда и университета в целом.

Сейчас уже общепризнано, что теория Мертона слишком упрощенно трактует статистику цитирования. Те или иные публикации цитируются по очень разным причинам, зачастую не имеющим отношения к значимости цитируемых работ (например, могут цитировать с целью обругать или показать, что и другие исследователи работают над той же проблемой, а может быть, чтобы просто продемонстрировать, что автор им известен). Тем не менее многочисленные исследования показывают, что учет цитирования может быть полезным, но в интерпретации полученных этим методом результатов следует быть очень осмотрительным и не попадаться в хорошо известные ловушки. Например, различные традиции цитирования, сложившиеся в научных дисциплинах, требуют, чтобы сравнение проводилось только в рамках одной и той же отрасли науки.

Ряд исследователей указывают на связь между цитированием и формированием сетевых гиперссылок; они полагают, что количество ссылок на данную сетевую страницу (или на группу сетевых страниц) может быть полезным индикатором значимости сетевого ресурса. Сетевая страница, на которую сделано множество ссылок, может считаться намного важнее той, которую все игнорируют. Тем самым создаются предпосылки для расчета сетевого импакт фактора (удельного количества ссылок в расчете на один сетевой документ, если угодно – веб-импакта) на базе количества имеющихся сетевых ссылок.

В силу того, что сегодня многие исследователи, университеты и их факультеты самым интенсивным образом публикуются в сети, приоткрывается дверь для создания нового типа библиометрических замеров. Проблема лишь в том, что пока неясно, в какой мере гиперсвязи смогут оправдать подобные ожидания. Можно ли рассчитывать на получение полезной информации о характере исследований в конкретном университете на базе подсчета числа гиперсвязей? Будет ли эта методика поддержана научным сообществом?

В этом докладе я расскажу о методах сбора и анализа данных и некоторых опубликованных на данную тему исследованиях.

Для измерения количества гиперсвязей имеются два основных варианта: либо индивидуальный робот – подборщик, кроулер (crawler), либо коммерческие поисковые машины.

На ранних ступенях развития веб-метрики для подсчета гиперсвязей чаще использовались коммерческие поисковые машины, охотнее других выбирали систему AltaVista, хотя и другие системы, например AlltheWeb, также использовались.

Служба продвинутого поиска системы AltaVista дает возможность пользователям осуществлять именно поиск связи между страницами, а не стандартный поиск по ключевым словам. Например, чтобы определить, сколько связей имеет университет Вулверхэмптона (www.wlv.ac.uk) с научным центром Юлих (fz-juelich.de), нужно задать поисковую команду: link fz-juelich.de AND host: wlv.ac.uk В ответ будет сформирован список веб-страниц университета Вулверхэмптона (т. е. страниц, имеющих доменное окончание wlv.ac.uk), в которых хотя бы один раз содержится адрес веб-сайта научного центра Юлих (доменное окончание fz-juelich.de).

В данном конкретном случае поиск дал нулевой результат, означающий, что таких связей не существует. Однако этот вывод справедлив только для сетевых страниц, проиндексированных AltaVista, так как на других страницах такие связи в принципе могли бы и обнаружиться.

Еще один пример – для демонстрации дополнительных возможностей осуществления командного поиска. В Великобритании все веб-сайты университетов, а также ряда других учреждений высшей школы и научных организаций имеют доменные окончания ac.uk. Поэтому одной единой командой – link:fz-juelich.de AND host:ac.uk – мы можем попытаться найти все связи вышеупомянутых организаций с научным центром в Юлихе.

Результатом поиска будут приблизительно 68 сайтов. Заметим, что некоторые небольшие неточности поиска могут возникнуть из-за того, что по вышеуказанной команде сравниваются гиперссылки, а не в чистом виде домены. Конечно, если какой-то небританский домен присвоит себе окончание ac.uk, то его также укажут как результат поиска.

(Выполненный из чистой любознательности экспериментальный поиск в той же системе AltaVista сетевых связей ГПНТБ России с английскими университетами по команде link:gpntb.ru AND host:ac.uk дал 1022 результата. – А.З.)

В принципе коммерческие поисковые машины, подобные AltaVista, являются достаточно привлекательным ресурсом, поскольку поиск бесплатный и охватывает сотни миллионов проиндексированных страниц. Конечно, они не идеальны, поскольку не выдают подробной информации относительно охвата и стратегии отбора сайтов и их индексации.

Ранее проведенные исследования показали относительную ненадежность результатов поиска в некоторых случаях. В частности, может оказаться неточным количество найденных путем сравнения страниц или в найденных страницах могут содержаться ошибочные данные.

В свое время Р. Руссо [2] предложил проводить усреднение по повторяющимся поисковым операциям (формула запроса одна и та же) с тем, чтобы минимизировать эффект флуктуаций. По нашим экспериментальным замерам можно судить, что служба AltaVista является достаточно стабильной после 2001 г. и повторные запросы или усреднение уже не столь необходимы. Тем не менее исследователям следует помнить о повышении точности измерений и проверке этой точности.

Индивидуальные подборщики информации (кроулеры), конечно, могут считаться более совершенным научным инструментом, поскольку контроль за ними и управление всегда остаются в руках ученых. В такого рода подборщиках можно использовать специальные компьютерные программы, настроенные на выгрузку содержания нужных веб-сайтов и последующее тщательное изучение имеющихся на них гиперссылок.

Недостатки кроулера по сравнению с коммерческими машинами: намного бόльшая трудоемкость и ресурсоемкость для сбора данных; меньший охват, поскольку практически маловероятно, чтобы ученый смог просмотреть «своим глазом» тысячи веб-сайтов.

Тем не менее, если эта технология вас заинтересовала, можете найти и скачать бесплатный автоматический подборщик и различные инструменты к нему на сайте http://cybmetrics.wlv.ac.uk/socscibot/. Можно найти много других подобных программ в сети.

Корреляция сетевой активности с качеством научных исследований

По мере формирования любого нового источника данных, например такого, как количество гиперсвязей к какому-либо сайту, возникает важный вопрос, имеет ли эта цифра какое-то значение (смысл), а если да, то как нужно это количество интерпретировать. Логичным и разумным было бы найти привязку полученного числа гиперсвязей к одному из уже существующих параметров оценок продуктивности работы научных организаций, например университетов.

Первые работы в этом направлении оказались безрезультатными, однако впоследствии все же удалось найти существенные корреляции. Обследование 25 университетов Великобритании показало что удельное (отнесенное к количеству научных сотрудников, работающих в университете) суммарное число гиперсвязей от любого университетского веб-сайта к веб-сайтам остальных 24 университетов хорошо коррелирует с ранжировкой качества научных исследований данного университета. (Говоря упрощенно, хорошие в этом смысле университеты привлекают к своим публикациям больше внешних связей в расчете на одного исследователя.) В дальнейшем эти результаты были подтверждены работами других исследователей сети в Великобритании, Австралии, на Тайване (однако исследования в университетах Китайской Народной Республики оказались «выпадающими из ряда»).

Суммируя полученные результаты, можно считать, что, по крайней мере, в более процветающих странах те университеты, которые осуществляют качественные и глубокие исследования, будут привлекать к своим сайтам больше гиперсвязей от других университетов данной страны и от зарубежных университетов. Но это не означает, что именно эти гиперсвязи выходят непосредственно на публикации результатов научных исследований; точнее будет назвать их имеющими отношение (быть может, довольно косвенное) к научным исследованиям.

Чтобы разобраться в том, как осуществляется и существует ли корреляция количества гиперсвязей с научными исследованиями университета, мы провели случайную выборку сетевых страниц, имеющих гиперссылки. Мы предполагали таким способом найти потенциальные причины, стимулирующие создание гиперсвязей. В результате изучения набора из 412 гиперсвязей между веб-сайтами университетов Великобритании определили [3], что более 90% ссылок появились как следствие научной активности; менее 1% имели целью непосредственное цитирование конкретных журнальных статей. В типичной ситуации гиперссылки встречались в контексте страниц, связанных с процессом обучения, или на страницах, содержащих общую информацию об исследованиях.

Итог изучения сетевых страниц – убежденность в том, что гиперссылки не следует рассматривать в качестве прямого аналога библиографических ссылок (цитирования). Они скорее представляют собой некий новый вид неформального научного общения.

Более глубокий анализ межуниверситетского общения в сети показал, что большое количество посещений типично для университетов с высокой творческой продуктивностью. Эти университеты проводят больше исследований и соответственно больше публикуют. К качеству содержания публикаций количество гиперсвязей отношения не имеет. Другими словами, более продуктивные университеты стараются больше публиковаться в сети, но то, что они публикуют (т.е. отдельные работы), не привлекает особого интереса или не вызывает роста гиперссылок к конкретной статье.

Рассмотренные выше результаты относятся к университетским сайтам в целом. В 2000 г. О. Томас и П. Виллет [4] изучали библиотечно-информационные школы Великобритании, но не смогли пролить свет на наличие какой-либо корреляции. Однако позднее такая корреляция была обнаружена как в Великобритании, так и в США, Канаде (имеются в виду отделения библиотечно-информационных наук, химии, психологии). Различия здесь не были существенными по сравнению с университетами в целом, но, быть может, это просто связано с меньшим количеством изученных сетевых страниц и веб-сайтов.

Пожалуй, наиболее логичный вопрос для специалиста по библиометрии состоит в следующем: существует ли корреляция между количеством гиперссылок на журнальный веб-сайт и количеством ссылок цитирования на статьи в данном журнале? Например, существует ли корреляция между импакт фактором журнала, определенным по методике ИНИ, и количеством гиперссылок? Первый полученный ответ на этот вопрос был негативным, но можно упомянуть и два последующих исследования, в которых такая связь была установлена.

Л. Воэн и К. Хайзен [5] обнаружили, что количество гиперссылок на журналы по библиотечно-информационной тематике в значительной мере коррелирует с журнальным импакт фактором; такая же связь была позже обнаружена и для юридических журналов. Кроме того, выяснилось, что более старые, т.е. давно существующие сетевые страницы печатных журналов, по-видимому, привлекают к себе больше гиперсвязей; то же самое происходит и при увеличении объема публикуемой в сети информации.

Оба эти наблюдения в общем-то соответствуют соображениям здравого смысла. И тем не менее можно сказать, что потенциально гиперссылки – ценный источник информации относительно импакт фактора сетевых журналов. Остается понаблюдать за тем, каким образом распространение электронных библиотек и метабиблиотек, таких, как SwetsNet, повлияет на этот процесс.

Проблема будет усложняться по мере того, как многие журналы появятся на различных веб-сайтах в разного рода электронных библиотеках и системах метаиндексирования.

В различных аспектах были изучены факторы, влияющие на количество гиперссылок на университетский веб-сайт. Два важных, но в общем-то ожидаемых наблюдения.

Университеты, расположенные по соседству, чаще ссылаются друг на друга, чем отдаленные.

Университеты в различных европейских странах имеют большее число взаимных ссылок, если они используют один и тот же язык. В этом смысле английский язык является всеобщим и универсальным языком международной системы гиперссылок во всех странах Европейского Союза, кроме Греции.

Сейчас становится совершенно очевидным, что количество гиперссылок может быть ценным источником новой информации относительно неформального научного общения, однако нужна определенная мера и осторожность при интерпретации результатов измерений. Это требуется в силу тех потенциальных проблем, которые могут оказать влияние на надежность измерения количества гиперссылок, условий их возникновения, географические и языковые аспекты.

Пока что было бы слишком большим преувеличением сказать, что количество гиперссылок может рассматриваться как мера импакт фактора академического веб-сайта и, конечно, ни в коей мере это количество не может характеризовать качество исследований, выполняемых в организации – владельце сайта. И все же операторы сайта сейчас вполне могут использовать поисковые машины для измерения числа ссылок на сайт; и если количество таких ссылок окажется существенно ниже, чем на другие схожие сайты, то это повод задуматься об эффективности сайта в целом.

(Список литературы приводим в оригинале. – Ред.)