В. В. Арутюнов
Российский государственный гуманитарный университет

Рассмотрены некоторые показатели эффективности научной деятельности учёных; проанализирована цитируемость российских учёных на основе списка top-100 в естественно-научных отраслях науки с учётом данных системы Российского индекса научного цитирования.

Valery Arutyunov
Russian State University for the Humanities

Several performance characteristics of scientists’ research activities are discussed. Russian scientists’ impact factor is analyzed on the basis of top-100 list in natural sciences and of the Russian Science Citation Index data.

Научно-технический потенциал организаций определяется по итогам труда учёных и специалистов: оценивается результативностью и эффективностью выполняемых ими научно-технических разработок. При этом если понятие результативность характеризует некоторые количественные итоги (количество публикаций, их цитируемость и ряд других), то эффективность – различные, в определённой мере связанные между собой итоги исследовательской деятельности: новизну и значимость полученных результатов и их востребованность; уровень практической реализации результатов исследований; степень влияния их на другие работы; экономическую оценку результатов труда и т.д.

Результаты исследований учёных можно определять, используя следующие наукометрические показатели их работы [1. С. 11]: 1. Итоги работы с использованием метода экспертных оценок [2–4]; 2. Публикуемость – ежегодное количество публикаций по различным направлениям исследований [5, 6]; 3. Цитируемость публикаций (в том числе с расчётом индекса Хирша, импакт-фактора, показателя отклика и др.) [7–12]; 4. Спрос на результаты исследований, отражённых в диссертациях и отчётах по научно-исследовательским и опытно-конструкторским работам [13].

Если первый метод (экспертных оценок) является, пожалуй, самым «древним», на второй – опираются при оценке научной деятельности уже много десятков лет, третий – интенсивно используется в различных сферах исследований (химии, медицине, геологии и др.) с 1970-х гг., то четвёртый впервые начал активно применяться в автоматизированном режиме для оценки эффективности деятельности учёных и организаций на примере геологоразведочной отрасли России с 1990-х гг.

Сущность метода экспертных оценок заключается в том, что в основу оценки результатов научных исследований закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте экспертов. При этом различают индивидуальные и коллективные экспертные оценки. Среди индивидуальных экспертных оценок наиболее широкое распространение получили методы интервью и аналитические.

Цитирование публикаций можно исследовать с помощью двух групп показателей. К первой относятся различные средние показатели, характеризующие исследуемый объект (например, количество ссылок за год на исследователя или группу учёных в составе организации). Исследование средних показателей цитируемости за определённый период позволяет выявлять устойчивые тенденции в развитии тематических направлений в науке, вероятные темпы её развития и «качественные прорывы».

Ко второй группе показателей, более тонко оценивающих цитирование публикаций, относятся: индекс Хирша I_h , импакт-фактор (показатель воздействия) I_b, показатель отклика или оперативности цитирования I_o, индекс Прайса и др.

С 1970-х гг. Институт научной информации США (Institute for Scientific Information – ISI) занимался построением и анализом сетей цитирования, которые образуют публикации и ссылки на них в различных сферах науки. Результаты такого ежегодного анализа в ISI для определённой области знания – важное условие для понимания механизмов эволюции исследовательских направлений в этой области, выявления взаимосвязей в системе научной коммуникации.

Для оценки работы учёных и научных коллективов в последнее время во всём мире активно используется индекс Хирша I_h, поэтому следует отметить, что исследователь имеет индекс Хирша I_h, если h из его N_p статей цитируются как минимум h раз каждая, в то время как оставшиеся (N_p – h) статей цитируются не более, чем h раз каждая.

Так, если у исследователя опубликовано 100 статей, на каждую из которых имеется лишь одна ссылка, его индекс Хирша I_h равен 1. Таким же будет индекс Хирша исследователя, опубликовавшего одну статью, на которую сослались 100 раз. В то же время, если у исследователя имеется 1 статья с 9 цитированиями, 1 статья с 8 цитированиями, 1 статья с 7 цитированиями, …, 1 статья с 1 цитированием, то его индекс Хирша I_h = 5, так как на 5 его статей сослались как минимум по 5 раз.

Показатели Хирша для оценки работы специалистов приводятся в системах Web of Science, Scopus, РИНЦ и в ряде других. Эти системы не только предназначены для оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, но и являются мощным инструментом, позволяющим оценивать результативность и эффективность деятельности научно-исследовательских организаций, учёных, а также уровень научных журналов в научном сообществе и т.д.

Показатели четвёртой подгруппы рассчитываются аналогично показателям третьей; при этом вместо количества публикаций рассматривается количество отчётов по НИР, подготовленных исследователем (организацией), а вместо числа ссылок на публикацию – количество запросов на копию отчёта. Например, импакт-фактор исследователя в этом случае определяется как отношение числа запросов в рассматриваемом году на отчёты исследователя за два предыдущих года ко всему количеству отчётов, подготовленных им за эти два года.

Анализ сетей цитирования – удобное средство для картографирования науки с определением приоритетных региональных научных кластеров (ПРНК) в различных отраслях наук, выявления «незримых» научных коллективов учёных (ННК), получения информации о том, на каком участке исследований в настоящее время концентрируются научные силы.

К середине 2014 г. РИНЦ выпустил список top-100 российских учёных, работающих в различных отраслях науки, с указанием для каждого из них количества публикаций, индекса цитируемости I_с и индекса Хирша I_h [14].

В табл. 1 приведены минимальные I_mc и максимальные I_Mc показатели цитируемости российских учёных по основным естественно-научным отраслям наук, ранжированные по индексу Хирша I_h, а также минимаксовый коэффициент I_Mm, равный отношению I_Mc к I_mc. Коэффициент I_Mm позволяет определить, насколько выше уровень цитируемости учёных, находящихся в начале списка top-100, по сравнению с другими учёными из этого списка для конкретной отрасли наук.

Как видно из табл. 1, в основном I_Mm изменяется в интервале от 6 до 14; аномально высокие значения I_Mm (например, для отраслей связи и геодезии, картографии) свидетельствуют о наличии в списке top-100 нескольких учёных, отличающихся от других по уровню цитируемости своих работ на один или несколько порядков. В то же время небольшое значение I_Mm (например, для физики оно равно 3,5) при значительных показателях I_c может свидетельствовать о высоком и практически однородном уровне квалификации физиков из этого списка.

Таблица 1

Рассмотрим более детально показатели цитирования для первых шести отраслей наук и отраслей, замыкающих табл. 1.

Как видно из таблицы, в списке top-100 по химии максимальное значение I_h = 77 и I_с = 21 562.

Из 100 учёных списка по три и более специалистов (всего 85 человек) работают в шести ПРНК (Москва – 56 человек, Новосибирск – 13, Санкт-Петербург – 6, Московская область – 4, по три – в Иркутске и Волгограде). При этом от 3 до 17 учёных работают в 10 организациях России, а ННК с численностью 5 и более человек насчитывается всего четыре: МГУ им. М. В. Ломоносова – 17 специалистов; Институт элементоорганических соединений им. А. Н. Несмеянова РАН (Москва) – 9, Санкт-Петербургский университет – 5, Институт катализа им. Г. К. Борескова СО РАН (Новосибирск) – 6.

В списке top-100 по физике наибольшее значение I_h = 72 и I_с = 31 289. В этой отрасли наук наблюдается ещё большая концентрация учёных – 94 работают всего в четырёх ПРНК: 36 – в Москве, 30 – в Московской обл., 18 – в Новосибирске и 10 – в Санкт-Петербурге. К ННК относятся: Институт физики высоких энергий (Протвино) – 14 учёных, Объединённый институт ядерных исследований (Дубна) – 10, Институт теоретической и экспериментальной физики им. А. И. Алиханова (Москва) – 9, МГУ – 7, Институт ядерной физики им. Г. И. Будкера СО РАН (Новосибирск) – 17, Физико-технический институт им. А. Ф. Иоффе РАН (Санкт-Петербург) – 5.

В отрасли геология максимальное значение индекса Хирша I_h = 57 и I_с = 14 239. Из списка top-100 по геологии следует, что 83% его состава работают лишь в четырёх ПРНК (45 – в Москве, 18 – в Санкт-Петербурге, 13 – в Новосибирске, 7 – в Иркутске); от 5 до 11 учёных (всего 53) трудятся в наибольшем среди рассматриваемых отраслей количестве ННК – семи: Геологический институт РАН (Москва) – 11, Институт геологии рудных месторождений, петрографии, минералогии и геохимии РАН (Москва) – 8, МГУ – 7, Институт океанологии им. П. П. Ширшова РАН (Москва) – 5, Институт геологии и геохронологии докембрия РАН (Санкт-Петербург) – 8, Институт геологии и минералогии им. В. С. Соболева СО РАН (Новосибирск) – 9, Институт земной коры СО РАН (Иркутск) – 5.

В списке top-100 по астрономии наибольшее значение I_h = 50 и I_с = 14 596. Около 80% учёных из этого списка работают в трёх ПРНК: в Москве – 59, Санкт-Петербурге – 19, Нижнем Архызе – 13. В число ННК входят: Институт космических исследований РАН (Москва) – 19 учёных, МГУ – 12, Институт астрономии РАН (Москва) – 9, Физико-технический институт им. А. Ф. Иоффе РАН (Санкт-Петербург) – 12, Специальная астрофизическая обсерватория РАН (Нижний Архыз) – 13.

В отрасли автоматика и вычислительная техника, по данным РИНЦ, максимальное значение I_h = 37 и I_с = 6 160. В этой отрасли наук от 3 до 50 учёных (всего 83) работают в шести ПРНК: 50 – в Москве, 21 – в Санкт-Петербурге, 6 – Новосибирске, по 3 – в Переславль-Залесском и Воронеже; ННК – два: Институт проблем управления им. В. А. Трапезникова (Москва) – 18 учёных и Санкт-Петербургский национальный исследовательский университет информационных технологий – 5.

В списке top-100 по геодезии и картографии наибольшее значение I_h = 35 и I_с = 5 002; следует отметить, что ближайший к лидеру учёный из этого списка имеет I_h = 11 и I_с = 579.

В этой отрасли наук 80% учёных из top-100 работают в трёх ПРНК: в Москве – 43, Новосибирске – 30 и Санкт-Петербурге – 7. Три и более специалистов (всего 63 человека) работают в пяти организациях. Список из трёх ННК возглавляет Сибирская государственная геодезическая академия (Новосибирск) – 28 человек, Московский государственный университет геодезии и картографии – 19, МГУ – 9.

В металлургии наивысшее значение I_h = 22 и I_с = 2 474. В четырёх регионах работают 84 учёных: в Москве – 58 человек, Екатеринбурге – 11, Магнитогорске – 6, Челябинске – 5, Санкт-Петербурге – 4. В отрасли – лишь шесть ННК, первые четыре из списка – в Москве: Институт металлургии и материаловедения им. А. А. Байкова РАН – 15 человек, Национальный исследовательский технологический университет «МИСиС» – 10, ВНИИ авиационных материалов – 9, Центральный научно-исследовательский институт чёрной металлургии им. И. П. Бардина – 6, Уральский федеральный университет им. Б. Н. Ельцина (Екатеринбург) – 6, Магнитогорский государственный технический университет им. Г. И. Носова – 5.

Список учёных из top-100 по математике возглавляют известные в России и в мире учёные – А. А. Самарский (Институт математического моделирования РАН, Москва) с I_h = 17 и I_с = 8 870 и В. И. Арнольд (Математический институт им. В. А. Стеклова РАН, Москва) с I_h = 21 и I_с = 5 995. При этом в четырёх регионах работают 88% учёных из списка: 64 человека – в Москве, по 10 – в Санкт-Петербурге и Новосибирске, 4 – в Екатеринбурге. В этой отрасли пять ННК: МГУ – 20 учёных, Математический институт им. В. А. Стеклова РАН (Москва) – 11, Институт прикладной математики им. М. В. Келдыша РАН (Москва) и Институт математики им. С. Л. Соболева СО РАН (Новосибирск) – по 9, Санкт-Петербургский государственный университет – 6.

В списке top-100 по механике максимальное значение I_h = 21 и I_с = 3 055. В трёх ПРНК этой отрасли работают 74 учёных: в Москве – 35, в Новосибирске – 29, в Санкт-Петербурге – 10. В отрасли выявлены четыре ННК: Институт проблем механики им. А. Ю. Ишлинского РАН (Москва) – 15 человек, МГУ – 7, Институт теоретической и прикладной механики им. С. А. Христиановича СО РАН (Новосибирск) – 15, Институт теплофизики им. С. С. Кутателадзе СО РАН (Новосибирск) – 7.

Для отрасли горное дело наибольшее значение I_h = 15 и I_с = 2 041. В трёх регионах активно работают 64 учёных: в Москве – 41, в Новосибирске – 18, в Екатеринбурге – 5. В отрасли пять ННК: Институт проблем комплексного освоения недр РАН (Москва) – 13 специалистов, МИСиС (Москва) – 8, Российский государственный университет нефти и газа им. И. М. Губкина (Москва) – 7, Московский государственный горный университет – 5, Институт горного дела СО РАН (Новосибирск) – 14.

Список top-100 по информатике возглавляет известный в России и в мире исследователь в области информатики Р. С. Гиляревский (ВИНИТИ) с I_с = 663; максимальное значение индекса Хирша в этой отрасли наук, по данным РИНЦ, равно 10. Из списка top-100 также следует, что около 80% учёных работают в трёх ПРНК: 64 – в Москве, 10 – в Новосибирске, 5 – в Санкт-Петербурге.

От 3 до 14 учёных (всего 41 из 100) трудятся в 8 организациях России: ВИНИТИ (Москва) – 14, Институт проблем передачи информации им. А. А. Харкевича РАН (Москва) и БЕН РАН (Москва) – по 5, Институт вычислительных технологий СО РАН (Новосибирск) и Институт проблем информатики РАН (Москва) – по 4, Вычислительный центр им. А. А. Дородницына РАН (Москва), РГБ (Москва), Военная академия связи им. С. М. Будённого (Санкт-Петербург) – по 3; остальные 59 учёных работают примерно в 40 организациях (по 1 или 2 человека в каждой).

Выделим некоторые особенности рейтингов цитируемости российских учёных.

Высокие значения минимаксового коэффициента I_Mm для отрасли (14 и более) свидетельствуют о наличии в этих отраслях небольшого числа высокоцитируемых учёных; другие же имеют значительно более низкие показатели I_h и I_c. Эти отрасли – геодезия, картография; связь; информатика.

Наибольшие значения I_h и I_Mc отмечаются в отраслях химия и физика; с учётом небольших значений IMm очевидно, что в этих отраслях трудится наибольшее количество высокоцитируемых учёных.

Минимальные показатели цитируемости в списках top-100 (от 30 до 50) отмечаются в трёх вышеупомянутых отраслях наук, отличающихся высокими показателями IMm: связи, информатике, а также в геодезии, картографии; при этом ближайший к лидеру учёный из отрасли науки с наименьшими показателями имеет почти в три раза меньший индекс Хирша, а его цитируемость практически на порядок меньше Ic лидера списка.

Многие из списков top-100 РИНЦ – члены диссертационных советов: 4 учёных из top-100 по астрономии – члены диссертационного совета при Институте космических исследований РАН (Москва); 11 учёных из top-100 по информатике – члены докторских диссертационных советов (5 – при ВИНИТИ, 6 – при МГУКИ); 8 учёных из top-100 по геодезии и картографии – члены диссертационного совета при Московском государственном университете геодезии и картографии. Скорее всего, аналогичная картина характерна и для других отраслей наук. Это говорит об объективности высоких значений публикуемости и цитируемости, приводимых в top-100, что свидетельствует о незаурядных показателях результативности деятельности учёных.

Обобщённые показатели цитируемости по регионам и отраслям наук приведены в табл. 2, где выделены ПРНК и ННК (с количеством учёных не менее пяти). Как следует из таблицы, в каждой из рассмотренных отраслей наук выделяется в основном 3–4 ПРНК, в первую очередь – это Москва, Санкт-Петербург и Новосибирск. При этом наибольшее количество учёных в этих ПРНК сосредоточено в отраслях физика (94, занимающихся в подавляющем большинстве исследованиями в области ядерной физики), астрономия (90), математика (84) и геология (83); минимальное количество учёных в ПРНК отмечается в горном деле (64) и химии (72).

Таблица 2

Из табл. 2 также видно, что максимальное количество ННК (7) – в геологии (в них работают 53 учёных); в этой отрасли лидируют Геологический институт РАН (Москва) и Институт геологии и минералогии им. В. С. Соболева СО РАН (Новосибирск), здесь работают соответственно 11 и 9 высокоцитируемых учёных. Шесть ННК – в области физики (в них трудятся 62 из всего списка высокоцитируемых учёных этой отрасли наук); среди них лидируют организации из Московской области: Институт физики высоких энергий и Объединённый институт ядерных исследований, в которых интенсивно цитируются соответственно 14 и 10 учёных.

Минимальное количество ННК – в сфере автоматики и вычислительной техники (всего 2) и геодезии и картографии (3); при этом лидером в первой отрасли наук является Институт проблем управления им. В. А. Трапезникова РАН (Москва) – в нём 18 высокоцитируемых учёных, а во второй отрасли – Сибирская государственная геодезическая академия (Новосибирск) – 28.

Следует отметить, что показатели, основанные на цитированиях, могут быть проблемой для начинающих учёных, поскольку высокие показатели цитирования зависят не только от времени, прошедшего с момента опубликования первой работы, но и от области исследования. В идеальном случае I_h должен использоваться для сравнения учёных с одинаковыми научным стажем и областями исследований, поскольку механизмы цитирования в различных областях исследований могут существенно различаться.

В то же время, по определению I_h основан на цитированиях, но при этом он не отражает динамики цитирований. Например, если индекс I_h содержит часто цитируемую статью, то это не повлияет в дальнейшем на индекс, независимо от того, какое количество дополнительных цитирований рассматриваемая статья получит в ближайшие годы. Это означает, что учёному с ограниченным числом незаурядных статей достаточно трудно получить высокий I_h и, более того, I_h не может «отличить» новаторские научные статьи от обыкновенных, не претендующих на незаурядность научных работ.

Принято считать, что значение индекса Хирша в определённой мере зависит от возраста учёного. По некоторым данным, в возрасте до 40 лет I_h невысок, в период 40–50 лет его значение возрастает и для действующего учёного стабилизируется примерно к 60–70 годам.

Перед российским научным сообществом Указом Президента Российской Федерации от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки» была поставлена задача «увеличить к 2015 г. долю публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых Web of Science, до 2,44%» по сравнению с 1,77% – в 2012 г.

Интересно отметить, что за 15-летний период (1996–2011 гг.) доля российских публикаций в мире неуклонно снижалась: в 1996 г. она составляла 2,79%, в 2001 г. – 2,36% в 2006 г. – 1,8% (для сравнения: доля США и Китая – соответственно 24% и 8,8%). По данным за 2011 г., доля российских публикаций была равна 1,67%, что сопоставимо с показателями такой страны, как, например, Нидерланды. Сохранение этой негативной тенденции вызывает опасения: под вопросом возможность выполнить Указ Президента без каких-либо существенных изменений в этой области.

Выводы

Сравнивая системы РИНЦ и Scopus с учётом охвата ими соответствующих источников, можно отметить, что в системе Scopus фиксируется планетарное признание англоязычных цитируемых публикаций, а в РИНЦ – признание в пределах русскоговорящих стран, в основном СНГ.

Необходимо учитывать, что публикуемость и цитируемость – это первые шаги на пути к выявлению ННК и ПРНК с целью последующего составления карт этих кластеров и коллективов для всех отраслей наук.

На основе анализа этих показателей в России для рассмотренных отраслей наук выявлено три основных ПРНК (Москва, Санкт-Петербург, Новосибирск), в которых сосредоточены основные ННК в этих отраслях наук. При этом если в последних двух ПРНК отмечено соответственно семь и восемь ННК, то в Москве их более 30.

В Москве в соответствии со списками top-100 выделяются четыре отрасли наук, в каждой из которых выявлено значительное количество (около 60) высокоцитируемых учёных: химия, математика, астрономия и информатика; в Санкт-Петербурге такая картина наблюдается только в геологии (45 учёных), а в Новосибирске – в механике, геодезии и картографии (по 30).

Цитируемость и публикуемость позволяют в определённой мере оценивать результативность деятельности учёного: они являются одной из компонент оценки его научной работы, но не могут быть единственными показателями. Так как лишь высококвалифицированные эксперты в соответствующей отрасли наук могут оценить эффективность научной деятельности после изучения конкретных работ за определённый период.

Показатели цитируемости и публикуемости могут использоваться для ежегодной оценки результативности работы профессорско-преподавательских коллективов (с учётом персоналий) высших учебных заведений, как это делается в Национальном исследовательском университете «Высшая школа экономики», Российском государственном гуманитарном университете и в других вузах России, в том числе для морального и материального поощрения лучших преподавателей, занимающихся научной работой.

СПИСОК ИСТОЧНИКОВ

1. Арутюнов В. В. Показатели эффективности эрготехнических систем // Науч. и техн. б-ки. – 2014. – № 6. – С. 5–14.
Arutyunov V. V. Pokazateli effektivnosti ergotehnicheskih sistem // Nauch. i tehn. b-ki. – 2014. – № 6. – S. 5–14.

2. Орлов А. И. Экспертные оценки : учеб. пособие. – Москва : ИВСТЭ, 2009.
Orlov A. I. Ekspertnye otsenki : ucheb. posobie. – Moskva : IVSTE, 2009.

3. Литвак Б. Г. Экспертные технологии в управлении : учеб. пособие. – Москва : Дело, 2007.
Leetvak B. G. Ekspertnye tehnologii v upravlenii : ucheb. posobie. – Moskva : Delo, 2007.

4. Рябушкин Т. В. Статистические методы анализа экспертных оценок : учеб. пособие. – Москва : Наука, 2008.
Ryabushkin T. V. Statisticheskie metody analiza ekspertnyh otsenok : ucheb. posobie. – Moskva : Nauka, 2008.

5. Гиляревский Р. С. Публикационная активность как оценка научных достижений // НТИ. Сер. 1. – 2014. – № 8.
Gilyarevskiy R. S. Publikatsionnaya aktivnost kak otsenka nauchnyh dostizheniy // NTI. Ser. 1. – 2014. – № 8.

6. Маркусова В. А, Либкнид А. Н., Крылова Е. Ф., Миндели Л. Е., Либкнид И. А. Показатели публикационной активности сотрудников институтов Российской академии наук и высшей школы России (2007–2011 гг.) // Там же. – 2014. – № 6.
Marcusova V. A, Leebknid A. N., Krylova E. F., Mindeli L. E., Leebknid I. A. Pokazateli publikatsionnoy aktivnosti sotrudnikov institutov Rossiyskoy akademii nauk i vysshey shkoly Rossii (2007–2011 gg.) // Tam zhe. – 2014. – № 6.

7. Арутюнов В. В., Медведева И. Е. Цитирование научной литературы по геологии // Там же. – 1992. – № 9.
Arutyunov V. V., Medvedeva I. E. Tsitirovanie nauchnoy literatury po geologii // Tam zhe. – 1992. – № 9.

8. Варшавский А. Е., Маркусова В. А. О результативности научной деятельности Российской академии наук (оценки на основе анализа количества научных публикаций и индекса цитирования) // Концепции. – 2007. – № 1 (18).
Varshavskiy A. E., Marcusova V. A. O rezultativnosti nauchnoy deyatelnosti Rossiyskoy akademii nauk (otsenki na osnove analiza kolichestva nauchnyh publikatsiy i indeksa tsitirovaniya) // Kontseptsii. – 2007. – № 1 (18).

9. Маршакова И. В. Система цитирования научной литературы как средство слежения за развитием науки. – Москва : Наука, 1988.
Marshakova I. V. Sistema tsitirovaniya nauchnoy literatury kak sredstvo slezheniya za razvitiem nauki. – Moskva : Nauka, 1988.

10. Стародубов В. И., Кузнецов С. Л., Куракова Н. Г., Цветкова Л. А. Представленность публикаций ученых РАМН в «Web of Science»: оценка текущих показателей и перспектив их увеличения // Вестник РАМН. – 2012. – № 9.
Starodubov V. I., Kuznetsov S. L., Kurakova N. G., Tsvetkova L. A. Predstavlennost publikatsiy uchenyh RAMN v «Web of Science»: otsenka tekushchih pokazateley i perspektiv ih uvelicheniya // Vestneyk RAMN. – 2012. – № 9.

11. Сидоренко Г. И. Об эффективности научной деятельности (оценка фундаментальных и прикладных исследований) // Наука и инновации. – 2004. – № 5.
Sidorenko G. I. Ob effektivnosti nauchnoy deyatelnosti (otsenka fundamentalnyh i prikladnyh issledovaniy) // Nauka i innovatsii. – 2004. – № 5.

12. Hirsch J. E. An index to quantify an individual's scientific research output // Proceeding of the National Academy of Sciences. – 2005. – V. 102, № 46.

13. Арутюнов В. В., Константинов А. С. Рейтинговый анализ востребованной геологической научно-технической продукции на рубеже XX–XXI веков // НТИ. Сер.1. – 2006. – № 12.
Arutyunov V. V., Konstantinov A. S. Reytingovyy analiz vostrebovannoy geologicheskoy nauchno-tehnicheskoy produktsii na rubezhe XX–XXI vekov // NTI. Ser.1. – 2006. – № 12.

14. Самые цитируемые российские учёные по данным РИНЦ. – Режим доступа: http://dissertation-info.ru/index.php/-100-.html (июнь 2014).
Samye tsitiruemye rossiyskie uchenye po dannym RINTS.