ПРОБЛЕМЫ ИНФОРМАЦИОННОГО ОБЩЕСТВА
УДК 331.101.1
В. В. Арутюнов
Показатели эффективности эрготехнических систем
Рассмотрены базовые группы показателей эффективности эрготехнических (человеко-машинных) систем, включающие технические, экономические, социальные и наукометрические составляющие; отражены их соответствующие показатели; приведены примеры расчёта некоторых показателей эффективности для ряда объектов.
Ключевые слова: экономическая эффективность систем, полнота поиска, техническая эффективность систем, точность поиска, метод экспертных оценок, цитируемость публикаций, спрос на отчеты по НИР, гендерный фактор.
В последние два десятилетия отрасль информационных технологий (ИТ) – одна из наиболее динамично развивающихся отраслей в мире. Современный объём мирового рынка ИТ оценивается ориентировочно в 1,7 трлн долларов США [1]. По прогнозам экспертов, до 2016 г. этот рынок продолжит расти в среднем не менее чем на 5% в год. Таким образом, рынок ИТ входит в число крупнейших наиболее быстро растущих рынков в мировой экономике. При этом средний темп роста российского рынка ИТ за последние 10 лет превосходит среднемировой; эксперты оценивают ежегодный потенциал роста российской отрасли ИТ в ближайшие 5–7 лет – 10% и выше.
В настоящее время трудно найти отрасль экономики или науки, где не использовались бы современные ИТ, не функционировала бы информационная система (ИС) того или иного класса и предназначения. Это относится и к библиотечной сфере.
Следует отметить, что в настоящее время в большинстве случаев ИС являются эрготехническими системами (далее – системами) [2], состоящими из следующих основных компонент: эргатического элемента (человека, часто исследователя) и технического элемента (машины, в наше время в подавляющем числе случаев – компьютера).
Принятие решения о разработке или вводе в эксплуатацию конкретной системы зависит не только от ответа на вопрос, способна ли она функционально реализовать все поставленные перед ней задачи, но и от того, насколько эффективно она будет работать. При этом принято различать как минимум техническую и экономическую эффективность системы.
Техническая эффективность системы определяется её способностью обеспечить исследователям необходимый уровень информационного обслуживания.
Экономическая эффективность системы определяется совокупными финансовыми (иногда – временными) затратами, необходимыми для выполнения того или иного набора задач, решаемых системой.
Наличие в составе системы исследователя приводит к необходимости анализа социальных показателей её эффективности, связанных с гендерным фактором, возрастом человека и рядом других.
И, наконец, присутствие в системе активно работающего исследователя приводит к необходимости учёта наукометрических показателей её эффективности.
При комплексной оценке эффективности системы должны учитываться все группы показателей, так как её эффективность зависит не только от стоимости операций, связанных с созданием и обеспечением функционирования системы. Результаты работы системы определяются соответствующими значениями показателей и из остальных групп оценки эффективности системы.
Рассмотрим состав всех четырёх групп показателей эффективности системы.
I. Из многих возможных показателей оценки технической эффективности систем, интересующих пользователей, основными принято считать следующие шесть [2]:
1. Полнота поиска, т.е. способность системы выдавать все релевантные документы.
2. Точность поиска, т.е. способность системы отфильтровывать все нерелевантные документы.
3. Усилия (интеллектуальные или физические), затрачиваемые исследователями на формулирование запросов и просмотр выдаваемой системой информации.
4. Время с момента поступления запроса в систему до выдачи соответствующего результата.
5. Форма представления выдачи (что определяет дальнейшие возможности использования исследователями выданных материалов).
6. Полнота информационного массива системы в целом, т.е. степень охвата в системе всех релевантных документов, которые могут представлять интерес для исследователей.
Перечисленные показатели оценки эффективности отражают технологический уровень реализации системы и определяются эффективностью технических, лингвистических, организационных и других решений, заложенных в основу конкретной системы.
II. Анализ эффективности финансовых затрат и оценка экономической эффективности системы обычно основываются на следующих положениях:
В данном случае «оценка экономической эффективности системы» – это процесс, сочетающий в себе понимание, определение и измерение того, насколько полезно в экономическом плане внедрение системы для предприятия (организации).
Под методом оценки эффективности системы подразумевается способ или набор средств для проведения полной оценки её экономической эффективности. В этот набор средств могут входить как формальные, так и неформальные процедуры, при этом последние – преимущественно субъективные процедуры оценки, не основанные на цифровых данных, а первые – более объективные, рациональные, базирующиеся на количественных данных механизмы оценки.
Существуют различные методологии оценки эффективности систем [3], базирующиеся на следующей основе:
инвестиционном анализе – широко распространённом инструменте обоснования любого бизнес-проекта. Для оценки рентабельности ИТ-проекта чаще всего применяются так называемые динамические методы, основанные преимущественно на дисконтировании образующихся в ходе реализации проекта финансовых потоков. Таким образом, методы инвестиционного анализа позволяют оценить экономические параметры внедрения и функционирования системы по аналогии с оценкой любого другого инвестиционного проекта;
финансовом анализе, основанном наиспользовании традиционных подходов к финансовому расчёту экономической эффективности применительно к специфике системы и с учётом необходимости оценивать риск при вложении финансовых средств. Достоинство финансового анализа – в его основополагающих принципах, заимствованных из классической теории определения экономической эффективности инвестиций. Этот метод использует общепринятые в финансовой сфере критерии (чистая текущая стоимость, внутренняя норма прибыли, годовой экономический эффект и др.) и оперирует требующими конкретики и точности понятиями притока и расхода финансовых средств;
качественном анализе (называемом также эвристическим), который дополняет количественные расчёты, что может помочь оценить все явные и неявные факторы эффективности системы и увязать их с общей стратегией её развития. Этот метод позволяет специалистам самостоятельно выбирать наиболее важные для них характеристики систем в зависимости от специфики продукции и деятельности предприятия, устанавливать между ними соотношения, например, с помощью коэффициентов значимости.
Для оценки экономической эффективности системы достаточно часто используют следующие финансовые и инвестиционные методы.
TCO (Total Cost of Ownership) – метод расчёта общей (совокупной) стоимости владения системой [4]; разработан исследовательской компанией Gartner Group и использует в качестве критериев оценки стоимость приобретения, установки, администрирования, технической поддержки и сопровождения, модернизации, вынужденных простоев и других затрат на эксплуатацию системы. Методология TCO наилучшим образом подходит для подсчёта текущих стоимостных параметров; с её помощью можно достаточно полно проанализировать затраты на эксплуатацию системы. Однако эта методология не учитывает риски и не позволяет соотнести технологию со стратегическими целями и результатами бизнеса.
NPV(Net Present Value; чистая текущая стоимость) – накопленный дисконтированный эффект за расчётный период. В общем случае методика расчёта NPV заключается в суммировании современных (пересчитанных на текущий момент) величин эффективных финансовых потоков по всем интервалам планирования на всём протяжении периода исследования.
PP (Pay-BackPeriod; срок окупаемости) – алгоритм представляет собой анализ возврата средств от инвестиций. В силу своей специфической наглядности расчёт срока окупаемости часто используется как метод оценки риска, связанного с инвестированием.
III. Третью группу показателей оценки эффективности системы с учётом человеческого фактора (исследователей) составляют так называемые социальные показатели: гендерный фактор Km,альфа-фактор Kα и возрастной фактор.
Как известно, эффективность работы исследователей определяется в том числе и гендерным фактором (например, в основном женский коллектив сотрудников в составе системы сосредоточивается в первую очередь на реализации процесса, а мужской – нацелен на результат, уделяет меньше внимания самому процессу; при этом в 2013 г. британские учёные доказали, что женщины лучше мужчин справляются с несколькими задачами одновременно).
Гендерная картина современного мира подразумевает существование системы так называемых гендерных ролей. Под гендерной ролью, как известно, понимается усвоенное поведение, которое обусловливает деятельность, задачи и ответственность, воспринимаемые как мужские и как женские. При этом гендерные роли не постоянны, изменчивы, многообразны в пределах как одной культуры, так и различных культур. Иными словами, роли в обществе не предопределены полом – они диктуются социальным устройством, которое либо поддерживает, либо, напротив, усугубляет проблему гендерной справедливости. (Улицы, например в Москве, в подавляющем большинстве названы в честь представителей сильного пола. Такая же картина, скорее всего, наблюдается и в других городах России.)
Даже иерархия наук подвержена воздействию гендерных стереотипов: более престижными и уважаемыми в мире считаются «строгие» и «мужские» науки: математика, физика и т.д. Немногочисленные исключения из этого правила (дважды лауреат Нобелевской премии физик М. Склодовская-Кюри или С. Ковалевская) лишь подтверждают «мужской характер» этих «строгих» наук. В работе [5] также отмечается, что самый низкий процент (около 4%) женщин – руководителей проектов по грантам Российского фонда фундаментальных исследований был отмечен в физике, а самый высокий (~ 30%) – в науках о жизни. В то же время проведённый анализ [6] показал, что вклад женщин – руководителей научно-техническими разработками в геологии (тесно взаимосвязанной со многими научными направлениями исследований – физикой, химией, биологией и др.) в создание востребованной научно-технической продукции достаточно высок (~ 25%) и уступает лишь аналогичному показателю в науках о жизни.
Определим гендерный фактор Km в виде соотношения:
Km = М / Р ,
где Р – общее число сотрудников, М – количество среди них мужчин.
Для оценки эффективности функционирования системы с учётом альфа-фактора Kαвоспользуемся результатами исследования [7, 8], согласно которому одно из условий успешной работы системы – необходимость преобладания в ней исследователей, чьи фамилии начинаются с букв от А до Н.
Обозначим этот альфа-фактор Kα(принадлежность к группе фамилий, начинающихся с букв от А до Н)в виде соотношения:
Kα = Р1 / Р ,
где Р – общее число сотрудников, Р1 – количество сотрудников, чьи фамилии начинаются с букв от А до Н.
Если для оптимального состава сотрудниковKα изменяется в пределах от 0,45 до 0,9 (с точностью ± 10%), то Km варьируется в интервале от 0,45 до 0,55 (с точностью ±10%). Отсюда значение суммарного социального фактора К = Kα + Km для эффективно функционирующей системы может изменяться в пределах от 0,9 до 1,45.
Например, рассчитанные в 2013 г. значения К для экономического и юридического факультетов Санкт-Петербургского государственного университета составляли 1,19 и 1,21, а для этих же факультетов Московского государственного университета – соответственно 1,05 и 1,13 (в 2007 г. значения К для тех же факультетов МГУ – соответственно 1,4 и 1,2 [8]). Эти факты ещё раз свидетельствуют об успешной стабильной работе рассмотренных факультетов и входящих в их состав кафедр.
Возрастной фактор зависит от типа анализируемых систем и соответствующей сферы исследований. Так, в системах с участием математиков, как известно, незаурядные результаты генерируются в подавляющем числе случаев математиками в возрасте до 30 лет (яркие примеры: известный французский математик Э. Галуа, ушедший из жизни, даже не достигнув указанного возраста, или советский математик С. Мергелян, за свои достижения в области теории функций ставший членом-корреспондентом АН СССР в 25 лет).
Другие требования предъявляются в этом аспекте, например, к коллективу преподавателей в составе единой системы (кафедры, факультета и т.д.), для которых наряду с квалификацией важно наличие опыта преподавания и способности оперативно отражать в своей деятельности положительные реалии и достижения современности; третьи требования – к исследователям, занятым исключительно в сфере вычислительной техники – её обновление происходит обычно в течение 1,5–2 лет, поэтому требуются оперативное осмысление новшеств в этой сфере и активная оперативная реализация их в практической деятельности.
IV. Рассматривая коллектив исследователей как сложную многокомпонентную систему, эффективность её функционирования можно определять с помощью следующих наукометрических показателей:
1. Итоги работы системы с использованием метода экспертных оценок [9–11];
2. Ежегодное количество публикаций по различным направлениям исследований;
3. Цитируемость публикаций (в том числе с расчётом импакт-фактора, индекса Хирша, показателя отклика и др.); с учётом значительного числа работ в этой сфере (в области медицины, химии и других научных областях) приведём для примера лишь ряд публикаций [12–20];
4. Спрос на результаты исследований, отражённых в диссертациях и отчётах о НИР [21, 22].
Если первый метод – экспертных оценок – является, пожалуй, самым «древним», третий – используется в различных сферах исследований (химии, медицине, геологии и др.) с 1970-х гг., то четвёртый метод – впервые начал активно применяться для оценки эффективности на примере геологоразведочной отрасли России с 1990-х гг. [21].
Сущность методов экспертных оценок заключается в том, что в основу оценки результатов функционирования системы закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. При этом различают индивидуальные и коллективные экспертные оценки. Среди индивидуальных наиболее широкое распространение получили методы интервью и аналитический.
Количество экспертов, привлекаемых для коллективной оценки, может колебаться от 10 до нескольких десятков человек в зависимости от сложности анализируемого объекта (в его качестве может выступать результат функционирования системы). Определяется цель оценки, разрабатываются вопросы для экспертов. При этом необходимо обеспечить однозначность понимания экспертами отдельных вопросов и независимость суждений экспертов. Далее осуществляется обработка материалов, полученных в результате коллективной экспертной оценки. Окончательная оценка в простейшем случае может определяться как среднее арифметическое значение оценок всех экспертов.
Цитирование публикаций можно исследовать с помощью двух групп показателей. К первой относятся различные средние показатели, характеризующие исследуемый объект (например, количество ссылок на него за год). Исследование этих средних показателей цитируемости за определённый период позволяет выявлять устойчивые тенденции в развитии тематических направлений в науке, вероятные темпы её развития и «качественные прорывы».
Ко второй группе показателей, более тонко оценивающих цитирование публикаций, относятся: показатель воздействия Ib; показатель отклика или оперативности цитирования Io ; индекс Хирша Ihи др.
Показатель воздействия (импакт-фактор) Ib определяется как отношение числа ссылок, которые получил исследователь в текущем году на свои публикации, изданные в предшествующие два года, к числу всех опубликованных работ за тот же срок.
Показатель отклика на журнал Io равен отношению числа ссылок, полученных исследователем на свои статьи текущего года, к числу всех статей, опубликованных в том же году. Показатель отклика Io определяет меру скорости, с которой упоминается среднецитируемая статья в журнале текущего года, другими словами, насколько оперативно научный мир реагирует на появление данной работы.
Исследователь имеет индекс Хирша Ih, если h из его Np статей цитируются как минимум h раз каждая, в то время как оставшиеся (Np – h) статьи цитируются не более, чем h раз каждая.
Так, если у данного исследователя опубликовано 100 статей, на каждую из которых – лишь одна ссылка, его индекс Хирша Ih равен 1. Таким же будет индекс Хирша исследователя, опубликовавшего одну статью, на которую сослались 100 раз. В то же время (более реалистический случай), если исследователь опубликовал 1 статью, которую процитировали 9 раз, 1 статью – 8 раз, ещё 1 – 7 раз, …, 1 статью – 1 раз, то его индекс Хирша Ih= 5 (так как на 5 его статей сослались как минимум по 5 раз).
Показатель Хирша используется для оценки, например, в Российском индексе научного цитирования (РИНЦ) – национальной информационно-аналитической системе, реализованной в Научной электронной библиотеке (НЭБ) России (www.elibrary.ru), в которой зарегистрировано более 11 тыс. организаций и аккумулировано свыше 18 млн публикаций, а также информация о цитировании публикаций (превышает 130 млн) из более 8 тыс. российских журналов. НЭБ не только предназначена для оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, но и служит мощным инструментом, позволяющим оценивать результативность и эффективность деятельности научно-исследовательских организаций, отдельных учёных, уровень научных журналов и т.д.
Показатели четвёртой подгруппы рассчитываются аналогично показателям третьей подгруппы; при этом вместо количества публикаций учитывается количество отчётов о НИР, подготовленных исследователем, а вместо числа ссылок на публикацию – количество запросов на копию отчёта. Так, например, импакт-фактор исследователя в этом случае определяется как отношение числа запросов в рассматриваемом году на отчёты исследователя за два предыдущих года, ко всему количеству отчётов, подготовленных им за эти два года.
С 1970-х гг. Институт научной информации США (Institute for Scientific Information – ISI) занимается построением и анализом сетей цитирования, которые образуют публикации и ссылки на них в различных сферах науки. Результаты такого ежегодного анализа ISI для определённой области знания служат важным условием для понимания механизмов эволюции исследовательских направлений в этой области, выявления взаимосвязей в системе научной коммуникации.
Анализ сетей цитирования – удобное средство для картографирования науки, выявления «незримых» коллективов учёных, получения информации о том, на каком участке исследований концентрируются научные силы в настоящее время.
В заключение следует отметить, что сегодня в России вторая и третья подгруппы показателей четвёртой группы активно используются, например, для ежегодной оценки эффективности работы профессорско-преподавательских коллективов с учётом индивидуальных значений индекса Хирша (по данным РИНЦ) в Национальном исследовательском университете «Высшая школа экономики», Российском государственном гуманитарном университете, Московском финансово-юридическом университете и в ряде других организаций, в том числе для последующего морального и материального поощрения лучших сотрудников, выполняющих научную работу.
Список источников
1. Стратегия развития отрасли информационных технологий в Российской Федерации на 2014–2020 гг. и на перспективу до 2025 г. (утверждена распоряжением Правительства Российской Федерации от 01.11.2013, № 2036-р).
2. Голицина О. Л., Максимов Н. В., Попов И. И. Информационные системы : учеб.пособие. – Москва : ФОРУМ-ИНФРА-М, 2009.
3. Ядыков С. Эффективность информационных систем: докопаться до истины [Электронный ресурс] / Электронные данные – 2010. – Режим доступа: http://vetriks.ru/info/49-info-3-1.html.
4. Волков И. Оценка эффективности информационных систем: понятие эффективности, современные методы оценки [Электронный ресурс] / И. Волков, А. Денисов. / Электронные данные – 2011. – Режим доступа: http://www.ibm.com/developerworks/ru/library/l-otcenka_efectivnosti_1/index.html.
5. Маркусова В. А. Библиометрия как методологическая и инструментальная основа мониторинга развития и информационной поддержки российской науки : автореф. дис. … д-ра пед. наук. – Москва : МГУКИ, 2005.
6. Арутюнов В. В. Гендерный анализ востребованности геологической научно-технической продукции // НТИ. Сер.1. – 2005. – № 10.
7. Аргументы и факты. – 2000. – № 11, март.
8. Арутюнов В. В. Анализ гендерной роли в преподавательском коллективе высшего учебного заведения. // НТИ. Сер. 1. – 2007. – № 4.
9. Орлов А. И. Экспертные оценки : учеб.пособие. – Москва : ИВСТЭ, 2009.
10. Литвак Б. Г. Экспертные технологии в управлении : учеб.пособие. – Москва : Дело, 2007.
11. Рябушкин Т. В. Статистические методы анализа экспертных оценок : учеб.пособие. – Москва : Наука, 2008.
12. Арутюнов В. В., Медведева И. Е. Цитирование научной литературы по геологии // НТИ. Сер. 1. – 1992. – № 9.
13. Бричковский В. И., Шереметьева А. А., Голубев А. М. Возможности использования индекса научного цитирования для повышения эффективности подготовки научных кадров высшей квалификации // Материалы междунар. науч.-практ. конф. «Инновации и подготовка научных кадров высшей квалификации в Республике Беларусь и за рубежом». – Минск : ГУ «БелИСА», 2008.
14. Варшавский А. Е., Маркусова В. А. О результативности научной деятельности Российской академии наук (оценки на основе анализа количества научных публикаций и индекса цитирования) // Концепции. – 2007. – № 1 (18).
15. Сидоренко Г. И. Об эффективности научной деятельности (оценка фундаментальных и прикладных исследований) // Наука и инновации. – 2004. – № 5.
16. Маршакова И. В. Система цитирования научной литературы как средство слежения за развитием науки. – Москва : Наука, 1988.
17. Писляков В. В. Российский индекс научного цитирования: PRO ET CONTRA // НТИ–2007: 7-я Междунар. конф., посвящ. 55-летию ВИНИТИ, «Информационное общество. Интеллектуальная обработка информации. Информационные технологии», Москва, 24–26 окт., 2007. – Москва : ВИНИТИ, 2007.
18. Фролова В. А., Хасенова С. К., Кубиева Т. Ш., Рог О. А. К вопросу об определении индекса цитируемости публикаций казахстанских учёных // НТИ. Сер. 1. – 2008. – № 4.
19. Hirsch J. E. An index to quantify an individual's scientific research output // Proc. of the National Academy of Sciences. – 2005. – V. 102, № 46.
20. King D. The scientific impact of nations // Nature. 2004. – V. 430.
21. Арутюнов В. В. Система конъюнктурной оценки результатов научно-технических разработок в геологии // НТИ. Сер. 1. – 1996. – № 6.
22. Арутюнов В. В., Константинов А. С. Рейтинговый анализ востребованной геологической научно-технической продукции на рубеже XX–XXI веков // Там же. – 2006. – № 12.