УДК 025
П. С. Романов
Оценка эффективности работы библиотеки
методом анализа пакета данных.
(Зарубежный опыт)
Оценка эффективности и качества работы библиотечных
учреждений стала объектом исследований зарубежных библиотековедов еще со времен
Мелвилла Дьюи. В последние годы эта тема приобрела особое звучание в связи с многочисленными
усилиями, направленными на разработку действенных методик исследований и оценки
работы государственных учреждений и некоммерческих организаций.
Для определения эффективности зарубежные исследователи используют
достаточно сложные расчеты и математические формулы, заимствованные из других
научных дисциплин, например:
- BEST VALUE - метод
оценки качества муниципальных услуг Великобритании;
- метод совместного анализа Conjoint Analysis;
- метод оценки качества услуг ServQual;
- разновидность ServQual
- LibQual+(tm);
- метод анализа пакета данных Data Envelopment Analysis (DEA);
- западноевропейская система EFQM Excellence Model;
- система сбалансированных показателей Balanced Scorecard;
- SCONUL - метод
Ассоциации публичных, школьных и университетских библиотек Великобритании;
- бенчмаркинг (benchmarking),
или метод сравнения с эталонными величинами.
Интересно отметить некоторую особенность применения этих методов
в современных условиях: большинство из них рассчитаны и применяются при условии
предположения, что мерилом работы качества библиотеки должен служить тот вклад,
который они привносят в конечный результат деятельности их материнских
организаций - вуза, колледжа, школы, муниципального округа.
В числе таких методов, широко используемых специалистами
библиотечного дела США и Великобритании, входит и названный выше метод анализа пакета данных (DEA).
DEA - это непараметрический метод измерения эффективности
некоего центра принятия решений или центра ответственности, в роли которого
может выступить коммерческая либо некоммерческая организация. DEA представляет
собой сравнение фактических характеристик с эталонным уровнем (benchmarking) и
применяется в ситуации с множественными входными и выходными параметрами, т.е.
ресурсами и услугами. Этот метод разработали и впервые применили ученые из США
Чарнз, Купер и Роде в 1978 г. (Charnes, Cooper, Rhode).
Библиотеки вынуждены постоянно отчитываться перед своими учредителями
и финансирующими их организациями о проделанной работе, эффективности
использования ресурсов, своем положении в отрасли. Исследователи вопроса
применяют два параметра, характеризующих, на их взгляд, состояние этой работы в
библиотеках: эффективность, экономическая
эффективность/результативность. Под эффективностью (в первом случае) понимается
тот уровень библиотечной услуги, который ожидает от нее вышестоящая
организация, или же степень выполнения поставленной задачи.
Второй аспект измерения - экономическая эффективность или
результативность - означает способность библиотеки трансформировать свои входные
параметры (ресурсы) в оптимальный уровень выходных параметров (в услуги) либо достичь оптимального уровня
выходных параметров с минимальным уровнем входных. Этот аспект значительно
меньше освещен в работах исследователей вопроса эффективности библиотечной
деятельности, хотя он весьма важен для принятия решений в вышестоящих организациях.
В качестве индикаторов результативности в библиотечной
статистике выступает определенное количество параметров. Например, в отчетности
Ассоциации научных библиотек США в качестве таких параметров выступают 30
показателей из годовой отчетности научных библиотек. Сотрудники Ассоциации
проводят исследования затратных аспектов различного рода услуг в деятельности
библиотек, некоторые рассматривают лишь один единственный тип библиотечной
услуги - справочную услугу, некоторые - целую совокупность библиотечных услуг и
их эффективность.
Успешная деятельность библиотеки, как и любой другой
организации, зависит от ее способности добиваться и общей эффективности и
экономической эффективности. Вполне возможен вариант, когда библиотека добивается
роста общей эффективности своих услуг затратным путем, т.е. ухудшая состояние
экономической эффективности. Наоборот, при снижении уровня общей эффективности
возможен рост экономической эффективности. Совершенно очевидно, что практикам
библиотечной деятельности не нужна ни первая ситуация, ни вторая. Например,
политика минимизации затрат не является самоцелью для организаций, в том числе
и библиотек, и редко когда имеет смысл.
Решение подавляющего большинства экономических задач зависит
от наиболее выгодного способа использования ресурсов. В процессе деятельности
библиотек приходится распределять такие важные ресурсы, как денежные средства,
оборудование, рабочую силу, фонды. От того, как будут распределяться эти, как
правило, ограниченные ресурсы, зависит эффективность или конечный результат
деятельности библиотеки. Суть оптимизации заключается в том, что исходя из
наличия определенных ресурсов, выбирается такой способ их использования, при
котором достигается минимум либо максимум конкретного показателя. При этом
следует учитывать граничные условия использования данных ресурсов.
При помощи DEA измеряют относительную величину эффективности
в тех организациях, где есть множественные входные и выходные параметры.
Отдельные организации, команды или коллективы при этом анализе носят название
центров принятия решений; ряд исследователей называет их "центрами
ответственности".
Термин центр принятия
решений (далее - ЦПР) можно истолковать двояко. Во-первых, он означает, что
метод DEA можно применить на любом уровне управленческой пирамиды в любой
организации, начиная от малой фирмы и заканчивая большой транснациональной
корпорацией, а также в отдельном подразделении и даже для отдельной рабочей
операции. Это возможно при условии, что ЦПР вполне сравнимы между собой в том
смысле, что у каждого из них одинаковый набор входных параметров и они
производят сравнимые выходные параметры. Во-вторых, для того чтобы результаты
DEA поддавались интерпретации, ЦПР должны иметь возможность в определенной степени
влиять на свои ресурсы.
Основная концепция DEA заключается в следующем. Устанавливается
эффективная граница в сравниваемом наборе ЦПР. Принимается, что все ЦПР на этой
граничной линии действуют со стопроцентной эффективностью. DEA обеспечивает
подсчет эффективности для каждого неэффективного ЦПР и определяет набор
эталонных величин из эффективных ЦПР. Результаты DEA позволяют определить
эффективность деятельности университетской библиотеки, особенно в целях
эталонного сравнения.
Попутно отмечу: с 1978 г. DEA широко применяется в самых
различных отраслях экономики США и Канады (в учреждениях здравоохранения,
образования, финансовой сфере, транспортировке) и даже для оценки результатов
профессиональных спортсменов.
Как и большинство методов расчета эффективности работы
организаций, DEA имеет определенные ограничения.
К
сожалению, DEA остается достаточно трудным для восприятия, особенно в части
подбора взвешенных значений и математическом оформлении процедуры. Некоторые
тонкости метода может хорошо понять только тот специалист, который владеет
навыками работы с компьютером на уровне опытного пользователя. При
интерпретации полученных результатов следует соблюдать известную осторожность.
DEA прекрасно дополняет все существующие ныне методы оценки эффективности
библиотечной деятельности. В конечном итоге применение нескольких методов для
оценки одного и того же объекта позволит получить максимально объективные
результаты.
Для
лучшего понимания сущности метода DEA представим его в графической форме на
условном примере (рисунок).
Графический метод анализа пакета данных
Предположим, что у нас в качестве объекта анализа выступают
семь библиотек - семь центров принятия решений, говоря в терминах теории
анализа, каждый из которых имеет только одну пару входных и выходных
параметров. На плоскости прямоугольной системы координат эти объекты разбросаны
в виде точек Б1, Б2 ... Б7. Ось ординат отражает величины выходных параметров,
ось абсцисс - входных. Допустим, что у библиотеки № 1 (точка Б1 на графике) два
входных параметра и два выходных; у библиотеки № 2 (Б2) три входных и пять
выходных. На графике область, лежащая по направлению северо-запад, - это
область наивысшей эффективности, где величина выходных параметров оптимальна, а
величина затраченных ресурсов минимальна. В данном случае следует провести
уточнение параметров в сравниваемом наборе центров (в нашем случае - семь
библиотек), масштаб эффективности которых будет равен единице. На графике это будут
библиотеки 1-4, отображаемые ломаной линией, соединяющей точки графика Б1, Б2,
Б3 и Б4, поскольку именно эти библиотеки являются самыми граничными к области
наивысшей эффективности. Эти библиотеки будут образовывать на графике границу
эффективности (угол наклона соединительных линий по отношению к оси абсцисс
должен быть острым!) и характеризовать лимит уровня эффективности, который
может быть достигнут в данной ситуации.
На графике жирная линия, соединяющая первые четыре точки - эффективные
библиотеки, называется поверхностью пакета, поскольку эта линия охватывает все
возможные случаи. Именно эта особенность послужила основанием назвать данный
метод анализом пакета данных.
Прямая, проходящая через точку Б1, называется линией
регрессии, а ее угол наклона к оси абсцисс зависит от средней величины связи
между входной (независимой) переменной и выходной (зависимой) переменной.
Центры принятия решений Б5, Б6, Б7 не находятся на поверхности пакета и поэтому
считаются неэффективными. Есть два объяснения их неэффективности. Первый: можно
предположить, что библиотека 5 дает тот же самый уровень выходных параметров,
но при меньшей величине входных параметров. На графике это достигается
перемещением из точки L5 параллельно оси абсцисс по направлению к оси ординат
до пересечения с отрезком прямой Б1-Б2. В точке пересечения движение должно
прекратиться, поскольку при полученных данных совершенно очевидно, что никакой
другой центр не может действовать более эффективно, чем рассматриваемый. Одним
из предположений в данном графическом рассмотрении является то, что если Б1 и
Б2 - это реально существующие объекты, то реальна и любая точка на отрезке
прямой, соединяющей точки Б1 и Б2. Это явление, называемое выпуклость, встречается в ряде положений экономической теории.
Математически любая точка на данном отрезке представляет собой средневзвешенную
величину этих двух центров.
Библиотеки 1 и 2 (Б1, Б2) носят название эталонный набор величин, или эталонная пара, и в DEA анализе
считаются однородными для библиотеки 5.
Термин однородный имеет специальное толкование.
Это набор эффективных граничных линий, с которыми сравнивается объект с
неэффективными показателями. Можно также сказать, что в данном случае
исследуемые объекты сравниваются с виртуальным центром принятия решений на поверхности
пакета. Считается, что данный центр генерирует такой же выходной параметр, как
и исследуемый объект (который мы называем фокус-центр принятия решений), но при
меньшем значении входного параметра. Если в ходе анализа удается определить
такой центр (неважно при этом, реально ли существующий объект или же
средневзвешенная величина нескольких объектов), то в этом случае фокус-центр
принятия решений считается неэффективным. Если при имеющемся фокус-центре
существование виртуальных центров с лучшими характеристиками не очевидно, то
объект считается технически эффективным, поскольку нет убывания входного параметра.
Можно по-другому сказать об эффективности библиотеки 5: она
производит более высокий уровень выходного параметра при том же самом уровне
входного параметра. На графике это утверждение можно проследить, передвигаясь
вертикально до тех пор, пока вектор движения не достигнет поверхности пакета
между точками Б2 и Б3. В этом случае библиотеки 2 и 3 станут однородными для
библиотеки 5.
Следует отметить, что техника измерения DEA достаточно легко
усваивается на абстрактном уровне. Отдельные аспекты анализа лучше всего
демонстрировать на уровне вычислений. В настоящее время разработано и внедрено
в практику работы библиотек программное обеспечение, позволяющее легко
осуществлять вычисление оптимальных вариантов при заданных параметрах.
При помощи DEA можно установить образцы наиболее эффективной
деятельности библиотечных учреждений в отрасли или среди себе подобных, а также
обеспечить измерение эффективности в избранном масштабе для каждой библиотеки и
дать рекомендации по ее улучшению.
DEA позволяет получить количественное выражение
эффективности и качества работы библиотеки, масштаб эффективности библиотеки,
избыточного уровня входного или выходного параметра, что называется "дефицит",
оптимальные веса, рассчитанные для переменных величин конкретных библиотек,
эталонный набор однородных объектов (библиотек). Тем не менее, следует помнить,
что DEA не дает безоговорочно точный результат при подсчете величины
эффективности библиотечного учреждения. Для повышения точности измерения его
можно и нужно дополнить другими методами.
Список источников
Charnes A., Cooper W. W.,
Lewin A. Y. Data
envelopment analysis: theory, methodology, application. Norwell, MA: Kluwer
Academic Publishers. - 1994. - 300 p.
Charnes A., Cooper W. W.,
Rhodes E.
Measuring the efficiency of decision-making units // European Journal of
operation research. - 1978. - № 2. - P. 429-444.
Cullen R. Review of evaluating
reference services: A practical guide. // Australian Library Journal. - 2002. -
P. 51-79.
Powell R. R., Connaway L. S. Basic research methods for
librarians. 4th ed. - Westport, CT: Libraries Unlimited. - 2004. - 360 p.
Reichmann G. Measuring university
libraries efficiency using data envelopment analysis. Libri. - 2004. - Vol. 54.
- P. 136-146.
Shim W. A novel approach to the
evaluation of research libraries in the U.S. - PhD dissertation. - The State
University of New-Jersey. - 1999. - 154 p.
Shim W., Cantor P. A novel approach to the
evaluation of libraries. Final Report to the Council on library and information
resources. - New Brunswick, NJ: SCILS, Rutgers University. - 1998. - 215 p.
Vitaliano D. F. Assessing public library
efficiency using data envelopment analysis. Annals of public and cooperative
economics. - 1998. - Vol. 69. - № 1. - P. 107-122.
Westbrook L. Identifying and analyzing
user needs: A complete handbook and ready-to-use assessment workbook with disk.
- New York: Neal-Schuman Publishers. - 2001. - 307 p.
Романов П. С. Аннотированный библиографический
список англоязычных диссертаций по библиотековедению (1903-2004 гг.)
[Электронный ресурс] / МГУКИ. Кафедра библиотековедения; составил и перевел П.
С. Романов. - Москва, 2006. - Электрон. текстовые дан. - 1 электрон. опт. диск
(CD-ROM). (Регистрационное свидетельство Федерального агентства по
информационным технологиям НТЦ "Информрегистр" № 0320600386 от
24.03.2006 г.).
|
