УДК 02 : 37 (73)

О. Л. Завалина

Оценка качества подготовки магистров
библиотечных и информационных наук
с помощью измерения результатов обучения

Освещены способы измерения качества результатов обучения студентов в магистратуре Отделения библиотечных и информационных наук факультета информации Университета Северного Техаса.

Ключевые слова: библиотечное образование в США, магистратура библиотечная в США, эффективность преподавания.

В современном конкурентном мире помимо диплома и уровня престижности вуза, в котором этот диплом получен, важнейшими факторами для успешного трудоустройства становятся полученные знания и навыки. Поэтому всё большую актуальность приобретают проблемы измерения качества полученного выпускниками образования и использования результатов этого измерения в улучшении подготовки специалистов для разных сфер экономики, не в последнюю очередь – для информационной сферы, включая библиотековедение и информационные науки.

Согласно онлайн-справочнику GradSchools.com (http://www.gradschools.com/search-programs/library-information-sciences/masters), сейчас в мире насчитывается 255 программ обучения магистров библиотечных и информационных наук. Большинство таких программ обучения (159, или 62,35%) – в США, где профессиональное библиотечное образование традиционно сосредоточено на уровне магистратуры. Качество обучения, предоставляемого этими программами, конечно же, неоднородно.

В США не существует официальных государственных образовательных стандартов в области библиотечно-информационного образования. Профессиональная ассоциация работников библиотек и других информационных учреждений – Американская библиотечная ассоциация (АБА) – разрабатывает рекомендации для программ подготовки магистров библиотечных и информационных наук и регулярно проводит их оценку и аккредитацию, в том числе на соответствие подготовки выпускников компетенциям современного библиотечного и информационного профессионала. По состоянию на 2013 г., из 159 существующих в США магистерских программ в области библиотечных и информационных наук лишь немногим более трети (58, или 36,47%) успешно прошли аккредитацию АБА, причём 6 из них аккредитованы условно, т.е. необходимо в течение года их улучшить и пройти повторную аккредитацию [1].

В документе «Стандарты по аккредитации магистерских программ библиотечных и информационных наук» [2], разработанном Комитетом по аккредитации АБА, подчёркивается важность целостной оценки магистерских программ по шести разным критериям, или стандартам:

1. Миссия, цели и задачи;

2.  Учебная программа;

3.  Профессорско-преподавательский состав;

4.  Студенты;

5.  Управление и финансовое обеспечение;

6.  Физические ресурсы и средства.

В описании стандартов «Учебная программа» и «Студенты» сделан акцент на оценке и оценочных данных. Например, один из критериев качества учебной программы – её постоянная оценка и, если необходимо, обновление и улучшение с использованием регулярного сбора информации о качестве учебной программы от всех заинтересованных в ней – студентов, преподавателей, выпускников, работодателей и т.д. [2. С. 8].

Один из важных критериев качества подготовки студентов магистерской программы – наличие процедур для систематической оценки того, насколько эффективны академическая и административная политика и деятельность, нацеленные на студентов. Необходимо, чтобы в этом участвовали преподаватели, сотрудники учебного заведения и студенты, а результаты оценки достижений студентов использовались для развития программы.

В последние десятилетия, когда в международной образовательной среде идёт переход от традиционного подхода, нацеливающего на процесс преподавания, к подходу, ориентированному на результат, всё более важную роль в оценке качества программ обучения в целом, и программ обучения магистров библиотечных и информационных наук в частности, приобретают результаты обучения студентов (student learning outcomes). Они позволяют выпускникам ответить не только на вопрос «Что я сделал, чтобы получить степень магистра?», но и на вопрос «Что я могу делать теперь, когда я получил степень магистра?» и отражают, в какой степени полученные знания и навыки соответствуют требованиям рынка труда [6].

Ватсон-Бун и Вейнганд в своих работах [8, 9] говорят о таких результатах обучения студентов магистратуры библиотечно-информационных наук, как способность воспринимать изменения в информационной отрасли, компетентность в материале, освещаемом в основных курсах, степень подготовки к работе на первой профессиональной должности, способность думать о выполнении не только непосредственной производственной задачи, но и о более масштабных, навыки решать проблемы и принимать решения.

Среди тех, кто оценивает качество высшего образования, сложился определённый консенсус в отношении категорий различных инструментов сбора данных для оценки результатов обучения студентов. Эти инструменты обычно подразделяют на прямые (т.е. дающие подтверждение тому, что именно и насколько хорошо было изучено посредством продемонстрированных студентами знаний и навыков) [4, 5, 7] и непрямые (т.е. позволяющие сделать вывод о том, что обучение, вероятно, произошло). К первым обычно относят тесты, экзамены, проекты и другие достижения студентов, измеряемые экспертами; ко вторым – различные опросы, анкетирование и самоотчеты студентов, а также опросы и анкетирование выпускников и работодателей.

Важно отметить, что традиционные способы оценивания  в вузах (например, семестровая оценка  за курс, средний балл), несмотря на свою очевидную значимость, не считаются эффективными способами оценки результатов обучения, поскольку на них влияет множество факторов, а некоторые из них (например, вовремя ли сдавались работы, как посещались лекционные занятия) не обязательно отражают, насколько хорошо студент освоил определённые знания и навыки.

Исследование практики измерения результатов обучения студентов 15 магистерских программ библиотечных и информационных наук, проведённое Ребеккой Эпплгейт [3], показывает, что наиболее распространнёные способы измерения – непрямые:

• анкетирование студентов  в процессе обучения, проводимое вне связи с конкретным курсом;
• оценивание конкретного курса в конце семестра;
• анкетирование всех выпускников независимо от года выпуска;
• анкетирование выпускников работодателями;
• анкетирование студентов перед самым окончанием или в течение нескольких месяцев после окончания программы обучения.

Качество результатов обучения студентов в магистратуре библиотечных и информационных наук  факультета информации Университета Северного Техаса измеряется несколькими способами – как прямыми, так и непрямыми – на разных уровнях. Эти методы включают все перечисленные Эпплгейт [4], а также дополнительные. Университет регулярно проводит письменные опросы студентов по поводу качества учебных материалов и преподавания, которые называются «Оценка эффективности преподавания студентами». Онлайн-анкетирование проводится централизованно каждый семестр по каждому из курсов.

Рейтинг преподавателя и курса определяется по следующим показателям: организация и объяснение материала, качество учебной среды, предоставление возможностей для саморегулируемого обучения. После подсчёта количественных результатов по этим показателям и среднего арифметического по каждому курсу, качество преподавания в целом оценивается как «несколько эффективное», «эффективное» и «высокоэффективное». Доступ к результатам такого исследования имеют сам преподаватель и руководство факультета. Данные опроса, как количественные, так и качественные (развернутые ответы студентов на вопросы анкеты), затем анализируются на каждом факультете и учитываются при ежегодной аттестации преподавателей.

На основе отзывов о качестве программы обучения составляется анкета, распространяемая среди магистрантов сразу после сдачи выпускного экзамена. Студенты, завершающие программу обучения в магистратуре, отвечают на 12 вопросов о том, достигли ли они следующих целей (список составлен АБА):

1. Понимание важности электронных технологий и сетей в информационной практике;

2. Гибкость и способность принимать изменения в техноемкой и наукоемкой среде и управлять ими;

3. Способность проектировать и внедрять информационные системы, а также управлять ими в сетевой среде для создания, организации и распространения информации;

4. Способность разрабатывать и внедрять концептуальные и технические структуры организации информации в любом формате для эффективного доступа к информации;

5. Понимание информационного поведения человека и использование в разработке и внедрении информационных систем, отвечающих запросам пользователей;

6. Способность производить оценку, синтез и презентацию информации для использования клиентами;

7. Уровень коммуникативных навыков, необходимый для личного и профессионального роста и общения в профессиональной среде;

8. Приверженность философии, принципам правовой и этической ответственности библиотечно-информационной  профессии;

9. Понимание влияния информационной политики, практики и самой информации на различные группы населения в техническом глобальном обществе;

10. Дополнительные знания и умения, соответствующие личным интересам, специализации и карьерным целям;

11. Понимание важности профессионального развития, продолжения образования и участия в профессиональных организациях;

12. Способность соотносить методы и содержание других дисциплин с информационной отраслью знаний и понимание вклада информационных наук в развитие других дисциплин.

На каждый вопрос магистранты выбирают один ответ из пяти вариантов: «полностью согласен», «согласен», «не знаю», «не согласен», «полностью не согласен». Данные анкетирования за каждый год, начиная с 2006 г., анализируются и предоставляются в открытом доступе для всех интересующихся на веб-сайте Отделения библиотечно-информационных наук (http://www.lis.unt.edu/main/ViewPage.php?cid=29). Например, результаты анкетирования, проведённого в 2012 г., показали: на 9 из 12 вопросов о полученных знаниях и навыках наибольшее число  респондентов ответило «полностью согласен» (strongly agree), а на три – «согласен» (agree). Это означает, что респонденты в целом считают: программа обучения в магистратуре дала им необходимые знания по каждому из 12 ожидаемых результатов обучения.

Отделение библиотечных и информационных наук факультета информации Университета Северного Техаса также регулярно проводит анкетирование работодателей, принявших на работу выпускников программы. Кроме того, Отделение активно сотрудничает со своими выпускниками по вопросам контроля качества: получает и анализирует отзывы выпускникoв с помощью «Анкеты недавнего выпускника», распространяемой среди тех, кто окончил программу обучения год назад. Некоторые из самых выдающихся выпускников работают в Совете консультантов, куда входят известные профессионалы в области библиотечно-информационных наук, представители высшего руководства научных, публичных, университетских, школьных и специальных библиотек, а также информационных центров и профессиональных ассоциаций.

Члены Cовета информируют преподавателей и руководителей магистратуры о новых тенденциях и потребностях в отрасли, o навыкaх, которыми выпускники программы должны обладать, чтобы быть успешными. Эти рекомендации дают возможность улучшать как отдельные учебные материалы, так и учебные программы в целом.

Все перечисленные выше способы оценки качества являются непрямыми и отражают то, как студенты, выпускники и работодатели воспринимают качество библиотечного и информационного образования. Для полноты картины используется и гораздо более объективный – прямой – способ оценки качества, основанный на результатах выпускного экзамена.

Во время последнего семестра обучения студенты программы сдают письменный выпускной экзамен. Экзаменационный комитет выбирает для экзамена 10 вопросов, каждый из которых отображает один или более из трёх ключевых результатов обучения студентов магистерской программы библиотечно-информационных наук – знания и навыки в области: организации информации и информационных систем, информационных ресурсов и информационных услуг, управления библиотечно-информационными центрами.

Экзамен проводится в режиме онлайн. В течение недели магистранты должны написать три работы (по 7–9 страниц). Им предлагается на выбор 10 тем-вопросов. Каждое из сочинений оценивают два преподавателя Отделения библиотечно-информационных наук и выставляют оценку – «зачёт» либо «незачёт» (проверяющие не знают, чьи работы они проверяют, и не обсуждают их между собой). Чтобы успешно сдать экзамен, магистрант должен получить «зачёт» по каждому из трёх сочинений (если зачтено только одно или два, экзамен не сдан).

Если оба проверяющих поставили «зачёт», работа оценивается как успешная, если – «незачёт» (оба проверяющих должны представить экзаменационному комитету письменное обоснование), магистрант не сдал экзамен (ему предоставляется вторая попытка в следующем семестре). В том случае, когда мнения преподавателей разошлись, работу оценивает третий проверяющий и выставляет оценку. Экзаменационный комитет уведомляет магистрантов и руководство факультета о результатах экзамена.

Проверяющие не только выставляют «зачёт» или «незачёт», но и заполняют анкету, в которой оценивают каждую работу по пятибалльной системе по трём параметрам: полнота ответа на вопрос; правильность ответа; качество изложения мыслей и использования источников (включая точность цитирования).

Экзаменационный комитет результаты анкетирования анализирует и использует для экзаменационных вопросов, отражающих ключевые результаты обучения – знания и навыки в таких областях, как организация информации и информационных систем, информационных ресурсов и информационных услуг и  управления библиотечно-информационными центрами. Начиная с лета 2011 г. такой анализ проводится каждый семестр (т.е. три раза в год) и позволяет не только получить объективную количественную оценку качества программы обучения, но и увидеть её динамику. Количественные данные используются в ежегодных отчётах Отделения библиотечно-информационных наук, предоставляемых в Ассоциацию колледжей и школ юга США.

Отделение библиотечно-информационных наук стремится к тому, чтобы 70% написанных студентами выпускных сочинений по каждому из трёх названных выше ключевых результатов обучения имели общий рейтинг не менее 3,33 из 5, а также, чтобы 70% выпускных сочинений по каждому из трёх основных результатов обучения имели средний рейтинг не менее 3,33 из 5 по полноте ответа на вопрос и качеству изложения мыслей и использования источников.

В табл. 1 представлен образец расчётов по приведённым выше показателям для одного из трёх ключевых результатов обучения магистрантов (по данным рейтинга экзаменационных ответов за один семестр с использованием программы Microsoft Excel).

Таблица 1

Каждая строчка в таблице отражает результаты рейтинга одного ответа одного студента, которого экзаменовал один проверяющий. Первая колонка слева содержит номер вопроса, вторая – номер студента, третья – общую оценку за ответ на экзаменационный вопрос («зачёт» или «незачёт»), с четвертой по шестую – значения рейтинга ответа для показателей в области полноты и правильности ответа, качества изложения мыслей и использования источников.

Седьмая колонка с цифрами красного цвета отображает, насколько каждый экзаменационный ответ соответствует общей задаче (средний рейтинг выпускного сочинения составляет не менее 3,33 из 5). Три колонки справа с цифрами синего цвета показывают, насколько каждый экзаменационный ответ соответствует задаче достигнуть рейтинга не менее 3,33 по полноте ответа, правильности ответа и качеству изложения мыслей и использования источников. Цифра 1 в любой из четырёх колонок с седьмой по десятую означает «соответствует», цифра 0 – «не соответствует». В нижней части колонок с четвёртой по шестую подсчитываются средние значения рейтинга по каждому из показателей для экзаменационных ответов студентов. И, наконец, в нижней части колонок с седьмой по десятую вычисляется процент экзаменационных ответов, взявших планку в 70 % ответов с рейтингом от 3,33 в общем (седьмая колонка), по полноте ответа (восьмая колонка), по правильности ответа (девятая колонка) и по качеству изложения мыслей и использования источников (десятая колонка).

На рис. 1 показаны количественные данные по общему показателю (% ответов с рейтингом от 3,33 в общем) для всех трёх ключевых результатов обучения студентов в динамике за период с летнего семестра 2011 г. по осенний семестр 2012 г.

Рис. 1. Динамика результатов обучения студентов в областях организации информации и информационных систем, информационных ресурсов и доступа к информации
и управления библиотечно-информационными центрами

Из графика видно: по состоянию на осенний семестр 2012 г. поставленная задача по общему показателю выполнена, но результаты пока нестабильны и колеблются от семестра к семестру (особенно в летнем семестре 2012 г.). В области информационных ресурсов и доступа к информации положение наиболее стабильно, однако показатели слегка снизились за последний семестр.

В табл. 2 показаны количественные данные по показателям полноты и правильности ответа на вопрос, качества изложения мыслей и использования источников для каждого из трёх ключевых результатов обучения студентов за тот же период.

Таблица 2

Полнота и правильность ответа на вопрос, качество изложения мыслей
и использования источников в экзаменационных работах (%)

Как видно из таблицы, не все задачи, поставленные Отделением библиотечно-информационных наук, выполнены:  лишь в осеннем семестре 2011 г. результаты по всем критериям взяли планку в 70%.

Результаты показывают, где необходимо приложить дополнительные усилия для улучшения подготовки студентов. Например, качество изложения мыслей и использования источников (включая цитирование) требуют дополнительного внимания, поскольку за период, представленный в табл. 2, показатели по этому критерию  трижды оказывались на уровне 50% или ниже. В частности, этот критерий следует учитывать в преподавании организации информации и информационных систем, а также – управления библиотечно-информационными центрами. Полнота ответа на вопрос также заслуживает внимания в контексте ответов на экзаменационные вопросы об информационных ресурсах и доступе к информации.

Иногда результаты обучения (особенно при сопоставлении данных, полученных несколькими  разными методами оценки эффективности) оказываются довольно неожиданными. Например, организация информации и информационных систем традиционно считалась сильным направлением подготовки магистров на Отделении библиотечно-информационных наук факультета информации Университета Северного Техаса. Несколько преподавателей Отделения активно занимаются исследованиями в этой области, и отзывы студентов и выпускников свидетельствуют о высоком качестве обучения. Однако, как следует из результатов исследования (в том числе опросов, анализа анкетирования), ни один из трёх показателей качества ответов студентов в этих областях не достиг отметки в 70%. Это указывает, в частности, на необходимость увеличить количество практических заданий, разработать и включить в учебную программу дополнительные предметы в этих областях, привлекать дополнительных преподавателей.

Методы оценки эффективности программы обучения магистров библиотечных и информационных наук, используемые в Университете Северного Техаса, позволяют получить как субъективные (непрямые) так и объективные (прямые) количественные показатели, которые помогают планировать необходимые изменения в программе преподавания.

Список источников

1. American Library Association. Alphabetical list of institutions with ALA-accredited programs. – Chicago: American Library Association, 2013. – Режим доступа: http://www.ala.org/accreditedprograms/directory/alphalist

2. American Library Association. Standards for accreditation of Master's programs in Library & Information Studies. – 3rd ed. – Chicago: American Library Association, 2008. – 14 p. – Режим доступа: http://www.ala.org/accreditedprograms/files/standards/standards_2008.pdf

3. Applegate R. Student learning outcomes assessment and LIS program presentations // Journal of Education for Library and Information Science. – 2006. – Vol. 47, N 4. – P. 324–336.

4. Lopez C. Opportunities for improvement: advice from consultant-evaluators on programs to assess student learning. – [Chicago] : North Central Accreditation Commission on Institutions of Higher Education, 1997. – 20 p. – Режим доступа: www.k-state.edu/assessment/plans/readings/97assess.pdf‎

5. Palomba C. A., Banta T. W. Assessment essentials: planning, implementing, and imp­roving assessment in higher education. – San Francisco : Jossey-Bass, 1999. – 405 p.

6. Purser L. Report on Council of Europe seminar on recognition issues in the Bologna Process, Lisbon, April 2002 // Bergan S. (ed), Recognition Issues in the Bologna Process. – 2003. – 292 p. – Режим доступа: http://book.coe.int/EN/ficheouvrage.php?PAGEID=36&lang=EN&produit_aliasid=1618

7. Suskie L. Assessing student learning: a common sense guide. – Bolton, Mass. : Anker, 2004. – 384 p.

8. Watson-Boone Р., Weingand D. Profiles of constituent groups: indicators of effectiveness of schools of library and information studies // Journal of Education for Library and Information Science. – 1995. – Vol. 36, N 2. – P. 104–125.

9. Watson-Boone Р., Weingand D. Deans rank indicators of effectiveness for schools of library and information studies // Journal of Education for Library and Information Science. – 1996. –
Vol. 37, N 1. – P. 30–43.