И. Б. Стрелкова, В. В. Сидорик
Квалиметрия образовательного процесса
в системе дополнительного профессионального
образования взрослых: модельный подход
Рассмотрены организация и оценка качества образовательного процесса в системе дополнительного профессионального образования взрослых с точки зрения квалиметрического и модельного подходов. Представлены: опыт кафедры «Информационные технологии» Республиканского института инновационных технологий Белорусского национального технического университета по разработке альтернативных средств оценивания педагогической деятельности андрагогов; результаты оценки степени удовлетворённости содержанием курса повышения квалификации «Информационное и программное обеспечение профессиональной деятельности (библиотечное дело)», процессом и условиями обучения, а также самооценка изменений, которые произошли в процессе обучения сотрудников университетских библиотек Беларуси.
Ключевые слова: Республиканский институт инновационных технологий Белорусского национального технического университета, организация и оценка качества образовательного процесса, система дополнительного профессионального образования, измерение качества и эффективности учебного процесса.
На современном этапе развития системы дополнительного профессионального образования (ДПО) взрослых вопрос об оценке его качества и эффективности является одним из доминирующих.
В отношении сущности понятия качество обучения в системе ДПО в науке нет единого мнения. Мы будем рассматривать качество ДПО взрослых как степень удовлетворения запросов потребителей профессионально-образовательных услуг (взрослого обучающегося, работодателя, общества, государства), степень «пригодности» выпускника системы ДПО взрослых к эффективной и квалифицированной профессиональной деятельности.
В условиях развития информационного общества и формирования общества знаний в педагогической науке (и в педагогике взрослых) существует тенденция перехода от описательности к моделированию и проектированию новой реальности, осмыслению особенностей развития человека, в том числе в процессе его образовательной деятельности. Этот подход получил название «педагогическое моделирование» [1, 2]. Таким образом, закономерным шагом в решении нами исследовательских задач является рассмотрение системы представлений об учебном процессе и его качестве в ДПО взрослых как модели формирования знаний и профессиональных компетенций слушателей.
Миссия этой модели аналогична эксперименту в педагогической науке. Подобно педагогическому эксперименту, способному быть не только средством познания педагогических процессов, но и инструментом, с помощью которого отыскиваются новые пути совершенствования педагогических отношений, наш эксперимент может заключаться, в конечном счёте, в выявлении объективно существующих управленческих и организационно-педагогических условий эффективной реализации процесса формирования информационно-образовательной среды. Слушатели системы ДПО взрослых выступают в качестве объекта формирования и развития; субъектом выступают руководство учреждения ДПО (юридическое лицо) и профессорско-преподавательский состав как непосредственный участник процесса формирования знаний и профессиональных компетенций слушателей.
Один из элементов данной модели – подсистема квалиметрии (измерения качества и эффективности) учебного процесса [3. С. 3]. Известно, что квалиметрический подход базируется на концептуальных положениях теории педагогических измерений, массовости и независимости процедур экспертных оценок, тестирования, методах математической статистики и педагогического интерпретационного анализа. Всё это может обеспечить чёткость, упорядоченность, достаточную объективность сведений о подготовленности и степени профессионально-личностного развития обучающихся в системе ДПО.
В соответствии с теорией моделирования, «особенность педагогических измерений, по сравнению с измерениями в физике, химии, экономике и др., состоит в том, что определение характеристики нередко оказывается менее строгим (корректным), а получающиеся значения характеристик – менее достоверными. Некорректность связана не только с нечёткостью формулировки, но и с нечёткостью выделения элементов носителя» [4. С. 12]. Как правило, такая нечёткость характерна в большей степени для психолого-педагогических исследований. Практика показывает, что даже при наличии достаточно чётких критериев оценивания возникают спорные ситуации, для разрешения которых приходится прибегать к оценкам экспертов.
В Республиканском институте инновационных технологий Белорусского национального технического университета (РИИТ БНТУ) средством оценивания педагогической деятельности преподавателей является Анкета слушателей, цели которой – изучение качества образовательных услуг, предоставляемых РИИТ, определение путей улучшения деятельности по повышению квалификации, переподготовке, стажировке. Слушателей – участников анкетирования – просят: 1) оценить степень своей удовлетворённости содержанием и преподаванием учебных дисциплин и организацией учебного процесса (по 10-балльной шкале); определить значимость этих критериев и коэффициенты их весомости (в процентах); 3) изложить свои предложения и пожелания по повышению качества обучения.
Возникает вопрос: что именно измеряется с помощью той или другой методики педагогического измерения, анкетирования и оценивания? В данном случае мы можем говорить о двойственности измерения: существует, с одной стороны, модель анкетирования и её восприятие слушателями и анкетирующими; с другой – модель интерпретации результатов анкетирования разработчиками; часто случается, что эти модели не совпадают. Таким образом, чрезвычайно актуален вопрос об адекватности (корректности, достоверности, доступности, эффективности) любой педагогической модели [4. С. 13].
Следует признать, что в настоящее время в системе ДПО взрослых недостаточно разработаны методологические и методические вопросы количественной и качественной оценки педагогической деятельности преподавателя-андрагога. Эталонным критерием оценки является, как правило, 100% (абсолютное большинство мнений слушателей).
Когда идёт речь о качестве образовательного процесса, мы определяем его как «соответствие принятым нормам». Ориентируясь на стандарт ISO 9001:2008 (СТБ ISO 9001-2009) и модель EFQM, будем говорить о качестве условий, процесса и результатов. Безусловно, представление слушателей о качестве учебного процесса в целом складывается, прежде всего, из представлений о качестве деятельности преподавателя как организатора, эксперта в определённой области знаний, фасилитатора, медиатора и модератора обсуждений и др. В то же время, как показывает практика и результаты исследований, качество учебного процесса будет оцениваться взрослыми слушателями относительно степени их собственной вовлечённости в учебный процесс.
Неудовлетворённость вызывают такие факторы, как низкий уровень интерактивности занятий (невозможность задействовать свой опыт и ознакомиться с деятельностью других участников учебной программы при обсуждении конкретных практических и управленческих задач); знакомство с теоретическими концепциями, не привязанными к конкретному опыту слушателя или его коллег (это вызывает ощущение некомпетентности преподавателя, его неспособности «проблематизировать» теорию на практике, формирует отношение к учебной дисциплине или всей образовательной программе как к неактуальной, неприкладной, неинтересной); «перенос» во взрослую аудиторию методики работы со студентами в вузе (слушатели считают необходимым выстраивать «обращение со взрослым не как с “пустым сосудом”, а как с коллегой, приносящим в обучение свой предшествующий опыт»).
Положительный отклик вызывают «построение отношений на основе сотрудничества и обмена идеями» [5. С. 186], использование вузовской системы оценивания знаний: взрослые слушатели приветствуют интерактивные, инновационные технологии оценивания качества полученных ими знаний и сформированных профессиональных компетенций (примером может служить доказавшая свою эффективность технология проведения письменного экзамена на кафедре «Информационные технологии» РИИТ БНТУ [6]) и др.
Перечисленные представления слушателей о качестве учебного процесса позволяют сделать вывод: существующая в настоящее время в РИИТ модель анкетирования недостаточно проработана и практически реализована; она не даёт возможности получить представление об адекватности модели оценивания качества учебного процесса и может служить лишь средством негативного воздействия на преподавателя, подчас необоснованно.
На наш взгляд, в анкету следует включить «инструментальные» критерии качества учебного процесса, относящиеся к его содержанию, условиям (объективно зависящим и не зависящим от преподавателя), методам и формам, например: инновационность содержания программы обучения; соответствие содержания заявленной программе; актуализация результатов образования (возможность немедленного применения на практике приобретённых на курсах знаний и компетенций); актуализация индивидуального опыта слушателей и его использование в качестве важного образовательного ресурса; качество подготовки учебных материалов, их доступность для восприятия; техническая и программная оснащённость занятий; применение новых методов и технологий в обучении; изложение преподавателями материала в живой, интересной форме; оценка слушателями изменений, которые, по их мнению, произошли с ними в процессе обучения на курсах повышения квалификации (получили и количественно оценили новые знания, повысили свой профессиональный уровень, переосмыслили свои профессиональные цели и задачи, усилили желание работать по-новому и поделиться своим опытом с коллегами; получили повышение в должности и др.).
Содержание анкеты, модель анализа и интерпретации результатов должны быть известны слушателям до проведения анкетирования. При необходимости им должен быть раскрыт (детализирован) смысл понятий (вопросов), т.е. модель анкеты.
Кафедра «Информационные технологии» в порядке эксперимента разработала и опробовала новую Анкету обратной связи для слушателей РИИТ. В течение 2013/2014 учебного года на кафедре прошли обучение по программе повышения квалификации «Информационное и программное обеспечение профессиональной деятельности (библиотечное дело)» (80 часов; выпускная работа как форма итогового контроля) 4 группы слушателей (65 человек) – сотрудники университетских библиотек Беларуси (Научной библиотеки БНТУ, Фундаментальной библиотеки Белорусского государственного университета, библиотек Барановичского государственного университета, Белорусского государственного аграрно-технического университета, Белорусского государственного технологического университета, Академии управления при Президенте Республики Беларусь).
По завершении программы обучения слушателям было предложено оценить содержание курса, процесс и условия обучения по двум параметрам – удовлетворённость и важность (по 5-балльной шкале); дать самооценку изменений, которые произошли в процессе обучения (выбор вариантов из перечня предложенных). При этом требовалось указать в процентном отношении объём учебных занятий, которые посетил слушатель.
Анкетирование показало следующие результаты (с учётом того, что 5 баллов означает «Отлично. Вы весьма удовлетворены. Результат превзошёл Ваши ожидания», а 4 балла – «Хорошо. Вы удовлетворены, но могло бы быть и лучше»):
Критерии оценки |
Степень удовлетворённости, % |
|
5 баллов |
4 балла |
|
1. Оценка содержания курса | ||
Новизна и насыщенность содержания данной программы обучения по сравнению с другими |
87,5 |
12,5 |
Соответствие содержания учебного процесса заявленной программе |
93,8 |
6,2 |
Актуальность полученной информации |
93,8 |
6,2 |
Понятность излагаемой информации |
87,5 |
|
Степень сложности учебного курса |
68,8 |
37,5 |
Степень трудности учебного курса |
50 |
31,2 |
Преподаватель является экспертом в определённой области знаний |
100 |
|
Практическая полезность программы обучения (возможность немедленного применения на практике приобретённых на курсах знаний и компетенций) |
68,8 |
31,2 |
Качество подготовки учебных материалов, их доступность для восприятия |
81,3 |
18,7 |
Использование индивидуального опыта слушателей как важного образовательного ресурса |
50 |
43,7 |
Приведение преподавателем достаточного количества практических примеров |
93,8 |
6,2 |
Целостность преподавания учебного курса |
87,5 |
12,5 |
2. Оценка процесса обучения | ||
Применение новых форм, методов, технологий обучения |
87,5 |
12,5 |
Умение преподавателя излагать материал ясно, доступно, последовательно |
100 |
|
Умение преподавателя вызвать и поддержать интерес аудитории к теме |
100 |
|
Умение андрагога преподавать дисциплину в рамках учебной программы без отвлечения внимания аудитории на посторонние темы |
68,8 |
31,2 |
Интерактивность учебных занятий (возможность общения слушателей друг с другом, включая совместную работу над учебными материалами, ведение дискуссии, работу в малых группах, совместное использование прикладных программ, доклады с оппонированием и др.) |
81,3 |
18,7 |
Выстраивание общения преподавателя со слушателями, как с коллегами, на основе сотрудничества и обмена идеями |
87,5 |
12,5 |
Использование технологий комплексной, объективной и количественной оценки результатов обучения (в том числе интерактивных, инновационных технологий) |
87,5 |
12,5 |
Учёт преподавателем степени подготовленности слушателей |
62,5 |
37,5 |
Возможность выбора слушателем форм и методов итогового контроля |
56,3 |
31,3 |
Возможность продолжения общения с преподавателем за пределами учебной аудитории |
87,5 |
12,5 |
3. Оценка условий обучения | ||
Организация учебного процесса в чётких временных и программных рамках |
62,5 |
31,3 |
Обеспеченность учебного процесса учебно-методическими материалами |
93,8 |
6,2 |
Учёт специфики работы слушателей при составлении графика учебных занятий, зачётов, экзаменов |
56,3 |
37,5 |
Обеспеченность учебных занятий современными техническими и программными средствами |
100 |
|
Формирование учебных групп с учётом уровня подготовки слушателей |
43,8 |
37,5 |
Наши респонденты – руководители и специалисты университетских библиотек Беларуси, слушатели РИИТ БНТУ – дали оценку изменениям, которые произошли с ними в процессе обучения на курсах повышения квалификации, выбрав варианты из перечня предложенных:
Одним из базовых механизмов процесса реализации квалиметрического подхода в системе ДПО взрослых является квалиметрическое сопровождение индивидуального профессионально-личностного роста специалиста в процессе дополнительного обучения, под которым понимается систематический и последовательный процесс диагностики выделенных объектов квалиметрии в образовательном процессе как системы с целью оптимального управления его функционированием и развитием [3. С. 21].
Квалиметрическое сопровождение обеспечивает, с одной стороны, своевременную корректировку необходимых и адекватных изменений индивидуальной образовательной траектории взрослого обучающегося, с другой – повышает степень социального доверия слушателей к учреждению ДПО взрослых (87,5% респондентов выразили готовность рекомендовать другим сотрудничать с РИИТ БНТУ: повышать квалификацию, проходить переподготовку, стажировку и др.).
Нам представляется, что адекватность результатов реализации модели анкетирования будет способствовать построению эффективной модели обучения и, соответственно, повышению удовлетворённости качеством учебного процесса в целом, повысит конкурентоспособность РИИТ БНТУ среди других учреждений ДПО взрослых Беларуси.
Список источников
1. Дахин А. Н. Педагогическое моделирование: сущность, эффективность и ... неопределённость / А. Н. Дахин // Педагогика. – 2003. – № 4. – С. 21–26.
2. Дахин А. Н. Педагогическое моделирование как средство модернизации образования в открытом информационном сообществе / А. Н. Дахин // Стандарты и мониторинг в образовании. – 2004. – № 4. – С. 46–60.
3. Квалиметрия учебно-воспитательного процесса вуза: теория и практика : учеб.-метод. пособие / Н. И. Мицкевич [и др.] ; под ред. Н. И. Мицкевича. – Минск : РИВШ, 2011. – 122 с.
4. Мельников Ю. Б. Об адекватности модели [Электронный ресурс] / Ю. Б. Мельников, Ю. Ю. Мельникова, Н. В. Мельникова // Вестник Томского государственного педагогического университета. – 2006. – № 3. – Режим доступа: http://cyberleninka.ru/article/n/ob-adekvatnosti-modeli. – Дата доступа: 14.01.2014.
5. Солтицкая Т. А. Бизнес-образование для взрослых: методические аспекты [Электронный ресурс] / Т. А. Солтицкая // Вестник Санкт-Петербургского университета. Серия 8: Менеджмент. – 2006. – Вып. 1. – С. 184–198. – Режим доступа: http://www.vestnikmanagement.spbu.ru/archive/pdf/247.pdf – Дата доступа: 14.01.2014.
6. Стрелкова И. Б. Оценивание в образовании взрослых: письменный экзамен как инструмент мотивационного обучения и развития / И. Б. Стрелкова, В. В. Сидорик // Профессиональное образование. – 2014. – № 1. – С. 23–29.