Критерии оценки эффективности дистанционного обучения по различным моделям. Дистанционное образование: эффективное обучение или самообман? Критерии и показатели для дистанционного обучения

Многие организации в настоящее время предпочитают проводить обучение на рабочем месте. Наиболее часто применяется дистанционное обучение (ДО).

Дистанционное обучение – способ реализации процесса обучения, основанный на использовании современных информационных и телекоммуникационных технологий, позволяющих осуществлять обучение на расстоянии без непосредственного, личного контакта между преподавателем и учащимся.

Определение говорит само за себя – обучение на расстоянии; это не подразумевает сотни километров между преподавателем и студентом. Дистанционное обучение – это прежде всего отсутствие необходимости ходить в какое-либо учебное заведение в строго предписанное расписанием время, выполнять программу курса в установленном порядке. ДО обеспечивает возможность учиться тогда, когда удобно, в том темпе и в такие сроки, которые выберет обучающийся. При этом не нужно тратить время на дорогу. ДО в современном мире осуществляется с помощью таких технологий, как Интернет в голосовом и текстовом режимах, e-mail, телефонная связь, видеоконференции и традиционная пересылка учебных материалов обычной почтой (печатных, аудио-, видео- и электронных учебных материалов). Эти технологии являются связующим звеном между студентом (обучающимся) и образовательным центром, которых могут разделять тысячи километров.

Дистанционное образование – это образование, реализуемое посредством дистанционного обучения, по завершении которого выдается диплом или иной документ.

Например, в компании "Русь-Банк" для обучения персонала внедрена система дистанционного обучения. В основном все курсы (более 40 курсов) созданы силами сотрудников банка. А если подсчитать все расходы, связанные с проведением очного обучения (заработная плата тренеров, командировочные и т.д.), то получится огромная сумма, т.е. экономический эффект от внедрения системы ДО не вызывает сомнений. В банке регулярно разрабатываются новые продукты, внедряются новые программы и без системы ДО было бы невозможно в короткие сроки организовать обучение такого количества сотрудников. Таким образом, система ДО позволяет банку быстро реагировать на изменения и налицо экономический эффект от внедрения системы.

Однако не все сотрудники банка сразу приняли систему ДО. Потребовалось время, чтобы привыкнуть к этому новому способу обучения.

Компания "Интермедсервис" (занимается комплексными поставками медицинского оборудования и фармпрепаратов) также внедрила систему дистанционного обучения. В качестве достигнутых результатов (количественных и качественных) с помощью системы ДО компания выделяет следующие.

  • 1. Позволяет одновременно обучать и тестировать всех сотрудников компании, включая филиалы.
  • 2. Автоматизирован процесс оценки (тестирование и ежегодная оценка) и аналитической отчетности (по очному и дистанционному обучению) по своим сотрудникам.
  • 3. Эффективно работает система адаптационного обучения вновь принятых сотрудников.
  • 4. Сокращены затраты на обучение топ-менеджмента (путем использования ДО и тьютерской поддержки).

В процессе функционирования системы многие сотрудники стали сами подавать заявки на активацию курсов.

Оценка эффективности обучения

Этап оценки эффективности обучения является завершающим в цикле обучения. Эффективность обучения определяется тем, достигли он заявленных целей и задач. После обучения участников нужно попросить заполнить анкету обратной связи.

Например, один из вариантов оценочных листов для сотрудников включает следующие вопросы:

  • – достигла ли программа заявленных целей;
  • – будут ли применять полученные знания в работе и какие;
  • – насколько полным и понятным было содержание обучения;
  • – как оцениваете работу тренера;
  • – каковы сильные и слабые стороны программы?

Метод анкетирования или обратной связи является самым распространенным и широко применимым.

Для того чтобы выявить, как новые навыки применяются, можно через некоторое время после обучения попросить участников заполнить еще один вопросник:

  • 1. Какие навыки удалось применить на рабочем месте?
  • 2. Какие инструменты и методики считаете полезными?
  • 3. О чем можно рассказать коллегам как о главном открытии обучения?

Помимо сотрудников оценочный лист должен заполнить и линейный менеджер, с подачи которого формировался заказ на обучение. Ему необходимо ответить на следующие вопросы:

  • – изменилось ли что-нибудь в работе подчиненного, что именно;
  • – получили ли сотрудники заявленные знания и навыки и смогли ли их применить;
  • – если нет, то почему;
  • – как изменились результаты бизнеса?

Чтобы обучение было эффективным, требуется выполнение следующих условий:

  • 1. Ориентироваться на оценку эффективности работы сотрудников на их рабочих местах до и после обучения.
  • 2. Разрабатывать короткие курсы, которые закрепляют новые знания.

Если проводить такую оценку регулярно, то она позволит понять тенденции и динамику изменения ситуации на предприятии. Затем проводить ситуативный анализ, т.е. постановку следующей цели и определение того, каких знаний недостает сотрудникам на данный момент. Эти этапы повторяются на предприятии из года в год. Такая система позволяет повышать квалификацию персонала, дает возможность избегать ненужных расходов.

Рассмотрим пример: компания проводила в учебном центре обучение сотрудников. Цена одного курса 26 000 руб. – оплата тьютера, затраты на подготовку помещения, аренда и т.д. Заработная плата сотрудника в компании – около 200 руб/ч. Длительность обучения – 16 ч. Стоимость обучения сотрудников можно рассчитать по формуле

= (R t) + Цк, (7.1)

где S о – стоимость обучения, руб.; R – заработная плата сотрудника, руб.; t – объем курса (в часах); Цк – цена курса, руб.

Sо = 200 16 + 26 000 = 29 200 руб.

В часы, занятые обучением, работники не производят материальных ценностей, следовательно, компания несет двойные потери: недополучает прибыль вследствие отвлечения от работы и затрачивает средства на обучение.

Рис. 7.6.

В ОАО "Ростелеком" оценка эффективности обучения является одним из важных этапов обучения персонала.

Оценка эффективности является инструментом контроля:

  • над эффективностью используемых форм и способов обучения;
  • правильностью выявления потребности в обучении;
  • своевременностью проведения обучения;
  • общей результативностью мероприятий по обучению и развитию персонала;
  • эффективностью финансовых вложений в обучение и развитие персонала;
  • измерением влияния человеческого фактора на бизнес- результаты компании;
  • повышением "прозрачности" и управляемости организации обучения.

С помощью критериев оценки обучения можно определить эффективность различных способов оценки (табл. 7.2).

Таблица 7.2

Способы оценки результатов обучения и их эффективность

Оцениваемый критерий

Способы оценки

1. Степень удовлетворенности участника обучения

  • полезностью обучения;
  • программой и преподавателем;
  • подготовкой администрированием обучения
  • 1. Анкетирование/интервьюирование участника обучения.
  • 2. Интервьюирование линейного руководителя участника обучения на предмет удовлетворенности последнего пройденным обучением

2. Степень усвоения учебного материала

Изменение знаний, навыков, установок и мотивации участника обучения

  • 1. Анкетирование самооценки знаний, навыков, установок, мотивов участником обучения.
  • 2. Анкетирование/интервьюирование тренера/ преподавателя (отчет).
  • 3. Контрольные упражнения (специально разработанные тесты, опросники и задания, позволяющие качественно измерить изменения)

3. Динамика изменения рабочего поведения участника обучения, в том числе его компетенций

Изменение рабочего поведения и компетенций участника обучения. Комплексное применение на практике полученных на тренинге знаний и навыков

  • 1. Наблюдение тренера- консультанта за работой участника обучения.
  • 2. Регулярная оценка (аттестация).
  • 3. Оценка методом "360 градусов"

4. Динамика изменения результатов деятельности участника обучения

Изменение результатов достижения индивидуальных целей участника обучения, бизнес показателей группы и структурного подразделения в целом после проведенного обучения

  • 1. Оценка индивидуальных результатов.
  • 2. Оценка результатов подразделения

5. Динамика изменения результатов деятельности компании и финансовый эффект от обучения

Эффективность от вложения инвестиций в обучение

Эффективность: доход от программы – затраты на программу

После анализа результатов обучения любым из перечисленных способов сотрудник по работе с персоналом ОАО "Ростелеком" выявляет лучший и при необходимости готовит предложения по совершенствованию обучения.


Любая инновация должна быть оценена на предмет эффективности. Образовательная среда специфична, поскольку процесс обучения в любой форме – долгосрочное явление, на него оказывают влияние гораздо больше факторов, чем на любой другой процесс. Кроме того, образовательная услуга не является таковой в полном смысле слова, а потому весьма трудно оценить эффективность внедрения той или иной формы обучения.

Предлагаемая в проекте МБОУ СОШ №14 г.Химки инновационная идея дистанционного обучения требует разработки системы критериев эффективности. В педагогической литературе есть источники, в которых рассматриваются различные подходы к оцениванию этого показателя. Однако они во главу угла ставят эффективность именно процесса обучения, не берут в расчет экономические показатели, которые в любом проекте играют важную роль. Поэтому подойдем к этому вопросу с экономических позиций.

Будем рассматривать эффективность дистанционного обучения как коэффициент, равный отношению затрат (ресурсы, издержки и пр.) к получаемому результату и выраженный в процентах. Тогда, чем ближе значение этого коэффициента к нулю, тем более эффективна предлагаемая модель дистанционного обучения.

При этом будем оценивать эффективность с помощью критериев, где оценка каждого имеет числовое выражение, максимально простое и понятное в пределах определенной шкалы, одинаковой для всех критериев.

Разобьем все критерии на две большие группы: количественные и качественные .

Качественные, в свою очередь, рассмотрим в показателях педагогической эффективности для учащихся и показателях педагогической эффективности для учителя .


Рассмотрим количественные критерии затрат:

  • затраты на оборудование, необходимое для реализации той или иной модели дистанционного обучения;

  • затраты на обучение кадров, обеспечивающих ход учебного процесса в дистанционной форме по предлагаемым моделям;

  • затраты на заработную плату педагогических и иных кадров, занятых в проекте;

  • общее учебное время (в часах), выделенное на реализацию той или иной модели;

  • затраты на обеспечение бесперебойного доступа к сети Интернет, с высоким качеством связи;

  • время, затрачиваемое педагогами на подготовку к урокам, подготовку и передачу материалов и заданий для учащихся.
Рассмотрим качественные критерии затрат:

  • наличие нормативной базы документов, регламентирующих дистанционное обучение детей по различным моделям;

  • уровень квалификации педагогических кадров;

  • сложность реализации модели дистанционного обучения;

  • сложность построения курса дистанционного обучения по той или иной модели.
Рассмотрим количественные критерии результатов:

  • уровень интеллектуального развития учащегося (например, качество знаний, степень обученности);

  • количество запросов на проведение тех или иных курсов в рамках предлагаемых модулей;

  • частота участия детей в конкурсах, смотрах, соревнованиях и пр.;

  • результативность участия в различных мероприятиях учащихся;

  • результаты итоговой аттестации учащихся;

  • количество участников процесса обучения (объем целевой аудитории);

  • количество поступивших в ВУЗы и др. учебные заведения.
Рассмотрим качественные критерии результатов:

  • показатели работоспособности учащихся;

  • мотивационная устойчивость учителя;

  • сложность и востребованность знаний по курсам;

  • разработка систем оценивания деятельности учащегося;

  • разработка системы контроля работы педагога;

  • рациональность и эффективность использования оборудования;

  • оценка учащимися результатов обучения.
Каждый из указанных критериев легко оценить, например, по 10-бальной шкале, если задать текстовый эквивалент этой оценки. Например, разработав специальную форму, представленную для каждого из критериев ниже в таблицах 1, 2, 3 и 4.

Таблица 1. Форма оценивания количественных критериев затрат



Название критерия

Балл (1 – 10)

Оценка модуля



Диапазон критерия

Меньше A тыс. Руб.

Больше A тыс. Руб.

Затраты на оборудование, необходимое для реализации той или иной модели дистанционного обучения

1

10

Затраты на обучение кадров, обеспечивающих ход учебного процесса в дистанционной форме по предлагаемым моделям;

1

10

Затраты на заработную плату педагогических и иных кадров, занятых в проекте;

1

10

Затраты на обеспечение бесперебойного доступа к сети Интернет, с высоким качеством связи

1

10

Диапазон критерия

Меньше A часов

Больше A часов

Общее учебное время (в часах), выделенное на реализацию той или иной модели

1

10

Время, затрачиваемое на подготовку у урокам педагогами, подготовку и передачу материалов и заданий для учащихся

1

10

Таблица 2. Форма оценивания качественных критериев затрат

Название критерия

Балл (1 – 10)

Оценка модуля

% от общего числа баллов по всем критериям данной группы

Диапазон критерия

Разработана не полностью

Разработана полностью

Наличие нормативной базы документов, регламентирующих дистанционное обучение детей по различным моделям

1

10

Диапазон критерия (исходя из доли педагогов высшей и первой категории)

Низкий уровень

Высокий уровень

Уровень квалификации педагогических кадров

1

10

Диапазон критерия

Низкая сложность

Высокая сложность

Сложность реализации модели дистанционного обучения

1

10

Сложность построения курса дистанционного обучения по той или иной модели

1

10

Таблица 3. Форма оценивания количественных критериев результатов



Название критерия

Балл (1 – 10)

Оценка модуля

% от общего числа баллов по всем критериям данной группы

Диапазон критерия

Низкое качество знаний

Высокое качество знаний

Уровень интеллектуального развития учащегося (например, качество знаний, степень обученности)

1

10

Диапазон критерия

Малое количество

Большое количество

Количество запросов на проведение тех или иных курсов в рамках предлагаемых модулей

1

10

Частота участия детей в конкурсах, смотрах, соревнованиях и пр.

1

10

Диапазон критерия

Малое количество призовых мест

Большое количество призовых мест

Результативность участия в различных мероприятиях учащихся, (можно с учетом уровня – муниципальный, областной, всероссийский, международный)

1

10

Диапазон критерия

Резльтаты итоговой аттестации ниже показателей региона

Резльтаты итоговой аттестации выше показателей региона

Результаты итоговой аттестации учащихся

1

10

Диапазон критерия

Малое количество

Большое количество

Количество участников процесса обучения (объем целевой аудитории)

1

10

Диапазон критерия

Малое количество

Большое количество

Количество поступивших в ВУЗы и др. учебные заведения

Таблица 4. Форма оценивания качественных критериев результатов



Название критерия

Балл (1 – 10)

Модуль №1

% от общего числа баллов по всем критериям данной группы

Диапазон критерия (по опросам учителей)

Низкая

Высокая

Показатели работоспособности учащихся

1

10

Диапазон критерия (по социометрическим опросам учителей)

Низкий уровень

Высокий уровень

Мотивационная устойчивость учителя

1

10



Низкая сложность

Высокая сложность

Сложность и востребованность знаний по курсам

1

10

Диапазон критерия (разработка Административно-управленческого персонала)

Разработана не полностью

Разработана полностью

Разработка систем оценивания деятельности учащегося

1

10

Разработка системы контроля работы педагога

1

10

Рациональность и эффективность использования оборудования

1

10

Диапазон критерия (по социологическим опросам учащихся)

Низкая оценка

Высокая оценка

Оценка учащимися результатов обучения

1

10

Подобные таблицы можно усложнять, добавляя в них необходимые критерии, исходя из специфики того или иного учреждения. Они составляются для каждого модуля обучения с дистанционной составляющей, внедряемого в основной образовательный процесс. После чего рассчитывается итоговое значение коэффициента эффективности каждой модели – формула 1.

­­­ - значение каждого из критериев затрат (в баллах),

- значение каждого из критериев результатов (в баллах).

Для того, чтобы достигнуть высоких значений данного коэффициента, деятельность учреждения должна следовать определенной политике, которая разграничивает и определяет работу всех структур, задействованных в проекте. Эта система действий включает следующие пункты:


  • выбор и организация той или иной модели обучения с использованием дистанционных технологий;

  • выбор педагогов, задействованных в проекте;

  • расстановка учебных часов в сетке расписания;

  • организация курсов повышения квалификации педагогических кадров;

  • организация контроля учебного процесса;

  • формирование отчетов о результативности той или иной модели;

  • формирование экспертной комиссии по оценке эффективности процесса обучения;

  • формирование нормативной базы, регламентирующей прохождение процесса с соблюдением законов, кодексов и иных государственных документов.
В учреждении должен быть определен Регламент любого учебного курса, который определяет:

  • кто разрабатывает учебные курсы;

  • как устанавливаются сроки выполнения работ по созданию учебных курсов;

  • что может быть включено (не должно быть включено) в учебный материал;

  • как должен оформляться учебный курс;

  • какие методы дистанционного обучения существуют и как их использовать;

  • как будет тестироваться готовый курс.
В настоящее время в МБОУ СОШ №14 имеются разработки по следующим пунктам:

  • имеется авторская программа по автоматизированному составлению расписания учебного процесса;

  • разработана форма и ведутся журналы для контроля учебного процесса, оценивающие количество часов с использованием оборудования, программного обеспечения, лабораторного оборудования, ресурсов сети Интернет;

  • рабочие программы по организации уроков с дистанционной составляющей;

  • таблицы для проведения Мониторинга эффективности использования оборудования;

  • материалы педагогических советов по организации дистанционного урока, видам уроков, наполнение их контентом;

  • выступления коллег на мероприятиях областного, муниципального и школьного уровня по обмену опытом;

  • формируется видеотека примеров уроков с дистанционной составляющей для детей-инвалидов.
Подведем итог: предлагаемая модель оценивания эффективности уроков с дистанционной составляющей позволяет всесторонне рассмотреть процесс дистанционного обучения по любой модели, поскольку экономические показатели не менее важны, чем педагогические в образовательном процессе. Модель проста в организации и не требует кардинальной реорганизации работы школы. Она применима для учреждений основного, среднего специального и высшего образования. Ее легко трансформировать и программировать в электронный вариант, позволяющий формировать отчеты и анализы в автоматизированном режиме.

Данную задачу наше учреждение планирует решить в сроки внедрения проекта в жизнь школы.

На что следует обратить внимание! При написании данной статьи автор пытался излагать материал насколько это возможно простым языком. Но, вполне возможно, это ему не удалось сделать в полной мере из-за очень сложной темы статьи.

Электронное дистанционное обучение прочно вошло в корпоративную систему обучения российских компаний. И не удивительно,- эта форма обучения позволяет оперативно повышать квалификацию большого количества работников непосредственно на рабочих местах, практически без отрыва от производственного процесса.

Следует отметить, что система дистанционного электронного обучения в целом состоит из множества различных электронных курсов. Эти курсы разрабатываются, тестируются на функциональность, после чего их запускают в эксплуатацию. При помощи электронных курсов персонал банка повышает свою квалификацию. От эффективности каждого в отдельности учебного курса зависит и эффективность всей СДЭО.

В течение пяти лет в банке «Возрождение» успешно функционирует система дистанционного электронного обучения (далее - СДЭО). Под выражением «успешно функционирует», понимаются показатели:

Количественные : количество разрабатываемых и принятых в эксплуатацию учебных курсов, количество сотрудников посещающих веб-портал «Обучения и развития», количество сотрудников, прошедших обучение по каждому учебному курсу.

Качественные : изменение уровня знаний до и после прохождения электронного учебного курса, оценка сотрудниками качества разработанных учебных курсов, оценка руководителями качества обучения подчиненных.

Сотрудники учебного центра банка постоянно проводят мониторинг вышеперечисленных показателей с целью контроля качества проводимого обучения. Но эти показатели не могут в полной мере отразить эффективность внедренной электронной системы дистанционного электронного обучения.

Как измерить эффективность СДЭО?

После того как СДЭО была внедрена в банке «Возрождение», был разработан первый десяток учебных курсов, началось регулярное обучение персонала, была определена необходимость в проведении оценки эффективности данной формы обучения.

Соответственно, перед ключевыми сотрудниками Учебного центра была поставлена задача разработать оценку СДЭО. В 2009 году не было найдено в деловой литературе у партнеров, которые занимаются аналогичной деятельностью необходимых образчиков оценки СДЭО, которые соответствовали бы следующим критериям: оценка должна быть максимально понятной, простой, объективной, практичной и гибкой.

Поэтому сотрудники Учебного центра самостоятельно занялись разработкой такой оценки.

    1. Вначале было дано определение термину «эффективность электронного дистанционного обучения».
    2. Составлена математическая модель расчета эффективности.
    3. Были определены критерии, влияющие на эффективность.
    4. Проведены пробные расчеты.
    5. После получения первых данных, модель расчета была немного доработана.
    6. После чего, модель была запущена в эксплуатацию.
Прежде чем детально описать модель расчета эффективности СДЭО, следует отметить, что полученные данные позволили в цифрах увидеть не только имеющиеся проблемные зоны дистанционного обучения, но и получить ответ, как их исправить. По результатам полученных данных процедура разработки учебных курсов была скорректирована.

ВАЖНО.

Данная модель расчета эффективности СДЭО была разработана исключительно для целей Учебного центра банка «Возрождение» и вполне возможно для других целей, и в других компаниях может быть неприменима.

Модель эффективность СДЭО Учебного центра банка «Возрождение»

Термин «эффективность системы дистанционного электронного обучения» означает процентное отношение протори (совокупность затраченных ресурсов, издержек) с полученными результатами.

Результатом этого отношения будет являться числовое значение между нулем и 100%.

Внимание! Чем ближе результат вычисления к нулю, тем выше эффективность, чем ближе результат вычисления к 100%, тем ниже эффективность.

Если протори равно нулю (ничего не вложено), а получаемый результат максимальный - СДЭО получается очень эффективным. Такое может быть?

И наоборот. Вложились на все 100%, а результата при этом нет, как такое может быть?

Экспериментальным путем, моделированием различных ситуаций было выявлено, что наиболее эффективной система СДЭО будет при получении расчетных данных близких к 30%. При получении расчетных данных близких к 80% и выше, СДЭО будет практически неэффективным.

Какие критерии объединены в категорию ПРОТОРИ?

Протори насчитывает пять критериев. Каждый критерий оценивается по десятибальной шкале.

Чем выше балл, тем протори будет выше, то есть затраты, издержки возрастают. Высокий протори необходимо всеми силами снижать.

Чем ниже балл, тем протори будет ниже – затраты, издержки уменьшаются. К низкому протори необходимо стремиться.

Опишем каждый критерий:

    1. Наличие документации к СДЭО
Если в компании существует детально прописанная нормативная документация к дистанционному обучению, то разработка учебного контента, создание учебных курсов, проведение обучения занимает минимум времени и ресурсов. Разработчики знают, что необходимо делать, как и в какие сроки. В этом случае этот критерий получает 10 баллов.
В случае полного отсутствия, в учебном подразделении, документов регламентирующих деятельность СДЭО, балл по данному критерию будет единица.

Какие документы необходимы, чтобы получить 10 баллов?

«Политика организации электронного дистанционного обучения» .

Чем детальнее прописаны процедуры и требования к данному типу обучения, тем проще встроить учебный процесс. Любой работник компании – от рядового сотрудника до руководителя подразделения – должен иметь возможность найти в этом документе ответы на все вопросы, касающиеся дистанционного обучения. Разделы, которые должны быть внесены в данную политику:

  • кто выступает организаторами обучения;
  • по чьей инициативе назначаются учебные курсы;
  • каким образом работникам назначаются (время, сроки, документы) учебные курсы;
  • где, как, когда сотрудник будет проходить обучение;
  • каким образом происходит контроль;
  • как, кто, когда, кому направляет отчеты с результатами;
  • зоны ответственности работников разных подразделений в области СДЭО.
«Политика разработки электронных учебных курсов» .

Документ, в котором перечисляются все стадии и требования к процессу разработки учебного курса. Целесообразно включить в эту политику следующие разделы:

  • кто может выступать заказчиками учебных курсов;
  • каким образом заказчик инициирует процедуру их разработки;
  • кто, как, когда формирует рабочую группу;
  • как устанавливаются сроки выполнения работ;
  • кто может выступать разработчиками курсов;
  • что может быть включено (не должно быть включено) в учебный материал;
  • как должен оформляться учебный курс;
  • какие методы дистанционного обучения существуют и как их использовать;
  • как будет тестироваться готовый курс;
  • каким образом курс будет принят в эксплуатацию;
  • как взаимодействовать с внешними провайдерами (в случае их привлечения).
    2.Сложность реализации электронного курса
Сложность реализации электронного курса - это критерий, который отражает насколько сложно с технической стороны реализован учебный курс.
В учебном курсе материал может быть подан различными способами:
1. В виде сплошного текста . Это самый непродуктивный способ с точки зрения обучения, но самый простой с точки зрения технической реализации.
2. В виде текстового материала и различных задач, которые помогают этот материал усвоить. (Достаточно верное решение, но при этом затратный подход). Логику задач необходимо продумывать, необходимо механизм задачи реализовать в электронном виде и самое главное необходимо описать задачу в курсе, чтобы участники поняли, что и как необходимо делать.
3. В виде бизнес-кейсов . Через решение бизнес-кейсов при помощи различных подсказок, наводящих тем, обсуждения правильных и неправильных решений участники получают наиболее устойчивые знания. Но этот подход один из самых сложных с точки зрения реализации. Как показывает опыт, для реализации такого подхода необходимы не только яркие и интересные идеи, которые как всегда в дефиците, но и грамотное техническое решение.

За наиболее простую реализацию, курс получает 1 балл. За наиболее сложную – 10 баллов. Безусловно, при создании учебного курса необходимо стремиться к наиболее простой реализации, но способ подачи учебных материалов является очень важным элементом.

ВАЖНО.

Сложность технической реализации бывает необоснованной и обоснованной. Необоснованная реализация - это когда очень простой материал «заливается» очень сложно технически. В программном продукте CourseLab компании WebSoft (работники банка «Возрождение» применяют только его), который предназначен именно для создания «заливки» учебных курсов, есть все необходимые встроенные средства для реализации очень интересных курсов. Использовать встроенные средства CourseLab - правильное решение с точки зрения «простой реализации». При этом некоторые работники, которые занимаются «заливкой» применяют программные коды, мультипликацию и дополнительные средства для придания «шарма» учебному курсу, что зачастую очень усложняет его реализацию.
Обоснованная реализация - это когда работникам необходимо передать сложные знания. Для передачи их придуманы соответствующие бизнес-кейсы, которые реализовать обычными средствами бывает невозможно.

Для того чтобы воочию оценить разные подходы к реализации учебных курсов, можно посетить сайт courselab.ru раздел «Конкурс 2011». В этом разделе сайта размещены учебные курсы, которые принимали участие в конкурсе на лучший электронный курс. Учебный курс «Проведение презентации» банка «Возрождение» занял в трех номинациях призовые места. Этот курс очень высоко интерактивен: в нем необходимо выполнять бизнес-кейсы, решать сложные задачи, искать решения. С точки зрения технической реализации он достаточно простой, потому как эта реализация осуществлялась стандартными средствами программы CourseLab.


    3. Уровень сложности знаний
Учебный курс предназначен прежде всего для передачи знаний участнику обучения. Эти знания могут быть общеизвестными: знание правил трудового распорядка в компании, корпоративной культуры, дресс-кода и др. В банковском бизнесе, многие знания являются специализированными: отличительные признаки поддельных банкнот, методы их защиты, стандарт безопасности данных индустрии платежных карт и др. Общеизвестные и специализированные знания могут быть, как простыми и сложными для изучения. В зависимости от уровня сложности знаний необходимо выбирать и методы их передачи. Для простых знаний балл будет единица, для очень сложных -10 баллов.

    4. Длительность разработки учебного курса
Те, кто занят разработкой курсов, знают, что на длительность создания курсов влияет множество факторов: понятная исходная документация(с ней быстрее можно разобраться), уровень подготовки разработчиков(они быстрее могут разработать контент и его залить), как много времени разработке курсов могут выделять эксперты бизнес-подразделений(один день в неделю или одни день в месяц) и т.д.

В банке «Возрождение» электронные курсы разрабатываются согласно утвержденному на один год календарному плану. На каждый курс отводится необходимое время.

Если время на разработку удалось значительно уменьшить относительно планируемого, тогда присваивается один балл. Если время превышено в несколько раз, тогда десять баллов.

    5. Квалификация специалистов – разработчиков курса
Для банка «Возрождение» была выбрана ролевая модель, когда разработкой всех курсов занимается собственная команда. В эту команду входят специалисты Учебного центра и специалисты, того подразделения, которое является заказчиком курса.

Очень кратко опишем, какие роли существуют?

Заказчик курса . Он ставит цели и задачи перед командой разработчиков; Принимает курс в эксплуатацию.

Архитектор курса . Архитектор курса является руководителем всего проекта. Он должен определять сроки, распределять ответственность, минимизировать возможные риски. И еще одна задача – создание сценария. Сценарий создается совместно с «Разработчиком контента». Что входит в понятие сценарий? Последовательность подачи материала, определение параллельных ветвей обучения, возможных ответвлений, когда и в каком объеме использовать проверочные вопросы. В Учебном центра банка «Возрождение» архитекторами курсов являются ведущие специалисты Учебного центра, так как они лучше других справляются с данной ролью.

Разработчик контента . Этот специалист должен знать в совершенстве банковский продукт и/или тот бизнес-процесс, о котором пойдет речь в учебном курсе и/или как работает банковская программа, и уметь на доступном языке описать все это на доступном языке. Описать таким образом, чтобы любой пользователь мог разобраться, что и как делать. Разработчиками контента выступают специалисты бизнес-подразделений.

«Заливщик» контента . В задачу данного специалиста входит правильное оформление учебных материалов, компоновка его в нужном порядке, программирование необходимого количества функций и в завершении - предоставление предварительно готовой версии курса для начала процедуры его проверки в целях работоспособности.

Тестировщик курса

Процесс создания электронного учебного курса очень похож по своей структуре на создание программного обеспечения. В завершении работы над курсом правильность его функционирования проверяет специалист в роли «тестировщика». Он должен проверить его функциональность, выявить возможные ошибки, неточности… Результаты своей работы он должен передать «заливщику». Для полноценной проверки курса желательно выделять наиболее квалифицированных специалистов из тех подразделений, специалисты которых и будут в дальнейшем проходить обучение.

Чем выше квалификация специалистов занятых разработкой курсов, тем выше балл – протори будет выше.

Чем ниже квалификация этих специалистов, тем ниже балл.

Как пример: если разработкой курса будет заниматься студент, то затраты будут достаточно низкими в этой категории. Не следует привлекать к написанию простых веб-шаблонов программиста самой высокой квалификации: с этой задачей можете справиться и вы сами, и выпускник колледжа.

Подведем итоги.

Протори необходимо снижать. За счет чего? Вот, на мой взгляд, наиболее важные пункты, влияющие на показатели повышения эффективности СДЭО. Это:

    1. Подготовка детальной документации по СДЭО, изучение которой позволяет качественнее разрабатывать любые учебные курсы.
    2. Упрощение технической реализации курса. Использование встроенных функций и методов программных средств по разработке учебных курсов.
    3. Соблюдение и уменьшение сроков разработки электронных курсов.
    4. Привлечение персонала требуемой квалификации. 5. Какие критерии были объединены в категорию результат?
Любое обучение должно приводить к какому-либо результату. Для определения общего результата по каждому курсу определены пять критериев.

Чем выше балл, тем результат будет выше.

Чем ниже балл, тем результат будет ниже.

Опишем каждый критерий:

Оценка курса участниками обучения.

Оценка участниками обучения - очень важный критерий. В банке «Возрождение» данная процедура была автоматизирована сразу после внедрения.

    1. Был создан опросный лист в электронном виде. Программа WebTutor компании WebSoft, на базе которой построена вся система электронного дистанционного обучения в банке, позволяет достаточно просто автоматизировать подобные процедуры.
    2. Опросный лист был встроен в процесс прохождения учебного курса.
    3. Прежде чем завершить обучение по курсу, сотрудник должен перейти на опросный лист и его заполнить – выставить оценки за учебный курс. Все оценки суммируются и в системе отражается балл, который показывает насколько участники обучения удовлетворены учебным курсом.

Если балл за курс 1, то это означает очень низкую удовлетворенность обучением. Выставленный балл 10, означает очень высокую удовлетворенность обучением.

Результаты проверки знаний

Одним из критериев, отражающим эффективность обучения, служит уровень остаточных знаний, который измеряется в промежутке от одного до трех месяцев после завершения обучения. В банке «Возрождение» измерение уровня знаний проводится при помощи модуля электронного тестирования программы WebTutor. Чем выше уровень полученных знаний, тем выше балл у данного критерия.

Прямое влияние знаний на бизнес

Перечень необходимых знаний, которыми должны владеть работники банка, достаточно обширен. Это и знания корпоративной культуры, банковского законодательства, требования, описанные во внутренней документации, стандарты обслуживания клиентов и другие.

При этом некоторые знания могут иметь слабое влияние на ведение бизнеса, а некоторые наоборот - очень сильное влияние на бизнес.

Как пример - знания управления продажами бизнес-подразделения.

    • Эти знания, если ими обладает рядовой сотрудник, который напрямую не занимается управлением продажами, слабо влияют на бизнес.
    • А в руках руководителя они превращаются в мощный инструмент достижения результатов.
Есл· знания, передаваемые в учебном курсе, имеют очень низкое влияние на бизнес, то выставляется балл один. Если знания, передаваемые в учебном курсе, имеют самое высокое влияние на бизнес, то балл выставляется 10.

Востребованность учебного курса

Высокая оценка востребованности учебного курса характеризуется высокой заинтересованностью со стороны заказчика, как правило, - это руководители бизнес-подразделений в разработке учебного курса. В случае, когда руководитель подразделения заинтересован в разработке учебного курса, им выделяется наиболее высококвалифицированный специалист, с предоставлением ему дополнительных полномочий, сам заказчик лично контролирует ход разработки курса и т.д.

При максимально высокой востребованности учебного курса балл будет 10, при противоположной ситуации балл будет – один.

Количество участников обучения (целевая аудитория)

В банке «Возрождение» работникам назначаются курсы исключительно по заявкам руководителей бизнес-подразделений. Заявки на обучение подаются в электронном виде через веб-портал «Обучения и развития». Поле этого в автоматическом режиме на основании поступивших заявок назначаются учебные курсы.

Так как этот процесс полностью автоматизирован, то очень легко контролировать весь процесс обучения, в том числе: количество участников обучения, количество тех, кто уже проходит обучение, количество тех, кто завершил учебный курс.

Чем больше участников обучения, тем выше балл. И наоборот.

О результатах проведенной оценки эффективности СДЭО.

С целью представления реальных результатов оценки эффективности СДЭО для данной статьи были выбрано семь различных учебных курсов. Они были разработаны в разное время, различными сотрудниками. Каждому курсу были проставлены баллы в разделе протори и в разделе результаты. В итоге получилась заполненная таблица «Экспертная модель расчета СДЭО».

Согласно полученным данным два учебных курса, курс №1 и №5, имеют хорошую эффективность. А курсы №6 и 7 предельно низкую эффективность.

Если посмотреть заполненную таблицу, то сразу становится видным, что:

    1. Курс №6 сложно реализован, в нем заложена подача сложных заданий, а в результатах - влияние на бизнес «низкое».
    2. Курс №7 сложно реализован и очень долго разрабатывался, а количество участников обучение небольшое.
А понимая, где имеются недоработки, можно их в дальнейшем исправлять.

Применяя такой подход в оценке эффективности СДЭО можно:

    1. Во время планирования разработки учебных оценивать их возможную эффективность.
    2. Во время разработки курсов оценивать получающуюся эффективность.
    3. По завершении обучения оценивать реальную эффективность.

Одной из особенностей современного педагогического процесса является широкое использование различных информационных технологий. Персональный компьютер и Интернет стали неотъемлемыми составляющими образования. Использование телекоммуникаций и сетевых технологий позволяет проводить обучение в тех случаях, когда учитель и ученик разделены значительным географическим расстоянием. Одна из основных современных информационных технологий в обучении, появившаяся в последнее время – дистанционное обучение. В настоящее время дистанционное обучение широко внедряется в образовательный процесс и становится актуальным определение его результативностии степени практического использования.

На основании опроса учащихся общеобразовательных учреждений и их родителей из различных регионов Россииможно сделать вывод, что большинство детей (64,17%) принимает участие в дистанционном образовании (рисунок 1).

При этом дети обучаются дистанционно в рамках подготовки к сдаче ЭГЕ и ГИА (27,13%), получения дополнительного образования (24,65%),подготовки к поступлению в ССУЗ и ВВУЗ (20,01%), в рамкахнаучно-исследовательской работы (14,99%), подготовки и участия в олимпиадах (7,77%), получения общего образования (4,58%).

Рисунок 1 –Участие школьников в дистанционном образовании

Однако большинство респондентов (50,01%) редко используют дистанционные технологии, лишь 23,8% постоянно пользуются дистанционными формами обучения, 22,91% - по мере необходимости (рисунок 2).

Рисунок 2 – Частота использованиядистанционных форм обучения

На рисунке 3 представлен график, характеризующий наиболее распространенные формы дистанционной работы учителя (преподавателя) с детьми:

Консультирование по учебным темам (26,88%);

Передача задания и получение результата по выполненному заданию (21,68%);

Проверка знаний с помощью тестирования (17,73%);

Организация работы над проектом (14,79%);

Проведение полноценных уроков (10,46%);

Обсуждение учебного материала(4,51%).

Рисунок 3 – Формы дистанционной работы учителя (преподавателя) с учащимися

На рисунке 4 представлен график, характеризующий наиболее распространенные средства, которыеиспользует учитель (преподаватель) в процессе дистанционного обучения. Проанализировав график можно определить, что в процессе дистанционного обучения 17,46% детей учителя (преподаватели) используют электронную почту; 16,79% – чаты в Интернет, 16,75% – электронную школу, 15,41%– скайп, 11,85% – школьный сайт, 10,47% – Интернет-форум, 8,71% –систему дистанционного обучения.

Рисунок 4 –Средства, используемые учителямив процессе дистанционного обучения

На рисунке 5 представлен график, характеризующий наиболее распространенные средства, которые использует учитель (преподаватель) для вовлечения родителей в образовательный процесс. 40,3% родителей указали, что учитель (преподаватель) для их вовлечения в образовательный процесс использует электронный дневник; 28,56% – электронную почту, 26,35%– скайп.

Рисунок 5 – Ответы на вопрос «Какие средства использует учитель (преподаватель) для Вашего вовлечения в образовательный процесс?»

При оценке эффективности использования в образовательном процессе видеоуроков большинство родителей и учащихся (91,54%) ответили, что использование в образовательном процессе видеоуроков эффективно в рамках отдельных учебных предметов (рисунок 6).

Рисунок 6 – Эффективность использования в образовательном процессе видеоуроков

На рисунке 7 представлен график, показывающий какие задачи, по мнению учащихся и их родителей, решает дистанционное обучение:

Рисунок 7 – Задачи, решаемые дистанционным обучением

Дистанционное обучение в первую очередь предоставляет возможность обучения в удобное время и в удобном месте (16,16%);

Дистанционное обучение развивает способности ребенка (16,10%);

Дистанционное обучение предоставляет возможность расширить круг своего общения (15,02%);

Дистанционное обучение формирует навыки работы с объемами информации, развивает самостоятельность в поиске и использовании необходимой информации (14,86%);

Дистанционное обучение повышает у ребенка уровень знаний, умений, навыков (13,88%);

Дистанционное обучение формирует мотивацию к самообразованию (11,79%);

Дистанционное обучение развивает навыки самоконтроля (10,58%).

Таким образом, дистанционное образование решает широкий спектр задач, однако заменить полностью традиционную форму обучения не сможет: большинство учащихся и родителей (46,61%) считают, что дистанционное обучение служит хорошим инструментом, дополняющим занятия в школе, а24, 98% – что дистанционное обучение не может заменить занятия в школе. Четверть опрошенных (27,34%) все-таки рассматривают дистанционное образование как полноценную альтернативу дистанционной форме обучения (рисунок 8).

Рисунок 8 – Возможности дистанционного обучения стать альтернативой занятиям в школе

При этом 67,75% родителей и учащихся указывают на эффективность применения дистанционных технологий в рамках дополнительного образования учащихся, и лишь30,48% – на эффективностьв рамках основного образования (рисунок 9).

Рисунок 9 – Эффективность применения дистанционных технологий в рамках основного и дополнительного образования

При определении основных элементов учебного процесса, реализуемых с помощью дистанционных технологий 32,45% учащихся и родителей указали, что образовательное учреждение в ходе реализации учебного процесса предоставляет доступ учащимся к электронным образовательным ресурсам, . 31,62% – организует участие школьников в олимпиадах, конкурсах, научных проектах и исследованиях, 31, 21% – использует видеоуроки по отдельным предметам (рисунок 10).

Рисунок 10 – Основные элементы учебного процесса, реализуемые с помощью дистанционных технологий

На рисунке 11 видно, что большинство (72,37%) учащихся и родителей считает, что текущий контроль знаний и промежуточную аттестациюлучшепроводить сочетая традиционные методы и систему компьютерного тестирования, 24,48% считают, что что текущий контроль знаний лучшепроводить с использованием традиционных методов оценки знаний.

Рисунок 11 – Проведение текущего контроля знаний и промежуточной аттестации

Результативность дистанционного обучения по мнению родителей и учащихся зависит от квалификации учителей, разрабатывающих видеоуроки (28,8%), от квалификации учителей, использующих в учебной деятельности видеоуроки и ЭОР (16,79%),качества самих идеоуроков и ЭОР (18,68%),от технических возможностей компьютера и качества интернет-связи (14,1%). В меньшей степени результативность зависит от мотивации ребенка к учебной деятельности (12,33%) и от возможностей самого ребенка (8,5%) (рисунок 12).

Рисунок 12 –Факторы, влияющие на результативность дистанционного обучения

25,17% респондентов считают, что наиболее эффективным инструментомдистанционного обучения является электронные образовательные ресурсы (ЭОР), 24,98% – консультации преподавателя в режиме реального времени (on-line), 22,63% – письменные консультации преподавателя по предварительному запросу (off-line), 12,37% – занятия под руководством преподавателей в виртуальных или удаленных лабораториях, 10,59% – видеоуроки, 1,63% – система контроля знаний (рисунок 13).

Рисунок 13 – Эффективные инструментыдистанционного обучения

При этом, эффективно ведение дистанционного образовательного процессапо таким учебным предметам: математика, геометрия, информатика (33,73%); география, обществознание, ОБЖ (31,29%); история, русский язык, литература, иностранный язык (27%). Эффективность ведения дистанционного образовательного процесса по естественным наукам (биология, химия, физика) очень низкая-4,62% (рисунок 14).

Рисунок 14 – Учебные предметы, по которым эффективно ведение дистанционного образовательного процесса

Дистанционное обучение эффективно при обучении детей, имеющих ограниченные возможности здоровья (27,09%); для обучения детей, пропустивших занятия по болезни (19,34%), для обучения детей, не желающих посещать общеобразовательную школу (15,01%), в процессе выявления и развития способностей одаренных детей (14,25%) Есть родители и ученики (2,93%), которые считают, что дистанционное обучение является не эффективным (рисунок 15).

Рисунок 15 – Ответы на вопрос «На Ваш взгляд, дистанционное обучение является эффективным?»

Проанализировав полученные данные, можно судить о достаточно высокой эффективности дистанционного обучения в целом, так и эффективность применяемых способов, методов, видов, инструментов, направлений и моделей дистанционного обучения.

На примере компании с численностью персонала 4000 человек рассмотрим опыт внедрения дистанционного обучения. Девиз его организаторов: обеспечить доступность и массовость обучения сотрудников при условии единого качества подготовки для всех.

Показатели эффективности системы дистанционного обучения (СДО)

Запуск дистанционного обучения в компании - проект довольно дорогостоящий. Чтобы оценить целесообразность затрат на него, необходимо разработать систему показателей эффективности СДО. Среди таковых можно выделить:

  • общие (характеризуют функционирование дистанционного обучения в компании как части общей системы обучения);
  • частные организационные;
  • показатели качества, восходящие к понятию педагогической эффективности.

Ключевой вопрос в достижении эффективности дистанционного обучения касается внедрения стандартов его организации в компании. В ЗАО «Страховая группа «УралСиб» в этом направлении были определены следующие KPI:

  1. Подготовка и утверждение документа, устанавливающего порядок организации дистанционного обучения, а именно содержащего описание конкретных процедур, в том числе касающихся создания учебных программ, а также схемы документооборота, стандарты отчетности.
  2. Все директора, функциональные и линейные менеджеры, определяющие потребность в дистанционном обучении, должны быть ознакомлены с порядком его организации.
  3. Все филиалы и точки продаж региональной сети должны получить доступ к СДО, т.е. обеспечение технической возможности дистанционного обучения для 100% сотрудников.
  4. Все направления деятельности организации нужно обеспечить поддержкой дистанционного обучения в соответствии с имеющейся потребностью. Она выявляется ежегодно в рамках процедуры планирования. Объем, сроки и темы определяются в соответствии с планами бизнес- и функциональных подразделений - основных инициаторов дистанционного обучения. В частности, оно обязательно при внедрении нового страхового продукта, оценке квалификации ключевых специалистов для подтверждения или изменения полномочий (на заключение договоров или урегулирование убытков), ознакомлении сотрудников с новыми или скорректированными политиками и правилами, прохождении обязательных по законодательству форм аттестации, посттренинговой поддержке очных программ обучения, адаптации новых работников (ориентационный курс, базовые программы), расширении или изменении функциональных обязанностей сотрудников и др.
  5. Все запросы бизнес-подразделений о предоставлении отчетов о повышении квалификации персонала с помощью дистанционного обучения должны быть выполнены в установленный срок.

Первые три показателя были сформулированы как критерии достижения целей по усовершенствованию СДО после запуска пилотного проекта, которые оценивались по факту исполнения. Четвертый - конкретизируется ежегодно в соответствии с ростом потребности в дистанционном обучении. Все они направлены на обеспечение стабильности и устойчивости работы СДО. Пятый из названных показателей - постоянный KPI системы обучения в целом и дистанционного, в частности. Он говорит о полезности и продуктивности обучения представителей бизнес-подразделений и руководства.

Важны и частные организационные показатели эффективности администрирования СДО:

  • обработка заявок на дистанционное обучение в течение N рабочих дней на 100%;
  • организация учебных мероприятий СДО в соответствии с заявленными заказчиком (руководителем структурного регионального подразделения) сроками на 100%.

Эти показатели позволяют оценить качество организации процесса, и влияют на уровень удовлетворенности специалистов и руководителей системой дистанционного обучения. Интересно, что для оценки администрирования достаточно просто понаблюдать: кому из специалистов HR-подразделения предпочитают звонить участники обучения и ответственные за его мониторинг сотрудники филиалов в случае возникновения проблем и за поддержкой.

Создавать дистанционные учебные курсы могут как внутренние специалисты, так и внешние поставщики образовательных и консультационных услуг - выбор делает сама компания. Показателями эффективности разработки программ могут быть следующие:

  • выполнение плана создания и модификации курсов на 100%;
  • подготовка и корректировка программ в установленные сроки;
  • обеспечение на 100% программ обучения инструментами проверки знаний (тесты, задачи, кейсы);
  • разработка и утверждение стандартов по созданию программ дистанционного обучения;
  • включение учебных презентаций, методически ориентированных на дистанционное обучение, в 100% программ.

Последний показатель может оказаться недооцененным, однако он содержит несколько важных аспектов. Учебный материал СДО должен быть наглядным, структурированным, логически организованным, лишенным противоречий и, главное, самодостаточным, поскольку рядом с участником обучения нет преподавателя, который мог бы дать необходимые пояснения и комментарии. Курс также должен включать алгоритмы работы сотрудника, примеры расчета или построения общения с клиентом, памятки, «шпаргалки» с полезными для работы речевыми оборотами, фразами и др. Такие элементы обеспечивают эффективность учебного курса.

Ориентир на названные показатели способствует регулярности, устойчивости и системности процессов разработки программ, тому, чтобы используемые учебные материалы учитывали специфику дистанционной формы обучения. Анализ соотношения прогнозируемого и фактически затраченного слушателем времени на прохождение курса и аттестацию позволяет выявить недостатки методической или организационной работы. На практике использование всех перечисленных пяти показателей невозможно, так как потребуется слишком много времени, чтобы их отслеживать. В ЗАО «Страховая группа «УралСиб» в обязательном порядке используются первый и третий из названных.

Анализируя эффективность дистанционного обучения, также важно учитывать показатели педагогической эффективности . Это системное понятие, традиционно применяемое в исследованиях эффективности дистанционного обучения в образовательных учреждениях (например, в трудах А. А. Андреева, Т. Рассела, О.К. Филатова, Д.В. Чернилевского и др.). Основной критерий - доля (в процентах) аттестованных участников обучения от их общего числа. В компании «Страховая группа «УралСиб» он был внесен в список показателей эффективности деятельности предприятия в целом, сформулированный как «процент аттестованных сотрудников». Важность данного индикатора вытекает как из общих целей обучения (обеспечение должного уровня квалификации персонала), так и из частных. Например, продуктовое обучение организуется для того, чтобы специалисты подразделений продаж знали, и понимали условия страхования. Ознакомительный курс, рассказывающий об истории, традициях и достижениях предприятия, проводится для того, чтобы сотрудники помнили, в какой компании они работают, осознавали, где и когда им смогут пригодиться эти знания, и как их можно использовать в своей ежедневной деятельности. Освоение политик (например, по информационной безопасности) необходимо для того, чтобы обеспечить условия для их соблюдения. Изучение типовых сложностей работы в учетных базах и системах позволяет сохранять высокую точность и целостность хранящейся информации. И очевидно, что проконтролировать достижение перечисленных (и других) целей без проверки освоенных знаний невозможно. Таким образом, доля сотрудников, успешно прошедших аттестацию, становится значимым показателем как эффективности системы дистанционного обучения, так и развития персонала в целом.

В период становления СДО в ЗАО «Страховая группа «Урал-Сиб» в качестве показателя мотивации к дистанционному обучению рассматривался такой: освоение 75% сотрудников филиала не менее двух учебных программ в год. Исследование в этой сфере осложняется тем, что довольно часто в форме дистанционных занятий организуются обязательные для определенных категорий персонала учебные курсы. Индивидуальные особенности (самоорганизованность/ неорганизованность, усидчивость/ торопливость, способность к аналитическому мышлению, общительность/ замкнутость и др.) на отношение к данному виду обучения и на качество его результатов, безусловно, влияют, однако их учет требует отдельного внимания.

Показатели эффективности дистанционного обучения целесообразно анализировать системно. Объединение их в общую концепцию должно учитывать своеобразие процессов той или иной компании. Примером показателя, интегрирующего разные группы факторов, может служить анализ методической и административной работы. Время, затрачиваемое на администрирование (регистрация участников, отправка информационных писем и уведомлений, формирование итоговых протоколов по результатам обучения, техническая поддержка пользователей учебного портала и др.), по опыту ЗАО «Страховая группа «Урал-Сиб», не должно превышать третьей части периода создания и модификации учебных курсов. В противном случае качество СДО в целом может постепенно снизиться.

Существенную роль играет оценка применения знаний и влияния их на результат деятельности. Рассмотрим методы, которыми можно провести данную оценку.

Методы оценки эффективности СДО

Анкетирование

Традиционный метод оценки эффективности обучения - обратная связь его участников и заказчиков. Ее можно получать путем анкетирования сотрудников сразу по окончании занятий, а также руководителей - на регулярной основе (например, раз в квартал). Таким образом, по модели оценки эффективности обучения взрослых П. Киркпатрика, фиксируется сначала непосредственная реакция слушателей (опрос сотрудников) и затем - то, насколько изменилось их поведение после обучения и отношение к работе (анализ мнений руководителей).

Участникам в анкетах предлагается оценить (по 3-, 5-, 7- или 10-балльной шкале) ясность и наглядность учебных материалов, актуальность, практическую ценность полученных знаний, качество организации СДО, а также описать, был ли интересен курс, насколько трудно или легко было его проходить, дать общую эмоциональную оценку: «понравилось/ не понравилось». Об эффективности обучения может говорить установленный показатель, к примеру, средняя оценка - не ниже 7 баллов (по 10-балльной шкале).

Анкетирование линейных руководителей - более сложная задача. Получению от них качественной обратной связи препятствуют следующие факторы:

  • отсутствие инициативы руководителя при определении потребности в обучении -выбор сотрудников осуществляется по их функциям, а не исходя из видения ситуации в подразделении его руководителем;
  • период обучения определяется централизованно, и в связи с этим руководитель не имеет свободы планировать прохождение курсов его подчиненными с учетом текущей загрузки (и их, и его собственной).

Два данных обстоятельства значительно снижают желание предоставлять обратную связь, делиться своим мнением об организованном обучении. Формальные же ответы никому не нужны.

В случае, когда дистанционное обучение проводится централизованно для всех сотрудников определенной категории (например, специалистов операционной поддержки в филиалах), можно ограничиться анкетированием непосредственных участников. Если же руководитель сам выбирает из каталога программ те, которые считает нужными для своих подчиненных, то он способен предоставить полноценную информацию об эффективности дистанционного обучения.

Оценка методом анкетирования в случае СДО имеет свои особенности. Так, участники и руководители могут давать обратную связь по желанию, т.е. это необязательная процедура. Технически ее имеет смысл организовывать в форме опроса, привязанного к конкретному курсу. Важно, чтобы анкета предъявлялась вся полностью, а не по одному вопросу, поскольку отвечая, сотрудник одновременно анализирует собственное впечатление об учебной программе, и ему важно отразить его целиком.

Некоторые организации создают отдельные форумы, где работники могут обсуждать разные вопросы по конкретной учебной программе, а также получать дополнительную информацию от администратора форума и методиста курса. В компании «Страховая группа «УралСиб» форума нет, так как для его поддержки требуется значительное время и человеческие ресурсы.
Другая важная особенность оценки дистанционного обучения методом анкетирования - необходимость реагировать на полученную обратную связь.

Приведенная ситуация служит также примером того, как может проводиться работа по расширению «живой» части учебных курсов в интересном для сотрудников направлении. Однако ключевой момент - непосредственно реакция на обратную связь, т.е. вся проделанная на ее основании работа. Это активизирует общение участников дистанционного обучения, таким образом, повышается его интерактивность, а значит, и эффективность.

Метод инцидентов

Опыт внедрения СДО в компании «Страховая группа «Урал-Сиб» показал, что для оценки эффективности дистанционного обучения целесообразно использовать метод инцидентов. Суть его наследована из практики инженерной психологии: в случаях, когда в работе возникает нетипичный вопрос, производится специальный анализ проблемы.

Он включает: выяснение обстоятельств появления сложностей, рассмотрение действий участников, поиск оптимального выхода из ситуации. Причины явления и найденное решение, а также способы правильного поведения в аналогичных ситуациях закрепляются в письменной форме, и далее транслируются всем сотрудникам, которые задействованы в поддержании работы СДО. Такой анализ способствует повышению качества учебных курсов, позволяет обогащать методические материалы.

Периодически возникает необходимость прояснять формулировки и расширять содержание учебных курсов. Например, работа в страховании предъявляет к сотруднику продающего подразделения высокие требования: знание правовых норм, экономических основ страхования, экономики предприятий, особенностей налогообложения, основ работы смежных отраслей и др.

Такой подход позволяет фиксировать возможные технические трудности, возникающие при пользовании учебным порталом, и способы их устранения, а также передавать коллегам актуальный опыт. Составленным справочником удобно пользоваться как новому, так и опытному администратору.

Пример 1

Участники обучения дали понять, что в учебном курсе недостаточно практических примеров. Это выразилось в низких оценках по соответствующей шкале в анкете обратной связи. Методист проанализировал ситуацию, конкретизировал с помощью точечного опроса, в чем состоит «замечание», и затем добавил, и откорректировал примеры в курсе. Согласовав с ответственным сотрудником бизнес-подразделения внесенные изменения, поместил информацию о них в разделе «Новости» на учебном портале со словами благодарности тем, кто предоставил критическую обратную связь, которая позволила улучшить качество курса.

Пример 2

У работника возникли сложности с одним из тестовых вопросов продуктового курса, и он обратился с ним в дирекцию обучения и развития персонала. Методист уточнил, в чем суть затруднения, затем обратился к материалам, и проверил корректность формулировок. При необходимости, в таких случаях он запрашивает помощь у представителей бизнес-подразделения, являющегося разработчиком условий страхования. Измененный тестовый вопрос был согласован не только с участвовавшими в создании учебного курса специалистами, но и с самим сотрудником, обозначившим неточность. Затем методист зафиксировал суть возникшего инцидента и способ его урегулирования. Информация была передана коллегам в форме обычного электронного письма.

Пример

Участник обучения, проходя тестирование, столкнулся с технической сложностью. Он позвонил администратору, но тот не смог обнаружить причину проблемы и решить ее. Тогда был подключен методолог по дистанционному обучению. Его задача состояла в том, чтобы определить характер технической неполадки, зафиксировать обстоятельства ее появления. Методолог связался с ИТ-специалистом, который по результатам анализа ситуации определил критерии идентификации проблемы, вывел алгоритм ее решения, и транслировал его всем администраторам дистанционного обучения.

Анализ динамики финансовых показателей компании

Отдельное место в оценке СДО занимают общие показатели эффективности бизнеса.

Сегодня популярен такой индикатор качества обучения, как «объем продаж». В страховании он рассматривается как объем страховой премии в разрезах корпоративного и розничного страхования, по видам страхования, каналам продаж, характеру договора (новый/пролонгированный) и др.

При этом необходимо помнить следующее. В оценке учебных программ имеет значение объем и динамика продаж не вообще, а только по тем видам страховых услуг, по которым проводилось обучение. Конечно, в случае как хороших, так и плохих значений, нельзя утверждать, что они стали следствием именно обучения (или его отсутствия). Имеет значение «синхронность»: пройден курс - есть результат, равно как и наоборот. Следует насторожиться, если обучение не привело к изменениям в работе.

Опыт ЗАО «Страховая группа «УралСиб» показывает, что сориентировать обучение на нужные участки продаж удается лишь в период, когда план учебных программ составляется вслед за утверждением продуктовой стратегии и стратегии развития каналов продаж, повторяя обозначенные бизнес-приоритеты.

Показатель «объем продаж» характеризует результативность, прежде всего, сотрудников продающих подразделений, а значит, не является единственным. К примеру, при обучении работе с базами данных, которое тоже удобно запускать в массовом дистанционном формате, об эффективности курса скажут статистика и аналитическая информация о количестве и характере ошибок, допускаемых в работе с программами. Сравнение данных, собранных до обучения и через 1-2 месяца после него, продемонстрирует воздействие пройденных курсов.

Учебный портал позволяет вовлекать персонал в дистанционное обучение. Для повышения активности участников можно использовать: рейтинги «успеваемости» филиалов, подразделений или личные; публичные виртуальные награды - «за организованность» при прохождении обучения, «за самую высокую квалификацию филиала/ подразделения», «за активное участие» и т.д. Таким образом, измерителями вовлеченности могут быть: количество участников опроса, голосования, конкурса; динамические показатели участия в обучении (соблюдение сроков, доля участников от общей численности персонала, рост количества разовых заявок на прохождение курсов, подаваемых линейными руководителями).

Метод сравнения

В своей работе дирекция обучения и развития персонала компании использует также метод сравнения. Чтобы оценить, эффективно ли организована СДО, целесообразно посмотреть, как это делают другие, например, побывав на известной выставке-конференции e-learning или на открытых семинарах и круглых столах, которые организуют предприятия, разрабатывающие и продающие программное обеспечение для дистанционного обучения. Эти же компании сами поддерживают специальные интернет-ресурсы для своих клиентов, где можно задать провайдеру вопросы, получить ответы, посмотреть, чем интересуются специалисты других организаций.

Неоспорима сложность задачи определения эффективности дистанционного обучения. Ввиду активного развития информационных технологий можно оптимистично смотреть на перспективу реализации разных методов оценки при условии минимальных затрат времени и человеческих ресурсов. Еще раз обратим внимание на важность системных (общих) показателей качества СДО. Успех дистанционного обучения в целом значительно зависит от методологов, участвующих в организации обучения. Именно в их задачи входит налаживание диалога с участниками, повышение воздействия дистанционных программ.