От оценивания студентов — к оцениванию со студентами

В Высшей школе экономики разработаны новые контрольно-измерительные материалы (КИМы), ориентированные на проверку компетенций. В 2011 году прошла их апробация, а в этом году с их помощью будет оцениваться уровень подготовки студентов. Об особенностях новых КИМов рассказывает начальник методического управления ВШЭ Александра Серова.

Александра Серова

— Александра Владимировна, как появилась идея разработки новых КИМов?

— По каждому направлению подготовки существует федеральный государственный образовательный стандарт (ФГОС), утвержденный Минобрнауки России. Для оценки уровня подготовки студентов на федеральном уровне разработаны КИМы, которые, например, используются при процедурах проверки вузов при аккредитации. Но с использованием их в образовательном процессе есть ряд проблем.

Первая заключается в том, что для Высшей школы экономики федеральные КИМы не всегда подходят, так как Вышка реализует свои оригинальные образовательные стандарты — мы имеем право их разрабатывать как национальный исследовательский университет. Да и содержание этих КИМов вызывало недовольство многих наших преподавателей. А вторая проблема — в том, что имеющиеся КИМы проверяют преимущественно знания и не соответствуют идеологии компетентностного подхода, которая заложена в стандартах нового поколения (как ФГОСах, так и «вышкинских» оригинальных).

Поэтому у нашего проекта две основные задачи: сначала родилась идея проверять студентов в соответствии с теми требованиями, которые заданы в оригинальных стандартах Высшей школы экономики. А потом было решено подготовить КИМы нового типа — рассчитанные, прежде всего, на проверку компетенций. По сути, мы пытаемся приучить себя к тому, что компетенции надо проверять не только по окончании университета, когда уже поздно говорить человеку, что у него что-то не получилось, а во время учебы.

Проект разработки новых КИМов в Высшей школе экономики стартовал в 2011 году. Были обучены разработчики, подготовлены 33 теста и 800 компетентностно-ориентированных заданий. Таким образом, положено начало созданию общеуниверситетской базы КИМов, которая теперь будет регулярно пополняться. Цель — в ближайшие два года создать такой банк данных, в котором любой преподаватель сможет выбрать задания для текущего или итогового контроля, вводя необходимые ему параметры.

— Кто участвует в разработке контрольно-измерительных материалов, были ли у авторов какие-то ориентиры, образцы?

— КИМы готовят преподаватели НИУ ВШЭ. Ответственных за проект определяли на факультетах, как и непосредственных разработчиков тестов и заданий. В одних случаях было достаточно двух-трех человек, в других требовалось десять-пятнадцать — в зависимости от количества КИМов, которые необходимо было разработать. В интервью невозможно назвать всех, но хотелось бы отметить работу в проекте В.В.Подбельского, Н.К.Иконниковой, Е.Р.Агадуллиной, коллег с факультета права; большой вклад внесли эксперты проекта А.А.Незнанов, Р.З.Ахметсафина, М.Д.Бершадская, Р.Р.Загиров, А.Н.Стерлигова и другие. В апробации и оценке разработанных тестов принимала активное участие группа магистрантов программы «Измерения в психологии и образовании» под руководством Е.Ю.Кардановой и Е.А.Орел.

В разработке компетентностно-ориентированных материалов были задействованы многие факультеты. Не участвовали преподаватели факультета математики (там пояснили, что в мировой практике компетенции математиков еще пока никто не проверяет), факультета мировой экономики и мировой политики (основная работа по этому направлению организована на факультете экономики) и факультета менеджмента (они планировали присоединиться к проекту на этапе работы с магистерскими программами). Наши «молодые» факультеты — филологии, медиакоммуникаций — присоединятся к проекту в 2012 году.

При подготовке КИМов мы опирались на российский опыт, который, прежде всего, заключается в подготовке компетентостно-ориентированных заданий для международных тестов PISA, ТIMSS, заданий ЕГЭ в части С. И у нас был приглашенный американский эксперт Марк Зелман — сотрудник американской ассоциации тестологов, которая готовит, в частности, ряд национальных тестов в США.

— Когда новые КИМы будут использоваться в штатном режиме?

— Уже в этом учебном году. Во время апробации тестов студенты в основном участвовали в их «проверке» без серьезных результатов для собственных оценок (хотя на некоторых факультетах было иначе). Теперь будет все по-настоящему: тесты и задания могут быть использованы в «реальном времени» — с выставлением оценки, влияющей на рейтинг студента. Мы рассчитываем, что в ближайшие два года оценивание по новым КИМам войдет в рабочий режим. Разумеется, банк заданий будет постоянно пополняться — каждый преподаватель сможет использовать имеющиеся варианты и готовить на их основе собственные.

— В чем заключается содержательная новизна компетентностно-ориентированных КИМов? Приведите, пожалуйста, конкретные примеры.

— Чтобы проверить компетенции, мы должны поставить студента в такую ситуацию, когда его работа носит не учебный характер, а максимально приближена к реальности, в частности, имеет какой-то результат, значимый не только для учебы.

Приведу несколько примеров для сравнения. Допустим, нам нужно проверить навыки анализа у студента на примере программирования; для этого мы можем попросить его выполнить какое-то задание. Если требуется выбрать из списка те элементы, которые употребляются в программном коде (среди «правильных» и «неправильных»), то это обычное тестовое задание: оно проверяет, знает студент указанные элементы или нет. А можно предложить на выбор несколько «кусочков» программного кода и попросить определить, какой из них рабочий и что будет, если его выполнить. Вроде бы студент тоже выбирает, но тут ему приходится применить не только знания, он должен «прочитать» код и заметить неработающие, неправильные элементы, он должен понимать, к какому результату приводит данная последовательность команд в программе — по сути, он выполняет работу, которую обычно делает программист-эксперт. Такое задание мы можем назвать компетентностным.

Компетенции можно проверять на разных уровнях в отличие от проверки знаний, когда нужно установить, знает человек тот или иной материал или нет. Например, по какой-то юридической дисциплине мы можем предложить студентам описание некой законодательной нормы и в качестве задания попросить выделить главную мысль или ответить на вопрос, полно и верно описана норма или нет. При выполнении этого задания человек должен будет проявить свою способность анализировать юридический текст. А вот если мы попросим студента выразить свое отношение к описанной норме в эссе, где он должен как юрист оценить ее пригодность, недостатки, актуальность и прочее — здесь уже человек демонстрирует не только какие-то конкретные навыки анализа текста, но и включается в сферу своей будущей профессиональной деятельности.

Хотелось бы отметить, что в отличие от классических тестов, которые обычно применяются только для проверки какого-то результата и в силу этого часто используются при промежуточном или итоговом контроле, компетентностно-ориентированные задания можно выполнять на семинарах, в группах, в качестве самостоятельной работы дома — их задача не только контрольная, но и формирующая. Многие из таких заданий предполагают самостоятельный поиск информации: человек должен оценить, насколько имеющаяся у него информация неполна, и уметь «добрать» ее. Это одна из важнейших компетенций: суметь понять, чего тебе не хватает для решения поставленной задачи, использовать какие-то дополнительные материалы.

— В чем необходимость проверки освоения компетенций? Ведь и до введения новых стандартов выпускники Вышки находили свое место в жизни — значит, необходимые для профессиональной деятельности компетенции у них как-то формировались.

— Мне в связи с этим вспоминается афоризм Марка Твена: «Я никогда не позволял школе мешать моему образованию». Конечно, компетенции в любом случае формируются, иначе человек не выживет в обществе, не станет успешным. Но каков вклад в это школы, вуза? Можем ли мы утверждать, что действительно формируем компетенции, или мы только утешаем себя этой мыслью? Известно, что компетенции часто формируются не благодаря, а вопреки системе образования. Почему троечники в жизни часто успешнее, чем отличники? Они учатся на тройки в школе, зато умеют различать главное и второстепенное и сосредотачиваются на том, что важно и интересно именно для них. Проверяя освоение компетенции, мы ставим перед собой задачу понять: как соотносится то, что мы обещаем абитуриенту в момент приема, и результаты, которые получает выпускник после освоения нашей образовательной программы.

В вопросе о том, какой вклад вносит вуз в формирование компетенций, есть довольно тонкий и сложный момент, связанный с распределенной ответственностью и интегративным характером компетенций. Мне не нравятся такие популярные сейчас определения, как «компетентностный профиль» или «компетентностная модель выпускника». Это похоже на «портрет юного строителя коммунизма». На мой взгляд, это довольно бессмысленное сочетание. Компетенции отличаются от других результатов образования тем, что они очень индивидуально сочетаются в человеке. Допустим, кому-то легко дается работа с документами, он «ас» поиска в Интернете, но имеет проблемы с общением. А у кого-то ярко выражены лидерские качества, он душа любого коллектива, но ненавидит бумажную работу — ему всегда легче спросить, чем найти и прочитать. Их компетентностные профили совершенно различны, и при этом каждый из этих двоих может быть успешен, эффективно решая свои задачи, в том числе профессиональные.

Вуз не должен и не может брать на себя ответственность за то, как именно в каждом студенте должны сочетаться те или иные компетенции и какие именно, то есть не должен приводить всех к единому профилю — это личная ответственность студентов. Ответственность вуза — помочь определить: вот что студенту обещали в его образовательной программе, вот условия для учебы, саморазвития, а вот инструменты, при помощи которых ты можешь проверить, какими компетенциями ты овладел. Каждый сам решает, как дальше развиваться и какие пробелы ликвидировать.

 Но, безусловно, есть некоторые общие основы, которые дают представление об особенностях вуза, о его «лице». Например, в рамках нашего проекта был создан единый классификатор компетенций к образовательным стандартам НИУ ВШЭ. Он приводит компетенции, заложенные в разные образовательные стандарты и программы, к единому знаменателю. Можно сказать, что это попытка ответить на вопрос — кто такой бакалавр и магистр Вышки. Все компетенции в вышкинских стандартах представлены в двух видах — системные (для бакалавров и магистров) и профессиональные. Важным является то, что системные компетенции, на базе которых строятся все остальные, — одинаковы для всех студентов Вышки вне зависимости от направления подготовки. А особенность каждого направления воплощена в профессиональных компетенциях (инструментальных и социально-личностных) — именно они рисуют облик будущего профессионала.

Нам казалось также принципиально важным, что компетенции двух уровней высшего образования коррелируют между собой: магистерские компетенции являются развитием бакалаврских. Набор компетенций, описываемых стандартом и отраженных в классификаторе, — это некая планка, к которой можно стремиться. А контрольно-измерительные материалы — это инструменты, которые позволяют измерить продвижение к этой планке; в идеале они должны давать студенту представление о том, на каком уровне он находится после изучения каждой дисциплины.

Наш классификатор должен помочь студентам более осознанно выстраивать индивидуальную образовательную траекторию. Какие дисциплины по выбору брать? Студенты обсуждают это в своем кругу, выбирают, прислушиваясь к чужому мнению, но часто потом разочаровываются. Соотнеся компетенции из классификатора и программы конкретных учебных дисциплин, зная, какие именно пробелы ты собираешься ликвидировать или какие достоинства развивать, этот выбор можно делать более ответственно. Классификатор можно использовать и при смене образовательной траектории: он поможет определить, на какие факультеты можно перейти с учетом уже сформированного набора компетенций.

— Как будут оцениваться результаты экзаменов, проверочных работ, выполненных по новым КИМам? Есть ли такая шкала, с помощью которой можно определить уровень овладения компетенцией?

— В зависимости от уровня овладения компетенцией задана трехступенчатая структура оценки: низкий, базовый и высокий уровень. Например, в задании по психологии предлагается описание ситуации и предлагается выделить коммуникативные барьеры, которые возникают в ситуации общения. Если студент их просто называет, это низкий уровень овладения компетенцией. На базовом уровне он не только называет барьеры, но и может оценить проявления каждого барьера в конкретной ситуации, а на продвинутом уровне называет еще и их причины.

При такой системе оценивания снижается субъективизм оценки. Вместо не вполне понятного объяснения «плохо отвечал» студент видит критерии, по которым его оценивают, понимает, над чем ему стоит поработать. Оценка становится не только инструментом фиксации определенного уровня, но и служит материалом для обратной связи — показывая, что нужно, чтобы перейти на уровень выше.

Хотя преподавателям поначалу сложно работать с такой градацией, столь подробно расписывая критерии оценки. Не все понимают, зачем это необходимо: мол, я не один год работаю, и как только студент начинает отвечать, сразу могу сказать, что от него ждать.

— А вообще какие отзывы о новых КИМах у преподавателей?

— Преподаватели оценивают их по-разному. Надо понимать, что любая новая работа требует больших ресурсных затрат, а если она еще и «спускается сверху», естественно, возникает внутреннее сопротивление. И оно не пройдет, пока преподаватель не поймет, что это не внешнее условие, а его внутренняя необходимость, что ему так легче работать со студентами. Это понимание есть у многих из тех, кто участвовал в разработке новых КИМов. Мы надеемся, что они будут распространять его среди своих коллег на факультетах.

Пока же далеко не всем преподавателям понятно, почему они должны объяснять, как они учат и как оценивают студентов. Всегда удобна и выгодна экспертная позиция: дескать, я уникален, мне всегда доверяли, как преподавать и оценивать — зачем этот контроль? В ответ на такую позицию хочется заметить, что изменение подходов в оценке образовательных результатов — это, конечно, не вопрос доверия или недоверия преподавателю, не желание поймать его за руку — ну-ка, какую оценку ты тут ставишь? Это, прежде всего, вопрос осознания соотношений между тем, что мы формируем, и тем, что мы проверяем. Это повышает уровень осознанности преподавательского труда через простую логику: я записал, что моя дисциплина в числе прочего формирует опыт командной работы; значит, я должен это проверить — а раз я это проверяю, я должен в ходе обучения предложить такие ситуации, формы, в которых групповая работа проявилась бы. Я должен сам себе сказать, что я считаю хорошей групповой работой, а что — не очень хорошей. Так форма задания становится ситуацией формирования проверяемого результата.

Разумеется, такая логика очень трудно выживает в рамках отдельной дисциплины — студент ведь не приходит к преподавателю как чистый лист, на котором можно написать что угодно. Взаимосвязи разных дисциплин, которые мы устанавливали только в области необходимых знаний, еще больше проявляются при формировании компетенций. Удивительно, но сейчас некоторых преподавателей практически не заботит место их дисциплины в общеуниверситетском образовательном поле: «преподаю так, как умею, отвечаю только за себя, почему я должен соотносить свою работу с работой других?» То, что мы предлагаем, включает преподавателя в общий процесс, он все время должен отслеживать, где его результаты «перекрывают» или дополняют чужие. И эта работа очень сложна и интересна.

Те же, кто попробовал применить компетентностные задания, называют как минимум один их большой плюс — то, что теперь всегда легко ответить студенту, почему поставлена та или иная оценка. И тогда сама ситуация экзамена, проверки перестает быть стрессовой. Преподаватели и студенты понимают, чего от них ждут. Да, студентов проверяют, контролируют, но не сравнивают с эталоном, а показывают возможные пути развития, «реперные точки» — вот твой сегодняшний уровень, а вот что требуется, для того чтобы его повысить. Это не столько оценивание студента, сколько оценивание со студентом. А если меняется отношение к контролю, то меняется и отношение к учебе — я учусь не для кого-то, а для себя, я несу за это ответственность. Это облегчает жизнь преподавателя и студента. Они оказываются не по разные стороны баррикад, а по одну. Ответственность, которая сейчас либо целиком лежит на преподавателе (почему он плохо научил), или на студенте (почему он не учился), становится разделенной.

 

Елена Кузнецова, специально для новостной службы портала ВШЭ