[an error occurred while processing this directive] | |
Глава 1. Образовательная система России Глава 2. Автоматизация учебного процесса Глава 3. Основы теории тестирования Глава 4. Базы заданий для проектирования тестов Глава 5. Модели и алгоритмы проектирования тестов Глава 6. Автоматизация проектирования тест-билетов Глава 7. Методические и технологические аспекты тестирования |
Глава 7. Методические и технологические аспекты тестирования.7.1. Методика оценки обучаемых.Процесс усвоения проходит в своем развитии 4 последовательных уровня, каждый из которых означает определенное новое качество, которое обучаемый приобретает в процессе обучения. При этом любой последующий уровень усвоения не может быть достигнут, если учащийся не усвоил предшествующий уровень. На I уровне усвоения обучаемый приобретает знания-знакомства, с помощью которых он способен узнавать то или иное явление в ряду ему подобных. Основная особенность данного уровня состоит в том, что для своей реализации он требует обязательной опоры на конкретное явление, информация о котором была представлена в процессе обучения. II уровню соответствуют такие знания, с помощью которых обучаемый может воспроизводить учебную информацию по памяти. На этом уровне ему не требуется предъявления данного явления. Он воспроизводит усвоенный материал без опоры, не видя его. На Ш уровне обучаемый приобретает способность решать типовые задачи, используя для этого усвоенные им в процессе обучения способы их решения. На IV уровне усвоения, обозначаемом как уровень трансформаций или уровень творчества, обучаемый способен творчески использовать полученные знания, умения и навыки в новых, нетипичных ситуациях, создавая оригинальные способы и подходы к их реализации. Тесты, разработанные с учетом уровней усвоения, позволяют оценить качество усвоения. Для проверки качества усвоения информации на I уровне (уровне знакомства) должны использоваться тесты, требующие выполнения деятельности на узнавание. Это -распознавание, различение, классификация объектов, явлений или понятий. Тесты I уровня - это тесты на опознание ("да" - "нет") и тесты на различение ("избирательные" или "выборочные"). Тест II уровня требует от учащихся выполнения действий по воспроизведению информации об объекте изучения по памяти. Например: а) "Дополните текст: Возбудитель холеры был открыт (кем?) ... в ... году." б) "Напишите формулу для вычисления суммы 10 членов арифметической прогрессии". в) "Нарисуйте схему последовательного соединения проводников". Причем в а) испытуемый должен дать полную формулировку запланированной информации, в б) необходимо написать лишь требуемую формулу, в в) требуется восстановить по памяти расположение элементов. Можно выделить два типа тестов II уровня - Па (тест на дополнение или подстановку) и Пб - усложненный (на понимание и воспроизведение). Пример теста Пб уровня: "В городе К. вирусный гепатит составляет 27% от удельного веса всей суммы кишечных инфекций, а в городе С. - 10%. Правомерно ли заключение о более высокой заболеваемости гепатитом в К.? 1) Да, так как в К. гепатит регистрировался в 2,7 раз чаще, чем в С. 2) Нет, так как неизвестно, какие нозоологические виды учитывались и относились к кишечным инфекциям в том и другом городе. 3) Нет, так как учитывались только желтушные формы гепатита, которые не отражают истинного уровня заболеваемости. 4) Нет, поскольку уровень заболеваемости учитывается в интенсивных показателях". Тест III уровня требует от испытуемого овладения умением применять усвоенную информацию в практической деятельности для решения типовых и некоторых нетиповых заданий. При этом всегда имеет место продуктивная деятельность учащегося, в результате которой приобретенные знания проверяются на уровне "умений". Такими тестами являются задачи, требующие готового способа решения без их существенного преобразования. Воспроизведение и использование знаний происходит в том виде, в каком они были усвоены в процессе обучения. Пример: "Доставили 5 больных со следующими симптомами: (Следует перечисление симптомов.) Опишите ваши действия по схеме: а) укажите степень нуждаемости в помощи; б) укажите диагноз по каждому; в) каких специалистов пригласите для каждого; г) какие неотложные меры примете по каждому". Тесты IV уровня требуют такого овладения знаниями и умениями, которые позволяют принимать решения в новых проблемных ситуациях. К этому уровню относятся, например, такого рода задания, для выполнения которых испытуемый должен ориентироваться в сложной, незнакомой ему ситуации. Учитывая множество видов тестовых заданий (в литературе можно найти 84 вида тестовых заданий [52]), необходимо коснуться одного важного момента в составлении тестов. Общепризнанно, что любой контроль, а тестовые задания являются его частным случаем, должен быть управляющим, обучающим и контролирующим. Один и тот же вопрос в зависимости от назначения теста может в равной степени отвечать всем этим требованиям, каждое из которых может быть усилено самой конструкцией теста [33, 36, 37]. 7.2. Методика оценки профессиональной готовности обучающего.Качество профессиональной готовности обучающего характеризуется его общенаучной и теоретической подготовленностью, уровнем развития педагогических умений и навыков, высокой нравственностью и соответствующей структурой личности, рассматриваемыми в единстве. Профессиональная готовность (или профессиональная подготовленность) понимается [18] как способность специалиста выполнять определенную деятельность. Понятно, что эта способность определяется совокупностью специальных знаний, умений и навыков, характеризующих психологические и психофизиологические особенности человека, необходимые и достаточные для достижения общественно приемлемой эффективности труда. В нашем случае эта совокупность определяется из следующих соображений:
Оценка знаний, как правило, происходит в процессе их применения для решения конкретных задач. Решение этих задач требует применения профессионально значимых умений и навыков, поэтому, не теряя общности рассмотрения, можно считать, что профессиональная готовность определяется уровнем сформированности у обучающего основных педагогических функций. Будем считать, что всего имеется восемь ОПФ (и обозначим каждую из них буквой Э с соответствующим числовым индексом): Э1 - информационная, Э2 - ориентационная, ЭЗ - проектировочно-конструктивная, Э4 - развивающая, Э5 - мобилизационная, Э6 - коммуникативная, Э7 - организационная, Э8 - гностическая. Оценку профессиональной готовности учителя (обозначим ее ПГ) будем осуществлять с помощью выражения:
где ЭI - уровень сформированности I-й ОПФ; AI - весовой коэффициент I-й ОПФ. Уровень сформированности ОПФ будем оценивать следующими цифрами: 0 - педагогическая функция не сформирована, 1 - педагогическая функция сформирована частично, 2 - педагогическая функция сформирована полностью. Весовые коэффициенты ОПФ определяют значимость педагогических функций в профессиональной деятельности. Они имеют следующие числовые значения: A1 = 0,43; А2 = 0,17; A3 = 0,04; A4 = 0,01; A5 = 0,05; А6 = 0,13; А7 = 0,13; А8 = 0,04. Следовательно, максимально возможное значение ПГ будет 2. Можно следующим образом интерпретировать три возможных интервала значений ПГ: 0-0,6: уровень профессиональной готовности низок, возможно, что обучающий профессионально непригоден; 0,7-1,3: средний уровень профессиональной готовности, необходимо дальнейшее совершенствование профессионально значимых качеств; 1,4-2,0: хороший уровень профессиональной готовности, возможно более детальное исследование профессиональной готовности. Возможность более детального исследования профессиональной готовности связывается с использованием представления о пяти уровнях деятельности обучающего [28], введенных Н.В. Кузьминой:
Однако, подобный анализ возможен только в том случае, если удастся оценить уровень сформированности каждой из основных педагогических функций. В целях получения достаточно корректной оценки профессиональной готовности предлагается повторять процедуру определения ПГ трижды (и пользоваться усредненной величиной):
Оценить уровень сформированности основной педагогической функции можно, решив следующие вопросы:
Основные педагогические функции отражают различные стороны деятельности обучающего в процессе выполнения им своих профессиональных обязанностей. Основные этапы решения педагогической задачи можно обозначить следующим образом:
Ориентируясь на это, можно следующим образом раскрыть смысл и профессиональную ориентацию ОПФ:
Эта функция предполагает выполнение совокупности действий, направленных на глубокое и прочное усвоение обучаемым основ науки, на формирование у него мировоззрения. Под информацией здесь подразумевается только та ее разновидность, которая является специфической социальной формой, проявляющейся в управляемом учебном процессе, сопровождаемом передачей знаний, умений и выработкой убеждений.
В процессе реализации этой функции у обучаемого должны быть всесторонне развиты индивидуальные способности, должна быть в определенной степени сформирована личность обучаемого.
При этом у обучаемого должны формироваться и закрепляться умения и навыки учебного и производительного труда.
Выделение профессионально значимых элементов, составляющих педагогическую функцию, по сути означает структурирование этих педагогических функций, рассматриваемых как некие системы с определенными (выделенными выше) целями функционирования. Эти элементы будут играть роль характеристических параметров соответствующих систем, а их введение является схематизацией и упрощением соответствующих педагогическим функциям явлений. Конечной нашей целью будет описание отдельных (важнейших) сторон этих явлений на строго количественном уровне. При этом, безусловно, придется смириться с отбрасыванием некоторых сторон педагогического явления и упрощением других, т.е. с потерей части информации о явлении. Но одновременно мы будем переходить на более высокий уровень обобщения, что позволит установить сравнительно простые связи между особенностями педагогического явления и распространить их в дальнейшем на целый класс родственных явлений. Ориентируясь на изложенное выше, предлагаются следующие структуры для основных педагогических функций
Выделенные элементы педагогических функций (в скобках указаны их индексы) будем называть обобщенными или макроумениями и макронавыками. Уровень сформированное педагогической функции будем определять по численному значению величины ПГ для этой функции. Например, для информационной педагогической функции получаем: ПГ1 [ПГ1(СО)+ПГ1(ЭО) + ПГ1(ВО)]/3, где ПГ1(СО) - профессиональная готовность по информационной педагогической функции, полученная в результате самооценки: ПП(ЭО) - профессиональная готовность по информационной педагогической функции, полученная в результате экспертной оценки; ПП(ВО) - профессиональная готовность по информационной педагогической функции, полученная в результате взаимооценки. Величина, например, ПП(СО) определяется в процессе самооценки с помощью следующей формулы: ПП(СО) = Э1.1 + Э1.2 +...+ Э1.10, где элементы могут иметь три возможных значения: "0" - соответствующий элемент (умение) не сформирован, "1" - соответствующий элемент сформирован частично, "2" - соответствующий элемент сформирован полностью. Таким образом, максимально возможное значение ПГ1 будет равно 20 и интерпретируется следующим образом: 0-6: информационная ПФ не сформирована (Э1=0); 7-13: информационная ПФ сформирована частично (Э1=1); 14-20: информационная ПФ сформирована достаточно (Э1=2). Совершенно аналогично оцениваются и интерпретируются величины ПГ2, ПГЗ,..., ПГ8. Более детальную оценку профессиональной готовности удается проводить, следующим образом распределяя полученные результаты:
Проблема количественной оценки умений и навыков на основе самооценки, взаимооценки и экспертной оценки даже в случае полной научной и методической обоснованности остается субъективным. Задача объективности первоначальной оценки может быть решена только в случае достаточно строгой формализации самой процедуры оценки. Под формализацией в данном случае мы будем понимать составление (в результате подбора или разработки) методик оценки, позволяющих формально (но с минимальной потерей сущности) провести первоначальную количественную оценку. Эти методики в конечном счете трансформируются в совокупность тестов, удовлетворяющих требованиям валидности и надежности процедур применения этих тестов и обработки получаемых в процессе тестирования результатов. Предложенный подход не может быть реализован на уровне макроскопических умений и навыков. Основными причинами являются:
Устранение отмеченных выше препятствий возможно в случае создания исходной (базовой) совокупности умений и навыков, позволяющих конструировать различные (необходимые в конкретных случаях) группы умений и навыков (в частности макроскопических умений и навыков), объединяемых по какому-либо признаку. Умения и навыки такой совокупности в дальнейшем будем называть базовыми. Понятно, что базовые умения и навыки должны удовлетворять двум требованиям (это необходимые для них требования):
Совокупность базовых умений и навыков, достаточная для решения задачи оценки профессиональной готовности обучающего, приведена в [18]. Таким образом, система, используемая для оценки профессиональной готовности обучающего, имеет три уровня:
Связь между этими уровнями типична для иерархических систем, что позволяет уверенно работать в рамках одного уровня без учета остальных или учитывая остальные как внешние по отношению к данной системе. Качество подготовки специалиста и уровень его профессиональной готовности являются интегральными характеристиками. Они учитывают общетеоретическую и профессиональную готовность, а также сформированность структуры личности. Хотя все составные части этих интегральных характеристик находятся в постоянном взаимодействии, можно выделить такие компоненты, которые сохраняли бы свойства одного из структурных элементов характеристики и позволили бы исследовать этот элемент независимо от остальных. Макроскопические умения и навыки составляют совокупность таких компонентов на среднем уровне. Базовые умения и навыки позволяют построить аналогичные совокупности на низшем уровне. В [18] приведены такие совокупности. При их создании руководствовались следующими ограничениями, выступающими в роли необходимых требований:
Выполнение всех перечисленных требований позволяет не вводить дополнительные весовые коэффициенты на среднем и низшем уровнях. То есть макроскопические умения и навыки в рамках основной педагогической функции считаются равнозначными. Равнозначными считаются и базовые умения и навыки в рамках каждого макроскопического. Любопытной является возможность использования одного и того же умения как элемента среднего и низшего уровней одновременно. Примером является умение использовать интуицию. Введение базового набора позволяет построить замкнутую и полную систему при оценке профессиональной готовности обучающего. При этом используются формулы вычисления величины ПГ и интерпретация полученного результата. Вся процедура формализована и может быть полностью автоматизирована. Введение базового набора умений и навыков обеспечивает объективность при исходной количественной оценке, требует одновременно разработки совокупности тестов и контрольных заданий, позволяющих идентифицировать ситуацию. 7.3. Технология проведения тестовых испытаний.Результаты тестирования во многом зависят от внешних условий - физических, психологических, технологических. При проведении процедуры тестирования необходимо обеспечить всем испытуемым равные условия. Конечно, необходимо соблюдать санитарно-гигиенические нормы (например, на 1 человека не менее 2 кв. м площади), освещенности (не ниже 500 люксов), вентилируемости, уровню шума. Мебель в аудитории (столы, стулья необходимо разместить так, чтобы обеспечить каждому тестируемому, удобное место для работы и чтобы к нему можно был свободно подойти. Наиболее благоприятное время для проведения тестирования - с 9 до 12 часов дня. Не рекомендуется проводить тестирование после занятий физической культурой. Перед началом тестирования необходимо проверить состояние помещения, его пригодность для работы определенного числа тестируемых, устранить или уменьшить отвлекающие факторы (шум, запах, мигание ламп и т.п., проверить наличие необходимого количества тестовых материалов. Необходимо оценить состояние класса (возбуждение или депрессия учащихся не способствуют объективности оценки). Для снижения факторов, влияющих на индивидуально-психологический барьер, возникающий при тестировании, определяется стандартная форма процедуры тестирования. При этом желательно, чтобы испытуемые учащиеся уже имели опыт подобных испытаний. Опыт показывает, что ошибки, допущенные в процессе тестирования, могут добавить до 50% разброса в оценках результативности выполнения теста. Перед тестированием необходимо проинструктировать учащихся о цели тестирования, а также мотивировать успешную работу над тестом. Необходимо четко прочитать инструкцию к тесту, разобрать примеры. Лучше, если варианты тест-билетов уже будут на руках, при этом ученики смогут следить за ходом инструкции по своим билетам. Необходимо сообщить и зафиксировать на доске время начала и конца работы, рассказать о правилах исправления ошибок, о том, как задавать вопросы. Во время работы учеников над тестом необходимо:
По окончании времени испытаний необходимо собрать тестовые материалы, проверить их количество. Проводить тестирование должен подготовленный специалист, который удовлетворяет следующим требованиям:
Для проверки ответов по имеющимся ключам привлекаются, как правило, несколько человек. Номера заданий распределяются по темам таким образом, чтобы обеспечить проверяющим одинаковый объем работ (так называемый метод "ромашки"). Закрытые задания проверяются по таблице ключей (эталонов), открытые задания проверяются по алгоритму проверки, подготовленному разработчиками теста. Баллы по каждому заданию заносятся в банк ответов, который передается для заполнения базы данных в компьютер. Каждый комплект тест-билетов должен быть снабжен паспортом теста. Паспорт к тесту составляется разработчиками для пользователей, в нем содержатся основные сведения о тесте:
Ниже приведены примерные инструкции [52]. Инструкция для ответственного за организацию тестирования:
Инструкция инспектору, проводящему тестирование в классе:
Инструкция руководителю группы проверяющих учителей:
|
[an error occurred while processing this directive] |