В начало

Список литературы

Глава 4. Базы заданий для проектирования тестов.

4.1. Параметры тестовых заданий.

Для описания баз тестовых заданий и проектирования тест-билетов удобно подразделять параметры заданий на три категории: технологические, экспертные и статистические.

К технологическим относят параметры, описывающие задания с технической (не содержательной) точки зрения. Как правило, эти характеристики допускают однозначное толкование. Примеры таких параметров:

1. тип заданий:
   • закрытое - задание, форма представления которого допускает дихотомическую оценку правильности -верно / неверно. Проверка таких заданий не требует привлечения педагогов;
   • открытое - задание, форма представления которого требует для проверки привлечения педагогов: задания открытого типа обычно проверяются по многобалльной шкале (чаще всего (10+1) - балльной):

2. форма представления информации:
   • текст u_i ∈ G_text,
   • графика u_i ∈ G_picter,
   • фото u_i ∈ G_foto,
   • аудио u_i ∈ G_audio,
   • видео u_i ∈ G_video,
3. время представления задания (для аудио- и видеотестовых заданий) τ_n
4. возможность компьютерного представления u_i ∈ G_comp.
5. место (в мм), необходимое для выполнения задания,
6. требуемый объем памяти компьютера (внешние накопители) для хранения заданий (файла заданий),
7. количество заданий в файле.

К экспертным относят параметры, значения которых описываются экспертами. Примеры таких параметров:

• количество учебных элементов p_i,
• время выполнения задания t_n,
• сложность (уровень усвоения знаний) α_i,
• ступень абстракции β_i,
• степень осознанности усвоения знаний β_i ,
• экспертная трудность.

К статистическим относят параметры тестовых заданий, которые вычисляются по результатам пилотных испытаний (предтестирование). По мере проведения педагогических измерений статистика может накапливаться и могут вноситься соответствующие коррективы. Примеры статистических параметров:

1) коэффициент решаемости задания k_i

2) коэффициенты селективности задания D_i и r_ipb ,

3) коэффициент привлекательности дистракторов,

4) параметры логистических кривых:

• дифференцирующая способность задания a_i ,
• трудность задания b_i,
• коэффициент угадывания c_i.

4.2. Структура базы заданий.

При разработке структуры базы заданий возникает вопрос о том, какие параметры заданий должны быть описаны. Ответ на этот вопрос зависит от тех моделей, которыми пользуется составитель при проектировании тест-билета.

Так для проектирования тест-билетов с помощью процедуры В.П. Беспалько [13, 36] структура базы заданий должна иметь следующий вид:

Если используются классические процедуры, то в качестве основных (статистических) параметров должны быть указаны коэффициент решаемости и коэффициент селективности.

В этом случае базы заданий должны иметь следующую структуру:

Классические параметры существенно (и часто нелинейно) зависят от популяции тестируемых, на которых была получена статистика. При разработке тест-билетов классические параметры (они интуитивно более понятны удобны на этапе первичного конструирования тест-билета либо когда база заданий используется примерно для той же категории испытуемых, на которых проводилась калибровка заданий, при стабильном учебном процессе в школе, вузе и т. д.

Параметры логистических кривых являются инвариантными (точнее - зависят линейно) при переходе от одной группы тестируемых к другой. Это свойство делает их весьма практичными при проектировании тест-билетов для любой популяции тестируемых и позволяет использовать широкий спектр процедур проектирования тест-билетов.

4.3. Калибровка заданий. Экспертные методы.

Процедуру описания характеристик заданий называют калибровкой. Одним из наиболее простых экспертных методов калибровки является метод комиссии.

Суть этого метода состоит в открытой дискуссии с целью выработки единого мнения. Каждый из членов комиссии опытных педагогов (экспертов) аргументировано обосновывает свою точку зрения по характеристикам представленных тестовых заданий. Решения о присвоении той или иной характеристики тестовому заданию достигается либо путем консенсуса, либо путем голосования.

Достоинством метода является открытое аргументированное обсуждение, когда растет уровень информированности экспертов и происходит изменение первоначальной точки зрения экспертов. Недостаток метода - возможность "давления" со стороны более авторитетных экспертов, что, однако, не гарантирует компетентности в оценке характеристик. Более того, активность ряда экспертов может не коррелировать с их компетентностью.

Другим широко распространенным методом в проведении экспертизы является метод Делфи.

Суть метода состоит в создании условий, обеспечивающих наиболее продуктивную работу экспертов.

Оценивание происходит в несколько этапов. На первом этапе аналитические группы готовят анкеты эксперта необходимую сопроводительную информацию. Анкета передается или рассылается экспертам. Для этой цели удобно использовать возможности Интернета (или электронной почты) и электронные шаблонные формы (например, формате Excel), которые позволят оперативно производит обработку полученных результатов. Обработка состоит в следующем:

• определение экспертов, предоставивших «крайние» оценки характеристик;
• усредненное мнение экспертов;
• представление разброса экспертных оценок.

На втором этапе экспертам представляются усредненные оценки экспертов и (анонимное) обоснование экспертов, предоставивших «крайние» оценки. После получения этой дополнительной информации эксперты высылаю свои новые откорректированные оценки. После обработок вновь полученной информации проводится третий этап аналогичный второму. Процедура завершается, когда оценки экспертов стабилизируются. В некоторых случая процедура охватывает четыре-пять этапов.

Как показывает опыт, метод Делфи является достаточно надежным инструментом для получения оценок экспертных характеристик тестовых заданий.

4.4. Калибровка заданий. Статистические методы

Пусть по результатам тестирования получена матриц ответов D размером NхL, причем произведена выбраковка строк и столбцов, целиком состоящих из нулей и едини! (m - для политомических заданий).

Нахождение статистических классических параметров не вызывает трудностей и проводится по формулам:

• коэффициент решаемости задания

• коэффициент селективности задания

D_i=k’_i-k”_i,

где k’_i - коэффициент решаемости i-го задания лучшей половины тестируемых;

k”_i - коэффициент решаемости i-го задания худшей половины тестируемых.

Вычисление статистических параметров IRT представляет более сложную задачу. Рассмотрим несколько методов ее решения.

4.4.1. Метод PROX для модели Раша.

Предложен L. Cohen в 1976 г. [36] для модели Раша. Предполагается, что тест составлен из дихотомических задний, латентные переменные испытуемых и трудность заданий в тест-билете распределены нормально:

θ_n≈N(M,σ²), δ_l≈N(H, ω²).

Алгоритм вычисления:

1. Вычисляются коэффициенты решаемости заданий коэффициенты выполнения испытуемыми тест-билета:

.

2. Вычисляются (в логитах) трудность заданий и латентные переменные испытуемых:

.

3. Вычисляются средние значения и дисперсии:

4. Вычисляются поправочные коэффициенты:

5. Оценка трудности заданий β_i и латентных переменных θ_n:

.

6. Находятся стандартные ошибки:

4.4.2. Метод наибольшего правдоподобия.

Рассмотрим метод наибольшего правдоподобия, который достаточно эффективен для заданий закрытого типа

Пусть вектор u_i={u_i1, u_i2, ..., u_in} - результат выполнения i-м испытуемым n закрытых заданий тест-билет где u_ij= 1, если задание выполнено верно, и u_ij=0, если задание выполнено неверно. Тогда функция правдоподобия имеет вид:

,

где P_ij - вероятность правильного выполнения i-м испытуемым j-го задания тест-билета и .

Так как функции L и ln L достигают максимума при одном и том же значении аргумента, то для вычислительных целей удобно рассматривать логарифм от функции L:

.

Одно из основных предположений IRT - все задания тест-билета являются локально независимыми. Предположение о локальной независимости является существенным. Оно означает, что при данном уровне знаний ответ на каждое задание тест-билета не зависит от результатов выполнения остальных его заданий.

Значения при котором функция правдоподобия достигает максимума, принимают в качестве объективных оценок θ, α, β, c и называют оценками наибольшего правдоподобия.

Неизвестные оценки наибольшего правдоподобия для параметров испытуемых находятся из необходимого условия экстремума функции ln L_i, по каждой из переменных θ, →a, →β, c. Система уравнений для определения величины θ_i в группе из N испытуемых имеет вид:

, где i=1, 2, ..., N.

Уравнения системы являются нелинейными, и их решение сопряжено с определенными вычислительными трудностями. Но каждое j-е уравнение зависит только от переменной θ_i, следовательно, значения θ_i можно определять независимо.

Система уравнений для определения характеристик тест-билета из n заданий в группе имеет вид:

, где i=1, 2, ..., n,

Решение систем правдоподобия проводится по очереди. Сначала полагают известными значения параметра α_i, β_i, c_i, а θ_i рассматривают как переменную. Затем значения θ_j переопределяют, принимая за новые θ_j , и находят оценки α_i, β_i, c_j доставляющие максимум функции ln L_j. На втором этапе переопределяют значения α, β, c. Процесс продолжается до тех пор, пока абсолютные значения разностей в результате итераций не станут меньше 0,01:

.

Конечно, для реализации этого метода нужны специальные программы. Важным предварительным моментом; является выбор хорошего начального приближения при оценивании θ_i и α_j, β_j, c_j, i=1, 2, ..., N; j=1, 2, ..., n. Начальная оценка уровня i-го испытуемого находится по формуле: i= 1, 2, ..., N, где N - число испытуемых, p_j - доля правильных ответов i-го испытуемого на все задания теста, q_i, - доля неправильных, т. е. q_i=1-p_i. Аналогичная начальная оценка параметров j-гo задания находится по формуле j = 1, 2, ..., n, где n - число заданий, р_j - доля правильных ответов всех испытуемых на j-e задания теста, q_i - доля неправильных, т. е. q_i=1-p_j.

Для нахождения максимального значения функции ln L можно использовать любой метод безусловной оптимизации функций нескольких переменных. Анализ показывает, что численные методы нулевого порядка дают плохую и очень медленную сходимость (например, метод покоординатного спуска). Метод Ньютона, использующий матрицу Гессе, также дает неудовлетворительный результат из-за плохой обусловленности матрицы Гессе. Практические расчеты показали, что квазиньютоновский метод Бройдена дает хорошую и устойчивую сходимость.

4.4.3. Метод наименьших квадратов.

Для заданий открытого типа достаточно эффективным является метод наименьших квадратов. Алгоритм вычисления параметров j-го задания:

1. В случае заданий открытого типа баллы за задание приводятся к диапазону [0, 1].
2. Вычисляются коэффициенты выполнения испытуемыми тест-билета:

3. Множество всех испытуемых делится на 11 подмножеств G₀...G₁₀ таким образом, что n-й испытуемый относится к i-й группе, если 0,1i≤ r_i ≤ 0,1(i+1).
4. Находятся коэффициенты решаемости l-го задания для группы G_i:

,

где M(G_i)- мощность множества G_i.

Таким образом, для каждого задания l получаем таблично заданную функцию K_l(i).

5. Считаем, что значение функции K_l(i) находится по формуле:

Исходя из этого, подбираем коэффициенты a_l, b_l, c_l минимизируя функцию

Минимизацию можно производить любым численным методом, например, методом покоординатного спуска.

4.5. Выравнивание заданий в файле.

Одна из основных и трудоемких задач при формировании банка файлов тестовых заданий - соблюдение принципа однородности, который предполагает группирование в одном файле заданий, близких по своим технологическим экспертным и статистическим характеристикам. Важным инструментом для этой цели является введение мер близости, которые позволяют определить, насколько "близки" или "далеки" друг от друга тестовые задания.

В качестве примера рассмотрим векторную меру близости v=(v_k, v_i, v_e),

где v_k - составляющая классических статистических характеристик,

v_l - составляющая латентных (IRT) статистических характеристик,

v_e - составляющая экспертных характеристик.

Пусть u_i = (k_i, D_i, a_i, b_i, p_i, α_i, β_i, t_i) - тестовое задание с описывающими его статистическими и экспертными характеристиками (параметрами):

k_i - коэффициент решаемости,

D_i - коэффициент селективности (D - индекс),

а_i - дифференцирующая способность,

b_i - трудность,

p_i - количество учебных элементов в задании,

α_i - уровень усвоения,

β_i - ступень абстракции,

t_i - время выполнения.

Тогда u_i можно идентифицировать с точкой в векторном пространстве

,

где l_k² подпространство классических статистических параметров,

l_l² - подпространство латентных статистических параметров,

l_e² - подпространство экспертных параметров.

Для каждой пары тестовых заданий u_i и u_j в подпространствах l_k², l_l², l_e² введем обычные l^q-нормы с весами:

где w_k ≥ 0 , w_D ≥ 0 , w_a ≥ 0 , w_b ≥ 0 , w_p ≥ 0, w_α ≥ 0, w_β ≥ 0, w_t ≥ 0 - весовые коэффициенты.

Тогда является интегрально нормой параметров в l⁸.

Одна из целей предтестирования - получение статистической информации для принятия решений о приемлемости, неприемлемости и "подозрительных" заданий могут обладать определенными техническими недостатка ми). "Подозрительные" задания не обязательно должны исключаться из банка заданий. Они лишь должны быть подвергнуты дополнительному, более тщательному анализу.

Анализ несоответствия параметров конкретного задания, содержащего его файла заданий общим параметра удобно проводить "сверху вниз", применяя карты Шухарта [36].