Задания в тестовой форме

3.10. Типовые ошибки разработки тестовых заданий

Рассмотрим некоторые типовые ошибки составления тестовых заданий на основе тестовых заданий по информатике и новым информационным технологиям.

Они аналогичны (с точки зрения тестологии) ошибкам и в других предметных областях.

Обозначим здесь и ниже тестовое задание с ошибками (тестологии) через T–, ошибки – через О, а откорректированное, правильное тестовое задание – через Т+.

Т–. Каждый символ при кодировании кодируется одним байтом. Слово "Тестирование" в ЭВМ обычно кодируется комбинацией длины:

1. 12 бит.
2. 72 бит.
3. 96 бит.
4. 192 бит.

О. Наличие двух предложений. Неясно, следует ли включать кавычки (как символы) в длину слова. Нестрогое слово "обычно" недопустимо.

T+. Слово "Тестирование" (без кавычек) кодируется по принципу "1 символ – 1 байт" битовой комбинацией длины:

1. 12.
2. 72.
3. 96.
4. 192.

Возможен и другой вариант:

T+. Слово "Тестирование" (без кавычек) кодируется в ASCII комбинацией длины:

1. 12.
2. 72.
3. 96.
4. 192.

Часто формулируют и так: Слово Тестирование кодируется по принципу "символ – байт" комбинацией длины...

1. 12.
2. 72.
3. 96.
4. 192.

Последний вариант нам кажется менее удачным, как с позиции грамматики русского языка, так и с позиции информатики (пояснения принципа кодировки).

Обратим здесь внимание на необходимость слова "длины". Если убрать это слово, то ответ всегда – 2 бита: любое слово всегда кодируется комбинацией из двух бит (0 и 1). Каждое слово в тесте – значащее. Лишних слов также не должно быть. Нужные – должны присутствовать все.

T–. Задуманное число до 500 можно отгадать односложными вопросами, задав их не более:

1. 500.
2. 50.
3. 10.
4. 9.

О. Условие не завершено функционально. Понятие "односложное" с точки зрения правил русского языка не требует обычно дополнительного уточнения, но с точки зрения проверяемых знаний и умений (а это принцип бинарного поиска) – предпочтительно пояснить и уточнить.

T+. Задуманное натуральное число до 500 можно отгадать двоичным поиском, задав вопросов не более:

1. 500.
2. 50.
3. 10.
4. 9.

Отметим, что наличие термина "двоичный поиск" здесь не только уместно, но и предпочтительно ("обучающий должен был это термин слышать"). Впрочем, возможна и "щадящая" постановка вопроса: "Задуманное натуральное число до 500 можно отгадать, последовательно задавая вопросы, требующие ответов "да" или "нет", задав их не более: ... .

T–. Решение системы уравнений:

16^y (Mбайт)=8^x (бит),

32^x (Kбайт)=2^y (Mбайт)

будет удовлетворять условию:

1. x>0, y>0.
2. x<0, y<0.
3. x>0, у<0.
4. x<0, у>0.

О. Ошибки преобразования единиц измерения сообщений или решения системы уравнений, допущенные на любом этапе решения, не всегда приводят к неправильному ответу. Задание не информативно. Неясны, например, причины и не видны некоторые следствия допущенных ошибок. Этот тест рассчитан на знание не только единиц измерения сообщений, но и на умение их преобразовывать друг к другу, а на "заключительном участке" – на умение решать системы показательных уравнений (это "побочный" эффект). Ошибки, допущенные на любом из этих этапов, – существенны и информативны.

Т+. Решение системы уравнений:

16^y (Mбайт)=8^x (бит),

32^x (Kбйт)=2^y (Mбайт)

имеет вид:

1. x=1, у= –3.
2. x=1, у=2.
3. x= –2, у=5.
4. x=1, у= –5.

Т–. Если рассматривается нижеследующий фрагмент таблицы истинности некоторой функции f(x,y,z)

то данной функции может соответствовать только функция:

1. f=(x) или (y) или (не(z));
2. f=(x) и (y) и (не(z));
3. f=(x) и (y) или (z);
4. f=(x) и (y) или (не(z)).

О. Многословие, излишние слова, особенно это нежелательно в сочетание с таблицами, графиками и т.д.

T+. Фрагменту таблицы истинности:

из приведенных ниже соответствует лишь логическая функция f(x,y,z):

1. f=(x) или (y) или (не(z));
2. f=(x) и (y) и (не(z));
3. f=(x) и (y) или (z);
4. f=(x) и (y) или (не(z)).

Существенны слова "из приведенных ниже". Без них тест некорректен, допуская множество других функций, отличных от приведенных.

T–. Список основных устройств ввода-вывода персонального компьютера: процессор, сканер, дисплей, диск, плоттер, принтер, мышь, трекбол, клавиатура, регистр, содержит различных устройств ввода информации:

1. 1.
2. 3.
3. 4.
4. 5.

О. Много ключевых слов задания: "список", "основные", "устройства", "персональный компьютер", "ввод", "вывод", "информация".

T+. Список {сканер, дисплей, диск, плоттер, принтер, мышь, трекбол, клавиатура} содержит устройств ввода всего:

1. 1.
2. 3.
3. 4.
4. 5.

T–. Основные функции операционной системы:

1. управление данными к обрабатываемым ЭВМ программам.
2. управление программами.
3. управление ресурсами.

О. Ответы – неодинаковой длины. Мало дистракторов. Слово "управление" нужно вынести в формулировку задания, а сокращение "ЭВМ" заменить на "компьютер".

T+/-. Главная функция ОС – это управление:

1. данными.
2. программами.
3. аппаратурой.
4. данными, программами и аппаратурой.

Нужно стараться избегать "наводящих" ответов типа 4), заменив его, например, на "ресурсами", "вычислениями" или "процессами".

T–. Фрагмент:s:=0; x:=1; нц пока (x<5); s:=s+x; x:=x+1; кц; вычисляет значение s равное:

1. 0.
2. 32.
3. 31.
4. 63.

О. Правильный ответ легко вычисляется и стоит первым в списке неупорядоченных по возрастанию или убыванию вариантов ответов.

T+. Фрагмент:

s:=0;
x:=1;
нц пока (x<5);
     s:=s+x;
     x:=x+1;
кц;

вычислит s равное:

1. 63.
2. 32.
3. 31.
4. 10.

Лучший вариант, все же, – "ЕГЭшный", – привести варианты записей на Бейсике, Паскале, Си, ШАЯ.

T–. В синтаксической конструкции:нц пока <предикат> <команда>...; пропущено ключевое слово:

1. до.
2. кц.
3. если.
4. все.

О. Наличие в условии задания нц подсказывает правильный ответ, даже если не понимается смысл этого ключевого слова и смысл самой конструкции, на что и было направлено данное тестовое задание.

T+. В синтаксической конструкции: нц ...<предикат> <команда> кц; пропущено ключевое слово:

1. до.
2. пока.
3. если.
4. для.

Здесь уже необходимо знание синтаксиса (и даже семантики) правильной конструкции.

T–. Графические файлы могут иметь все расширения, указанные в списке:

1. *.rtf; *.bmp; *.bas.
2. *.tif; *.exe; *.bmp.
3. *.jpg; *.bmp; *.tif.
4. *.rtf; *.bmp; *.tif; *.jpg.

О. В вариантах 1), 2) присутствуют достаточно широко известные всем (в том числе и тем, кто не знает расширений графических файлов) расширения *.bas, *.exe. Кроме того, ответ 4) – длиннее. Эти ответы – менее привлекательны.

T+. Графические файлы могут иметь все типы расширений, указанные в списке:

1. *.rtf; *.bmp; *.com.
2. *.tif; *.zip; *.bmp.
3. *.jpg; *.bmp; *.tif.
4. *.rtf; *.bmp; *.jpg.

Форма задания Т+ без звездочек также возможна, но без точки - нежелательна (почему?).

T–. Последовательное выполнение команд ШАЯ:a:=abs(–5)+ int(3.6)*mod(7,3); а:=max(mod(a,5),div(a,3))*int(a) даст значение а, равное:

1. 24.
2. 10.
3. 9.
4. 6.

О. Сокращение ШАЯ (школьный алгоритмический язык) – не вполне общепринятое и общеупотребительное, известное всем школьникам.

T+. Последовательное выполнение команд

	a:=abs(–5)+int(3.6)*mod(7,3);
	а:=max(mod(a,5),div(a,3))*int(a)

школьного учебного алгоритмического языка даст значение а, равное:

1. 24.
2. 10.
3. 9.
4. 6.

Лучший вариант, все же, – "ЕГЭшный".

При этом корректно следующее тестовое задание.

Т+. Windows – это:

1. ОС.
2. ППП.
3. БД.
4. СУБД.

T–. Значение выражения а=10,1₂+8F,4₁₆–6,2₈ в десятичной системе равно:

1. 139,25.
2. 139,5.
3. 138,5.
4. 140,5.
5. 143,25.
6. 147.

О. Много дистракторов. Последние дистракторы не рассчитаны на типовые ошибки, но остальные рассчитаны на типовые ошибки. Поэтому последние два дистрактора можно "безболезненно" убрать.

T+. Десятичное значение выражения а=10,1₂+8F,4₁₆–6,2₈ равно:

1. 138,5.
2. 139,25.
3. 139,5.
4. 140,5.

Заметим, что все эти дистракторы предполагают те или иные типовые ошибки перевода (какие именно?).

T–. Для предиката р="хX делится нацело на 5", где X=[1;30] область истинности равна:

1. {5,10,15,20,25,30}.
2. {10,20,30}.
3. {20,30}.
4. {5,10,20,30}.

О. Для нецелых х из указанного множества допустимых значений предикат не определен (не определено понятие делимости нацело для нецелых чисел).

T+. Предикат "х делится нацело на 5", заданный на множестве {1, 4, 6, 16, 20, 26, 30} имеет область истинности:

1. {5, 10, 15, 20, 25, 30}.
2. {10, 20, 30}.
3. {20, 30}.
4. {5, 10, 20, 30}.

Возможно использование вместо "х делится нацело на 5" выражения mod(x,5)=0, но нужно учесть, что в этом случае цель задания (его спецификация) изменяется, – проверяется еще и знание функции mod. Отметим, что в этом задании допускается неодинаковая длина дистракторов, так как мощность множества ответа – несущественна.

Другой пример ("вроде бы правильный").

Т–. Истинное значение при x=3 принимает предикат:

1. "для каждого натурального x существует y: y=x+1".
2. "натуральное x – четно, если int(x/2)=x/2".
3. "произведение 5y - нечетно".
4. "натуральное x – нечетно, если 2*int(x/2)+1=x".

О. На первый взгляд, - все вроде правильно. Проведём тщательный анализ. При подстановке значения x=3 дистрактор 1) становится неопределенным (не высказывание): "для каждого 3 существует y=4"! Дистрактор 2) некорректно сравнивает два различных по типу выражения – целое int(x/2) и вещественное x/2 (при любом натуральном х значение x/2 – вещественное). Дистрактор 3) – "слегка некорректен": "произведение 15 – нечетно" (неясно, произведение каких это чисел). Если бы было сформулировано в виде "произведение 5*y - нечетно", то тогда выражение превратилось бы истинное высказывание: "произведение 5*3 – нечётно".

Т+. Предикатом с переменной x является высказывательная форма:

1. "для каждого натурального x существует y: y=x+1";
2. "натуральное x – четно, если int(x/2)=x/2".
3. "произведение x*y при целых x,y - нечетно".
4. "натуральное x – нечетно, если 2*int(x/2)+1=x".

Здесь в правильном ответе 1) сравниваются однотипные выражения, в отличие от 2).

Этот пример (точнее, его откорректированный вариант Т+) можно отнести к группе С. Он показывает несостоятельность негласно существующего мнения, что задания группы С в тестовой форме невозможны, нельзя использовать, "хуже" и т.д. Для выбора ответа к приведенному заданию, как мы видим, понадобились достаточно глубокие знания (на что и направлена группа С).

T–. Значение выражения int(–3,8)+mod(9,4) равно:

1. 1.
2. 2.
3. 
4. 6.

О. Типовыми ошибками при вычислении этого выражения будут (ранжируем по экспериментально или экспертно устанавливаемой частоте их встречаемости и важности): 1) int(–3,8)= –3 (нет полных знаний о математической функции "антье" или [x], int(x)); 2) mod(9,4)=2,25 ("путают целочисленное и обычное деление"), 3) mod(9,4)=2 ("путают mod и div"). На эти ошибки и должны быть "нацелены" дистракторы. Итак, мы решили вначале "обратные" задачи. Для перечисленных типовых ошибок получаем неправильные варианты ответов: 1) –2; 2) –1,75; 3) –0,75 (комбинация 1) и 2)). Их и нужно предусмотреть в вариантах ответов.

T+. Значение выражения int(–3,8)+mod(9,4) равно:

1. –3.
2. –2.
3. –1,75.
4. –0,75.

T–. Фрагмент:нц для i от 1 до n; y:=mod(x,10); x:=div(x,10); кц; вычислит значение y равное цифре:

1. единиц натурального числа х.
2. самого старшего разряда числа х.
3. n-го разряда (начиная со старшего разряда) числа х.
4. n-го разряда (начиная с младшего разряда) числа х.

О. Для допустимого значения х=1 дистракторы 1), 2), 3) также становятся правильными ответами. Кроме того, возможны такие входные х, для которых дистракторы могут дать правильные числовые ответы, например, при х=11.

T+. Фрагмент:

нц для i от 1 до 4; 
     y:=mod(x,10);
     x:=div(x,10);
кц; 

вычислит для x=9631 значение y равное количеству:

1. единиц числа х.
2. десятков числа х.
3. сотен числа х.
4. тысяч числа х.

T–. Пусть в тесте приведены два задания.

Задание 1. Выражение эквивалентно:

1. 1.
2. .
3. .
4. x.

Задание 2. После упрощения выражения получим:

1. 1.
2. .
3. .
4. x.

О. В результате правильного решения первого задания получим ответ 4). Ясно, что ответ на второе задание равен 1, и он легко получается из ответа на первое задание. По крайней мере, если первое задание можно отнести к группе Б (с натяжкой), то второе вкупе с первым, – только к группе А (также с натяжкой), так как ориентирован на проверку знания лишь одной простой аксиомы: . Нарушена валидность (тестовое задание на проверку одной указанной аксиомы, как правило, - не нужно). Для сокращения времени составления задания и увеличения банка тестовых заданий, часто делают такие "добавки" к раннее придуманным корректным выражениям. Это очень вредный подход. В принципе, он допустим для формирования различных однотипных вариантов тестовых заданий. Не более.

T+. В тесте могут быть приведены, например, два следующих задания.

Задание 1. Выражение эквивалентно:

1. 1.
2. .
3. .
4. x.

Задание 2. Выражение равносильно:

1. .
2. .
3. .
4. 1.

Т–. Частное от деления десятичного числа 12 на десятичное число 7 имеет меньшую относительную погрешность в представлении:

1. 1,71 (десятичное).
2. 1,55 (восьмеричное).
3. 1,1011 (двоичное).
4. 1,В5 (шестнадцатеричное).

О. Гетерогенность (информатика + математика, знание абсолютной и относительной погрешности из математики и систем счисления из информатики) в этом задании не является "жизненно необходимой". Задание лучше переформулировать так, как приведено ниже.

T+. Частное от деления десятичного числа 12 на десятичное число 7 точнее представлено числом:

1. 1,71 (десятичным).
2. 1,55 (восьмеричным).
3. 1,1011 (двоичным).
4. 1,В5 (шестнадцатеричным).

Понятие "точнее" здесь уже ясно хотя бы на интуитивном уровне и этого вполне достаточно для ответа (тем тестируемым, кто знает, что деление в различных системах не всегда осуществимо точно, а это также входит в проверяемые заданием знания, умения и навыки).

T–. Число различных символов в закодированном по КОИ-8 сообщении вида 1111000111010000111100011001111011010000 равно:

1. 6.
2. 5.
3. 4.
4. 3.

О. Здесь, несомненно, у тестируемого возникнет вопрос: что такое КОИ-8? Не "спасёт" и употребление вместо КОИ-8 более известного стандарта ASCII. Лучше это тестовое задание переформулировать следующим образом.

T+. Различных символов в закодированном по принципу "1 символ – 1 байт" сообщении вида 1111000111010000111100011001111011010000: 1) 6. 2) 5. 3) 4. 4) 3.

Т+. В десятичном числе из х десятков и х единиц, количество информации:

1. в цифре десятков и цифре единиц – одинаково.
2. в цифре десятков больше, чем в цифре единиц.
3. в цифре единиц больше, чем в цифре десятков.
4. в цифрах разрядов нельзя сравнивать, так как цифры неизвестны.

Такие тестовые задания можно вполне включать в ЕГЭ в качестве задания группы С (не требует знаний и умений, выходящих за рамки школьной программы).