Сравнительный анализ возможностей специализированных сред и программ для разработки компьютерных тестов

СРАВНИТЕЛЬНЫЙ АНАЛИЗ ВОЗМОЖНОСТЕЙ СПЕЦИАЛИЗИРОВАННЫХ СРЕД И ПРОГРАММ ДЛЯ РАЗРАБОТКИ КОМПЬЮТЕРНЫХ ТЕСТОВ Н.П. Безрукова, А.А. Безруков Красноярский государственный педагогический университет им. В.П. Астафьева 660049, г. Красноярск, ул. А. Лебедевой, д. 89

Аннотация. Обсуждаются возможности компьютерного тестирования как эффективного инструментария для осуществления мониторинга качества обучения. Поскольку наиболее приемлемым способом компьютерной реализации тестовых заданий для преподавателей предметных дисциплин является использование специализированных сред и программ, приводится сравнительный анализ возможностей некоторых систем тестирования, специализированных авторских систем для разработки цифровых образовательных ресурсов, инструментальных средств для дистанционного обучения, а также офисных программ для разработки компьютерных тестов, содержащих различные типы заданий.

Annotation. Opportunities of computer testing as effective tool for realization of monitoring of quality of training are discussed. As the most comprehensible way of computer realization of test tasks for teachers of subject disciplines is use of specialized environments and program, the comparative analysis of opportunities of some systems of testing, specialized author's systems for creation of digital educational resources, tool means for distant training and office programs for development of the computer tests containing various types of tasks is suggested.

1

ВВЕДЕНИЕ.

ЗНАЧЕНИЕ

ТЕСТОВЫХ

ТЕХНОЛОГИЙ В РЕАЛИЗАЦИИ

МОНИТОРИНГА КАЧЕСТВА ОБУЧЕНИЯ Мониторинг качества обучения является одной из важнейших составляющих современного дидактико-воспитательного процесса. Этим понятием обозначается система постоянного отслеживания состояния его основных компонентов, поэтапное их измерение, диагностика, прогнозирование и проектирование, обеспечивающее принятие решений, улучшающих образовательный процесс. Мониторинг качества обучения базируется на эффективной организации контроля в процессе освоения обучающимися содержания обучения. Диагностическая функция контроля предполагает аналитический срез и оценку уровней усвоения знаний, интегративных умений, сформированности компетентностей, готовности к дальнейшему образованию и самообразованию, ценностного отношения к осваиваемой дисциплине. В рамках традиционного обучения мониторинг качества обучения, как правило, базируется на системе традиционных форм контроля: экзамен, зачет, письменная контрольная работа, устный опрос и др. Отсутствие эталонов, «стандартов» для оценки достижений обучаемых приводит к тому, что выводы по результатам контроля основываются главным образом на интуиции преподавателя, результаты обучения на отдельных его этапах не оказывают влияния на выбранную программу обучения. Модернизация мониторингового инструментария предполагает создание средств, реализующих эффективные способы измерений, обработки результатов контроля, на основе которых можно делать объективные выводы и экспрессно вносить коррективы в образовательный процесс. Известно, что тестовые технологии могут быть использованы с целью решения обучающих, воспитывающих и развивающих задач на всех этапах образовательного процесса (актуализации, мотивации, изучения нового материала, установления обратной связи, закрепления, обобщения изученного, контроля и оценивания знаний и умений, ценностных отношений). В системе мониторинга качества тестовому контролю отводится особая роль, поскольку он позволяет получить наиболее оперативную и достаточно объективную оценку учебных достижений учащегося, улучшить диагностичность и прогностичность всей системы мониторинга. При этом особое значение в модернизации мониторингового инструментария имеют компьютерные тесты. Использо-

2

вание информационно-коммуникационных технологий (ИКТ) для организации тестового контроля по сравнению с «бумажным тестированием» имеет следующие преимущества: 

использование компьютера для ознакомления испытуемого с содержанием теста

предпочтительно по сравнению с применением для этой цели печатных форм, поскольку с его помощью можно «оживить» содержание заданий теста, показывая рассматриваемые в них ситуации в динамике, развитии; 

компьютер может использоваться как средство в выполнении заданий теста, на-

пример, для решения расчетных задач; 

специалисты в области тестологии считают, что при организации тестирования не-

обходимо проводить анализ результатов оперативно. В этом смысле компьютерный тест – идеальное средство. После ответа тестируемого на тестовое задание компьютер позволяет выводить результат и объяснение к неверному ответу; 

компьютеры незаменимы в обработке результатов тестирования. Результаты мас-

сового выполнения теста содержит огромную по объему информацию не только о достижении в учении каждого из испытуемых, но и об эффективности используемых технологий обучения. Детальный анализ результатов тестирования позволяет объективно диагностировать учебный процесс и результаты обучения, высказывать достаточно обоснованно причины пробелов в обучении; 

возможность создания программ тестирования, адаптированных к индивидуаль-

ным особенностям испытуемых. В зависимости от индивидуальных результатов варьируется не только характер, но и число заданий. Реализация адаптивных тестов возможна только в форме компьютерного тестирования, диалога «компьютер – обучаемый». На данном этапе существуют два основных подхода к разработке цифровых образовательных ресурсов (ЦОР), и в частности, компьютерных тестов: 

использование языков программирования;



использование специализированных сред и программ. Характерными чертами ЦОР, созданных средствами прямого программирова-

ния, являются: разнообразие стилей реализации (структура ЦОР, способ подачи материала, интерфейс, цветовая палитра, и т.д.); отсутствие аппаратных ограничений, т.е. возможность создания ЦОР, ориентированного на имеющуюся в наличие техническую

3

базу. Однако для этого подхода характерны и такие недостатки как сложность модификации и сопровождения; большие затраты времени и трудоемкость. Специализированные инструментальные среды и программы, как правило, обеспечивают следующие возможности: • формирование структуры ЦОР; • ввод, редактирование и форматирование текста (текстовой редактор); • подготовка статической иллюстративной части (графический редактор); • подготовка динамической иллюстративной части (звуковых, анимационных и видеофрагментов); • подключение исполняемых модулей, реализованных с применением других средств разработки и другие. К достоинствам разработки ЦОР в специализированных средах и программах следует отнести: возможность создания ЦОР лицами, которые не являются квалифицированными программистами; существенное сокращение трудоемкости и сроков разработки ЦОР; легкость в модификации и сопровождении. Как показывает практика, для преподавателей предметных дисциплин приемлемым является именно этот подход. Данная статья посвящена анализу программного обеспечения, которое может быть использовано для компьютерной реализации тестов без использования языков программирования. Понятно, что компьютерной реализации тестовых заданий предшествуют этапы, связанные с подготовкой "бумажного" варианта теста - выбор темы, этап целеполагания, поиск и анализ аналогов, разработка структуры и видов заданий, оценка сложности, содержательной и критериальной валидности теста и т.д., которые, наряду с вопросами математического моделирования тестов, остаются за рамками данной статьи. На данном этапе можно выделить три типа специализированных сред и программ, используемых для разработки компьютерных тестов: 

автоматизированные системы тестирования;



специализированные авторские системы для разработки ЦОР, содержащие инст-

рументарий для создания тестов как составную часть; 

инструментальные компьютерные среды (ИКС) для поддержки образовательно-

го процесса, включающие не только средства по созданию ЦОР, в том числе и компью-

4

терных тестов, но и средства для разработки управления учебным процессом и организации взаимодействия между всеми участниками процесса обучения. В контексте особенностей компьютерного тестирования, в основе приведенного ниже анализа программного обеспечения, которое можно использовать для его реализации, лежит оценка по трем, с нашей точки зрения, основным параметрам: 

функциональные возможности, связанные с собственно компьютерной реализацией

тестовых заданий (функционал разработчика теста); 

функциональные возможности, связанные с организацией тестирования (функцио-

нал процедуры тестирования); 

функциональные возможности, связанные с обработкой и представлением результа-

тов тестирования (функционал анализа результатов).

5

I. СРАВНИТЕЛЬНЫЙ АНАЛИЗ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ТЕСТИРОВАНИЯ Автоматизированные системы тестирования – это обширный класс программ, самым непосредственным образом предназначенный, как следует из его названия, для реализации компьютерного тестирования. Примерами программ этого класса являются «Oprosnik» [1], «Qтест» [2], системы «Экспресс-тест», «Тест», «Знания» [3], AST-Test [4], TestMaker VVZ 2.6 [5], Auto Control 2.0 [6], многочисленные "Конструкторы тестов" [например, 7-10], компьютерные среды оценки качества знаний [например, 11-12] и многие другие. Родоначальником класса по праву можно считать тестирующие программыоболочки. Как показывает практика, каждая кафедра информатики отечественного высшего учебного заведения имеет свою авторскую тестирующую программуоболочку. Если на начальном этапе такого типа программы строились на принципе однозначного распознавания ответов испытуемого и использовании только текстового режима при формулировании заданий, более современные варианты, как правило, позволяют реализовать и множественный выбор вариантов ответов, использование графического материала (рисунки, графики и т.д.), звуковой и видеоинформации, а также возможность использования надстрочных и подстрочных символов при формулирования заданий, что особенно важно при разработке компьютерных тестов по таким дисциплинам, как математика, физика, химии. Рассмотрим возможности тестирующих программ-оболочек на примере программы "Оprosnik" [1]. В ней предусмотрено создание надстрочных и подстрочных символов, необходимых для набора химических формул, математических выражений; случайный выброс тестовых заданий; автоматическая запись результатов тестирования; возможность анализа результатов тестирования и варьирования времени тестирования. Последнее важно с точки зрения учета индивидуальных особенностей обучаемого. Программа работает в режиме диалога с обучаемым: в начале работы испытуемый должен ввести свою фамилию и номер группы, после чего программа выводит на экран задания теста, предлагая выбрать правильный ответ из нескольких вариантов (количество их для конкретного задания может быть различным). Введенный ответ

6

анализируется, и на экране появляются оценочные комментарии. В случае неверного ответа на экран (по желанию разработчика) выводится текст правильного ответа и пояснения к нему. Таким образом, тест, созданный в «Oprosnik» может нести элемент обучения, способствуя систематизации знаний, усвоенных обучаемым (тест с элементами обучения). С другой стороны, предоставление испытуемому объяснений, почему его ответ является неверным, снимает претензии к экзаменатору (разработчику теста) [13]. В процессе работы с тестом информация об ответах испытуемого заносится в файл-протокол. Протокол организован по принципу накопления результатов. По окончании тестирования на экран выводится содержимое этого файла, на основе которого выставляется отметка. В программе«Oprosnik» предусмотрена возможность просмотра всех ответов испытуемого, зафиксированных в файле-протоколе, что позволяет c одной стороны, при необходимости в индивидуальном режиме обсудить с испытуемым его ошибки, а с другой – провести экспресс-анализ результатов тестирования и внести необходимые коррективы в дальнейшее обучение (Рис.1). Реализация контроля с использованием тестов, созданных в тестовых программах-оболочках, как правило, не требует наличия навыков работы на компьютере у испытуемых. Компьютерная реализация тестовых заданий обычно не вызывает затруднений даже у разработчиков, имеющих начальных пользовательский уровень владения компьютером. В ее основе лежит, как правило, несложная процедура заполнения шаблона блоков тестовых заданий средствами текстового редактора. Развитие этого класса программ было связано: 

с увеличением количества типов заданий, которые можно реализовать на ее ос-

нове. Например, если в "QTest" можно создать только тесты выбора, то AST-Test позволяет реализовать наряду с однозначным выбором ответа, задания с множественным выбором, а также с вводом ответа в свободно конструируемой форме; 

с модернизацией базы тестовых заданий. Так, наряду с тестовыми программами-

оболочками, позволяющими создавать автономные тесты, появились системы, позволяющие наполнять базу тестовых заданий по разделам, осуществлять автоматическую генерацию теста случайным образом либо в соответствии с определенными

7

критериями. В ряде систем появляется возможность указания "веса" задания, характеризующего его сложность; 

с расширением возможностей статистической обработки результатов тестирования,

например, автоматическим выявлением заданий, вызывающих наибольшие затруднения у испытуемых и наоборот; выявлением динамики успешности испытуемого; 

расширением сетевых возможностей за счет проектирования тестов на основе

технологии «клиент-сервер».

Рис.1. Информация из файла-протокола

Что касается последней из указанных тенденций, в сети Internet появились специализированные Web-сайты, предоставляющие разработчику доступный инструментарий как для подготовки тестов, так и для организации тестирования и анализа его результатов на основе Web-технологий. Так на сайте [14] возможна реализация тестовых заданий типа выбора ответа из предложенных, множественного выбора, а также заданий с вводом ответа в свободно конструируемой форме, при этом возможна установка размера поля ввода. При создании тесте возможны следующие установ-

8

ки: указание заданий, выполнение которых обязательно; настройка расположения вариантов ответов; вывод вариантов ответов в случайном порядке. Функционал анализа результатов включает вывод результатов в табличном виде, с диаграммами. Наряду с этим возможен просмотр ответов испытуемого на задания с вводом ответа в свободно конструируемой форме. Еще одним проявлением указанной тенденции является появление на рынке программного продукта серии так называемых конструкторов сайтов, которые, как правило, включают и конструктор тестов. В качестве примере ниже приведены несколько рисунков, относящихся к разработке компьютерного теста в Конструкторе школьных сайтов E-Publish [10].

Рис.2. Пример создания Web-страницы с тестовыми заданиями в конструкторе тестов E-Publish

9

Рис.3. Выбор типа задания в конструкторе тестов E-Publish Функционал разработчика в такого рода конструкторах, также как и в программе-оболочке, находящейся на указанном выше сайте [14], доступен пользователю с начальным уровнем владения компьютера. Тестовое задание выбранного типа вставляется на страницу с выделенными пунктиром областями для ввода и редактирования. Возможно добавление новых блоков на эту же страницу. В дальнейшем блоки можно перемещать, меняя порядок следования тестовых заданий, удалять, изменять типы вопросов и редактировать содержание заданий. На рис.4 представлен пример наполнения содержанием блоков тестовых заданий различного типа, а на рис.5 – вид экранной формы после выполнения заданий. Функционал анализа результатов тестирования в программах такого типа обычно неширок, однако это в определенной мере компенсируется простотой компьютерной реализации и процедуры тестирования.

10

Рис.4. Пример наполнения содержанием тестовых блоков.

11

Рис.5. Вид экранной формы после выполнения заданий теста Представляет несомненный интерес тенденция интеграции классических автоматизированных систем тестирования с таким направлением создания искусственного интеллекта как экспертные системы. Так, в работе [12] предлагается концептуальная схема "инструментальной компьютерной среды оценки качества знаний учащихся" (терминология автора), которая предназначена для решения следующих задач:

12



обеспечение инструментария по созданию тестов и их коррекции на основе эмпирического материал;



психолого-педагогическую диагностику тестовой тревожности испытуемых;



поддержку принятия решения диагноста о выборе типа теста для испытуемого на основе результатов диагностики тревожности;



проведение тестирования на различных этапах обучения;



оценку качества знаний испытуемого.

Из этого следует, что по замыслу автора такая среда должна выполнять композиционную, диагностическую, антистрессовую, аналитическую и экспертную функции. Среда включает блок психолого-педагогической диагностики, блок тестирования и блок экспертизы. Первый из указанных блоков реализует психолого-педагогическую диагностику тестовой тревожности испытуемых по стандартизированным методикам. Блок тестирования состоит из дизайнера тестов и модуля тестирования. Его основные функции – формирование новых и редактирование существующих тестов, сохранение результатов в банке данных среды; организация интерфейса тестирования, анализ результатов. Блок экспертизы представляет собой экспертную систему оценки качества знаний, которая является ядром разрабатываемой среды. Основными функциями данного блока являются анализ результатов психолого-педагогической диагностики; формирование рекомендаций диагносту по выбору типа тестового задания для конкретного учащегося; генерирование заключения для испытуемого и для учителя и др. Среда реализуется как двухуровневое клиент-серверное приложение. База данных тестирования реализуется как централизованная реляционная база данных с сетевым доступом и клиент-серверной архитектурой. При реализации экспертной системы используется продукционная модель представления данных. Таким образом, спектр автоматизированных систем тестирования весьма широк: от относительно несложных в эксплуатации тестовых программ-оболочек, предназначенных для локального компьютера, до многоблочных систем, основанных на технологии "клиент-сервер" и экспертных системах, позволяющих оценить уровень обученности с учетом тестовой тревожности испытуемого.

13

II. АНАЛИЗ ВОЗМОЖНОСТЕЙ ДЛЯ СОЗДАНИЯ КОМПЬЮТЕРНЫХ ТЕСТОВ СПЕЦИАЛИЗИРОВАННЫХ АВТОРСКИХ СИСТЕМ ДЛЯ РАЗРАБОТКИ ЦОР Авторские системы принято специфицировать как средства визуальной разработки мультимедийных приложений. А.И.Башмаков и И.А.Башмаков в своем весьма солидном издании, посвященном разработке компьютерных учебных учебников и обучающих систем [15], отмечают, что в самом понятии "авторские системы" отражена ориентация данных средств не на программистов, а на авторов материала, представляемого в приложении. Создавая собственные ЦОР: электронные учебники и пособия, компьютерные справочники и словари, обучающие и контролирующие программы, они закладывают в них свои специальные знания, свой опыт и методики обучения. Поскольку инструментарий, связанный с разработкой компьютерных тестов, является одним из компонентов авторской системы, целесообразно на начальном этапе охарактеризовать их в целом. В рамках этого направления до 90-х годов прошлого века разрабатывались и эксплуатировались автоматизированные обучающие системы (АОС) по различным учебным дисциплинам. Характерными представителями АОС, построенных на алгоритмах программированного обучения, длительное время являлись: за рубежом система PLATO, в нашей стране семейство АОС ВУЗ [16]. С начала 90-х годов в России и странах СНГ распространяются авторские системы для создания компьютерных курсов на ПЭВМ типа IBM PC как отечественного (Адонис [17], Сценарий, АОСМИКРО, Урок [18]), так и зарубежного производства (Private Tutor, Costoc, Quest, TenCore [19, 20]). Необходимо отметить, однако, что вышеперечисленные системы работают под управлением операционной системы MS DOS. Как следствие, нельзя сказать, что ЦОР, разработанные на их базе, в полной мере являются мультимедийными. Из современных авторских систем для создания ЦОР, по нашему мнению, заслуживают внимания отечественная разработка – пакет «HyperMethod» (компания ГипреМетод) [21], пакет программ «ToolBook Instructor» [22], и среда визуального конструирования Windows-приложений «DemoShield» (компания InstallShield) [23].

14

Следует отметить, что практически все современные авторские системы базируются на идеологии визуального конструирования и технологии шаблонов. Шаблон представляет собой заготовку компонента ЦОР (кадра, диалоговой панели, информациионного объекта того или иного типа и т.д.). Технология шаблонов вносит решающий вклад в повышение производительности разработки ЦОР, в том числе и компьютерного теста, поскольку его компоненты создаются не с нуля, а формируются из шаблонов, которые выбираются из библиотек и настраиваются в соответствии с текущими требованиями. В свою очередь, библиотека шаблонов содержит стандартные решения для большинства типов задач, решаемых с помощью компьютерных средств обучения. Количество и состав шаблонов в библиотеке авторской системы относятся к числу характеристик, влияющих на выбор той или иной системы для разработки, в том числе компьютерного теста. Для облегчения освоения функционала современной авторской системы она, как правило, содержит так называемую программу-«специалиста по приложениям» - средства помощи разработчику ЦОР. Авторские системы классифицируются по поколениям инструментария; по использованию языковых средств, по метафоре, причем последняя классификация используется в литературных источниках наиболее часто [24]. Под метафорой понимается образ того, на что похож процесс разработки и пользовательского интерфейса инструментария. Выделяют следующие метафоры: 

Язык сценариев;



Структурно-функциональные схемы;



Схемы кадров;



Иерархическая схема;



Электронная книга;



Шкала времени;



Гипермедиа ссылки. Достаточно подробное описание всех указанных выше метафор приводится в

работе [15]. Однако, уже из их названий интуитивно понятна суть той или иной метафоры. Так, в случае использования для разработки ЦОР авторской системы, относящейся к метафоре Электронная книга, разрабатываемый ЦОР в целом ассоциируется с книгой, его части – с главами и разделами, а их составляющие со страницами. На стра-

15

ницах размещаются информационные объекты, на которых специфицируются гиперссылки. Кроме того, страницы объединяются в просмотровые последовательности. Примером такой авторской системы является ToolBook. Основные черты метафоры Шкала времени заключаются в следующем. Разрабатываемый ЦОР интерпретируется как фильм, состоящий из последовательности кадров. Последовательсность кадров может быть линейной или ветвящейся. Их смена определяется логикой работы приложения. Каждый кадр представляет сцену, в которой действуют "актеры" – объекты различного типа. Поведение "актеров" и синхронизация их действий описывается с помощью шкалы времени, на которой задаются отметки, ассоциируемые с управляемыми событиями (например, вывести или скрыть изображение актера, начать, остановить или продолжить воспроизведение и т.д.). Примером такой системы является DemoShield. В виду ограниченности объема статьи рассмотрим возможности для компьютерной реализации тестовых заданий двух авторских систем ToolBook и DemoShield. ToolBook - одно из первых специализированных средств по созданию мультимедийных приложений под Windows. По мнению авторов работы [25], ToolBook II – серия программных продуктов, предназначенных для разработки и сопровождения систем локального и дистанционного образования с использованием возможностей сетей Internet. В соответствии с метафорой Электронная книга каждая страница книги ToolBook-приложения может содержать различные объекты (поля, кнопки, графику), причем одни и те же объекты могут одновременно использоваться на нескольких страницах. Каждый ToolBook-объект имеет уникальный набор свойств, определяющий момент появления и поведение объекта, поэтому нет нужды описывать каждое действие отдельно. Но если такая необходимость все же возникает, можно сформировать собственный объект, создать ему сценарий с помощью языка Open Script. Это полноценный язык программирования с достаточно большими возможностями. ТоolBook содержит различные вспомогательные программы, такие, как редактор звуковых файлов, редактор палитр (полезно для оптимизации графических файлов), графический редактор, редактор иконок и курсоров, ftp-утилиты, редактор анимации объектов.

16

При разработке ЦОР используются различные мультимедиа-объекты из списка поставляемых с системой либо созданные с применением других средств. ToolBook поддерживает большую часть форматов мультимедиа-файлов. Все выше перечисленное в полной мере может быть использовано при разработке компьютерных тестов. ToolBook предоставляет разработчику большое количество шаблонов для реализации тестовых заданий, которые сгруппированы в три группы: с выбором ответа (ответов) из предложенных вариантов (Questions Multiple Choice), с ответами типа "да"-"нет" (Questions True-False) и группа Questions Various, включающая шаблоны заданий с вводом ответа в свободной форме, заданий на основе ранжирования ответов и рейтингования вариантов ответов. На рис.6. представлен вид экранной формы после выбора одного из шаблонов группы Questions Multiple Choice. Для каждого тестового задания можно установить время для ответа, количество попыток, автоматическое возвращение в исходное состояние вариантов ответа, режим перемешивания вариантов ответов при каждом новом запуске теста (рис.7).

Рис.6. Вид экранной формы после выбора одного из шаблонов для реализации тестового задания выбора

17

Рис.7. Диалоговое окно свойств объекта Задание с множественным выбором ToolBook предоставляет разработчику возможность в автоматическом режиме или в ручную установить весовой коэффициент каждому варианту ответа (рис.8). Что касается заданий, предполагающих ввод ответа в свободно конструируемой форме, группа Questions Various включает шаблоны для ввода однострочного и многострочного ответа, а также ответа с ограниченным числом символов. ToolBook предоставляет разработчику очень широкие возможности для анализа введенного испытуемым ответа. Возможно посимвольное сравнение ответа с эталоном, эталон ответа может содержать шаблоны с использованием символа [*], заменяющего любое количество разных символов, можно учитывать/не учитывать регистры букв, учитывать порядок следования слов в ответе, игнорировать всю пунктуацию. Для реализации более гибких условий сравнения ответа с эталоном можно воспользоваться OpenScript_expression (рис.9) и, создавая эталонное выражение, основанное на логических операторах, конкретизировать условия, при которых ответ будет считаться правильным.

18

Рис.8. Установка параметров для подсчета результата выполнения тестового задания на выбор ответа из предложенных вариантов ия задания.

19

Рис. 9. Добавление эталонного ответа и установка параметров для сравнения.

На рис. 10-12 приведены фрагменты из тестов, созданных на основе других шаблонов авторской системы ToolBook.

20

Рис.10. Пример тестового задания с вводом ответа в свободной форме.

Рис.11. Пример тестового задания на ранжирование ответов

21

Рис.12. Пример размещения тестовых заданий различных типов на странице ToolBookприложения Таким образом, ToolBook является достаточно эффективным средством для разработки компьютерных тестов. Функционал разработчика и функционал анализа результатов данной системы достаточно обширны. Функционал процедуры тестирования можно назвать оптимальным. Определенные неудобства отечественному разработчику доставляет то, что интерфейс системы на английском языке. Кроме того, для размещения теста из 20-25 заданий (даже без использования графики) требуется около 1 МВ дискового пространства. Авторская система «DemoShield» в отличие от таких программных продуктов, как «Link Way», «Multimedia ToolBook», «Macromedia Director», «Icon Autor», «Адонис», «Магистр», «Фея» не так широко известна в нашей стране. Тем не менее, наш

22

опыт эксплуатации этой среды в течение нескольких последних лет и создания в ней целого ряда ЦОР [26-28] позволяют утверждать, что данная среда, базирующаяся на идеологиях объектного и визуального проектирования, пожалуй, одна из самых технологичных в плане получения конечного продукта. Поскольку здесь не требуется знания программирования и благодаря хорошо продуманному, интуитивно понятному интерфейсу, выполненному в стандартном стиле Windows-приложений, его простоте и логичности, на освоение среды требуется существенно меньше времени, чем на вышеупомянутые авторские системы. В пакет программ «DemoShield» входят собственно среда разработки DemoShield Designer, DemoShield Player – программа для проигрывания файлов, создаваемых в DemoShield Designer, программа Setup Wizard, предназначенная для подготовки созданного программного продукта к распространению, созданию дистрибутива, и Demo Text Editor, позволяющий выполнять редактирование текста программ без использования DemoShield Designer. Главным компонентом среды разработки DemoShield Designer является сцена. По сути, эта экранная форма представляет собой как бы строительную площадку, где в соответствии с генеральным планом разработчика размещаются различные конструкции (объекты). В среде предусмотрены средства управления проектом на уровне сцен. Сюда следует отнести длительность отображения сцены на экране, порядок следования сцен и автоматические переходы между ними. Как компонент визуального проектирования, сцена имеет следующие свойства: имя, продолжительность, переход по окончании сцены, внешний вид. Инструменты среды – объекты (графические, текстовые, видео- и звуковые, интерактивные, переменные и др.), которыми в зависимости от содержания заполняются экранные формы (сцены). Объекты “знают” и “умеют” как, где и когда себя показать. Они наделены “жизнью” (тремя различными временными этапами), благодаря чему “умеют” перемещаться по сцене (рис. 13). Все это позволяет отображать на экране разнообразные ситуации, явления и события в динамике. Интерактивные объекты (графические и обычные визуальные кнопки, радио- кнопки и др.) дают возможность управлять как порядком смены сцен, так и событиями на любой сцене. Именно они предоставляют разработчику средства для реализации сложных компьютерных сценариев ЦОР, где необходимо прибегать к нелинейному следованию экранных форм, цикличе-

23

ским повторениям и т.д., обеспечивая обучаемому интерактивный режим работы с программой.

Рис.13. Вкладка Life шаблона свойств графического объекта среды DemoShield Поддержка импорта графических, видео- и звуковых файлов стандартных форматов способствует красочному оформлению сцен и их озвучиванию. Важным компонентом интерфейса среды являются инструментальные окна, которые существенно упрощают и ускоряют процесс разработки приложений: Object Palette, содержащее графические образы всех объектов среды, Demo Controller, позволяющее "проигрывать" сцену с любого момента ее "жизни", Timeline Editor, позволящее редактировать

временные этапы «жизни» объектов, расположенных на сцене.

Важнейшим инструментальным окном среды является Scene Editor (рис.14), в котором выводится информация обо всех задействованных в приложении сценах и объектах. Всего в среде DemoShield используется около 20 различных типов объектов, Многие типы объектов наделены одинаковыми свойствами, и в то же время каждый из них имеет свои, присущие только ему, специфические свойства. В отличие от ToolBook среда DemoShield не имеет шаблонов для разработки тестов. Однако использование таких интерактивных объектов, как Bitmap Button, Push Button, Check Box, Event,

24

Hot Spot, Edit Field позволяет создавать весьма гибкие конструкции тестовых заданий различного типа, которые легко переносятся в другие приложения. Вызов редактора свойств выделенного объекта

Список имен сцен

Удаление выделенного объекта

Список объектов на текущей сцене

Кнопки перемещения выделенного объекта на различные слои сцены

Сортировка списка объектов в алфавитном порядке

Сортировка списка объектов по времени создания

Сортировка списка объектов по типам

Сортировка списка объектов по времени «жизни»

Рис. 14. Инструментальное окно Scene Editor Здесь достаточно легко можно реализовать адаптивное тестирование (рис.15). Стадия тестирования Результаты испытуемого

1 +

2 +

3 -

4 +

5 +

6 +

7 -

8 +

9 +

10 +

Начало

Рис. 15. Адаптивное тестирование с пирамидальным расположением заданий

25

На рис. 16-17 приведены примеры заданий, созданных в среде DemoShield.

Рис. 16. Примеры тестовых заданий, реализованных в среде DemoShield.

Рис. 17. Пример тестового задания на оценку сформированности умений составления уравнений окислительно-восстановительных реакций

26

В целом функционал разработчика среды DemoShield обширен и превосходит соответствующие возможности ToolBook, однако его эффективное использование требует высокого уровня владения компьютером и больших временных затрат. По функционалу анализа результатов DemoShield уступает системе ToolBook. Реализация подсчета баллов возможна с помощью объекта Variable (Переменная) и требует достаточно высокого мастерства. В заключение обсуждения данного раздела следует отметить, что широкий спектр специализированных авторских систем на рынке программных средств позволяет сделать выбор соответствующего инструментария с учетом конкретных областей применения, уровней решаемых задач и уровней подготовленности пользователя.

27

III. АНАЛИЗ

ВОЗМОЖНОСТЕЙ

ИНСТРУМЕНТАЛЬНЫХ

КОМПЬЮ-

ТЕРНЫХ СРЕД ДЛЯ РАЗРАБОТКИ КОМПЬЮТЕРНЫХ ТЕСТОВ В контексте развития дистанционного обучения на данном этапе разработано и разрабатывается достаточно большое количество автоматизированных средств для поддержки учебного процесса, реализуемых на основе Internet-технологий. Наибольший интерес представляют оболочки, сочетающие в себе средства по созданию обучающих курсов, управлению учебным процессом и организующие взаимодействие между всеми участниками процесса обучения. Среди зарубежных средств такого типа можно выделить Learning Space 4.0 (фирма Lotus Development Corporation) [29], WebCT 3.6 (корпорация WebCT Университета Британской Колумбии) [30]. Примерами отечественных оболочек являются системы ОРОКС 2.0 (Московский областной центр информационных технологий) [31], «Прометей» 2.0 (компания «Прометей») [32], «Аванта» (Владивостокский государственный университет экономики и сервиса) [33], eLearning Server 3000 (компания ГиперМетод) [19], xDLS (Пермский государственный университет) [34]. По функциональным возможностям системы похожи и реализуют технологию «клиент-сервер». И.Г.Игнатьева и Н.Ю.Соколова приводят сравнительные характеристики этих систем по категориям пользователей, созданию обучающих курсов, разработке тестов, по организации и управлению учебным процессом, организации интерактивного взаимодействия, технологическим платформам [35]. По мнению авторов, для организации обучения по отдельным дисциплинам наиболее целесообразно использовать системы Learning Space, WebCT, хDLS и «Прометей». Так, «Прометей» имеет модульную архитектуру, включающую наряду с другими подсистему тестирования, реализующую проверку учебных достижений обучающихся в режимах самопроверки, тренинга и экзамена. В качестве достоинств системы авторыразработчики отмечают дружественный интерфейс, простоту в освоении и эксплуатации; высокую производительность и масштабируемость по мере увеличения числа пользователей и нагрузки; возможность использования 10 видов тестовых заданий, использования графики и мультимедиа в тестах и другие. Отмечается, что в версии «Прометей» 4.2 включен модуль «Учебный портал», который фактически придает этой версии статус комплексной системы управления обучением и контентом. Благодаря

28

функциям ведения лент новостей и редактирования информационных блоков, с этим порталом может работать не только ИТ-профессионал, но и обычный уверенный пользователь персонального компьютера. В этой версии реализован новый режим тестирования - тренинг, при котором правильные ответы выдаются сразу после передачи серверу ошибочного ответа. Тестирование в этом режиме позволяет существенно повысить эффективность работы обучающихся над ошибками на начальной, часто самой важной стадии освоения нового материала. В системе ОРОКС возможна компьютерная реализация заданий на выбор ответа из предложенных вариантов и заданий с вводом ответа в свободно конструируемой форме (проверка осуществляется по логическому шаблону и по ключевым словам). В Конструкторе мультимедийных дистанционных курсов Distance Learning Studio возможна реализация тестовых заданий трех типов: 

с выбором их предложенных вариантов;



с вводом строки ответа;



на нахождение соответствия [36]. В целом процедура компьютерной реализации тестовых заданий в этом классе

программного обеспечения аналогична процедуре, описанной выше для конструкторов тестов (см. Раздел 1.). Что касается анализа результатов тестирования, как правило, в этих системах выводится информация о количестве верных ответов.

29

IV. ВОЗМОЖНОСТИ ОФИСНЫХ ПРОГРАММ ДЛЯ КОМПЬЮТЕРНОЙ РЕАЛИЗАЦИИ ТЕСТОВЫХ ЗАДАНИЙ Варианты тестовых заданий можно реализовывать и в MS Word. Простейший пример – задание на нахождение соответствия, когда на одной стороне экранной формы располагаются картинки, а на другой – слова либо предложения. Испытуемым предлагается, посредством «перетаскивания», расположить картинки в нужном порядке. Безусловно, такой продукт не является компьютерным тестом, однако, он вполне может выполнять определенные дидактические функции, например, в процессе расширения словарного запаса младших школьников при изучении русского или иностранного языка, предмета "Окружающий мир" и т.д. Одним из направлений реализации экспресс-мониторинга освоения материала студентами в процессе чтения лекции является использование тестовых заданий различного типа, которые выводятся на большой экран посредством видеопроектора [37]. С этой целью можно использовать программы для создания компьютерных презентаций, например, MS PowerPoint. На рис.18. представлен фрагмент тестового задания из программы для поддержки лекции по теме "Кислотно-основное титрование" курса аналитической химии. Система гиперссылок, которую можно реализовать в любой современной программе для компьютерной презентации, а также опция "Настройка действия" позволяют вывести на экран оценочные комментарии после выбора аудиторией того либо иного ответа. Как правило, использование таких приемов вызывает положительную реакцию студенческой аудитории, а преподавателю позволяет экспрессно оценить, насколько понят излагаемый материал и при необходимости внести коррективы в его изложение. Аналогичный прием можно использовать в процессе объяснения нового материала по любому предмету в общеобразовательной школе.

30

Рис. 18. Образец тестового задания в MS PowerPoint Безусловно, существенно большими возможностями в области разработки компьютерных тестов обладает MS Excel. Как известно, Excel имеет мощные встроенные функции с возможностью составлять собственные и комбинировать имеющие функции. Наиболее интересными из них представляются логические функции, которые в сочетании с арифметическими и функциями обработки текста позволяют создавать тестовые программы по любому предмету. Так, в работе [38] приводится методика создания теста выбора на основе MS Excel. Автор отмечает, что разработка такого теста по силам не только преподавателю, но и учащимся. Несколько методик разработки компьютерных тестов на основе готовых шаблонов, созданных в MS Excel, приводится в электронном приложении к учебному пособию Intel®"Обучение для будущего" [39]. Многолетняя практика авторов данной статьи в роли тьютеров-методистов программы Intel®"Обучение для будущего" показала,

31

что как студенты практически всех факультетов педагогического вуза, так и учителяпредметники достаточно легко осваивают указанные методики. Нами в рамках работы по Программе "Разработка программ

и учебно-

методических материалов для подготовки студентов педагогических вузов в области использования цифровых образовательных ресурсов" Проекта "Информатизация системы образования" был разработан модульный курс "Проектирование компьютерных тестов в специализированных средах и программах", включающий наряду с другими дидактическими материалами методики создания компьютерных тестов в MS Excel [40], в том числе на основе собственных шаблонов. Апробация курса на факультете русского языка и литературы КГПУ им. В.П. Астафьева позволяет сделать вывод, что указанные методики создают условия для эффективного формирования умений компьютерной реализации тестов у студентов. Привлечение к разработке языка программирования Visual Basic Application позволяет существенно расширить используемые типы тестовых заданий, а также повысить "гибкость" тестов, разрабатываемых на основе MS Excel.

32

ЗАКЛЮЧЕНИЕ Таким образом, на сегодняшний день на рынке программного продукта имеется широкий спектр программного обеспечения для компьютерной реализации тестовых заданий. Выбор конкретной среды или программы зависит от целей тестирования, уровня подготовки разработчика в области владения компьютером, выбора типов тестовых заданий. Хотя обсуждение этого вопроса осталось за рамками данной статьи, важным фактором при выборе является и стоимость лицензионного программного продукта.

33

ИНФОРМАЦИОННЫЕ ИСТОЧНИКИ 1. Безруков А.А., Безрукова Н.П.Создание компьютерных тестов по естественнонаучным дисциплинам в программе «Oprosnik»: Методическая разработка.- Красноярск: РИО КГПУ, 2000- 36 с. 2. Шаповалов К.А. Компьютерная тестовая оболочка – Qtest/ Новые информационные технологии в университетском образовании: Сборник трудов. – Новосибирск: НИИ МИОО НГУ, 1997.- С.138-139. 3. Каталог программных средств. Информатика: Инструментально-педагогические средства. - Красноярск, 1995.-30 с. 4. http://www.ast-ccntre.ru 5. http://vvz.nw.ru 6. http://www.fbit.ru/software/ac.htm 7. http://www.softkey.kz/catalog/program.php?ID=2442&CID=546 8. http://www.distance-learning.ru/db/el/B69D9617878EDABC32 9. http://test.pp.ru/constructor/index.html 10. http://www.edusite.ru 11. Матрос Д.Ш., Полев Д.М., Мельникова Н.Н. Управление качеством образования на основе новых информационных технологий и образовательного мониторинга. Издание 2-е, исправленное и дополненное. – М.: Педагогическое общество России, 2001. – 128 с. 12. Чальцева А.С. Проблемы программной реализации дидактического тестирования // Информатизация образования – 2008: Материалы междун. науч.-метод. конф. - Славянск-на-Кубани: Издательский центр СГПИ, 2008. – С. 236-240. 13. Безрукова Н.П., Безруков А.А., Иванов В.П. Из опыта использования компьютерных тестов по химии на вступительных испытаниях в педагогический вуз // Химия: методика преподавания в школе.–2002.–№6 . – С.70-72. 14. http://www.anketer.ru 15. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. – М.: Информационно-издательский дом "Филинъ", 2003. – 616 с. 16. Математическое обеспечение автоматизированных обучающих систем. ЭВОС: Экспресс-информация.- М.,1976.-24 с. 17. Ахмаметьев М.А., Соппа М.С. Технология разработки и использования автоматизированных учебных курсов на основе системы АДОНИС // Новые информационные технологии в университетском образовании: Сб.тр. – Но-восибирск: ИДМИ, 1999.- С.27. 18. Ротмистров Н.Ю. Мультимедиа в образовании// Информатика и образова-ние.1994.- №4. – С.89-96.

34

19. Кудрявцев А.В. Методика использования ЭВМ для индивидуализации обучения физике: Автореф. дис. … на соиск. учен. степ. канд. пед. наук. – Екатеринбург, 1997. 20. Линда фон Шревер, Эрик фон Шревер. Как самому сделать компакт-диск: Авторский инструментарий мультимедиа// PC Magazine. – 1996. - №9. - С.149. 21. http://www.hypermethod.ru 22. http://www.sumtotalsystems.com 23. http://www.installshield.com 24. Кречман Д.Л., Пушков А.И. Мультимедиа своими руками. СПб.: БХВ-СанктПетербург, 1999. – 528 с. 25. Могилев А.В., Титоренко С.А. Дидактические принципы в компьютерном обучении // Педагогическая информатика.- 1998.- № 2.- С.10-16. 26. Безруков А.А., Безрукова Н.П. Разработка ППС в инструментальной среде «DemoShield»: Методическая разработка. - Красноярск: РИО КГПУ, 2000. - 80 с.14. 27. Безрукова Н.П., Попова Т.В. Программа-тренажер «Составление уравнений окислительно-восстановительных реакций ионно-электронным методом». Свидетельство об отраслевой регистрации ОФАП №3200. - 2004. – 55.2 MB. 28. Безрукова Н.П., Тимиргалиева Т.К., Безруков А.А.Программный комплекс «Гидролиз». Свидетельство об отраслевой регистрации ОФАП №5105. - 2005. – 24.6 МB 29. http://www.lsibm.ru 30. http://www.webct.com 31. http://www.mocnit.miee.ru 32. http://www.prometeus.ru 33. http://www.avanta.vvsu.ru 34. http://www.xdlsoft.com 35. Игнатьева И.Г., Соколова Н.Ю. Инструментальные средства поддержки обучения на основе сетевых технологий // Информатика и образование.– 2003. – №3.– С.52-61. 36. Средства дистанционного обучения. Методика технологии, инструментарий / Агапонов С.В., Джалиашвили З.О., Кречман Д.Л., Никифоров И.С., Ченосова Е.С., Юрков А.В./Под ред. З.О.Джалиашвили. – СПб.: БХВ-Петербург, 2003. – 336 с. 37. Безрукова Н.П. Теория и практика модернизации обучения аналитической химии в педагогическом вузе: Монография. – Красноярск: РИО КГПУ, 2004. – 196 с. 38. Сайков Б.П. Excel: создание тестов //Информатика и образование. -2001. - №9. С.63-70. 39. Intel «Обучение для будущего» (при поддержке Microsoft): Учеб. пособие.- 2-е изд., перераб./ Под общ. ред. Е.Н.Ястребцовой, Я.С.Быховского.- М.: Русская редакция, 2003. – 368 с. 40. http://www.nfpk.kspu.ru Раздел "Модули и курсы"

35