Образовательные информационные технологии. Ч.4. Развивающий измерительный процесс в вузе: Монография

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ДАЛЬНЕВОСТОЧНЫЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ОТКРЫТЫЙ УНИВЕРСИТЕТ ДВГУ

И. А. МОРЕВ ОБРАЗОВАТЕЛЬНЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ Часть 4. Развивающий измерительный процесс в вузе

Монография

Владивосток Издательство Дальневосточного университета 2004

УДК 37.012.8 ББК 74.202.2 М 79 Рецензенты: Михина Галина Борисовна – канд. пед. наук, доцент, декан педагогического факультета ДВГУ; зав. кафедрой общей педагогики и психологии ДВГУ Грудин Борис Николаевич – докт. техн. наук, директор Дальневосточного Центра Федерации Интернет-образования Морев И. А. М 79 Образовательные информационные технологии. Часть 4. Развивающий измерительный процесс в вузе. Монография. – Владивосток: Изд-во Дальневост. ун-та, 2004. – 148 с. Монография посвящена актуальной и малоисследованной проблеме – проектированию развивающего измерительного процесса и исследованию его особенностей на примерах вузовских систем дистанционного обучения. Монография содержит методические и научные материалы для работников системы дистанционного обучения и открытого образования. Приложения содержат списки дополнительной литературы, документы, описания электронных педагогических средств, концепции, обзоры, тематические перечни Интернет-ссылок, выдержки из опубликованных работ и др. Для аспирантов, слушателей курсов повышения квалификации педагогических и управленческих кадров, работников системы дистанционного обучения и открытого образования. Может использоваться для самостоятельного изучения. М

ББК 74.202.2 М 79

4309000000 180(03) − 04

© Морев И. А., 2004 © ТИДОТ ДВГУ, 2004 © Издательство Дальневосточного университета, 2004 2

СОДЕРЖАНИЕ СОДЕРЖАНИЕ .............................................................................................................. 3 ВВЕДЕНИЕ ................................................................................................................... 4 ГЛАВА I. 1.1.

Тестирование как средство мониторинга качества образования14

Традиционные представления о роли средств дидактической тестологии в образовательном процессе вуза......................................... 14

Цели, задачи, функции и организация тестирований ....................................................... 14 Условия и факторы процесса педагогических измерений ............................................... 36 1.2.

Мониторинг качества как инструмент управления................................... 53

Функции мониторинга и современные представления об использовании его результатов.................................................................................................................. 57 Защитная функция мониторинга............................................................................... 58 Мотивационная функция мониторинга.................................................................... 61 Аспекты управления качеством образования.......................................................... 62 Компьютерное тестирование как основа технологий мониторинга качества. Типология средств дидактического тестирования.................................................. 65 ГЛАВА II.

Дидактическое тестирование как средство интеллектуального развития студентов ............................................................................. 79

2.1.

Динамика оценок обученности студентов ................................................. 80

2.3.

Интерфейс как средство поддержки активности...................................... 87

Формы представления, передачи и контроля усвоения педагогической информации .......................................................................................................................... 87 Конструирование форм представления образовательной информации ............... 88 Интерфейсы мультидисциплинарных дидактических программных комплексов «Диалог» и «Дидактор» ............................................................................................. 90 2.4.

Методика непрямого мягкого тестирования. Требования к сценарию и интерфейсу дидактического программного комплекса......................... 102

2.5.

Внутри- и межвузовское тестирование как инструмент развивающего измерительного процесса........................................................................... 109

ПРИЛОЖЕНИЕ. Методические и организационные требования к организации развивающего измерительного процесса в вузе............................................. 112 СПИСОК ПРИНЯТЫХ СОКРАЩЕНИЙ.................................................................... 120 СПИСОК ДОПОЛНИТЕЛЬНОЙ ЛИТЕРАТУРЫ ...................................................... 121

3

ВВЕДЕНИЕ Не подлежит сомнению, что философия - это служанка теологии (подобно тому, как Мария является pабой Господней). Пусть же служанка не пеpечит своей госпоже, и пусть госпожа не обижает свою служанку. Иначе может прийти тот, кто очень скоро заставит их помиpиться. Ш.Пеги "Записки о господине Декаpте" В данной монографии представлена методическая система стимулирования роста обученности и развития обучаемости студентов средствами дидактического тестирования. Эта система опирается на концепцию развивающего измерительного процесса, смысл которой заключается в наделении компьютерного тестирования не только измерительной функцией, но и функцией стимулирования познавательной деятельности студентов. В заключительной части приведены требования к организации компьютерного обучения и тестирования, реализующие созданную методическую систему. Вниманию читателя. В тексте настоящей монографии приведены ссылки на литературные источники. Список названий источников помещен нами в электронных приложениях (компакт-диск) и в тексте монографии: Морев И. А. «Образовательные информационные технологии. Часть 5. Методическая система стимулирования обучаемости средствами дидактического тестирования». Монография. – Владивосток: Изд-во Дальневост. ун-та, 2004. – 112 с., являющейся продолжением той, что находится перед Вами. Это сделано потому, что список литературных источников не только достаточно обширен, но и един для представленных монографий. Развитие образовательных информационных технологий привело к росту популярности новых направлений деятельности педагогов, связанных с технологиями автоматического контроля знаний, появлению тенденций «перепоручения» компьютеру многих забот не только об обучении студентов, но и о воспитании. Одним из наиболее востребованных направлений применения компьютерных технологий является управление качеством образования на основании мониторинга результатов тестирования обученности и профессиональной подготовки. Дидактический потенциал компьютерных технологий тестирования пока далек от полного своего раскрытия, процесс же внедрения их в вузе сопровождается возникновением противоречий и новых феноменов. Сложно изучать процессы в образовательной системе в «экспериментально чистом» виде, поскольку ее форма и содержание в значительной мере подвержены непрерывному внешнему влиянию. Связи образовательной системы с «внешним миром» столь же многообразны, как и мало изучены с научной достоверностью. Этим обусловлена удивительная неразвитость методов управления качеством в образовании по сравнению с производственными отраслями, где появление компьютера давно вызвало коренные перестройки 4

управленческих технологий. Сложившееся в системе образования «приказное» понимание управления и средств управления противоречит современной естественнонаучной парадигме, где управление понимается как коррекция процесса эволюции системы путем осознанной манипуляции условиями и внешними факторами. Выявление таких условий и факторов, а также изучение последствий их совместного влияния на процесс обучения и развития специалиста является важнейшим направлением современных научных исследований. Эти исследования достаточно сложны, поскольку их специфика одновременно затрагивает педагогику, психологию, экономику, историю, социологию, требует привлечения математических и физических методов. В настоящее время подобные исследования аккумулируются в новых трансдисциплинарных естественнонаучных областях – теории диссипативных структур и синергетике. Важнейшим методом этих наук является математическое моделирование, с помощью которого удается изучать процессы даже в хаотических системах, к которым вполне можно причислить и учебный процесс в современном вузе, и процесс самостоятельного изучения студентом сложных учебных дисциплин или неформализованных знаний. Традиционная инерционность российской государственной образовательной системы в реагировании на новшества, обуславливающая ее неповторимость и устойчивость, проявляется не только в отсутствии должного централизованного стимулирования, но и в противлении внедрению автоматизированных технологий обучения и управления. В сравнении с другими отраслями человеческой деятельности, в образовании относительной редкостью является доведение методических разработок до технологически безупречных конструкций, «до числа», давно ставшее общепринятым и обязательным, например, в кибернетике [см., например, работы по применению кибернетических подходов в педагогике и психологии А. И. Берга, А. Я. Лернера, Э. Н. Джафарова, Б. В. Бирюкова, Тарасова С. Г. и др. – 33, 40, 146, 147, 282 – и др.]. Важность педагогического моделирования трудно переоценить. Однако чаще оно ограничивается отражением процессов на уровне схем и не доводится до проведения модельных численных экспериментов [18, 23, 54, 212, 279 и др.]. Эта ситуация обусловлена и поддерживается, ставшим традиционным, отсутствием должной математической и естественнонаучной культуры в среде профессиональных педагогов. (соответствующее обсуждение и предложения можно найти, например, в 109, 147, 148, 282 и др.]), уходящим корнями в историю и экономику педагогического образования [66, 99, 240, 241, 286 и др.] XX века. Это характерно не только для России. Более того, низкие (и снижающиеся) требования к уровню математической подготовки специалистов – педагогов вызывают склонность педагогической среды не только к игнорированию, но и к отторжению математических формализованных подходов, давно и успешно применяемых во многих науках [см. напр. 164]. Это отторжение, а также сложность и терминологическая нечеткость (традиционное «яблоко раздора» педагогов и математиков) педагогических понятий, и обусловили то, что современная педагогика «обделена» вниманием представителей математики и естественных наук. Сложившееся положение кажется 5

настолько естественным и незыблемым, что практически не обсуждается в обзорных и прогностических работах посвященных проблемам управления образованием [66, 84, 166, 266, 245, 289, 306 и др.]. Накопленный естественниками опыт моделирования социальных систем [33, 127, 246, 247 и др.] пока ожидает своего применения в педагогике. Прагматическое отношение педагогов к результатам личного труда, не являющееся традиционным для России, в отличие от многих других стран, но привнесенное за последние годы в сферу образования из производственных сфер деятельности и поддерживаемое современными экономическими условиями [66, 99, 240 и др.], привело к ряду негативных проявлений: игнорированию практиками потенциальной роли мотивационных компонент и деловых игр [232, 260 и др.] в учебном процессе; крайне редкому применению их и в сценариях дидактических программных комплексов (ДПК); редкости и неэффективности реализаций адаптивных информационных технологий [304 и др.] в учебном процессе; игнорированию роли и, соответственно, эпизодическому применению в образовательной практике мощных источников стимулирования качества образования – массовых образовательных олимпиад; переросшее в (часто наблюдавшееся в недавнем прошлом) негативное отношение к внедряемым в России централизованным компьютерным тестированиям [2, 65, 283]. В то же время, интерес теоретиков (и педагогов, и психологов) к созданию и исследованию игровых технологий не ослабевает [32, 43, 102, 113, 207, 234, 261, 263, 309, 316 и др.]. Относительно новой областью педагогических исследований является применение игровых технологий в автоматизированном, т.е., иными словами, дистанционном обучении [30, 126, 183, 226, 304 и др.]. Если раньше использование игр считалось уделом только школьных педагогов, сейчас ситуация стала иной [см. напр. 208], игра «приходит» в вузовский образовательный процесс. Мотивация студента к учению может быть простой (стремление к первенству) и сложной (желание создать новое и постичь неизвестное). Важность создания и поддержки позитивной мотивации в учебном процессе неоспорима [см. напр.: 163, 294]. Педагоги-практики сейчас редко пользуются этим знанием, поскольку создание длительной мотивации в условиях массового обучения требует затрат личных сил, несоизмеримых с благодарностью государства. Такое положение характерно для образовательных систем многих стран. [21, 44, 107, 137, 293, 314, 315 и др.] Образовательные информационные технологии дают возможность исправления этого недостатка современной образовательной системы [24, 43, 297, и др.]. Мы полагаем, что наиболее удачной ситуацией для внедрения мотивационных методик является массовое компьютеризованное мониторинговое исследование обученности [129]. В настоящем исследовании показано, что процедура мониторинговых исследований, сопровожденная мотивационной поддержкой (факторами, условиями), может приводить к заметному массовому росту уровня обученности без применения каких-либо дополнительных традиционно используемых мер - приказного либо материального стимулирования. Этот феномен одинаково проявляется и в среде школьников, и в среде студентов, и в среде специалистов. 6

Наблюдаемая при этом (возникающая и затем исчезающая с завершением исследования) позитивная мотивация к повышению качества труда педагогов лишь опосредованно связана с достаточно полным перечнем материальных стимулов, приведенных в [28] и равно применимых в школьной и вузовской среде. Перечисленное указывает на необходимость переосмысления установившегося отношения к дидактическому тестированию, придание ему, наряду с традиционной измерительной, и развивающей функции. Хорошо известны и разработаны многие аспекты информационных технологий – поиск, сбор, классификация, хранение, передача и прием информации [19, 50, 69, 73, 85, 88, 109, 110, 240, 258, 292, 302 и др.]. Разработка их для применения в образовании началась с появления первых идей об использовании вычислительных машин не только для вычислений [34]. Аспекты же, связанные с представлением (формами представления или передачи) информации человеку и автоматизацией контроля ее восприятия человеком, на наш взгляд, лишены в настоящее время должного внимания [189, 190, 191 и др.]. Такие исследовательские работы [7, 57, 213] не только относительно редки, но и не имеют должного резонанса в педагогической среде, о чем свидетельствуют многие из опубликованных методических пособий по конструированию компьютерных обучающих средств [124, 125, 130, 133, 136, 138, 158, 167, 172, 176, 180, 205, 206, 216,,225, 312 и др.]; среди исключений – работы [14, 15, 29, 87, 169, 205, 213, 281, 288, 217, 293, 312 и др.]. Эти исследования являются фактически «пограничными», поскольку важны одновременно для педагогических и других наук. По сложившейся в сфере образования традиции, создателями ДПК и тестовых технологий практически всегда являются «технари» - специалисты с физико-математическим и техническим образованием; присутствие же педагогов и психологов в таких творческих коллективах, как правило, эпизодично. В этом несложно убедиться, ознакомившись с персоналиями соответствующих российских и международных конференций в Интернет. Сложившаяся традиция негативно сказывается на форме и сценариях современных ДПК, более нацеливаемых не на обучение и развитие студентов, а на простую передачу информации для размещения ее «в мозгу», представляемом проектировщиками ДПК в форме большого склада со стеллажами и полками, наполненными блоками текстов и иллюстраций, между которыми установлены жесткие информационные связи – гиперссылки. Примеров здесь достаточно много – ежегодно пополняются и публикуются перечни ДПК [издания отраслевого фонда алгоритмов и программ (ОФАП) и др.], создаваемых вузовскими коллективами и, как не сложно убедиться, не приносящими ощутимых позитивных плодов в учебном процессе. Они не становятся желанными ни в среде студентов, ни в среде педагогов. Это положение, ставшее «нормальным» и поддерживаемое соответствующими публикуемыми нормативными документами – стандартами, рекомендациями [см.: 12, 29, 51, 132, 259, 322 и др.] – является следствием простой дидактической (психофизиологической, педагогико-психологической) безграмотности сценаристов и конструкторов (которые, как правило, являются в то же время хорошими специалистами в 7

математике и программировании). Наблюдаемое интенсивное размножение компьютерных комплексов для тестирования обученности вызвано рядом причин, например: • Технологии измерения давно существуют во многих областях человеческой деятельности, они схожи между собой и давно стали технологически простыми, что порождает естественную экстраполяцию – предположение о том, что дидактическое измерение должно проводиться аналогично. Отсюда – кажущаяся простота создания и применения. • Считается, что измерять созданное проще, чем создавать. Отсюда – естественная экстраполяция (контролировать обученность проще, чем учить) конструкторов, желающих получить скорый результат. • Управленцы считают, что компьютерное тестирование позволяет облегчить и удешевить труд преподавателя (по крайней мере, в части проведения зачетных занятий). Именно это удешевление и является во многих случаях основной целью создания ДПК. Прагматическое понимание информационных технологий, порождающее невнимание к их дидактической ценности, наносит ущерб учебному процессу. Такой подход породил отношение к конструированию ДПК, предполагающее, что любой преподаватель может и должен создавать собственные программные средства [125, 136, 138, 158, 167, 169, 172, 176, 180, 205, 206, 216, 217, 225, 312] • Конструкторы ДПК часто выражают мнение, что компьютерное дидактическое измерение более объективно, чем мнение педагога-экзаменатора. Это мнение поддерживается управленцами, стремящимися ликвидировать в образовательной среде негативные явления, связанные с необъективностью оценки. Отсюда - естественное отождествление компьютерных технологий со «справедливостью» и т.п., приводящее к огульному внедрению. Когда здравый консерватизм педагогов не смог противостоять «напору» удешевляющих учебный процесс управленцев, можно наблюдать отторжение студентами и преподавателями внедряемых ДПК, а вместе с ними и образовательных информационных технологий в целом. [89 и др.] В настоящее время результаты компьютерных тестирований используются, в основном, для оценивания итоговой (начальной) обученности [161] и, иногда далее, мониторинга качества образования [36, 46, 307 и др.]. Первое позволяет объективизировать и автоматизировать оценивание, а востребованность второго является показателем развития системы образования [81, 159 и др.] и системы защиты ее качества [108, 200], условием интеграции образовательных сред [196, 244 и др.]. Вместе с тем, результаты массовых тестирований обученности ценны и как основа для изучения иных сложных феноменов, в частности - динамики показателей обученности и обучаемости в условиях многофакторного влияния. [178 и др.] Это - мало изученная область, что связано как с неразвитостью модельных представлений [17, 45, 54, 57, 140, 173, 174, 208, 273, 280, 303 и др.], так и с недостатком экспериментального материала и слабой сепарабельностью (разделимостью, дифференцируемостью) результатов внешних влияний на образовательный процесс. 8

Мы являемся сторонниками той точки зрения, что область применения контролирующих программных комплексов шире, чем традиционно предполагается, они способны гармонично включить, наряду с измерительными, и обучающие, и развивающие функции. С узким пониманием технологии тестирования только как измерительной трудно совместить наблюдаемые феномены, когда субъекты образования (студенты, преподаватели, управленцы), под влиянием ряда внешних факторов, сопровождающих массовое тестирование, развивают активную деятельность по смене отношений и акцентов в работе и учебе. [58, 61, 260, 280 и др.] Наличие этих факторов приводит к инициации позитивных тенденций, в т.ч. росту показателей обученности и обучаемости, росту качества труда педагогов и управленцев выражаемому в количестве успешных выпускников. Такие явления пока мало изучены. Отсутствует и широкая практика использования найденных эмпирических закономерностей. Изучение таких явлений позволит, в том числе, дать ответ на т. н. «основной вопрос» вузовской педагогики: «Как преподавать студентам, которые не хотят учиться?» [72] или, шире: «как оптимизировать учебный процесс?» [18, 20, 27, 41, 63, 64, 75, 142, 153, 220, 266, 303, 310 и др.]. Совершенствуя ДПК как измерительный инструмент, конструкторы, являясь прагматичными и вполне квалифицированными в своей области (программировании, дизайне и пр.) специалистами, часто недостаточно внимания уделяют наделению ДПК важнейшими дидактическими свойствами, среди которых: обеспечение привлекательности учебного процесса и поддержки самопреодоления [208, 209] студентов; мотивация роста обученности за счет использования влияний внешних по отношению к процессу оценки факторов; диагностика и развитие обучаемости. Такие прагматические подходы противоречат сути дидактики, ибо каждый технологический элемент образовательного процесса, чем являются и дидактические измерения, должен максимально способствовать росту образовательных результатов. [11, 35, 95, 148, 217, 218, 229, 230, 232, 235, 264, 309, 312 и др.] За последнюю четверть века в системе педагогических знаний прочно обосновалась дидактическая тестология [1, 2, 52, 59, 96, 105, 116, 132, 160, 161, 175, 190, 219, 227, 253, 254, 265, 277, 299 и др.]. Как любая отрасль знаний, дидактическая тестология не лишена противоречий [см. напр.: 1, 175, 253]. В первую очередь, недоумение вызывает сложившееся в тестологии нормативное положение, в рамках которого учебный процесс делится на разнесенные во времени части: развивающую и контролирующую. Период контроля часто продолжителен, и в течение его, для сохранения надежности оценок, организаторы предпринимают меры к исключению «нежелательного» развития (самообучения) студента, поскольку это развитие снижает коэффициент надежности, принятый в современной тестологической парадигме за показатель качества тестологического инструментария [1, 2, 52,, 175, 253 и др.]. Высокая (или меняющаяся) мотивация студентов всегда приводит к снижению надежности теста; особенно низка надежность, когда тестирование является массовым и многодневным [2, 52, 59, 65, 132, 175, 283]. Поэтому, находясь в рамках тестологической парадигмы, нельзя допускать появления в процессе тестирования элементов соревнова9

ния (которые давно и успешно используются педагогами в учебном процессе). В связи с вышесказанным отметим: если в России педагоги не привыкли досконально выполнять подробные инструкции и смотрят на странные (с дидактической точки зрения) тестологические требования «сквозь пальцы», то в других странах, где применение тестов стало привычным, требование отсутствия факторов приводящих к росту мотивации участников [237, 132] выполняется неукоснительно [197], в т. ч. и под страхом наказания. Делая акцент на придании ДПК большей надежности, конструкторы не задумываются над тем, что понятие «надежность» перенесено в дидактическую тестологию из области техники, где измеряются свойства неодушевленных предметов; а также из психологической тестологии, где измеряются личностные качества студентов мало подверженные изменениям. Коэффициенты надежности являются характеристиками качества тестовых технологий, вычисляются они с большим трудом и большими погрешностями. Однако труд по уточнению значений коэффициентов надежности не вносит лепты в развитие учебного процесса, поскольку, во-первых, их значения не влияют свойства студентов и, вовторых, процедуры уточнения принципиально не удается объективизировать. Тем не менее механический перенос аппарата психологической тестологии в область дидактических измерений считается достаточно оправданным [175 и др.] и редко подвергается критике [253]. Значения коэффициентов надежности измерений традиционно низки в дидактической тестологии (в отличие от измерений в технике и психологической тестологии). Это - следствие объективной причины: в отличие от других более устойчивых психофизиологических свойств, обученность студента проявляется в разное время по-разному, даже в течениие одного сеанса тестирования могут произойти резкие (случайные и закономерные) изменения под влиянием действующих факторов и условий. Мы полагаем, что сложившееся понимание надежности, отражающее приоритет неизменности результата при повторных измерениях, не должно играть определяющей роли при оценке качества технологии, ибо противоречит сути дидактики, где приоритет отдается технологиям, способствующим росту образовательного результата [188-191]. Пересмотр сложившегося отношения к надежности в оценке качества технологий дидактических измерений позволит устранить парадокс, который можно сформулировать так: чем более технология мотивирует студентов к учебе, тем менее она надежна. Развитие понятия надежности, понимание надежности как критерия динамического, гарантирующего не только «незыблемость» образовательных результатов, но и их рост, позволит выявить и реализовать потенциальные возможности дидактической тестологии в оценке динамических свойств студентов – обучаемости, скоростей запоминания и забывания, «коэффициентов отклика» на внешние влияния, и др. Именно эти динамические свойства являются важнейшими при оценке и прогнозе деловых качеств специалистов [241, 248, 255, 318 и др.] и построении управленческих моделей. В нашем исследовании мы сконцентрируем внимание на тех дидактических технологиях, что относят к «побуждающим», гуманным, «мягким», тех, что помогают студентам в самопреодолении [208] и приводят, в конечном счете, 10

к росту уровня обученности и развитию обучаемости. Термин «мягкие технологии» введен в педагогический оборот в России достаточно давно [А. М. Лобок, см. напр.: 99, а также обзор - 150]. Мы будем пользоваться термином «мягкость» для характеристики технологии в двух близких аспектах: как синоним незаметности, скрытости процедуры оценивания от внимания учащегося, а также как показатель отличия (многозначности) логики оценивания верности выполнения заданий от традиционно используемой двузначной. Скрытие процедуры оценивания, превращение оценивания в игру, давно и успешно применяется в процедурах тренинга специалистов в (новых для России) областях менеджмента, маркетинга и пр. [32, 102, 113, 126, 183, 207, 226, 233, 234, 261, 263, 304, 309, 316 и др.] Проблема же смены двузначной логики компьютерного оценивания, приближение ее к многозначной человеческой логике, уже стала насущной в современной дидактической тестологии [1, 175, 199, 231 и др.]. С узким пониманием дидактического тестирования только как измерительного средства трудно совместить наблюдаемую иногда необычно высокую активность студентов в стремлении к повышению своего уровня обученности в условиях тестирований [187, 200]. Этот феномен проявляется при отклонении условий тестирований от канонов тестологии, поэтому его проявления относят к погрешностям эксперимента и не изучают. Однако объективное существование этих проявлений указывает на возможность применения тестирования как средства развития, мотивирующего студента к учению. Первенство во внедрении технологий тестирования принадлежит сфере общего среднего образования, где мониторинговые исследования ведутся на больших территориях и в течение длительного времени (Г.С. Ковалева, В.А. Хлебников, А.Г. Шмелев и др.). В таких масштабах сложно соблюсти нормативную технологию, поэтому здесь отчетливо проявляется указанный выше феномен повышения активности (самообучения) учащихся в процессе тестирований. Этот феномен нежелателен с точки зрения традиционной тестологии, т.к. его проявления снижают инструментальную точность результатов мониторинга. Организаторы мониторинговых исследований (тестирований), стремясь к повышению надежности, особое внимание уделяют устранению обуславливающих этот феномен мотивационных влияний [1, 2, 29, 175, 323]. В то же время, частота проявлений отмеченного феномена указывает на наличие здесь нераскрытого дидактического потенциала и является поводом к научному исследованию. Игнорирование новых путей саморазвития студентов противоречит сути дидактики, отдающей приоритет таким технологиям, где каждый элемент, каковым является и дидактическое измерение, способствует развитию студентов и росту образовательных результатов. Пересмотр традиционного отношения к роли тестирования в учебном процессе актуален, т.к. позволит расширить трактовку роли дидактических тестовых технологий, использовать их не только как измерительный инструмент, но и как средство развития студентов [213, 215, 218]. Интерфейс ДПК обладает свойствами, определяющими качество восприятия учебного материала [89, 135, 165, 182, 281 и др.]. Оснащая интерфейс определенными компонентами, можно усилить мотивацию студентов к учебе (по11

добно тому, как дети мотивируются в процессе компьютерных развлекательных игр) и существенно продлить период активности студента в рамках сеанса тестирования, что позитивно скажется на точности оценки обученности. Отождествление теста только с инструментом для измерения вызвало стремление конструкторов к повышению надежности путем исключения из интерфейса «ненужных и отвлекающих внимание» элементов. Мы не имеем возможности дать здесь ссылки на публикации, ибо авторы не заостряют внимания на этом факте, однако, о его существовании можно судить по отсутствию нормативных требований о включении мотивационных элементов в тестовые компьютерные комплексы [см. напр.: 322]. Опубликованные нормативные документы [322, 323], говорящие о том, какими должны быть тестирующие программные комплексы, свидетельствуют, что ДПК может быть сертифицирован и внедрен в учебный процесс без достаточно серьезного обсуждения его дидактических (мотивационных) свойств. К другим же свойствам ДПК (инструментальная надежность, валидность, краткость и точность информации и пр.) создатели нормативной документации подходят значительно скрупулезнее. Это не только привело к редкости научных исследований, направленных на поиск и придание интерфейсу мотивационных свойств, способствующих усвоению учебного материала, но и обусловило часто наблюдаемое неприятие тестирований студентами, т. е. нивелирование позитивных черт образовательных информационных технологий (ОИТ). Этим обусловлена актуальность исследований в области придания интерфейсу ДПК новых дидактических мотивационных свойств. В ситуациях конкурсного отбора специалистов и абитуриентов большое значение придается точности (разрешающей способности) тестового измерения. Естественным лимитирующим фактором здесь является длительность сеанса тестирований. Точность дидактических измерений без увеличения длительности может быть повышена путем применения шкалированных (градуированных) тестовых заданий [см. обсуждение в 1 и 175]. Включение в тест таких заданий позволяет оптимизировать измерение за счет увеличения роли каждого задания. Редкость применения шкалированных заданий объясняется неразработанностью соответствующего теоретического аппарата, отсутствием соответствующих баз тестовых заданий (БТЗ) и программного инструментария. Современные требования системы профессионального образования к оптимальности учебного процесса придают актуальность исследованиям в областях применения шкалированных тестовых заданий. . Особое значение количественной оценке и прогнозу свойств специалистов придается в новых областях человеческой деятельности, где нет «готовых рецептов». Среди таких свойств одним из важнейших является обучаемость индивидуальные показатели скорости и качества усвоения человеком знаний, умений и навыков в процессе обучения (по А.К. Марковой [163]). Сегодня процедуру отбора специалистов часто ограничивают лишь оценкой обученности - результата обучения (организованного или стихийного), включающего как наличный, имеющийся к сегодняшнему дню запас знаний, так и сложившихся способов и приемов их приобретения. (Глоссарий Федерального портала "Российское образование"). Это связано не только с отсутствием инструментария для 12

оценок обучаемости, но и с бытующим ошибочным смешением понятий обученность и обучаемость. Оценки обучаемости и прогнозирование развития свойств абитуриентов, студентов и специалистов является областью открытой для научного поиска. Актуально создание соответствующего инструментария и теоретической базы включающей опирающуюся на современные психофизиологические [9, 22, 25, 39, 42, 53, 77, 80, 90, 91, 100, 101, 103, 104, 111, 123, 152, 155, 156, 252, 274, 275, 295, 296 и др. ] и психолого-педагогические [см. напр.; 3, 6, 145, 218, 305, 308 и др.] представления педагогико-математическую модель для количественного изучения процесса усвоения знаний. Таким образом, существует противоречие между традиционным пониманием дидактического тестирования и его широкой трактовкой, позволяющей не только измерять достижения, но и способствовать стимулированию познавательной деятельности студентов. Это основное противоречие включает частные противоречия: • между потребностями системы профессионального образования и фактическими возможностями, предоставляемыми педагогической теорией и образовательными информационными технологиями в части оценок обучаемости и прогноза обученности студентов; • между фактическими и потенциальными возможностями дидактического тестирования для стимулирования роста обученности и развития обучаемости студентов; • между традиционными нормативными требованиями к организации дидактического тестирования и современными требованиями оптимизации и гуманизации вузовского учебного процесса; • между недостаточностью средств оценки обучаемости и прогнозирования свойств студентов и требованием их наличия в арсенале организаторов вузовского учебного процесса, разрешение которых невозможно без существенной коррекции некоторых из сложившиеся представлений дидактической тестологии и дидактики высшей школы. Перечисленные противоречия обусловили научную проблему создания концепции дидактического тестирования как средства развития студентов. Решение этой проблемы позволит открыть новые направления исследований динамики обученности и обучаемости, реализовать потенциальные возможности дидактического тестирования, придать ему развивающие и предсказательные свойства, сделать его полноправным участником вузовского учебного процесса, усилить его функции в управлении качеством.

13

ГЛАВА I.

Тестирование как средство мониторинга качества образования

1.1.

Традиционные представления о роли средств дидактической тестологии в образовательном процессе вуза

В настоящем параграфе предложена классификация целей, задач, функций и организационных особенностей компьютерных тестирований, развивающая опубликованные ранее в научной литературе классификации [1, 2, 52, 96, 105, 116, 132, 160, 161, 175, 219, 227, 253, 254, 259, 265, 277, 299, 313, 320 и др.], а также представлен разработанный нами на основе наших эмпирических исследований систематизированный перечень условий и факторов процесса дидактических измерений, приводящих к стимулированию обученности и обучаемости студентов. Обоснована важность недопущения абсурдного усиления влияния внешних факторов в процессе измерения, могущего вызвать кажущийся рост обученности, приводящий, на самом деле, к снижению качества вузовского учебного процесса. Цели, задачи, функции и организация тестирований Среди продукции системы образования – знания, умения и навыки, переданные учащимся и воспринятые ими. Качество этой продукции играет в развитии общества первостепенную роль. Без оценки и сравнения качества продукции невозможно развитие производства. В образовании для оценки качества применяют поурочный, рубежный, итоговый и прочие виды контроля [7, 20, 27, 41, 131, 142, 213, 220, 270, 310 и др.]. Каждый вид контроля характерен своей технологией. Наиболее объективная технология массового контроля, по мнению многих, – автоматизированная, однообразная, не зависящая от каких-либо субъективных влияний [11, 12 и др.]. У этой точки зрения есть немало противников, считающих, что контроль должен проводиться обязательно человеком, «глаза в глаза». Слабые места первой точки зрения: невозможно автоматическими средствами измерить умения излагать мысли; находить нестандартные решения; учить и учиться. Вторая точка зрения также имеет слабые места: высокая себестоимость; отсутствие гарантии исключения субъективизма; отсутствие достаточного количества кадров высокой квалификации, способных гарантированно беспристрастно и единообразно оценить ЗУН (знания умения, навыки) большого количества студентов. Одна из известных и признанных «золотых середин» здесь такова: • контролировать автоматическими средствами следует знания рутинных сведений, умения производить стандартные действия – то, что в вузе 14

относят к «зачетным» ЗУН; • контролировать силами специалистов следует умение мыслить и излагать мысли, а также другие свойства, не поддающиеся автоматическому контролю. Аттестация ЗУН – важный элемент учебного процесса. Объективность аттестации – одна из гарантий развития и поддержания жизнедеятельности общества. Разработано и внедрено множество технологий аттестации, основанных на применении компьютеров. Однако среди известных компьютерных обучающих и тестирующих комплексов трудно найти выдерживающий критику с точки зрения объективности; удобства; привлекательности; полноты набора функций контроля и представления результата; объемности содержания. Исключение – профессиональные военные, спортивные и авиационные компьютерные тренажеры (часто созданные за рубежом руками российских умельцев). Это сложившееся положение вызвано многими причинами [1, 12, 52, 105, 132, 175 и др.]: • во-первых, в России педагогическое тестирование долгое время было запрещено нормативными документами и, в результате, России приходится догонять другие страны в этой технологической области. Также, как в кибернетике и генетике, которые более «на слуху»; • во-вторых, период начального развития технологий компьютерного тестирования пришелся в России на период экономического кризиса; • в-третьих, развитие качеств российских компьютерных комплексов тормозит прагматичное отношение к результату их применения, имеющее простую экономическую подоплеку. Наделение продукта перечисленными выше качествами – дорогостоящее удовольствие; • в-четвертых, культура производства в России значительно ниже, чем в других странах, где предпринимателю не все равно, каких работников он принимает на работу, и где предприниматели давно применяют автоматические методы для контроля ЗУН. Редкие российские работодатели прониклись важностью этих мероприятий. Недостатки систем аттестации. К недостаткам традиционных некомпьютерных систем аттестации ЗУН относят: субъективизм; нерегулярность проведения; несогласованность требований и режимов контроля; сложность ведения статистической обработки и мониторинга; сложность обеспечения режима секретности хранения экзаменационных материалов и защиты от подлога; наличие ошибок измерений; отсутствие чётких математических критериев оценки. [7, 20, 27, 41, 131, 142, 213, 220, 270] Многие из перечисленных недостатков могут быть преодолены с внедрением компьютерных технологий. Однако, пока это – только пожелание, подтвержденное теоретически. [116, 132 и др.]. Безупречной системы автоматического контроля ЗУН в настоящее время нет. Связано это с причинами: отсутствием общепринятой теоретической научной базы; разнородность, частая смена и относительная незрелость (молодость) информационных технологий и технического обеспечения; отсутствие должной поддержки разработки 15

и внедрения; отсутствие специалистов; отсутствие адекватной теоретической базы. Для скорейшего развития новых систем контроля качества образовательной продукции необходимы новые управленческие решения: государственная поддержка развития тестологии как отрасли знаний и науки; создание индустрии систем тестового контроля. [1, 2, 259, 299, 320 и др.] Однако, в научном обществе сложилась противоречивая ситуация с признанием тестологии как полноправной науки. С одной стороны, существует общее признание тестового контроля как важного инструмента исследований широкого спектра педагогических и психологических проблем; с другой – наблюдается затянувшаяся сдержанность, недостаток информации, непонимание сущности и возможностей. Среди путей выхода «из тупика» - дальнейшая конкретизация понятие образовательной продукции как товара (Там, где товар, там и сертификация, там и тестирование). [196] В России считается нормальным и обязательным тестировать продукты питания, строительные материалы и многое другое. Соответствующие гарантии, предоставляемые независимыми центрами тестирования, позволяют производителям, покупателям и продавцам цивилизованно защищать свои права, непротиворечиво оценивать продукцию, вести стратегическое планирование производства. Поэтому удивительна неразвитость сертификации на российском рынке образовательных услуг. Среди причин этой неразвитости [81, 108, 161, 307 и др.]: • Понятие «образование» не имеет общепринятого, четкого, логически непротиворечивого определения; • Управленцы в системе образования не владеют необходимым количеством экономического и математического образования; • Существуют в обществе силы, препятствующие введению сертификации образовательной продукции; • Понятие защиты качества отсутствует в Законе «Об образовании». Система образования вооружена только понятиями аккредитации, сертификации, аттестации – относящимися к формальному засвидетельствованию качества, не свободному от «человеческого фактора». Тестовые технологии обладают достоинствами и недостатками. С внедрением тестовых технологий в педагогике появилась возможность использования статистических методов, позволяющих повысить объективность суждений о том, в какой степени усилия преподавателей и студентов достигают цели [259 и др.]. Внедрение тестового контроля в вузе ведет к: • совершенствованию приемов обучения, позволяя оперативно оценивать их результативность на основе объективных критериев; • «объединению» педагогики с плеядой точных (опирающихся на формализованное измерение) наук; • появлению новых воспитательных и обучающих методик; • превращению преподавателя из транслятора знаний в разработчика и внедренца новых дидактических средств, в организатора самостоятель16

ного обучения. [96, 105, 116, 132, 160, 161, 175, 219, 253, 265, 277, 299, 313, 320] И бланковое, и компьютерное тестирование нередко подвергаются критике со стороны педагогов [219, 253, 254, 265, 277 и др.]. Изготовленные в России тестирующие программы мало отличаются от тех, что предлагают зарубежные производители. К основным недостаткам автоматизированных систем тестирования часто относят • двузначность (не многозначность) логики вариантов ответа [37, 146, 179, 228] в тестовых заданиях закрытого и открытого типа; • жесткость контроля, ведущая к психическому напряжению и сверхнормативной усталости студентов; • невозможность диагностики навыков устной речи и общения; • невозможность диагностики изобретательских качеств, оригинальности мышления в решении учебных проблем и задач; • неадаптивность - невозможность учета разнообразных случайностей и факторов, которые учитывает преподаватель на экзамене – настроение, усталость, темперамент, возраст, пол, национальность экзаменующегося [2 и др.]; • невозможность диагностики ассоциативного и образного мышления [112], способности к обучению, желания обучаться. Поэтому вместе с тестовой формой, облегчающей преподавателю контроль количества ЗУН, необходимо практиковать и традиционные формы контроля (качества ЗУН) – семинары, конференции, диспуты, обсуждения, деловые игры, где студенты демонстрируют навыки коммуникации и устной речи, остроту и оригинальность мышления, способность к учению (обучаемость). [169, 170, 179, 180 и др.] К проблеме двузначности логики компьютерных тестеров и тренажеров обращаются многие исследователи [37, 146, 179, 228, 238 и др.]. Поскольку создателями сценариев компьютерных тренажеров, преимущественно, были и остаются мужчины, они привнесли в тестологическую практику свойственный себе логический стиль общения, где ответы на вопросы могут быть только верными либо неверными. В реальном учебном процессе, как правило, такой ситуации не бывает. Даже односложный ответ ученика грамотный учитель способен ранжировать по пятибалльной шкале, опираясь на свой опыт общения с ним и в зависимости от контекста урока. Грамотный специалист, изобретатель, ученый может появиться лишь в такой учебной среде, где логика общения многозначна (с множеством ответов, например: «да», «нет», «может быть», «не совсем точно», «не вполне»), где есть противоречия в знаниях, где есть место для фантазии [238, 253 и др.]. Парадоксальность ситуации, когда столь редко применяется многозначная логика в компьютерном обучении и контроле связана, во многом, со следующим: преподаватель без труда задает на семинарском занятии подразумевающий многозначные ответы вопрос, без труда распознает и оценивает по многозначной шкале ответы; а вот выразить их письменно и обосновать свои умозаключения при оценке, он может с 17

большими затруднениями. Поэтому создавать тест, содержащий задания с многозначными вопросами и ответами, сложно [190]. Известные технологические разработки не исчерпывают всех дидактических возможностей компьютера. Особое внимание в тестологии уделяется адаптивным технологиям, которые не только оптимизируют процесс тестирования [1, 52, 175], но и сближают процессы обучения и контроля. Эти технологии призваны адаптировать учебный процесс не только к физиологическим особенностям студентов, но и к культурологическим. В [52] предложено такое определение: «Культурное пространство тестирования представляет собой открытую систему, развивающуюся на основе объективных социальных законов, форму интроспекции тестируемых, способ их рациональной организации». В этом пространстве можно выделять координаты знания, ценности и регулятивы, по которым участники строят свое поведение. Эти координаты образуют три плоскости – духовной, технической и социальной культуры, на которые «проецируется» содержание культурного пространства [52]. Как правило, создатели тестовых материалов мало задумываются о реализации в них культурологической и воспитательной функций. Повышение объективности оценки выполнения заданий достигается: • стандартизацией норм и правил для всех студентов; • применением единой шкалы оценивания; • применением механизмов адаптации, в т.ч. представлением содержания заданий в различных формах; • стандартизацией тестовых материалов, технологии и условий; • устранением влияния мешающих факторов и артефактов; • обоснованностью структуры тестов и достаточным количеством заданий для формирования множества форм тестов; • валидностью инструментария; • защитой результатов от несанкционированного доступа; и др. [213, 214, 215, 216, 217 и др.] Однако, процесс тестирования не позволяет достичь абсолютно точной оценки уровня достижений: • не все понятия можно представить в тестовом задании; • разовое наблюдение не может служить доказательством точного установления уровня его обученности; • количество заданий теста конечно, и это накладывает ограничения на точность оценки, «превращает тест в лотерею». На основе анализа работ ряда исследователей, нами предложена новая классификация целей, задач и характеристик, учитывающая вышеперечисленных особенности процедур дидактических измерений. Данная классификация изложена ниже в текущей главе и развита в Гл. III. Цель дидактического тестового контроля - способствование поддержанию и повышению уровня качества образования и эффективности управления. Эта наша сжатая формулировка вполне соответствует более широким формулировкам других авторов [см. напр. 1, 52, 105, 116, 132, 160, 161, 175], перемещая, в то же время, частные аспекты в область задач. 18

Участники учебного процесса и потребители образовательной продукции, используя тестовый контроль или подвергаясь тестовому контролю, решают схожие и разные задачи. Перечислим эти задачи, опираясь на работы отмеченных авторов (а также [87, 219, 227, 253, 254, 259, 265, 277, 299, 313, 320]), дополняя и корректируя список соответственно группам участников и потребителей. Задачи тестового контроля, важные для руководителя вуза: • Повышение уровня качества учебного процесса; • Освобождение преподавателей от рутинного труда; • Объективная дифференциация абитуриентов, как минимум, на три категории: на тех, кто умеет и будет учиться, на тех, кого не следует учить, и на «полупроходников»; • Объективная дифференциация студентов на успешно завершивших обучение, второгодников, и тех, кого не следует учить; • «Тонкая» дифференциация студентов в случае функционирования в учебном заведении нескольких учебных программ, при посылке студентов на олимпиаду, подготовке к аттестации учреждения • Объективное выявление изъянов учебного процесса (нерадивость преподавателей, несогласованность учебных планов и др.); • Повышение аудиторного потенциала; • Повышение эффективности аудиторной нагрузки преподавателей; • Снижение количества экзаменационных апелляций; • Диагностика достижения целей обучения, установленных в соответствии с ГОС и нормативными документами; • Оценка уровня подготовки учащегося по дисциплинам; • Обеспечение привлекательности учебного процесса за счет мотивации, побуждения и поддержания желания студентов повышать качество личной образованности, снижения аудиторной нагрузки; • Привлечение дополнительного контингента студентов; • Генерация рекомендаций по управлению учебным процессом; • Снижение себестоимости учебного процесса; • Повышение привлекательности вуза для инвестиций. Задачи тестового контроля, важные для преподавателя: • Облегчение рутинного труда по проверке стандартизованных знаний. С помощью компьютера можно усилить контроль не только знаний фактов и определений, но и навыков решения типовых задач; • Прогноз успешности прохождения учащимися выходного тестового контроля, получение оперативной информации об изъянах; • Повышение уровня качества обучения за счет, например, включения в процесс контроля элементов игры и соревнования. Задачи тестового контроля, важные для учащегося: • Выявление изъянов в собственных знаниях и навыках; • Решение психолого–педагогические проблем (неприятие личности пре19

подавателя, боязнь «экзаменационной лотереи» и необъективности преподавателя и др.). Задачи тестового контроля, важные для руководителя территориального управления образованием: • Решение проблемы контроля качества образования; • Объективизация аттестации учреждений и работников образования; • Объективизация сравнительной картины качества образования во всех учреждениях, моментальный снимок, «срез». Задачи тестового контроля, важные для родителей учащегося: • Устранение экзаменационных стрессовых ситуаций; • Повышение комфортности обучения; • Упрощение профориентации (оценки проф. пригодности) и прогноза направлений будущей учебы; • Снижение стоимости обучения. Задачи тестового контроля, важные для работодателя: • Объективное ранжирование будущих сотрудников по уровню ЗУН с целью облегчения выбора предоставляемого им рабочего места, а также мотивированного отказа в предоставлении рабочего места; • Открытие сведений о результатах тестового контроля студентов вузов – будущих выпускников для упрощения поиска новых молодых перспективных сотрудников; • Объективная ориентации в выборе достойного вуза в качестве базового (например, для массовой подготовки специалистов в региональном проекте) путем знакомства с результатами сравнительного мониторинга качества образования. Функции автоматизированного контроля сходны и отличны от тех, которыми наделяют традиционный контроль. Разные авторы формулируют их по-разному. При выборе формулировок мы руководствовались двумя критериями – их лаконичностью и частотностью. Сложно выделить ведущие в сформулированном нами списке 12 функций, поэтому мы перечислим их в алфавитном порядке: • Интегративная – способствование выработке представлений о науке как едином комплексе знаний и методов; • Информативная – представление информации об учебном процессе и педагогической системе; • Исследовательская – обработка информации об учебном процессе для выработки рекомендаций по управлению качеством; • Контролирующая – обеспечение контроля учебного процесса; • Оценочная – сопоставление результатов контроля с эталоном; • Организующая – представление автоматизированных средств качественного и своевременного выполнения учебного плана; • Технологическая - устранение рутинного труда преподавателей, студентов, управленцев, • Оптимизирующая - реорганизация учебного процесса и достижение оп20

тимальной доли занятий с применением ОИТ; • Реорганизующая – реорганизация труда педагогов и управленцев; • Прогностическая – прогноз успешности деятельности студентов; • Регулятивная – представление рекомендаций по регулированию учебного процесса; • Стимулирующая – побуждение преподавателей к творческой деятельности и поиску новых форм и путей обучения, а студентов к самообразованию. Автоматизированный контроль в вузовском учебном процессе является важнейшей составной частью системы оценки качества. Автоматизация контроля тесно связана с автоматизацией всего образовательного процесса и упрощает обеспечение обратной связи в системе управления. Перечислим виды тестового контроля и укажем области их применения. 1. Входной автоматизированный контроль предназначен для: • определения начального уровня ЗУН обучаемых с целью отбора кандидатов для последующего обучения; • поддержания высокого уровня познавательного интереса во время обучения на основе определения стиля обучения, оптимального для обучающегося; • составления индивидуального маршрута обучения. 2. Текущий автоматизированный контроль предназначен для: • проверки степени усвоения студентами содержания обучения. • степени готовности студентов к изучению нового материала; • коррекции индивидуальных маршрутов обучения; • обеспечения регулятивной функции. 3. Рубежный автоматизированный контроль предназначен для: • проверки степени усвоения студентами содержания обучения. Проводится реже, чем текущий контроль, охватывает целые разделы учебной программы. Основная форма – зачетные тесты. В дополнение используются курсовые работы, контрольно-зачетные задания и т. д. Для периодического контроля, как правило, используются те же тесты, что и для итогового контроля. 4. Итоговый автоматизированный контроль предназначен для: • проверки качества выполнения студентами учебного плана и проводится в форме экзамена по всей дисциплине; • решения вопроса о присвоении выпускникам квалификации. 5. Автоматизированный самоконтроль предназначен для: • определения студентами успешности своего обучения; • установления студентами пробелов в изучении дисциплины; • корректировки студентами индивидуального стиля обучения. 6. Автоматизированный взаимоконтроль предназначен для: • формирования у студентов оценочных алгоритмов и качеств; • повышения объективности оценивания за счет участия в этом процессе самих студентов. 21

Автоматизация позволяет значительно повысить роль всех видов контроля, особенно самоконтроля и взаимоконтроля, открыть новые аспекты их применения. Однако не все методы контроля могут быть в равной степени подвергнуты автоматизации. С развитием информационных технологий появляются новые возможности для этого. [19, 34, 50, 69, 73, 85, 88, 109, 110, 214, 240, 249, 258, 292, 302] Особого внимания, в рамках проблематики нашего исследования, заслуживают пути интеграции видов контроля, позволяющие оптимизировать учебную деятельность, органично объединив учебный процесс и мониторинг его качества [46, 174, 189]. Среди характеристик компьютерной аттестации большинство общеприняты: дифференцирующая способность; валидность; надежность; объем и полнота информации о студентах, которую можно извлечь из результата; оптимальность соотношения времени и точности измерения; оптимальность соотношения себестоимости процедуры (материалы, техника, оплата труда) и степени достижения цели (объема и объективности результатов); простота (уровень предварительной подготовки персонала); понятность представляемого результата; удобство (простота) применения технологии. [1, 160, 175 и др.] К необщепринятым характеристикам следует отнести, например, привлекательность процедуры и интерфейса ДПК [см. напр.: 199]. В соответствии со сложившимися в современной педагогике традициями, характеристики процесса или явления часто выражаются словесно, не численно. Поэтому часто неясно, что следует понимать под оптимальностью, ибо определение «золотой середины» является уделом чувств, педагогических инстинктов [см. напр.: 253]. Сложно заранее определить, какая технология будет внедрена руководством вуза в учебный процесс – характеризуемая низкой себестоимостью (важно для руководителя), простотой использования (важно для преподавателя), обладающая привлекательным и высокофункциональным интерфейсом (важно для студента). Технология с высокой степенью привлекательности может повлиять на расстановку акцентов в отношении студентов к конкретной учебной дисциплине. Обладающая низкой себестоимостью, но малопривлекательная технология тестирования может «отвратить» внимание студентов не только от данной учебной дисциплины, но и заранее от тех, где внедрение такой технологии только планируется. Технология, кажущаяся сложной преподавателям, будет внедрена в учебный процесс лишь «на бумаге». Прагматически подходя к своей деятельности, создатели технологий тестирований менее всего обращают внимание на обеспечение привлекательности процедуры (для студентов) и простоты интерфейса (для преподавателей), делая при этом упор на эстетику и автоматизацию создания итоговой отчетности (важно для управленца). Это вполне понятный «ход», дающий возможность производитель попасть на образовательный рынок. Обычное для современной педагогической среды прагматичное отношение к свойствам ДПК, могущим оказывать опосредованное воздействие на качество учебного процесса. Вследствие такого отношения, несомый компьютерными технологиями дидактический потенциал может оказаться скрытым. 22

Процедура компьютерной аттестации – продолжительное мероприятие, состоящее из этапов. Приведем их примерный перечень: • Регистрация студентов в компьютерной базе данных; • Тренировочное тестирование с элементами обучения; • Основное тестирование; • Статистическая обработка результатов групп студентов; • Публикация рейтингов; • Подготовка аттестационной документации для преподавателя; • Подготовка и представление преподавателю более полной информации о качестве усвоения учащимися разделов дисциплины; • Статистическая обработка результатов, в том числе – сравнение их с полученными ранее; • Представление результатов в виде статей, докладов, отчетов. На одном из этих этапов – публикации рейтингов - организаторы тестирований редко акцентируют внимание, считают его лишним в процедуре аттестации. Более того, иногда бывает так, что организаторы дидактических тестирований, в соответствии с канонами психологической тестологии, предпринимают специальные меры конфиденциальности (паролирование и пр.), сокрытия результатов. В таком случае студент, повторяя тестирование, соревнуется лишь «с собой вчерашним». В случае же публикации рейтингов, как это мы делали в экспериментах, в среде учащихся могут возникать соревновательные явления, приводящие к росту привлекательности и самой процедуры тестирования, и учебы в целом. Иными словами, публикация рейтингов может приводить к реализации скрытого (неиспользуемого сегодня) дидактического потенциала тестирований, к возникновению опосредованного позитивного влияния на качество учебного процесса. Процедура компьютерной аттестации в вузе ориентирована на достижение определенных результатов [см.: 175]: • получение студентами оценок, • получение преподавателями сведений о сложности для студентов конкретных фрагментов учебных курсов; • определение качества своей работы. Среди нетрадиционных результатов – мотивация роста обученности и развития обучаемости студентов в процессе самой процедуры аттестации. Для достижения результата процедуры аттестации необходимо провести ряд специфических мероприятий: • Обеспечение валидности теста; • Обеспечение вариативности теста; • Обеспечение обновляемости базы тестовых заданий; • Обеспечение максимальной разрешающей способности теста; • Обеспечение эффективности сеанса тестирования (полный и достоверный результат при минимальных затратах времени и ресурсов); • Обеспечение достоверности результатов (исключение неконтролируемых внешних воздействий и др.); 23

• Обеспечение полного и доступного представления результатов; • Включение элементов деловой игры в процедуру аттестации и интерфейс компьютерного тестового комплекса; • Включение в процедуру аттестации элементов состязательности (перманентная публикация списков студентов, получивших высшие рейтинги в печати и на Интернет-сайтах); • Обеспечение востребованности рекомендаций, получаемых учащимися и преподавателями по результатам тестирований. Эти мероприятия включают те, что важны с технологической точки зрения (первые шесть) [см.: 175] и те, что важны с дидактической точки зрения (последние четыре) [введены нами: 190]. Чаще дидактические стороны процедур тестирования подчинены технологическим. Об этом свидетельствуют опубликованные нормативные документы и инструкции [см. напр.: 322, 323]. Тем не менее, мы полагаем, что, в большинстве случаев (за исключением итоговой аттестации) важность последних мероприятий превосходит важность первых. [187 и др.] Ведь для спортсмена часто не столь важна точность прибора, которым измеряют скорость его бега или высоту прыжка, сколь ощущение атмосферы соревнования и внутреннее ощущение саморазвития. Именно тот «олимпийский дух», что совершенно естественно порождается среди студентов вследствие проведения последних мероприятий, позволяет представить дидактическое тестирование [35, 36, 41, 45, 64] одним из тех средств, с помощью которых можно и нужно эффективно управлять качеством образования. Выделим среди проблем, с решением которых связано дальнейшее развитие технологий дидактического тестирования [185-192], следующие: • Может ли (должен ли) процесс тестирования приносить учащимся удовольствие, быть увлекательным? • Может ли (должен ли) процесс тестирования носить соревновательный оттенок? Можно ли (обязательно ли) публиковать результаты тестирования? • Следует ли ограничивать время тестирований? Какова оптимальная длительность сеанса тестирования? • Является ли тестирование обязательным участником образовательного процесса? Какое время следует отвести тестированию в учебных планах? Как тарифицировать время тестирования и время подготовки тестирования для персонала и преподавателя? • Нужны ли (обязательны ли) психологические разгрузки в процессе тестирования? Как организовать разгрузки с помощью компьютера? Могут ли (должны ли) тестовые задания содержать элементы сюрпризности, юмора? Какой сценарий тестирования эффективнее для образовательного процесса в целом – «серьезный» или «игровой»? • Может ли (должен ли) процесс тестирования опираться на личностноориентированную сюжетную линию? Должен ли тест, будучи измерительным инструментом, быть одинаковым для всех или его следует 24

адаптировать? И как учитывать то, что для разных студентов тест был адаптирован по-разному? • Следует ли разрешать студенту вносить исправления в уже выполненные задания? • Может ли (должен ли) процесс тестирования быть поучающим? Следует ли выделять студенту лимит подсказок в процессе тестирования? Следует ли указывать в процессе тестирования учащемуся на верно и неверно выполненные задания? • Может ли (должен ли) процесс тестирования быть мягким, позволяющим учащемуся самостоятельно выбирать план действий – последовательность выполнения заданий? • Следует ли позволять студенту видеть весь спектр возможных вариантов выполнения тестового задания одновременно? • Какой тестирующий комплекс лучше – тот, где результаты студентов растут с каждым новым сеансом, или тот, где результаты воспроизводятся неизменными от сеанса к сеансу? • Обязательно ли студентов группы тестировать одновременно или можно использовать режим «живой очереди»? Как это повлияет на реализацию дидактических целей и задач? От ответов на эти, сформулированные нами вопросы, зависит эффективность использования тестирований и как измерительного средства, и как инструмента для управления качеством образования. Интерпретации результатов дидактических тестирований. Выделяют три интерпретации результатов тестирования [1, 175]: • Предметно-педагогическая интерпретация используется для точного выяснения, какие именно элементы учебной дисциплины усвоены студентом. При этом анализируется выполнение большого количества заданий. • Критериально-ориентированная интерпретация возникает при решении задачи аттестации, приема на следующую ступень обучения, профотбора и т. п., где важно определить соответствие студентов критерию. Особое внимание обращается на определение зачетного уровня трудности. Содержание заданий принципиально облегчено. Задания должны выполнять все выпускники, допущенные к аттестации. Такие тесты нередко применяют органы управления образованием, стоящие перед необходимостью: в короткое время проверить состояние образования в большом количестве учебных заведений, и «не позволить» им опуститься ниже допустимого уровня. От студентов требуют выполнить небольшое количество заданий из области минимально допустимой компетентности, чтобы определить ориентировочную долю освоенности стандартных знаний. • Нормативно-ориентированная интерпретация применяется при использовании принятых статистических показателей: среднее арифметическое, процентильная норма и др. Тестирование без нормативно25

ориентированной интерпретации результатов не имеет смысла. Главные вопросы такой интерпретации – не «кто что знает?», а «кто на каком месте?». Дидактический программный комплекс (ДПК) является совокупностью взаимосвязанных компонентов: • база тестовых заданий, из которых собирается тест; • алгоритм сборки теста из тестовых заданий; • сценарий (технологический план) тестирования; • компьютерная программа, реализующая сценарий тестирования в сети или на одном персональном компьютере; • пакет компьютерных программ обеспечивающих сбор, статистическую обработку и представление результатов тестирования; • база данных, аккумулирующая результаты тестирования; • устройства (аксессуары), необходимые для проведения процедуры тестирования и не включаемые в офисную конфигурацию персонального компьютера. В состав последнего компонента, не ставшего пока традиционным для дидактической тестологии [29 и др.], входят устройства, позволяющие идентифицировать личность студента, проходящего тестирование на компьютере в любой момент времени: видеокамеры, сканеры отпечатков пальцев, дистанционные датчики динамики кровяного давления и пр.[269 и др.] Требования, предъявляемые к тестовым программным комплексам. Ниже мы собрали и дополнили требования, опубликованные в работах разных авторов и нормативных документах. • Эффективность (оптимальность): точность и скорость измерения; • Дифференцирующая способность: объективность и адаптируемость к условиям проведения тестирований и составу студентов; • Мобильность: скорость доставки и развертывания; количество, доступность, стоимость, скорость предоставления необходимых материалов и услуг (доступ к сети, размножение инструкций и справочных материалов, дополнительные аксессуары); • Дружественность интерфейсов студента, руководителя, обслуживающего персонала, автора, редактора; • Качество БТЗ: наполненность (количество ТЗ); полнота (соответствие ТЗ всем разделам дисциплины); вариативность, фасетность (количество возможных вариантов ТЗ); сепарабельность (отделимость ТЗ в соответствии с темами и условиями); • Диапазон измеряемых характеристик: широта диапазона; вариативность характеристик в соответствии с условиями; • Себестоимость: создания программной и информативной частей; редактирования и валидизации БТЗ; технологии; обслуживания; • Привлекательность: процедуры измерения и интерфейса; • Скорость и простота: наполнения информативной части; редактирования информативной части; корректировки шкал и условий; 26

• Представительность и понятность результатов; конвертируемость результатов при смене БТЗ либо системы оценивания. Среди наших дополнений – обычные для гуманной педагогики требования: привлекательность, дружественность, простота, понятность. Удивительно, что эти требования на протяжении десятилетий не стали обычными в современной дидактической тестологии. Результаты компьютерной аттестации и факторы, влияющие на них. Качество результата проведенного дидактического тестирования, т.е. степень соответствия его дидактическим целям и задачам, зависит от позитивного и негативного влияния многих факторов, часть которых может оказаться слабо контролируемыми. Важной составляющей результата процедуры компьютерной аттестации знаний (но не умений!) являются численные значения следующих четырех параметров обученности: • Знание общих сведений и умение среди них ориентироваться; • Знание определений, фактов, дат, названий, формулировок; • Знание способов решения и оформления решений типовых учебных задач, навыки рассуждений и доказательств; • Умение решать сложные учебные проблемы. На основании значений этих параметров, для каждого учащегося строится рекомендуемая оценка по пятибалльной шкале (обычно для вуза) и рейтинг. После обработки результатов строится таблица рейтингов студентов в пределах группы либо курса. Рейтинг, обычно, – одно число, не дающее представления о частностях в структуре знаний студента. Мы называем такой рейтинг скалярным. Более точно отразить ситуацию может векторный рейтинг, состоящий, например, из 4-х чисел, каждое из которых соответствует значению одного из означенных выше параметров обученности. Соответственно, предъявляемые студенту тестовые задания делятся на 4 группы [190]. Проведя тестирование одних и тех же студентов несколько раз, перемежая его определенными и соответствующим образом обустроенными перерывами на отдых, с использованием того же (такого же) теста, можно получить дополнительную динамическую информацию: • Способность студента к самостоятельному обучению; • Способность студента к адаптации в режиме тестирования; • Развитость коллективизма среди студентов. В перерывах между сеансами тестирования можно разрешать и не разрешать студентам читать учебники, общаться. Можно варьировать продолжительность перерыва, а перерыв устраивать в библиотеке учебной литературы. Можно варьировать поощрение. Вариантов, как видим, много и, соответственно им, варьируются результаты повторных измерений. Изменения (сдвиги) результатов измерений при повторе – такие же важные результаты, как и те, что получены в однократном измерении. Иногда способность студента к самообучению ценится значительно выше, чем тот багаж знаний, который студент «принес» на сеанс тестирования, например, при отборе студентов для деятельности в новых областях. 27

Тестирование завершается мероприятиями аттестационного блока: • Студент получает оценку своей подготовки по каждому из параметров, интегральную оценку, свой рейтинг и перечень своих ошибок; • Преподаватель знакомится с характерными ошибками студентов, корректирует итоговую оценку; • Руководитель вуза получает данные, характеризующие результат в сравнении с аналогичными (предыдущими и параллельными); • Руководство управления получает интегральный результат, характеризующий качество системы и позволяющий построить прогноз. • В случае если такое же тестирование параллельно проводилось в ином регионе или за рубежом [81, 108], например, оформленное как межрегиональный или международный турнир, сравниваются результаты и награждаются победители в соответствующем масштабе. Последний пункт этого перечисления пока выглядит достаточно фантастично. Наша попытка организации параллельного тестирования студентов ДВГУ и университета штата Вашингтон (США), а также студентов ДВГУ и университета штата Юта (США), например, не увенчались успехом, несмотря на проявленный сторонами интерес. Причин несколько: мероприятие кто-то должен оплатить, а образовательные фонды не ведут деятельности в этом направлении; американцы не любят «соревнований ради соревнований»; отсутствуют прецеденты; и др.[197] Тем не менее, известный академический интерес российских и американских педагогов, а также известные обсуждения возможных позитивных интегративных сторон таких мероприятий, [58, 60, 200, 223, 285, 314, 321 и др.] позволяют констатировать наличие здесь значительного дидактического потенциала. Российская система образования качественно меняется. Количество компьютерные средств и телекоммуникационные системы позволяют создать объединенный (на уровне организации, региона, страны) ресурс для диагностики качества образования и исследовать статистические данные дистанционно. Мониторинг на основе массовых компьютерных тестирований стал мощным инструментом управления качеством. Дидактический потенциал мониторинговых технологий, т.е. несомые ими возможности активизации развития студентов, мало исследуется и не используется. [26, 36, 46, 47, 55, 81, 108, 119, 129, 139, 159, 161, 200, 201, 210, 244, 248, 307] Публикация результатов тестирования - важный элемент технологии и функция мониторинга, обеспечивающая управление качеством. Нашими исследованиями выявлено (Гл. III), что одним из важных условий успешности управления качеством на основе мониторинга (массовых тестирований ЗУН) является гласность (публичность) результатов. Результаты компьютерной аттестации должны освещаться с обязательным указанием победителей и набранных ими баллов; полученных наград и привилегий; преподавателей и руководителей вуза. Общеизвестным должен быть и адрес центра, где в течение всего учебного года можно попробовать свои силы в порядке живой очереди. Это значительно повышает популярность не только тестирований, но и обра28

зования в целом. Образовательная олимпиада, с точки зрения развития региона и государства, не менее важна, чем спортивная. В спортивной олимпиаде побеждает сильный и ловкий, в образовательной – умный и знающий. В отсталых государствах сила и ловкость ценятся выше знания и сообразительности. Потому они и отсталые. Отмеченный выше дидактический потенциал образовательного соревнования остается малораскрытым в современной российской системе высшего профессионального образования, несмотря на имеющийся опыт. Нераскрыт он и во многих других странах, несмотря на наличие там рейтинговых систем, где нет проблем с поощрением победителей, поскольку рейтинговые системы почти всегда связаны с системами оплаты обучения и пр. [66, 166, 286, 307 и др.]. Причину такого положения за рубежом мы видим в следующем: • Стандартизация тестов приводит к тому, что студенты ориентируются не на энциклопедические знания, а на зазубривание вариантов выполнения типовых заданий. • Рейтинговые системы ориентированы на разовые тестирования, результаты которых считаются конфиденциальными. И то, и другое не способствует развитию соревнования Наш опыт позволяет указать на фактор публичности как один из наиболее мотивирующих студентов к учебе. Особую актуальность публикация результатов приобретает для студентов старших курсов, становящихся выпускниками. Опубликованные, на специализированном сайте в сети Интернет, оценки их знаний дают основания не только для возникновения духа дидактического соревнования, но и для более успешного поиска будущего места работы. В то же время работодатели, имея такую опубликованную информацию, смогут более обоснованно подойти к выбору будущего сотрудника. [66, 197] Наши опросы (более 200 студентов естественных и гуманитарных институтов ДВГУ) выявили, что такую публикацию одобряют - около 40% студентов, относятся к ней неопределенно – около 40%, высказываются против – около 20%. Студенты высказавшиеся против публикации, считают, что поиск места работы является делом достаточно интимным, и поэтому работодателю совершенно необязательно быть полностью информированным. Опрошенные же работодатели же считают такую публикацию необходимой, но пока недостижимой в связи с двумя причинами: • таким акциям сопутствует традиционная «российская» опасность доведения до абсурда (например, после ее реализации, работодателей станут заставлять принимать на работу нежеланных работников); • руководители вузов станут противодействивать такой акции, поскольку она несет потенциальную опасность дискредитации преподавания каких-либо дисциплин Длительность сеанса тестирования – важная характеристика теста, от которой зависит и точность оценивания. Каждый тест характерен оптимальным временем сеанса, изменение которого снижает точность измерений. 29

С продолжительностью сеанса опосредованно связано количество заданий теста. [1, 175] Длительность тестирования ограничивается исходя из соображений: удобства процедуры тестирования; темпа накопления усталости студентов; достижения требуемого уровня дифференциации студентов [см. напр. аналог: 153]. Применение адаптивных технологий приводит к значительному сокращению времени сеансов без существенной потери точности. Точность дидактических измерений без увеличения длительности может быть повышена путем применения шкалированных (градуированных) тестовых заданий [см. обсуждение в 1 и 175]. Включение в тест таких заданий позволяет оптимизировать измерение за счет увеличения роли каждого задания. Редкость применения шкалированных заданий объясняется неразработанностью соответствующего теоретического аппарата, отсутствием соответствующих баз тестовых заданий (БТЗ) и программного инструментария. Большинство тестов, применяемых в педагогической практике, являются скоростными. Временной режим задается: на весь сеанс тестирования; на субтесты; на отдельные тестовые задания. Активно обсуждается проблема методов согласования заданий на скорость, необходимых для повышения надёжности тестов. Известен скоростной тест – TOEFL. Ограничения во времени выполнения там вполне обоснованы. Однако то, что хорошо для отбора пилотов, танкистов, артиллеристов и водителей, не всегда хорошо для аттестации ЗУН студентов массовых вузов. Современные концепции построения педагогического процесса требует индивидуализации всех звеньев обучения [13, 99 и др.], в том числе и контроля. Там, где тест напрямую не связан с функциональными ограничениями для видов работ, нет необходимости вводить фактор времени как лимитирующую характеристику оценивания деятельности студента. При контроле навыков определение лимита времени целесообразно, так как выполнение трудовых операций подчинено нормативам. Но в таких дисциплинах, как история или литература, введение временных ограничений во многих случаях проблематично, и для них следует устанавливать такие нормативы, в которые могли бы укладываться студенты с любым типом мышления. Фактор времени проведения массовых тестирований – это вопрос не только экономии ресурсов, но и ограничения рамок исследования. Он важен и при проведении зрелищных мероприятий – викторин, конкурсов – где используются тесты. Наши эксперименты, проведенные с достаточно представительными выборками студентов (более 2 тыс.), школьников (более 2 тыс.), преподавателей и учителей (более 0,5 тыс.), с применением тестовых комплексов характерных отсутствием в интерфейсе игровых элементов, показали: • Студенты: после 30-40 минут сеанса тестирования общих знаний, навыков решения простых задач, знаний определений – включается эффект «ровной дороги» и большинство тестируемых начинают работать автоматически, не задумываясь, стремясь к скорейшему завершению сеанса. Стремление к лучшей оценке для них в течение сеанса сменяется стремлением к тройке. • Школьники: результаты 15-ти и 30-ти минутных компьютерных сеан30

сов, где количества заданий относились как 1:2, относятся, в среднем, так же: как 1:2. При увеличении же времени сеанса до 45 минут (с соответствующим увеличением количества заданий) приводит к ощутимому «завалу» зависимости на 15-20%. В экспериментах использовались гомогенные тесты с однотипными заданиями на общие знания и знания определений. Если тесты включают задания на решение численных либо графических задач, время сеанса может быть увеличено до нескольких часов. Однако при этом компьютер используется всего несколько минут – для регистрации и ввода результата. Компьютер в этом случае только мешает испытуемым – шумит, ограничивает площадь стола, распространяет излучения. Поэтому такие задания лучше применять в ином технологическом режиме – студент получает вариант, выполняет работу в спокойный обстановке в аудитории, а затем переходит в компьютерный класс и вводит результаты выполнения в специальную форму. • Преподаватели и учителя: не выдерживают длительности сеанса больше 20 минут. Происходит «срыв» внимания на обсуждение заданий, автоматическое «дотыкивание» теста и пр.; Описанная ситуация коренным образом меняется при включении в сеанс тестирования элементов деловой игры, неожиданности, сюрпризности. [32, 43, 102, 113, 207, 234, 261, 263, 309, 316 и др.] Например, путем применения необычных для практики тестирований интерфейсных элементов и переформулировки заданий в «разговорном тоне» с использованием необычных словарных оборотов. Это позволяет значительно продлить период активности внимания, как у студентов, так и у школьников, и, следовательно, повысить точность измерений за счет включения большего количества заданий. Таким образом: 1. При использовании комплексов с «прямоугольными интерфейсами» без элементов психологической разгрузки, при тестировании общих знаний и знаний определений и навыков решений простых задач ограничивать длительность сеанса • для школьников 2-8 классов 10-20 минутами, • для школьников 9-11 классов 20-30 минутами, • для студентов и специалистов-предметников – 30-40 минутами; 2. При тестировании умений и навыков решения сложных численных и графических задач целесообразно основную работу проводить в учебной аудитории и использовать компьютер лишь для ввода результатов и регистрационных данных. В этом случае время работы можно ограничить несколькими часами, т. е. периодом наступления усталости контролирующего персонала. Можно даже устраивать большие перерывы, но с применением средств информационной безопасности – вариативность теста, контроль шпаргалок, ограничение общения и пр.; 3. Возможно, «золотая середина» здесь: тренировочные компьютерные сеансы следует проводить без жесткого ограничения времени, а контрольные – ограничивать; 31

4. Следует шире внедрять в практику компьютерных тестирований элементы деловых игр и психологической разгрузки. Это позволяет значительно продлить время сеанса, предложить испытуемым больше заданий без опасения эффектов типа известного эффекта «ровной дороги» и, тем самым, поднять уровень надежности дидактических измерений. Вопрос о связи интеллекта со скоростью выполнения операций не прост и обсуждается психологами [294-298,305 и др.]. От количества заданий теста (тестовых заданий, ТЗ) зависит точность измерения, поскольку каждое задание позволяет оценить знание отдельного информационного блока учебной дисциплины. В тестологии нет четких ограничений на количество заданий: оно доходит в стандартизированных американских тестах до 200 и более. Заданий нужно столько, чтобы по возможности полно отразить содержание диагностируемого объёма знаний. [175 и др.]. Задания объединяют в «базы тестовых заданий» (БТЗ). Наш опыт показывает, что для осознанного выполнения более 40 (даже простых) заданий студенту необходимо иметь очень высокую мотивацию. Если сеанс измерения не приводит к возможности получения учащимся экзаменационной оценки, желанного рабочего места либо ощутимого приза – можно ожидать, что через 10-15 минут сеанса студент переключится на выполнение тестовых заданий методом «случайного тыка». Сохранить внимание и выполнить 100 заданий многим не под силу даже при очень высокой мотивации. Этот вывод хорошо иллюстрируется наблюдениями массовых тестирований абитуриентов в рамках ежегодных централизованных тестирований ЦТ МОН РФ. Это более относится к распространенным формальным процедурам тестирования, где применяются комплексы с «не отвлекающими» интерфейсами, демонстрирующими на экране однообразные прямоугольники с однообразными текстами. Иное дело – когда сеанс тестирования представлен в виде деловой игры с сюрпризами, действующими персонажами и пр. [32, 43, 102, 113, 207, 234, 261, 263, 309, 316 и др.] В этом случае удается достичь значительного продления внимания и увеличить количество заданий в сеансе. Иными словами, игровые технологии позволяют опосредованно влиять на уровень объективности измерений [207, 263, 304]. Спецификация теста является обязательной операцией анализа теста и необходимым условием создания нового теста [1, 175, 299]. Спецификация заключается в том, что строится таблица, в которой указываются: • номера заданий и их принадлежность к субтестам; • направленность заданий; • сложность, трудоемкость, вес заданий; • какую из характеристик каждое задание конкретно диагностирует. В спецификации формулируют диагностические задачи теста. При создании сложных дидактических тестов составляют подробную таблицу, в которой, наряду с этой информацией, перечислены конкретные дидактические задачи (усвоение формул и алгоритмов, понимание таблиц и графиков и т. п.), а также представленные в БТЗ разделы, параграфы, темы. 32

Компьютерное тестирование – средство объективизации оценки. Если экзамен – это лишь мероприятие по выдаче мандатов, и мы к этому привыкли, надо ли менять ситуацию, вводить новые шкалы оценивания, придумывать тонкие и сложные методы различения качества ЗУН? Нужны ли специальные образовательные информационные технологии? Можно предположить, что ответ большинства педагогов, имеющих дело с большими аудиториями и для которых проблема оценивания является насущной, будет утвердительным. Приведем предпосылки такого ответа. 1. Оценка выставляется преподавателями на основе собственного опыта. Предыстория, внешний вид и поведение студента, сведения, полученные ранее от коллег и других людей, играют при этом роль. 2. Даже имея алгоритм оценки, трудно с его помощью «развести» студентов, результаты которых близки. Нельзя убедительно объяснить человеку, почему 72 балла – это «пятерка», а 71 балл – это «четверка». Здесь помогут только сложные оценочные средства подвластные компьютеру. 3. Невозможно за краткий промежуток времени гарантированно оценить знания студента в пределах всего материала дисциплины. Тем более, если речь идет о группе. Вопросы преподаватель часто задает в неком случайном порядке (опытный студент может даже «дирижировать» этой «случайностью»), и оценивает ответы, ориентируясь лишь на наличие ключевых слов и выражений в ответе студента. 4. Студентов бывает много, а количество вакансий, на которые они претендуют – мало. Такая ситуация постоянна при поступлении абитуриентов на престижные специальности вуза. Тогда спор за каждый балл драматичен, доказательства правоты и неправоты членов экзаменационных комиссий могут быть самыми разными. Опорой в экзаменационных разбирательствах здесь могут стать многоуровневые и многомерные шкалы оценивания, а лучшим судьей – компьютер. 5. Традиционный экзамен – всегда лотерея, и высокую оценку там определяют не только прочные знания. Среди педагогов немало сторонников сохранения традиционных способов оценивания ЗУН. Традиционный способ является оптимальным, когда, например, высокая оценка не является для студентов желанной путевкой в жизнь (например – в ПТУ, где выпускники, вне зависимости от оценок, попадают в равные производственные условия); оценка двузначна «зачет – незачет»; учебная дисциплина считается второстепенной. В тестологии созданы методы для повышения объективности оценки качества и количества ЗУН. Это непривычно для традиционной педагогики и многие преподаватели этому не верят. И правильно делают. Именно такое отношение к новшествам отличает российскую систему образования от зарубежных систем. Как правило, руководители вузов задают при внедрении тестовых технологий следующие вопросы: • А вдруг после тестирования окажется, что явные двоечники получили положительные оценки? • А вдруг пятерок будет слишком мало? 33

• А вдруг пятерок будет слишком много? • А вдруг пятерку получит нежеланный «абитуриент», т. е. не обладающий нужными качествами, обладание которыми можно выявить только на устном экзамене? • А вдруг двойку получит «желанный» абитуриент, посещавший все подготовительные курсы и кружки? • А вдруг больше половины учеников получат двойки, а преподаватели им ставили в процессе обучения положительные оценки? Наш опыт говорит: российский преподаватель признает технологию тестирования только когда он сам протестирует свои знания и получит двойку или тройку; а руководитель вуза признает технологию тестирования только при выполнении трех условий: когда он узнает, что преподаватели заведения уже тестировались и получили «разные» оценки; когда он получит право управления количеством итоговых пятерок и двоек; когда ему «на цифрах» докажут, что тестировать дешевле, чем устраивать экзамены «по полной схеме». Разными авторами предъявляются разные требования к тестовым заданиям. Приведем обобщенный перечень таких требований, дополненный нами (в алфавитном порядке): • Адекватность – соответствие инструкции, формы и содержания; • Взвешенность – наличие веса, т. е. определенного, выраженного в виде числа уровня сложности или трудоемкости задания; • Дистрактивность – степень похожести неправильных вариантов на правильные и наоборот; • Дифференцирующая способность – свойство отдельных заданий и теста дифференцировать студентов на группы в соответствии со степенью их подготовки; • Доступность – потенциальная возможность выполнения для большинства студентов; • Интегрированность – наличие межпредметных связей; • Корректность – отсутствие малопонятных и редко употребляемых выражений, а также неизвестных для студентов символов и слов, затрудняющих восприятие смысла; • Краткость – тщательный подбор слов, символов, графиков, позволяющий добиваться максимума ясности содержания задания; • Критериальность – наличие возможности предъявить студентам не только двузначную шкалу оценки вариантов выполнения заданий («верно – не верно») но и иные, в соответствии с критериями (напр., «верно – не точно – не полно – не верно»); • Многофункциональность – наличие возможности диагностики и памяти, и мышления, и др.; • Оригинальность – бесполезность шпаргалки и зазубривания; • Открытость содержания – наличие возможности предварительного знакомства с типовыми тестовыми заданиями, а также учебными текстами 34

полностью соответствующими БТЗ; • Публичность - открытость результатов для общего ознакомления; • Понятность – отсутствие двойных отрицаний, придаточных предложений, скрытых вопросов, подразумеваемого смысла и т. п.; • Привлекательность – присутствие доли юмора и игровых элементов, способствующих развитию желания студентов к самообразованию; • Технологичность – простота составления и корректировки, наличие четких правил составления и оценивания весов; • Толерантность – отсутствие фрагментов, вызывающих непонимание и возмущение, связанные с различием людей по объективным признакам (национальность, пол и пр.); • Универсальность – возможность использования в разных тестовых комплексах; • Формальность – соответствие избранной форме; • Эргономичность выполнения и обработки – минимальность затрачиваемого времени на прочтение, понимание, ответ; минимальность затрат ресурсов и времени на проверку и анализ результатов. • Целесообразность – соответствие цели проводимых измерений. Остановимся на смысле и практике применения двух из перечисленных принципов на конкретных примерах. Надежность и релевантность. Прогресс человечества пришел к необходимости систем менеджмента качества. Таких систем создано много. Описание такой системы представляет собой много томов, содержащих схемы предприятий, схемы руководства, перечни принципов, примерные инструкции и перечни обязанностей и пр. Если, следуя ему устроить производство продукции, можно с большой вероятностью добиться успеха. Среди общепризнанных систем – ISO.[см. напр.: 177] Один из ее принципов – принцип непрерывного улучшения, согласно которому система менеджмента качества считается хорошей, если качество продукции непрерывно растет. В большинстве сфер человеческой деятельности с понятием качества и измерением качества проблем нет. Иное дело в образовании. [36, 119, 129, 139, 159, 174, 200, 244, 248 и др.] Как мы показали ранее, дидактические измерения «ненадежны» в традиционном техническом понимании. Результаты дидактического измерения не повторяются так, как результаты измерения диаметра водопроводной трубы. Результаты тестирования ЗУН отражают качество образования студентов. Рост результатов в тестировании ЗУН, если процесс тестирования не осложнен негативными артефактами, свидетельствуют о росте уровня качества. [129, 200] Изменения результатов тестирований, проведенных с одним и тем же вариативным тестом, можно подразделить на общие и локальные. Локальные изменения - те, которые происходят при многократных тестированиях одной группы студентов в рамках одной темы учебной дисциплины. Общие изменения – те, которые происходят при тестированиях разных групп студентов, либо одной группы, но по разным темам. Локальные изменения характе35

ризуют, скорее, личностные характеристики студентов, а общие – учебный процесс. Положительные общие изменения свидетельствуют о росте качества учебного процесса. Основываясь на изложенном, будет вполне логичным шагом введение в научный обиход совместно с «надежностью» иной характеристики, адекватно отражающей именно дидактические свойства технологии тестирования [188, 189] – свойства мотивации студентов к учению, саморазвитию, самопреодолению [208]. Поскольку рост образовательных результатов – дидактическая цель, эту характеристику можно назвать «дидактической релевантностью», т.е. степенью соответствия дидактическим задачам. В отличие от надежности, измерить релевантность технологии несложно – она тем больше, чем быстрее растут образовательные результаты. Несложно проследить здесь связь с принципом непрерывного улучшения системы ISO. [177 и др.]. Целесообразно применить термин «дидактическая релевантность» и к тесту, и к технологии тестирования, и к технологии обучения. Подробное рассмотрение возможности применения термина «релевантность» к технологии тестирования приведено ниже. Условия и факторы процесса педагогических измерений Какими должны быть дидактические компьютерные комплексы (ДПК), чтобы быть востребованными и удобными в пользовании для преподавателя, студента, управленца? Как сделать так, чтобы прохождение сеанса компьютерного тестирования вызывало у студентов рост интереса к обучению и повышению качества своих знаний? Как «скрыть» от студента саму процедуру тестирования, сняв напряженность, сконцентрировав его на раскрытии творческих качеств и реализации знаний? Как устранить или свести до минимума возможности подлога, «списывания»? Какие условия и факторы оказывают позитивное и негативное влияние в процессе дидактического измерения на результат? Ниже мы приведем и опишем ряд факторов, влияющих на результаты тестирования. Их интенсивность определяется и случайностью, и личностью автора ТЗ, студента, преподавателя, и др. Названия факторов мы приводим в своей редакции: • Фактор привлекательности технологии. • Фактор отстраненности преподавателя • Фактор ошибки дидактических измерений. • Фактор «неидеальности» тестовых заданий. • Фактор веса тестового задания. • Фактор привыкания. • Факторы случайности. • Фактор «остранения». • Факторы, снижающие точность измерений (реактивный эффект, взаи36

модействие выборки и экспериментального воздействия, интерференция экспериментальных воздействий) • Факторы, позитивно влияющие на рост обученности. • Индуктивные факторы – фактор индуктивного узнавания и индуктивной мотивации. Деловая игра многими воспринимается как своеобразная панацея не только в обучении, но и в оценке образовательных результатов. [30, 32, 102, 113, 183, 207, 226, 233, 234, 261, 263, 304, 309, 316 и др.] Существуют удачные варианты игровых сценариев тестирования, например – известная компьютерная игра Сида Мейера «Цивилизация». Однако такие изделия обычно содержат мало учебной информации и могут быть рассматриваемы лишь как основа для дальнейшей методической и сценарной работы. Создание профессиональных компьютерных игр-тренажеров – вполне освоенная специалистами область. Существуют прекрасные тренажеры и средства для их создания. Вызывает сожаление, что это относится исключительно к специальным тренажерам – для летчиков, танкистов, судоводителей, автогонщиков. Мировой же рынок тренажеров и тестирующих комплексов для массовых учебных заведений – компьютерных лабораторных работ и учебных практикумов – пока заполнен изделиями несравненно низшего качества. Они однотипны и не вызывают интереса к обучению. Разработкой и изготовлением компьютерных тестирующих комплексов в России занимаются, в основном, коллективы при вузах. Среди таких вузов следует назвать МГУ, СПбГУ, НГУ, МФТИ, МИФИ, МЭСИ, ТГУ, ДВГУ и др. Как правило, коллективы состоят из физиков, математиков, инженеровкомпьютерщиков. Педагоги либо психологи к сценарным работам практически не привлекаются. Одним из счастливых исключений здесь является МГУ, где в таких разработках принимают активное участие преподаватели и студенты психологического факультета. [2] Фактор привлекательности технологии. В тестологии не принято обращать значительное внимание на привлекательность процедуры компьютерного дидактического измерения. Конструкторы ДПК ограничиваются оснащением интерфейса красивыми заставками, окрашивая рабочие поля самыми невзрачными сочетаниями цветов (чтобы не отвлекать внимание тестируемого). Эта особенность перекочевала в современность из опыта бланкового тестирования, где результат мало зависит от внешнего вида бланков. Однако привлекательность - это достаточно серьезное свойство для дидактического исследования. Представим два технических вуза. В мастерских одного – затхлость, исцарапанные инструменты и станки, выцветшие плакаты, разбитый кафель. В другом – все наоборот, выглядит как в рекламной телепередаче. Где будет выше количество желающих учиться? Где студенты получат большее удовольствие от соревнований в профессиональном мастерстве, и в каком случае они будут тщательнее к ним готовиться? Как повлияет на тщательность подготовки знание учащимися того, что награждение победителей всегда происходит в атмосфере массовости и праздничности? Интересно влияние антура37

жа процедуры тестирования не столько на результат, сколько на побуждение студентов проходить тестирование самостоятельно и неоднократно, стремясь показать все более высокий результат. В генерации стремления учащихся к самообразованию, самопреодолению [208] – главное достоинство нововведений в системе образования. Привлекательность трудно описать числом, однако процедуры тестирования можно сравнить экспериментально. Какая из технологий более привлекательна? Руководителю вуза понравится та технология, после которой им представят более представительные и «серьезные» таблички отчета. Авторам ТЗ понравится та технология, где им потребовалось меньше времени для проведения работ. Преподавателям понравится та технология, где они меньше «портили свои нервы» и получили более четкую информацию о студентах. Персоналу компьютерного класса понравится та технология, на подготовку которой (инсталляцию, инструктирование) ушло меньше времени. Студентам понравится та технология, где • проще достичь более высокого личного результата; • понятна и кратка инструкция; меньше приходится отвлекаться на диалоги с персоналом; • меньше длительность сеанса; • результаты объективны и представление результатов понятно; • присутствуют элементы психологической разгрузки; • личные успехи сразу становятся известны, а неудачи – нет; • много номинаций, позволяющих быть успешным лично и в составе команды, по одной дисциплине и в комплексе; • реакция окружающих на успехи эмоциональна и незамедлительна; • есть возможность посоревноваться в знаниях с виртуальным противником и коллегами; • в интерфейсе присутствуют элементы сюрпризности; • меньше психологической усталости накапливается к концу сеанса; • меньше непроизводительные потери личного времени; • меньше компьютерных сбоев; • выше качество монитора, мыши, мебели, воздуха и пр.; • можно вернуться к выполненным заданиям и исправить ошибки; • участники находятся в равных условиях. Таким образом, на поведение студентов в течение сеанса и дальнейшую познавательную деятельность влияет много факторов, которые могут быть неожиданными и для организаторов тестирований. Интересны как пример известные телеигры «О, счастливчик!» «Поле чудес» и «Кто хочет стать миллионером?». Что привлекает здесь зрителей? Радость за чужой успех или энциклопедические сведения, которые можно прочесть и без того? Привлекает там: массовость, юмор ведущего и «сюрпризы» - выходки игроков, удивительные и неожиданные варианты ответов. Эти игры-тестирования пробуждают у зрителей желание самостоятельно без ведущего соревноваться в знаниях, «копаться» в энциклопедиях. Транслируе38

мая же телеканалом СТС телеигра-тестирование «Самый умный», в которой звучат лишь вопросы и краткие ответы, не привлекает массового телезрителя. И, по-видимому, причина этого не в том, что здесь ведущий – женщина, а не мужчина (как в вышеперечисленных случаях). У перечисленных телеигр есть привлекательные компьютерные аналоги с теми же названиями. С этими компьютерными изделиями с удовольствием играют и дети, и взрослые, и в одиночку, и группами. Играя, люди обретают и новые знания, и желание к чтению энциклопедий, и желание делиться знаниями с другими людьми. А есть и другие аналоги – с интерфейсом выстроенным из прямоугольных окон с текстами, с отсутствием сюрпризного интерактива. Общение с таким изделием порождает неприязнь, в том числе и к обретению знаний посредством компьютера. Приведенные примеры демонстрируют спорность устоявшегося в тестологии мнения о том, что интерфейс компьютерного тренажера должен быть невзрачным, «серьезным», не привлекающим внимания. [1, 175] Повысить привлекательность компьютерного учебного пособия или процедуры тестирования не так просто, это – область профессиональной деятельности. И «игра стоит свеч», поскольку здесь высока вероятность инициации и поддержания позитивного влияния на качество образования. Фактор отстраненности преподавателя. В психологии считается, что наиболее успешными являются трудовые (спортивные, воинские) коллективы, где роли участников распределены как в традиционной семье. В «идеальном» армейском коллективе, например, отцом является командир, матерью – его заместитель по воспитательной работе (священник, замполит и пр.) или старшина, дедом – начальник штаба и пр. Появление в учебном процессе вуза дидактического тестирования, как полноправного участника, позволяет завершить, с психологической точки зрения, образовательный коллектив как «полную семью». В этой «семье» студенты будут играть роль детей, преподаватель – роль матери, а дидактический программный комплекс – роль требовательного отца. Получив в такой «семье» материнскую роль, преподаватель передает ДПК все педагогические функции, которые могут вызвать негативную реакцию студентов (выставление оценок, чтение нотаций, поддержание учебной дисциплины), оставляя для себя только то, что привлекает студентов в личности преподавателя и получает и важные дидактические возможности: • преподаватель становится другом студентов, сопереживающим все их неудачи и поддерживающим радость успеха; • преподаватель становится советчиком студентов, не «урокодателем», а «демонстратором», показывающим на собственном примере целесообразность и удобство использования тех или иных приемов решения задач, изготовления, запоминания, и пр.; Очевидно, находясь в такой выигрышной позиции, преподаватель может незаметно и эффективно управлять качеством студенческих знаний. Применение фактора требует от преподавателя достаточной квалификации. Фактор ошибки дидактических измерений. Так же, как и в любой 39

технической области, измерения в тестологии сопровождаются ошибками. Эти ошибки могут быть систематическими, возникающими, например, по вине создателей тестовых заданий (ТЗ), тестирующей программы, учебного пособия, и случайными, возникающими из-за того, что участники пытаются «схитрить», выполнить часть заданий методом «тыка». На величину ошибок влияет человеческий фактор. Систематические ошибки возникают из-за: разницы толкования определений в ТЗ и в учебнике; неясностей в интерфейсе; логических неувязок в текстах ТЗ; неправильных объяснений, данных оператором, и др. Систематические ошибки выявляются путем опроса и наблюдения. Величины вероятных случайных ошибок определения рейтинга образуют небольшой интервал значений. Величина этого интервала зависит от того, в какую область значений попал исследуемый рейтинг. Если участник правильно выполнил много заданий, вероятность того, что он нажимал клавиши «на авось», мала. И наоборот, эта вероятность велика для тех, чьи результаты близки к «наиболее вероятному» результату. Два равных, по мнению педагогов, участника сеанса тестирований практически всегда получают разные рейтинги. Эти рейтинги меняются при повторных тестированиях и при смене состава групп тестирующихся, порождая у зрителей и участников ощущение неопределенности, ненадежности и недоверия к тестовой технологии. Фактор «неидеальности» тестовых заданий. Применяемые в системе образования базы тестовых заданий далеки от теоретически описанных идеалов. Вот некоторые из причин этого положения: • Составлять тексты так, чтобы они были удобочитаемы, не просто. Достаточно сложно сформулировать вопрос и ответ так, чтобы они однозначно воспринимались всеми читателями; • В специальных науках укоренились жаргонные словосочетания, которые применяются для оптимизации общения. Такие словосочетания, «незаметно» попадающие в тесты, часто противоречат языковым нормам и трудно воспринимаются учащимися; • Невозможно полностью исключить вероятность угадывания, хотя и существуют методики, позволяющие ее минимизировать. • Можно утверждать, что в любом тесте есть «дикие» с точки зрения языковой культуры фразы, несогласованности падежей, родов; • Отсутствие культуры критики. Руководители авторских коллективов мало внимания обращают на необходимость коллективного обсуждения и должного редактирования тестовых заданий. • Несогласованность и спорность разрабатываемых требований к тесту в разных учебных заведениях. В тестологической литературе и нормативных документах отмечается [1, 175, 299, 322], что создатели тестовых заданий совершают много ошибок, среди которых довольно много одинаковых. Наиболее крупный из известных списков таких ошибок мы нашли в работах В. С. Аванесова [1 и др.]. Наш опыт работы в течение периода 1994-2004 гг. с более чем 200 авторами тестов, среди которых были специалисты, преподаватели и студенты, позволяет 40

расширить известные списки и представить более полный перечень таких распространенных ошибок, ранжированный (ориентировочно) в порядке частотности их появления. • В списке вариантов ответов правильный ответ чаще самый длинный. Поэтому его нетрудно найти. Эта ошибка чаще всего описывается в популярной литературе, поэтому студенты о ней знают и умело пользуются этим знанием. • Неверные варианты ответов, в отличие от правильных, бывают не согласованными с вопросом задания в падежах, родах, числах и т.д. Это следствие того, что авторы и редакторы обращают на них внимания меньше, чем на верные варианты. • В вариантах выполнения заданий встречаются перекрестные информационные ссылки, что усложняет выбор верного варианта, если варианты ответов расставлены компьютером случайным образом. Присутствует логическая связь между разными вариантами выполнения задания, не позволяющая рассматривать их независимо. • Варианты выполнения задания таковы, что верный вариант можно с большой степенью вероятности «вычислить» логически, путем исключения явно неверных. • Задание содержит скрытый вопрос, который искушенные в тестированиях испытуемые, в поисках подвоха, могут принять за основной. • Задание содержит незамеченную автором дополнительную контекстную информацию, могущую показаться неверной части студентов (особенно это касается истории, политологии и т. п.). При этом возникает ситуация неопределенности, ведущая к систематическим ошибкам студентов. • Вопрос задания многословен, содержит придаточные предложения. Такие вопросы часто содержат не замеченные автором двусмысленности. • В задании «отсутствует задание», неясно, чем следует руководствоваться студенту при выборе верного варианта. • Тестовые задания кратки, и поэтому легко узнаваемы и быстро «зазубриваются» студентом без понимания смысла материала дисциплины. Такие задания обычно содержат короткое утверждение с многоточием и короткие варианты замещения многоточия. Будучи выделенными из теста, они могут терять контекстные связи и образовательную нагрузку, поскольку невозможно восстановить, какие события или сведения там подразумеваются. • Задание предполагает непропорционально высокие затраты времени на знакомство студента со всеми вариантами выполнения. Такие задания составляют неопытные авторы в стремлении к снижению вероятности простого угадывания. • Задание предполагает возможное непроизвольное подсознательное запоминание испытуемым неправильных вариантов как правильных. • Задание содержит логически неопределенные варианты выполнения. В 41

•

•

• •

•

• • •

тестологической литературе обсуждается известный логические казусы, возникающие при применении таких вариантов ответа в заданиях закрытого типа, как «правильного ответа нет», «все ответы правильные», «все ответы неправильные». В задании отсутствует инструкция и трудно определить, что же требуется от студента. Например, когда на экране компьютера присутствуют два-три одинаково нумерованных элемента в разных группах, а в задании предлагается «указать» один из них. Нарушение изоморфизма. В заданиях, где требуется перенумеровать или сопоставить друг другу элементы, встречаются такие элементы, которым можно поставить в разном (верном) порядке или которые можно (верно) сопоставить разным элементам. Вопрос задания содержит двойное отрицание. В этом случае часто можно построить совершенно противоположные по смыслу правильные ответы. Вопрос задания содержит в себе внутренние незаметные вопросы. Такие вопросы используется в социологических опросниках для «подталкивания» человека к нужному ответу, но в вузовских тестах они появляются исключительно по неопытности авторов. Вопрос задания не подразумевает конкретный полный однозначный ответ, не очерчивает круг обязательной информации, которую должен содержать ответ. ¾ Например, на вопрос: «Где произошло Бородинское сражение?» можно точно ответить «Под Москвой», «В России», «У деревни Бородино», «В поле». ¾ Например, в заданиях с вопросами типа «Кто первым изобрел…?» не поясняется, должен ли ответ содержать фамилию, инициалы, национальность ученого, а также один или несколько ученых имеются в виду. Не учитывается, что вопрос «Кто?» применяется в русском языке и для случая одного человека, и для случая группы. ¾ Например, вопрос сформулированный так: «Назовите лучших советских спортсменов...», не содержит пояснения, сколько спортсменов нужно назвать, и кроме того, неясно – называть ли фамилии, инициалы, полные имена и отчества. ¾ Например, на вопрос «Когда началась Великая отечественная война?» можно ответить; «в июне», «в XX веке» и пр.; Подлежащее в именительном падеже путается с прямым дополнением в винительном падеже: «мать любит дочь» (пример В. С. Аванесова); Среди заданий на установление соответствия или на установление последовательности встречаются варианты, трактуемые в разных источниках по-разному (последовательности исторических событий). Вопрос неоднозначен либо варианты ответа не настолько полны и однозначны, как подразумевается вопросом задания. Например, нельзя в 42

задании задавать вопрос «Когда началась Великая отечественная война?». Следует задание формулировать так: «Назовите дату начала Великой отечественной войны». Ведь правильный ответ для первой формулировки неоднозначен: «В июне», «В XX веке» и пр. • Варианты ответа в задании закрытого типа не согласованы с вопросом в числе и падеже, дают повод для противоречивого толкования. • ТЗ содержат орфографические и иные языковые ошибки. Эти ошибки, ставят в логический тупик учащегося, поскольку ему не известно, случайна или намеренна ошибка. Особенно такие ситуации драматичны в тестированиях по русскому языку. • Тексты заданий содержат «налет авторства». В этом случае студенты, общавшиеся ранее с автором тестов, могут угадывать верные варианты по наличию характерных словосочетаний. • В инструкции задания открытого типа не указывается, в каком числе и падеже должен быть написан вариант ответа. В итоге – введенный принципиально верный вариант принимается при автоматической проверке за неверный. Например, на вопрос «Как называется судно, колющее лед?» можно ответить и «ледокол», и «ледоколом». • В задании открытого типа возможны несколько формулировок ответа, а составителем бывает предусмотрена только одна. В итоге – введенный принципиально правильный вариант может быть принят при автоматической проверке за неверный • Задания однообразны, нудны. Последовательность таких заданий отрицательно воздействует на студентов, вызывают так называемый эффект «ровной дороги» – известный в практике водителей-дальнобойщиков эффект засыпания за рулем, отвлечения и рассеяния внимания, когда дорога слишком ровна и пустынна. Часто студенты знают об этих типовых ошибках, и умело пользуются этими знаниями, получая высокие отметки. Известны случаи, когда шутник, осведомленный о таких ошибках, уверенно сдавал экзамен, например, по специальной медицинской дисциплине. Фактор веса тестового задания. Вес задания – число, определяемое экспериментально и используемое в вычислении рейтинга студентов. Вес задания определяется его трудоемкостью и сложностью для группы студентов. В классической тестологии понятия «трудность» и «сложность» использовали как синонимы. Теперь их различают, термин «трудность» заменяют на более подходящий – «трудоемкость» (предложено В. П. Беспалько) [см. напр.: 1, 175 и др.]: • Трудоемкость задания – мера количества и длительности предполагаемых операций, необходимых для успешного выполнения задания. • Сложность задания – мера объема и сложности информации, которую должен освоить студент для того, чтобы выполнить задание. Если студенты имеют достаточно времени, чтобы продумать варианты выполнения и не соревноваться в скорости, определяющим вес фактором ста43

новится сложность заданий. Поэтому сложность – наиболее часто используемое слово для характеристики заданий. Сложность задания зависит от пути изучения учебной темы студентами (по какому учебнику), от их подготовки и сообразительности. Одно и то же задание для студента одного вуза может стать неразрешимым, для студента другого – «семечками». Считается, что чем больше студентов, правильно выполнивших задание, тем меньше вес задания для данной группы. Многие исследователи (и мы, в том числе) указывают, что на величину веса задания могут влиять многие факторы, например – накапливающаяся в процессе длительного сеанса усталость или недостаточность времени сеанса. Простое задание могут не выполнить большинство студентов только потому, что пока они до него добрались, они устали. Или, вообще не успели добраться. Так простое задание с большим номером автоматически формально становится очень сложным. В вузе часто студенты одной параллели учатся у разных преподавателей и по разным учебникам, а преподаватели меняются неоднократно в течение учебного года. Поэтому длительные усилия по эмпирическому определению веса заданий теста могут быть тщетными. Вычисленный вес заданий может реально использоваться в дальнейших тестированиях лишь при условии сохранения трех внешних параметров: личность преподавателя и материал лекций, контрольных работ и пр.; комплект учебных пособий; параметры студентов (т. е. группы студентов, подвергающиеся тестированию, должны быть статистически неотличимы по характеристикам). В противном случае, сложность заданий придется пересчитывать после каждого сеанса тестирований перед определением рейтингов. А тогда могут произойти печальные казусы, подрывающие веру в объективность оценки: студенты, тестировавшиеся в составе разных групп и получившие одинаково высокий рейтинг, будут значительно различаться своими характеристиками; а студент, прошедший тестирование по одному тесту, но в разных группах, получит разный рейтинг. Следует иметь в виду следующие соображения. Вычисление относительного веса заданий, т. е. их относительной трудности для студентов – довольно сложная задача. Она требует проведения большого количества тестирований с участием большого количества студентов. При этом на величины вычисляемых весов могут непредсказуемо повлиять причины: • Разные студенты в разное время могут пользоваться при подготовке к тестированию разными учебниками, где один и тот же вопрос освещен с разной степенью подробности и ясности; • Смена (или временная подмена) преподавателя дисциплины приводит к освещению разных вопросов в разных учебных группах с разной степенью подробности и ясности. Поэтому при взвешивании можно вес одного и того же вопроса для одних избрать чересчур высоким, для других – низким; • Студенты, прошедшие сеанс первыми, неизбежно передадут почерпнутую информацию следующим, и те придут тестироваться более подго44

товленными. Неодновременность сеансов тестирования и неконтролируемость распространения информации среди студентов делают «скрупулезное взвешивание» бессмысленным; • Студенты, лучше всех знающие учебный материал, лучше всех прогнозируют для себя время, необходимое для выполнения заданий. Поэтому они выполнят сначаоа простые задания, а сложные оставят на «потом». Это приводит к ошибочному пониманию сложности заданий – за сложные можно ошибочно принять трудоемкие; • Рабочие учебные программы по дисциплинам иногда меняются, в соответствии со взглядами руководства. Каждая такая смена будет разрушать Ваши результаты «взвешиваний» и заставлять Вас приниматься за эту решение этой задачи вновь. • Веса заданий, вычисленные на разных выборках, - всегда разные. Студент, тестировавшийся вместе с разными группами, практически всегда получит после пересчета рейтинга разные результаты. Таким образом, для студентов, учившихся в разных учебных группах и в разные периоды времени, веса заданий, вычисленные по результатам тестирований других групп, не всегда объективны. Логично вытекающее отсюда предложение об отказе от взвешивания заданий так же не приведет к росту объективности измерений. В качестве «золотой середины» между крайними точками зрения на взвешивание тестовых заданий нами выбрана методика вычисления результата, примененная нами при конструировании тренажера «Дидактор». Эта техника предполагает предварительную группировку тестовых заданий по принципу равной сложности и трудоемкости, а затем учет степени правильности выполнения заданий каждой группы не путем поиска «взвешенной арифметической суммы», а путем вычисления «среднего геометрического вкладов». Верификация такого подхода является предметов предстоящих исследований. Фактор привыкания. Значительное влияние на результаты тестового контроля оказывает известный психофизиологам эффект «привыкания». Он проявляется в начале сеанса, когда применен тестовый комплекс с непривычным для студента интерфейсом. Характерные проявления эффекта: замедление реакции, повышение суетливости, повышение вероятности арифметических и орфографических ошибок, неверные манипуляции. Интенсивность фактора «привыкания» зависит от того, что студент не знаком с инструкций и порядком проведения процедуры; участвует в тестированиях часто, но с использованием иных комплексов, и ему требуется время для «перестройки»; тестировался ранее с использованием данного комплекса, но база тестовых заданий изменилась. Изменения базы тестовых заданий проявляются в случае, если она создана другими авторами, оформлена в другом литературном стиле или содержит новые жаргонизмы. Для исключения влияния фактора «привыкания» на результаты, нужно провести предварительное тестирование и дать студентам освоиться. Согласно проведенным нами измерениям, для этого достаточно 5-10 минут. 45

Факторы случайности. Результаты сеанса могут быть искажены по следующим причинам: • Тест не вариативен и студенты предварительно ознакомились с заданиями теста. Это может произойти случайно, когда ему просто «попалась» книга с подобной информацией или репетитор провел тренировку, опираясь на сыгравшую нужную роль интуицию. Это может произойти намеренно, в условиях «утечки» информации. В обоих случаях на кривой распределения предварительных результатов тестирования может возникнуть удивительный «горб». Избежать этого просто – тест должен быть вариативным. • Тест не вариативен и правила тестирований допускают повторные сеансы. В этом случае, студент, прошедший сеанс два-три раза, да с основательными перерывами на общение с книгой и преподавателем, находится в выигрышной ситуации. Кривая распределения «оживет», с каждым новым сеансом будет увеличиваться «горб» в близи области лучших результатов. Для устранения перекоса, следует поставить всех студентов в равные условия: все тестируются вместе, варианты теста меняются, желательно с применением процедур случайного выбора. В росте «горба» должны иметь возможность принять участие все студенты. Такой «марафон» может принести положительные плоды, естественным образом дифференцируя студентов на «упорных», «безразличных» и «середнячков». • Среди студентов оказалась группа, для которой этот тест не предназначен. Это могут быть студенты спец.группы или, наоборот, студенты не изучавшие данную дисциплину. В первом случае «горб» на кривой распределения вырастет в области высших рейтингов, во втором – в области случайного «тыка». • Не все студенты способны выдержать длительное напряжение в течение сеанса. Увеличение длительности сеанса действует угнетающе на студентов, но по-разному. Поэтому различна степень объективности их результатов. А для обеспечения точности измерений необходимо включение в тест достаточно большого количества заданий, для выполнения которых необходимо достаточное время. Есть два пути устранения противоречия: применение технологий адаптивного тестирования, позволяющих оптимально распорядиться временем сеанса, и применение игровых технологий, позволяющих продлить время активности студентов. • В формулировках заданий допущено использование жаргонных, иноязычных либо специфических для какой-то группы студентов выражений, которые повышают вероятность неоднозначного восприятия условий. Автор этих строк помнит случай, когда заминка в сеансе случилась потому, что студент не знал отличий сосиски от сардельки, поскольку он их никогда не видел. • В интерфейсе встретились неоднозначно воспринимаемые элементы, а студентам поставлено жесткое условие – ничего ни у кого не спраши46

вать под угрозой прекращения сеанса. Здесь происходит столкновение безграмотности персонала с безалаберностью составителей теста, реально влияющее на распределение результатов. • Специалист, проводивший тренировочные занятия, допустил презрительные замечания в адрес составителей, свои комментарии о качестве заданий, свои фантазии относительно верных и неверных вариантов. Если этот специалист пользуется достаточным авторитетом среди студентов, он нанесет такими действиями урон знаниям своих подопечных и объективности результатов тестирования. Фактор «остранения». При разработке интерфейса ДПК и баз ТЗ важно учитывать комплекс психологических знаний, известный как концепция «остранения» (от слова – странность). [305] Концепция «остранения» описывает динамику развития понятий, постепенно скрывающих от человека за знаками или терминологией комплексы знаний, а также те действия, которые выполняются человеком для оптимизации восстановления скрытых знаний. Чем привычнее знак, тем труднее развернуть означаемое им содержание. Привычные знаки психологически доступнее своего содержания, и именно поэтому его сжатие до уровня операциональных значений психологически необратимо. В учении необходимо многократно возвращаться к усвоенным понятиям с тем, чтобы взглянуть на них глазами ребенка, как бы впервые. Чтобы развернутое содержание стало доступнее знака, необходимо на время блокировать естественный защитный механизм, мешающий возродить забытую проблемную ситуацию. Минуя эмоции, сделать это не возможно. Внешне оно проявляется в том, что человек с изумлением констатирует факт неосознанности знаков. [305] Демонстрация изучаемого абстрактного предмета с разных сторон путем задания необычно формулированных вопросов – значительно более эффективный способ учения, чем простое повторение (мать учения). Однако не приходится встречать достаточно крупные базы тестовых заданий, авторы которых осознанно стремились бы организовать в процессе тестирования обучение, основанное на реализации концепции «остранения». Не используется и мотивационный потенциал, заложенный в концепции «остранения», более того она редко изучается в педагогических вузах, а преподавателей, которые интуитивно «вышли» на ее применение в учебном процессе, которые задают студентам «смешные» вопросы о серьезных вещах, мы склонны считать паяцами. Среди исключений – известная телевизионная игра-тест «Кто хочет стать миллионером». Факторы, снижающие точность оценок. Многие факторы, приводящие к случайным и систематическим ошибкам в стандартизации теста, описаны, например, Е. А. Михайлычевым [175]: • реактивный эффект – уменьшение или увеличение восприимчивости студентов к экспериментальному воздействию под влиянием предварительного тестирования; • взаимодействие выборки и экспериментального воздействия; • условия эксперимента, не позволяющие распространить полученные данные на лиц, тестирующихся в других условиях; 47

• интерференция экспериментальных воздействий, возникающая, когда одни и те же испытуемые подвергаются нескольким воздействиям, поскольку влияние более ранних, как правило, не исчезает. Реактивный эффект проявляется в следующих ситуациях, приводящих к тому, что стандартизация тестов может оказаться ошибочной: • Если студенты тренировались на прохождение тестов по-разному, на тренировки ходили не все, различные преподаватели акцентировали внимание на тестах разного вида; • Если имеется хорошее психодиагностическое сопровождение, настраивающее студентов на работу с дидактическим тестом, но в контрольных группах сопровождение применено не ко всем. Эффект взаимодействия выборки и экспериментального воздействия проявляется когда экспериментальная и контрольная группы, на которых валидизируется тест, отличаются от выборочной совокупности, для которой он предназначен: • Если выборка состоит из добровольцев, она может быть нерепрезентативной из-за того, что они обладают сходными свойствами. • Если тест проходит адаптацию на контингенте избранных групп студентов, которые послушны деканату либо являются лучшими. • Возможен отсев «однотипных» обследуемых по ходу эксперимента из экспериментальной и контрольной групп. Е. А. Михайлычев [175] отмечает, что негативная и позитивная реакции студентов на тестирование может быть вызвана разными аспектами процедуры. Например, самим фактом приглашения к участию в эксперименте, которого другие сокурсники не получили. Появление незнакомых экспериментаторов возбуждает студентов и повышает вероятность стрессовых ситуаций. Проведение эксперимента может совпасть с внедрением в вузе новой системы стимулирования успеваемости, что повысит интерес к тесту. Или же, среди студентов, отобранных для апробации теста, будет активно распространяться информация, что победители будут поощрены и неудачники будут отчислены. Тогда в первом случае интерес к тесту вызовет позитивное воздействие на рост знаний, а в последнем будет способствовать росту стрессовых ожиданий, что по-разному отразится на результатах эксперимента и вызовет ошибки при стандартизации теста. [175] Факторы, позитивно влияющие на рост обученности. Среди основных факторов, возникновение которых в процессе тестирования вызывает позитивные дидактические явления (которые следует рассматривать с учетом ограничений, описанных ниже): • публичность – доступность результатов для широкого обозрения немедленно после завершения каждого очередного сеанса (с обязательным соблюдением индивидуального права студента на сокрытие своего личного результата по предварительной заявке), обсуждение результатов средствами массовой информации; • соревновательность – свобода общения и обсуждения результатов меж48

ду участниками в перерывах между сеансами, наличие знаков внимания и поощрений (аплодисменты победителям и пр.) • доступность – отсутствие запретов на повторение попыток тестирований с обязательным условием зачета лучшего результата, свободный доступ к информационным источникам и консультациям по дисциплине тестирования в перерывах между сеансами; • интерактивность – имитация диалога между участником тестирования и компьютерной программой, характерного определенным уровнем информативности, содержательности, разветвленности, изменчивости и необходимого для обеспечения коррекции действий и стабильности внимания студента в течение сеанса; • деловая игра – программная организация интерактивного действия, подчиняющаяся определенным закономерностям с определенным уровнем непредсказуемости, в которой участвуют узнаваемые персонажи с определенным характером и лексиконом; • сюрпризность – наличие в интерфейсе программного комплекса и в процедуре тестирования необычных элементов, появление которых приводит к психологической разгрузке и дальнейшей активизации внимания участников тестирования и, в то же время, не вносящих значимых помех в процесс измерения. Индуктивные факторы. К индуктивным факторам мы относим те, что действуют на участников тестирований опосредованно без прямого контакта участника с преподавателем и другими стандартными для учебного процесса источниками информации (книгами, конспектами и пр.). Чем выше уровень дидактического качества технологии, тем более она помогает учащемуся в самопреодолении. Феномен самопреодоления сравнительно недавно стал изучаться для применения в педагогике [208, 209], хотя известен достаточно давно в философии и психологии (67, 100, 101, 224, 316 и др.]. При рассмотрении самопреодоления в условиях тестирования под валянием внешних факторов, нами отмечено наличие факторов «индуктивного узнавания» и «индуктивной мотивации» [189, 190]: • Индуктивное узнавание - процесс опосредованного приобретения опыта с использованием канала передачи информации «ДПК – Студент Студент». В этом случае студент приобретает информацию не из текстов и не от преподавателя, а из разговоров со своими более информированными коллегами. Этот процесс спонтанно активизируется в процессе длительных тестирований в перерывах между сеансами. Одним из оснований этого процесса является стремление участников к получению «сжатой» и проверенной кем-то информации, возможно полученной из предусмотренной авторами ДПК компьютерной шпаргалки, что позволяет достичь успеха в тестировании без временных затрат на понимание учебного материала. • Индуктивная мотивация - процесс опосредованного мотивирования студентов с использованием канала передачи информации «Преподава49

тель – Тьютор – Студент». Здесь студент приобретает мотивацию к учению в общении с тьютором, который является посредником. Этот канал возникает, например, в том случае, когда лекции преподавателя многословны и малопонятны, а тьютор обладает определенным доверием у студентов вследствие близости возраста и т.п. Студент, доверяя опыту тьютора, приобретает уверенность в своих силах, а также доверие к «обещаниям» преподавателя о перспективах тех, кто успешно пройдет тестирование. Чрезмерное доверие к знаниям тьютора по дисциплине может привести к казусам, поэтому, предвидя возникновение этого канала, следует внимательно отнестись к подбору сопровождающих тестирование тьюторов. Мотивация и управление качеством. Рост мотивации под влиянием перечисленных факторов следует ограничивать в соответствии с известным психофизиологическим фактом: скорость забывания учебного материала чаще всего прямо связана со скоростью запоминания. Необоснованно высокая мотивация может привести к кажущемуся росту обученности и, далее, к снижению результатов учебного процесса. Такое явление часто наблюдается в течение кратких студенческих сессий – получаемые в течение пары ночей знания так же быстро и исчезают. Именно с этим ограничением, в частности, связаны излагаемые нами далее соображения о возможности и необходимости управления, т.е. оптимизации учебного процесса. Под процессом оптимизации мы будем понимать сознательное регулирование интенсивности влияния перечисленных и иных факторов дидактического процесса. Механизмы совместного влияния факторов и условий [см. напр. аналоги: 5, 6, 15, 18, 23, 33, 40, 48, 54, 56, 70, 106, 173, 178, 271, 282, 287, 293, 303] могут быть изучены лишь с помощью педагогико-математического моделирования [140, 147, 148, 212] (см. Гл. III). Условия сеанса дидактических измерений. В отличие от факторов, под условиями мы здесь понимаем то, что сложно изменить в процессе сеансов тестирования. Например, проводя тестирование с тысячами участников, можно быть уверенным, что каждого участника не удастся поместить в отдельный компьютерный кабинет, что в коридоре они будут общаться, и что в процессе такого общения могут произойти и позитивные, и негативные «события» (например, массовое запоминание неверной информации, высказанной кем-то из участников, прошедших сеанс тестирования, вызывающим доверие). Среди условий, усиливающих позитивное влияние перечисленных выше факторов, как основное, можно назвать массовость процесса тестирования. Для подтверждения этого можно воспользоваться аналогией – спортивные достижения всегда выше на тех стадионах, где больше зрителей и корреспондентов. Сидящий в одиночестве за компьютером студент вряд ли будет долго тестировать свои знания (за одним исключением - если интерфейс программы тестирования не будет организован в виде достаточно увлекательной деловой игры). В случае же, когда в компьютерном классе находится больше 4-5 студентов, проходящих один и тот же тест, и между которыми допущено 50

общение, тестирование становится более длительным и становится похожим на совместное разгадывание кроссворда в вагоне поезда. В этих условиях включается опосредованный канал получения информации, который весьма эффективен, поскольку информация не только прослушивается, но еще и неоднократно проговаривается и обсуждается. Преподаватель в таком процессе иногда играет негативную дидактическую роль, пытаясь ввести режим тишины в классе и разрушая, тем самым, упомянутый канал. Что такое массовость? Сколько студентов должно присутствовать в компьютерном классе и сколько перед его дверьми для «достижения» массовости? Иными словами, после «достижения» какого количества участников мотивационная ситуация перестает заметно меняться? Ответ на этот вопрос зависит от предыстории группы испытуемых. Иногда для достижения массовости достаточно наличия в классе 4-8 студентов, важно, чтобы они были достаточно знакомы между собой и взаимно дорожили мнением о себе. Если же в группу тестирующихся входят мало знакомые между собой студенты, то уровень «достижения» массовости повышается до тех пор, пока в группе не появится достаточное количество коммуникабельных студентов, живо и авторитетно обсуждающих «между делом» свойства коллег. Обычно это – около 20 человек. Для абитуриентов уровень достижения массовости повышается до 60-100 человек. Это повышение естественно из-за меньшей опытности абитуриентов в завязывании общения. Надежность теста и его дидактическая направленность. Принято считать, что компьютерное тестирование предназначено для выполнения единственной значимой функции: оценки уровня (количества, качества и др.) знаний студентов. В связи с этим, в числе прочих характеристик ДПК, многими важной считается воспроизводимость результата. Иными словами, считается, что тестирующий комплекс хорош (надежен) тогда, когда результат тестирования при повторе не меняется. На наш взгляд, указанное требование обусловлено отнюдь не дидактическими потребностями или нормами, а спецификой мышления (образования) создателей тестирующих комплексов, подсознательно отождествляющих человека с каким-либо устройством. Мы полагаем, что процедура тестирования хороша лишь тогда, когда она выполняет основную образовательную задачу: побуждает учащегося к самообразованию и самопреодолению [208]. Степень этого побуждения и роста должна стать одной из важнейших характеристик технологии тестирования. Позитивное побуждение к познанию наиболее естественно может быть вызвано путем применения игровых подходов. Эта точка зрения вызывает немало споров, в том числе и в среде преподавателей, иногда считающих, что в таком серьезном деле, как образовательный процесс, нет места игре. Существование таких споров удивительно, поскольку большинство педагогов и психологов «в один голос» высказались за важность и необходимость применения игровых элементов в учении [30, 32, 43, 102, 113, 126, 183, 207, 226, 233, 234, 261, 263, 304, 309, 297, 316 и др.]. Перечисленные выше аргументы привели нас к выявлению основного 51

противоречия между традиционным пониманием дидактического тестирования и его широкой трактовкой, позволяющей не только измерять достижения, но и способствовать стимулированию познавательной деятельности. Наблюдения влияний факторов и условий. Наши эксперименты среди студентов (1-5 курс), абитуриентов, учителей и преподавателей позволили увидеть устойчивые тенденции. • Включение в интерфейс ДПК элементов игры (напр. полуинтерактивных диалогов с компьютерными персонажами) вместо демонстрации табличек с вопросами и списками ответов, побуждает желание студентов к неоднократному тестированию. • Включение в процедуру тестирования элементов состязательности (напр., публикация результатов, символический приз) с параллельным позволением неоднократного повтора попыток приводит к росту популярности тестирования и росту уровня результатов. • Преподаватели относятся к тестированию своих знаний настороженно. Раскрепощение наступает, когда оказывается, что «тестируются знания не самого участника, а руководимого им компьютерного персонажа». При такой постановке преподаватели часами сидят за компьютером, обсуждая с коллегами нюансы возникающих на экране эпизодов, стремясь «заработать» как можно больше баллов. • Допущение компьютерной «шпаргалки» приводит к интенсификации запоминания учебной информации. Информация получаемая «обходным» путем, лучше запоминается. Студенты и преподаватели с удовольствием делятся друг с другом почерпнутыми знаниями, помогают друг другу, раскрепощаются при коллективном общении. • Предусматриваемая технологией тестирования форма организации сеансов вполне способна оказать влияние на результативность учебного процесса сходное с тем, что оказывает личность самого преподавателя. Потенциал этого влияния практически не используется. Более того, в игровом тестировании в школе (наблюдения производились в учреждениях Университетского образовательного округа ДВГУ) с интересом участвуют присутствующие родители и «двоечники»: они с интересом обсуждают между собой и с учителем свои идеи, обращаются к учебнику. Последнее из перечисленных наблюдений, вероятно, может повлечь возникновение в будущем такой технологии компьютеризованного учебного процесса, когда студенты самостоятельно и группой «добывают» информацию, становящуюся коллективным достоянием. У такой технологии, естественно, есть аналоги в «докомпьютерном» прошлом [20, 27, 41, 131, 142, 213, 270], требовавшие от преподавателя высокого профессионализма и значительного кругозора. В сегодняшних условиях помощь компьютера, значительно облегчит такую деятельность преподавателя.

52

1.2.

Мониторинг качества как инструмент управления

В данном параграфе изложены современные взгляды на функции мониторинга качества и на использование его результатов в высшем профессиональном образовании. Рассмотрены аспекты механизма защиты качества образования основанного на мониторинге качества образования. Представлен алгоритм управления структурными переходами в образовательной среде, сопутствующими внедрению новых технологий, основанный на идеях теории диссипативных структур И. Р. Пригожина [247 и др.]. Представлены аргументы для расширения перечня функций мониторинга. При этом использованы источники [36, 46, 47, 55, 81, 108, 119, 129, 139, 159, 161, 196, 200, 201, 210, 244, 248, 307 и др.] но, поскольку они касаются в основном системы общего среднего образования, ряд взятые там положения частично переформулированы с введением необходимые сокращений и дополнений. Ведем аббревиатуру МРСВПО – мониторинг развития системы высшего профессионального образования. В соответствии с принятыми [307, 321, 324] взглядами, мониторинг в вузовской среде – это: • система организации сбора, хранения, обработки, распространения информации о деятельности вузов, обеспечивающая слежение за их состоянием и прогноз развития; • регулярное наблюдение за образовательным процессом с целью выявления его соответствия желаемому результату. Образовательный мониторинг - категория педагогическая и управленческая. Варианты системы мониторинга, разработанные и обсуждаемые рядом авторов – близки, с нашей точки зрения, тем, что управленческие аспекты там превалируют над дидактическими, причем, среди дидактических аспектов традиционно упускается (не рассматривается) аспект возможного прямого мотивационного влияния мониторинговых мероприятий на качество образования, а среди управленческих – аспект защиты качества образования. Поэтому мы введем термин «скрытый потенциал образовательного мониторинга» и будем подразумевать под ним совокупность сведений (идей, обсуждений, действий, ожиданий), связанных с упомянутыми аспектами. Цель МРСВПО: создание информационных условий для формирования целостного представления о состоянии системы образования, о качественных и количественных ее изменениях. Задачи МРСВПО: • Выработка комплекса показателей, обеспечивающих целостное представление о состоянии и изменениях системы; • Систематизация информации о состоянии и развитии системы; • Обеспечение регулярного и наглядного представления информации о процессах, происходящих в системе образования. • Информационное обеспечение анализа и прогнозирования состояния и развития системы, выработки управленческих решений. • Предупреждение о том или ином неблагополучии, опасности для эф53

фективного функционирования системы. В рамках российской образовательной парадигмы предполагается, что для достижения цели образовательного мониторинга следует использовать ресурсы самой системы образования. Однако международный опыт говорит об обратном: система мониторинга качества продукции, в том числе и образовательной, должна существовать отдельно от производителя товаров и услуг. Только в этом случае мониторинговая система будет эффективной и полезной для развития производителей и государства. Как и любая другая, система МРСВПО описывается рядом стандартных характеристик принятых в теории систем. Приведем их. Система МРСВПО - совокупность элементов, взаимодействие которых обеспечивает осуществление мониторинговых процедур: субъекты мониторинга; комплекс мониторинговых показателей; инструментарий и инструменты мониторинговой деятельности; мониторинговая деятельность. Объекты МРСВПО – региональная и муниципальная системы образования; отдельный вуз; группа вузов; округ начального профессионального образования и т. п. Мониторинговая деятельность – это совокупность мониторинговых процедур, например: сбор, обработка и представление информации. Субъекты МРСВПО – это организации, структуры, люди, осуществляющие функции мониторинга. Субъекты МРСВПО образуют иерархическую систему: кафедры, институты, вузы, городские органы управления образованием, органы управления профессиональным образованием, высший государственный орган управления образованием РФ. Предмет МРСВПО – состояния системы (подсистемы) ВПО и ее изменения. Уровни МРСВПО: внутривузовский, муниципальный, региональный, федеральный. Комплекс мониторинговых показателей – это совокупность показателей, которые обеспечивают целостное представление о состоянии системы (подсистемы) ВПО и ее изменениях Инструменты мониторинговой деятельности - это технические средства, используемые субъектами мониторинга в своей деятельности. Три уровня потребителей информации МРСВПО: • общество, социум, родители студентов; • специалисты - исполнители; • руководители. Виды МРСВПО: • Систематический, «жесткий» мониторинг, базируется на данных статистической отчетности, на жестко закрепленных данных государственной статистической отчетности и четко регламентированной системе сбора информации; • Несистематический, "мягкий" мониторинг, базируется на необщепринятых показателях и уникальных шкалах измерения. 54

Качественные показатели МРСВПО: объективность; точность; полнота; достаточность; систематичность; структурность; оптимальность; оперативность; доступность. Этапы МРСВПО: нормативно-установочный; аналитикодиагностический; прогностический; деятельностно-технологический; промежуточно-диагностический; итогово-диагностический. Системы МРСВПО классифицируют по основаниям: сфера применения; средства, используемые для сбора исходной информации; потенциальные пользователи; средства измерений; способы распространения информации; время реализации; широта охвата. Расширенные классификации можно найти в [47, 307 и др.]. Сфера практического применения МРСВПО – информационное обслуживание управления. Во многих странах построены и реализованы полноценные системы образовательного мониторинга. Мониторинг является объективной потребностью развития российской системы ВПО и государства в целом. Общие принципы МРСВПО: целостность; оперативность; приоритет управления; соответствия целей и средств организации; научность; прогностичность; непротиворечивость; разнообразие. Реализация МРСВПО включает этапы: разработка предварительного задания на мониторинг; разработка задания на мониторинг; создание рабочего проекта мониторинга; уточнение задания; создание инструментария; проведение опросов; обработка результатов; первичный анализ результатов; обсуждение (валидизация); подготовка заключительного документа; использование результатов в управленческой деятельности. Качество образования – наиболее часто обсуждаемое понятие среди педагогов. Ввиду того, что пока нет точного, доведенного до числа определения количества образования, невозможно определить и качество (подобно тому, как определяют качество консервов или напитков). Есть несколько определений качества образования. Например: • Качество образования учащегося - уровень освоения содержания образования (знаний, способов деятельности, опыта творческой деятельности, эмоционально-ценностных отношений), физического, психического, нравственного и гражданского развития, которого он достигает в соответствии с индивидуальными возможностями, стремлениями и целями воспитания и обучения. • Качество образования (продукции системы образования) – соотношение цели и результата, мера достижения дидактической цели. Закон РФ «Об образовании» определил под образованием целенаправленный процесс воспитания и обучения в интересах человека, общества, государства. Поэтому оценку качества образования производится по следующим параметрам (сокр.): уровень достижения поставленных целей; уровень выполнения требований ГОС; уровень реализации индивидуальных возможностей студентов; степень удовлетворения запросов. Принято считать, что управление качеством - процесс приведения 55

системы к принятому стандарту. Следуя традициям, давно сложившимся в промышленных системах управления качеством [177], разработчики таких систем для образования из года в год упускают из виду важнейшие элементы, связанные со спецификой образовательной продукции. [57, 63, 64, 75, 76, 78 79] Проиллюстрируем эту, давно ожидающую своего исправления, ситуацию. Примерный (варьирующийся в разных источниках) перечень действий в управлении качеством образования: • Диагностика уровня обученности, сформированности умений и навыков, владения творческой деятельностью; уровня воспитанности, развития личности в психическом, социальном, биологическом аспектах, жизненной защищенности, социальной адаптации; • Постановка целей и определение задач; • Определение содержания образования; • Построение прогнозов, планирование, программирование; • Организация образовательного процесса в соответствии с целями, задачами, планами, программами; • Самоанализ управленческой деятельности (мониторинг); • Анализ качества образовательного процесса, соответствия ГОС и запросам, анализ имиджа учреждения (мониторинг); • Регулирование управления качеством образования (обратная связь); • Анализ полученной информации (мониторинг); • Экспертиза качества и уровня образования студентов (мониторинг); • Контроль педагогической деятельности (мониторинг); • Повторная диагностика и анализ ее результатов (мониторинг). Описанию этих шагов посвящено много теоретических работ. Однако, почти нет исследований и точных рекомендаций к важнейшим действиям – мотивации студентов, педагогов и управленцев. Максимум – рекомендации типа: дать премию, повысить зарплату, отметить в приказе, подарить подарок, похвалить, авансом повысить оценку в классном журнале и т. п. [28] Иными словами, мотивация субъектов к труду и учебе традиционно воспринимается узко либо вообще выпадает из круга внимания управленцев. То же замечание можно проиллюстрировать следующим, достаточно часто встречающемуся перечню: Деятельность по управлению качеством образования включает: • проведение проблемного анализа состояния образовательного процесса по схеме результаты - образовательный процесс - условия; • определение цели деятельности и разработку проектов (программ) деятельности по достижению поставленных целей; • разработку образовательной программы, согласование единых требований к оцениванию достижений по предметам и областям; • разработку системы текущей и итоговой диагностики хода и результатов образовательного процесса; • создание системы научно-методического обеспечения процесса; 56

• организацию системы повышения квалификации педагогов и руководителей по вопросам управления качеством образования; • разработку системы стимулирования качества образования; • организацию системы сбора данных, информационных потоков, обработки и анализа информации, принятия управленческих решений; • регулярное соотнесение достигнутого уровня качества образования с достижениями других образовательных учреждений; • анализ удовлетворенности качеством образования; • оценку деятельности, прироста продукции и эффективности использования ресурсов.

Функции мониторинга и современные представления об использовании его результатов Важнейшая задача и одно из приоритетных направлений развития российской системы образования – модернизация существующей отраслевой модели управления. [321, 324] Для повышения результативности принятой МОН РФ концепции развития сферы образования, в числе прочих мер, предполагается создать единую систему образовательной статистики и показателей качества образования, сопоставимую с мировой практикой, и систему мониторинга образования. Вместе с пониманием невозможности эффективного управления развитием системы образования без применения мониторинговых технологий [114] в традицию вошло восприятие их лишь как «сборщика, обработчика и поставщика» информации для нужд управления. Однако на основе приобретенного эмпирического опыта мы полагаем, что этим функции мониторинга не исчерпываются [см. напр.: 81], а его потенциал (обуславливающий новые - развивающие и защитные - функции) значительно мощнее [см. напр.: 61, 62, 64, 66], чем это традиционно представлялось нам совсем недавно [73, 108 и др.]. Функции МРСВПО (традиционные): • интегративная - МРСВПО является системообразующим фактором; • диагностическая – слежение за состоянием системы и происходящими в ней изменениями, оценка получаемой информации; • компаративная - сравнение систем образования или их элементов; • экспертная - экспертиза состояния, концепции, форм, методов развития системы образования, ее компонентов и подсистем; • информационная - получение информации о состоянии и развитии данной системы для анализа и прогноза состояний и развития; • прагматическая - использование мониторинговой информации при принятии управленческих решений. МРСВПО, наряду с перечисленными общепринятыми функциями, при определенных условиях и наличии определенных действующих факторов, может выполнять и такие функции: 57

• защитная функция, заключающаяся в сборе и представлении результатов мониторинга удобном для функционирования системы защиты качества образования; • мотивационная функция, заключающаяся в опосредованном мотивировании студентов к учению; преподавателей к повышению качества труда; вузовских управленцев к интенсификации деятельности по обеспечению учебного процесса, организации более качественного набора абитуриентов, приглашению лучших преподавателей и пр.

Защитная функция мониторинга Открытое образование, образовательные информационные технологии. Создание национальной системы открытого образования (СОО) является приоритетным направлением деятельности Правительства РФ. Решение этой задачи связано с процессом общего реформирования системы образования. [223, 276, 314] Формирование СОО опирается на новые, непривычные для России принципы, структура создается достаточно хаотично, по инициативе и «сверху», и «снизу». [191, 285] Здесь лидируют несколько столичных и региональных университетов, в частности, МЭСИ [285 и др.] Дальневосточный государственный университет (ДВГУ), [195, 256] становящийся форпостом национальной СОО в Азиатско-Тихоокеанском регионе, негосударственные организации [94, 97, 98, 117, 314 и др.], университетские ассоциации – «Российский открытый университет» [13, 150], «Сибирский открытый университет» [83] и др. [см. также 120, 121] Существенным фактором поддержки и ускорения процесса реформирования образования является развитие информационных и мониторинговых технологий. [36, 46, 47, 69, 98] Управление этим процессом возможно на основе новых управленческих воззрений, основанных на достижениях теории диссипативных структур и синергетики, разрабатываемым последователями научной школы И. Р. Пригожина [127, 246, 247 и др.]. Образование уже воспринимается нами как товар, который можно приобрести и освоить (научиться). В России строится рынок образовательных услуг. [196, 321, 324] А раз так, то сам товар, производители и потребители товара, организаторы производства и потребления товара должны быть соответствующим образом защищены правовым механизмом. Однако такой механизм пока не построен. Закон «Об образовании» не включает четкого, доведенного «до числа», определения качества и уровня качества образования; нет в Законе понятий конкуренции и монополизма в сфере образования, нет там важных понятий, связанных с рынком, отсутствуют непротиворечивое описание механизма защиты качества. Система высшего профессионального образования, как производственный механизм, состоит из (зависит от) многих компонентов и факторов, влияющих на качество и зависящих от него: персонал учебных заведений и 58

научно-методических центров; авторы учебных пособий и образовательных технологий; абитуриенты и студенты; администраторы учебных заведений и управлений образованием; работодатели; грантодатели; зарубежные организаторы внедрения российских образовательных технологий; эксперты и гаранты качества; государство, и др. Интересы всех участников необходимо защитить и от воздействий извне, и взаимно. Например: выпускник вуза должен иметь приоритет при трудоустройстве, соответствующий рейтингу диплома вуза, и его личному рейтингу среди выпускников вуза; работодатель должен иметь четкие гарантии качества принимаемого на работу выпускника вуза. Производственные принципы требуют, чтобы качество образовательных услуг выражалось количественно во взаимном сравнении. Причем эти выражения – рейтинговые таблицы – также необходимо защищать. Серьезная проблема управления образованием состоит в отсутствии действенной обратной связи между образовательными учреждениями и органами управления образованием. Управление осуществляется на основе эпизодической информации, что делает невозможным применение в управлении объективных научных методов прогноза и планирования. Для своевременной подготовки управленческих решений нужна объективная и всесторонняя информация, которую можно получить только путем организации вузовского и межвузовского мониторинга образования. В содержательном плане мониторинг отражает все стороны функционирования вузов, в том числе – качество образования. Мониторинг в вузе и в межвузовской среде предполагает сбор и анализ больших массивов информации и может быть реализован лишь на основе глобальных информационных систем - сетей передачи данных и распределенных информационных банков. Мониторинг качества образования не менее важен, чем медицинский, химический, радиационный, экологический и социальный [66, 68, 75, 81, 208, 245, 262, 266, 286, 289, 290, 306, 307]. Мониторинг - это основа для построения в федеральном масштабе механизма защиты, гарантирования и повышения качества образования. Этот механизм должен опираться не только на материальную и методическую базу, но и на основания необычные [187, 246, 255, 257, 260, 278, 283, 284, 285, 286 290, 303, 304 и др.] для системы образования РФ. Аспекты защиты качества образования. Работодатель, как правило, выбирает будущего сотрудника из нескольких студентов. Его выбор будет более объективен, если он станет опираться на результаты деятельности независимого регионального Центра мониторинга качества образования (ЦМКО) – таблицу рейтингов учебных заведений и результаты независимого тестирования знаний [36, 46, 47, 159, 196, 200, 201, 210, 244, 248 266, 307]. Так реализуется первый из аспектов механизма защиты качества – информационный. При этом, если приоритет студентов законодательно защищен, и они не могут опередить друг друга при приеме на работу не нарушив Закон, то реализуется второй аспект защиты - межличностный. Тогда, одновременно с первыми двумя, реализуется третий аспект – взаимная защита образовательных учреждений – межвузовский, проявляющийся в том, что выпускники вузов 59

имеющих более высокий рейтинг, приобретают при приеме на работу более высокий рейтинг перед коллегами из других вузов. Современный работодатель заинтересован в упреждающем привлечении будущих сотрудников, до окончания ими своего обучения в вузе. Выбор студентов будет объективным, если работодатель получит доступ к данным независимого тестирования ЗУН студентов, например, в сети Интернет. [46, 200, 201] Студенты, зная, что за их успехами следят будущие работодатели, несомненно, более серьезно отнесутся к своему образованию. Таким образом, повышается индивидуальная образовательная мотивация и реализуется четвертый аспект защиты – поддержка повышения уровня качества, развивающий. Вузы заинтересованы в заблаговременном формировании контингента абитуриентов. Данные территориальных ЦМКО являются основой для построения межвузовской политики такого формирования и проведения профориентационных мероприятий. Публикация результатов деятельности ЦМКО – рейтинговых таблиц – неизбежно приведет к появлению конкуренции среди студентов и образовательных учреждений. Учреждения стремятся привлечь лучших преподавателей, внедрить лучшие образовательные программы, повысить оснащенность и др., что приводит к общему подъему уровня образованности. Так проявляется пятый аспект защиты и повышения качества образования - системообразующий. Компьютеризированный мониторинг позволяет анализировать деятельность не только вузов в целом, но и конкретных преподавателей и управленцев. Эти данные позволяют объективно оценить деятельность и стать основой защиты прав: • преподавателей как производителей образования; • учащихся, как покупателей и носителей образования; • вузов, как организаторов производства образования; • работодателей, как потребителей образования; • государства, как организатора рынка образовательных услуг. Это обусловит шестой аспект защиты качества – оценочный. Ведение сравнительного мониторинга качества образования на уровне регионов и государств не только станет основой стимулирования конкуренции в этой сфере, но и является абсолютно необходимым шагом на пути к интеграции образовательных систем и построению глобальной системы открытого образования. Это седьмой аспект защиты качества образования – интегрирующий. [326] Таким образом, нами определены семь аспектов механизма защиты качества образования: 1. информационный; 2. межличностный; 3. межвузовский; 4. развивающий; 5. системообразующий; 60

6. оценочный; 7. интегрирующий. При выборе механизма, необходимо быть уверенным, как это не парадоксально, в том, качество образования будет защищено и от самого механизма своей защиты. [127] Важнейшим условием функционирования механизма защиты – независимость гарантов качества, которая может быть гарантирована только наличием элементов конкуренции среди гарантов, т.е. отсутствием монополизма. [196] Каждое нововведение приводит не только к позитивным, но и к негативным последствиям. В частности, одним из возможных негативных результатов внедрения нового механизма защиты качества, может оказаться появление общего административного стремления к унификации образования (например, на волне вовлечения в Болонский процесс). Это может привести, как это случилось в некоторых странах, где механизмы защиты качества образования сложились к концу XX века, не к развитию образованности, а к общей неустойчивости уровня качества образования. О глубинной связи этих, на первый взгляд, несвязанных явлений – унификации и устойчивости – свидетельствует наука. Свойства стабильности и самовосстановления систем связаны со степенью их неоднородности. Установлено, что наименее устойчивыми являются унифицированные, однородные системы. Этот факт дает ключ к пониманию одного из российских «чудес»: именно в неунифицированности и традиционной разнородности вузовской системы России заложена ее магическая способность к самостоятельному восстановлению и поддержанию уровня качества.[127]

Мотивационная функция мониторинга В научной литературе есть указания на существование мотивационных влияний мониторинга на субъекты мониторинга [36, 47, 119, 139 и др.]. Внимания заслуживают обсуждение негативной мотивации управленцев, возникающей при попытке полнообъемной реализации мониторингового исследования. Это явление проявляется в выстраивании управленческих препятствий свободному распространению мониторинговой информации. А. Н. Майоров [159] рассмотрел причины этого явления: • Неверие в возможности мониторинга, обращение к нему лишь в качестве дани "моде" или "по указанию свыше"; • Преувеличенное представление руководителя о собственной информированности во всех областях; • Принятие решений на основе наиболее доступной информации, невосприимчивость к информации, противоречащей или не совпадающей с наиболее доступной; • Ориентация на ограниченный круг источников информации, чрезмерное доверие только им; 61

• • • • •

Лень и безынициативность руководителя; Нечеткость в понятиях, применяемых при составлении задания; Неопределенность в целях и результатах; Футурофобия - боязнь заглянуть в будущее; Психологическая установка руководителя исключительно на благоприятные результаты; • Боязнь новых проблем, которые придется решать. О справедливости этих наблюдений свидетельствует и наш многолетний опыт мониторинговых исследований [26, 200]. В последующих Главах мы подробно рассмотрим способы позитивной мотивации студентов - участников дидактических компьютерных тестирований путем создания определенных условий и включения в систему определенных факторов. Под влиянием этой позитивной мотивации участники тестирований добровольно многократно участвуют в сеансах тестирования, причем, результаты тестирований демонстрируют постепенный рост обученности. Нами также наблюдались явления, когда возникающая при такой организации тестирований позитивная мотивация распространяется не только на учащихся, но и на их преподавателей и на руководителей учебных заведений [187, 190]. Компьютерное тестирование знаний является основой современных технологий мониторинга качества образования. Организация мониторинговых исследований с использованием предложенной нами ниже методической системы МССОО приведет к возникновению мотивационных влияний на качество образования. Следовательно, в этом случае мониторинг качества опосредованно приобретает новую мотивационную функцию.

Аспекты управления качеством образования Управление образованием в современных условиях ориентировано главным образом на решение проблем повышения качества образования и достижения более полного его соответствия запросам общества и повышения эффективности образовательной системы. Административное влияние на качество образовательных услуг в России осуществляется, в основном, двумя путями: развитием системы лицензирования, аттестации и аккредитации образовательных учреждений и обеспечением свободы выбора гражданами вуза для учебы. Принцип развития конкурентной образовательной среды декларирован как важнейший принцип управления системой высшего профессионального образования в России. К сожалению, регулирование конкуренции пока остается только пожеланием: в российских регионах нет независимых центров МРСВПО, не работают рыночные механизмы на рынке услуг системы ВПО [196]. Существует международный опыт контроля и управления качеством образовательных услуг на основе конкурентных подходов, регулярного рей62

тингования учебных заведений. Для проведения рейтинговых мероприятий во многих странах созданы государственные и негосударственные мониторинговые центры. Результатом их деятельности являются рейтинговые таблицы, поступающие далее в службы трудоустройств. [149, 197, 244, 248, 307]. Успешность решения задач управления образованием [144]: интеграция национальных систем в международные; отбор, создание и внедрение эффективных технологий управления; выбор способов осуществления дотаций и инвестиций, и др., прямо связана с наличием в странах развитых мониторинговых систем. Рейтинговые таблицы являются основой для правовой защиты качества образования: в первую очередь престижные рабочие места получают выпускники вузов с высшими рейтингами; суммы государственных дотаций образовательным учреждениям зависят от соотношений рейтингов, и др. Есть классификации типов управления по разным основаниям. [17, 66, 81, 166, 174, 177, 245, 290, 306 и др.] Ансофф И. определил четыре типа управления, связанные со скоростью изменения в окружающей среде: • управление на основе контроля исполнения (среда статична); • управление на основе экстраполяции (темп изменений велик, но будущее предсказуемо за счет экстраполяции прошлого); • управление на основе предвидения изменений (возникают неожиданные явления, темп изменений ускоряется, но возможно предусмотреть основные тенденции и определить реакцию на них); • управление на основе гибких экстренных решений (скорости изменений велики и предсказания невозможны). Для образовательной среды России характерны системы первого и второго типов. Наблюдающийся время переход к более эффективным системам происходит медленно в связи с отсутствием достаточно оперативной мониторинговой поддержки (эффективной обратной связи). [307, 321] В распространенном понимании, управление качеством образования – это целенаправленное воздействие на субъекты управления с помощью экономических и правовых рычагов для получения требуемых значений качественных показателей. Развитие информационных технологий в конце XX века привело к появлению кибернетического подхода, где под управлением понимается такое воздействие, которое выбрано из возможных с учетом поставленной цели, состояния объекта (процесса), его характеристик и ведет к улучшению функционирования или развития данного объекта, т.е. к приближению цели. [148, 280]. Такое управление предполагает общий алгоритм: 1. Указание цели управления; 2. Установление исходного состояния управляемого процесса; 3. Определение программы воздействий, предусматривающей основные переходные состояния процесса; 4. Обеспечение систематической обратной связи; 5. Переработка информации, полученной по каналу обратной связи, выработка корректирующих воздействий и их реализация. Кибернетическая схема предполагает наличие двух программ управле63

ния качеством: основной и корректирующей. Алгоритм управления здесь составляется при проектировании обучения, с учетом всех особенностей. Можно предположить главное противоречие (зафиксированное в п.1) кибернетического подхода – ориентацию на целенаправленное управление. В кибернетической схеме мониторинговые технологии необходимо привлекать в п.5 алгоритма (корректирующая программа). Современные экономические и управленческие теории заставляют пересмотреть приведенное выше определение и известные управленческие подходы, подобные кибернетическому, ориентироваться на создание самоорганизующихся и самоподдерживающихся децентрализованных систем, устройству которых чуждо целенаправленное управление. Внедрение образовательных информационных технологий почти всегда сопряжено с управленческими перестройками, изменениями в штатных расписаниях, распределениях средств и пр. Это – именно структурная перестройка, которой можно и нужно управлять. С точки зрения выводов теории диссипативных структур и синергетики, развитых научной школой И. Р. Пригожина, (ТДС [127, 246, 247 и др.]), в управленческой деятельности не следует ставить далекой и «единственно верной» цели, управляя переходом следует уподобить себя скульптору, отсекающему от глыбы ненужное, знающему лишь «в общих чертах» окончательный облик своего будущего произведения (камень тоже диктует). На основе выводов ТДС [247], применяемых в настоящее время во многих областях знания, и, в том числе, в управлении (например, при этом возник новый «тип руководителя» – т.н. руководитель в подчинении [290 и др.]), мы предложили такой алгоритм управленческой перестроечной деятельности [127] в системе ВПО: 1. Откажитесь от излишне конкретных представлений об ожидаемом результате и сконцентрируйтесь на выделении таких черт структуры, которые Вы бы не хотели видеть в качестве результата своего труда; 2. Создайте условия для возникновения в субстрате (коллективе и его окружении) флуктуаций. Для этого резко измените величины пронизывающих субстрат потоков, например, приказов или денег; 3. Изучите возникшие в субстрате флуктуации и выделите среди них наиболее подходящих, на Ваш взгляд, студентов на выживание; 4. Произведите корректировку величин потоков так, чтобы выбранные Вами флуктуации оказались в выгодном положении по сравнению с конкурентами; 5. Протестируйте своих «протеже» на устойчивость: неожиданно отмените режим благоприятствования. Если они оказались неконкурентоспособными, меняйте свои взгляды и возвращайтесь к пункту 3; 6. Если выбранные Вами типы флуктуаций выжили и разрослись, изучите и величины пронизывающих их потоков; 7. Зафиксируйте величины потоков и ожидайте рождения новой структуры. Здесь от Вас потребуется твердость, ибо при этом Вы неминуемо станете противником части представителей коллектива. 64

Этот алгоритм странен с точки зрения традиционных «целевых» управленческих подходов. Он странен и с точки зрения распространенных взглядов на воспитание личности (здесь нивелирована традиционная для российской образовательной системы важность целеполагания, целеустремленности и пр.). Однако история хранит немало примеров его действенности. Можно показать, что выполнение компонентов управленческого цикла №3 и №5, если образовательная система (вуз) достаточно велика, невозможно без привлечения современных мониторинговых методов.

Компьютерное тестирование как основа технологий мониторинга качества. Типология средств дидактического тестирования В настоящем параграфе обсуждены особенности информатизации образования в связи с тематикой исследования. Рассмотрены критические замечания педагогов по поводу известных дидактических программных комплексов (ДПК). Описаны эмпирические наблюдения, говорящие о том, что стремление конструкторов ДПК к увеличению инструментальной надежности путем исключения из сценариев и интерфейсов элементов, могущих привести к положительной мотивации студента, приводит к негативному явлению отторжения студентами компьютерных тестирований, которое становится причиной снижения точности дидактических измерений. Выделены усиливающиеся при этом противоречия и предложены пути их разрешения. Указаны вероятные причины отсутствия практики применения отмеченных закономерностей в образовательной практике, среди которых – специфика образования создателей и пользователей ДПК. К истории мониторинговых исследований. Более четырех десятков лет студенты США сдают выпускные и переводные экзамены по технологии компьютерного или бланкового тестирования. Во всех штатах США существуют специальные организации, занимающиеся оцениванием знаний студентов. Результат их работы - информация о предрасположенности студентов к профессиям, общая информация о состоянии системы образования штата и др. Компьютерная техника для тестирования знаний стала использоваться сравнительно недавно. В настоящее время студенты и абитуриенты многих стран (США, Великобритания, Россия, Китай и мн. др.) сдают переводные, вступительные, квалификационные экзамены в тестовой форме. В одних странах эта форма проверки знаний осталась «бумажной», в других – стала компьютеризованной. [197, 198, 307] Известны достаточно развитые в системе общего среднего образования технологии - Всероссийское бланковое тестирование, Всероссийское компьютерное тестирование (ФЦТ МОН РФ) и «Телетестинг» (Центр «ГТ», МГУ). [1, 2, 65 и др.] Они основаны на телекоммуникационных технологиях и способны обеспечить решение ряда задач образовательного мониторинга на фе65

деральном уровне. Опыт, полученный в результате применения этих технологий, возможно, позволит в ближайшие годы ввести в системе образования России совершенно новую форму приема экзаменов – ЕГЭ (Единый Государственный Экзамен). Важно отметить, что подобные мероприятия – разовые; они проводятся лишь раз в году и позволяют увидеть только один «моментальный снимок» работы образовательной системы, «смазанный» рядом известных и нежелательных артефактов. Мониторинг же качества образования – мероприятие непрерывное, позволяющее на местном уровне, с необходимой степенью глубины и полноты, оперативно прогнозировать и корректировать развитие [307]. Система высшего профессионального образования в России пока отстает от системы общего среднего образования во внедрении централизованных технологий тестирования. Наиболее интенсивно сейчас такие работы ведутся в системе дистанционного обучения [4, 13, 45, 58, 60, 76, 83, 86, 94, 97, 98, 150, 154, 168, 191, 195, 223, 227, 239, 256, 276, 284, 326 и др.]. Автоматическое тестирование знаний, как и всякая промышленная технология, имеет свои «плюсы» и «минусы». Позитивные стороны очевидны: стандартность, экономичность, объективность. Результаты автоматизированных тестирований лучше поддаются анализу, чем выставляемые людьми оценки. Результаты массовых тестирований студентов позволят планировать изменения в региональной образовательной политике, помогут молодежи определять свои склонности и планировать дальнейшее образование, позволят объективно управлять качеством системы образования [78, 108, 117, 121, 285, 314 и др.]. Дидактическое тестирование основано на хорошо разработанной теоретической базе. Она описана в научной литературе [см. напр.: 1, 160, 175]. К сожалению, нам не удалось встретить источника, где была бы изложена вся совокупность известных характеристик и принципов создания тестов. Мы полагаем, что собрали и опубликовали ее в представленном ниже виде впервые (введя при этом дополнения и обобщения). 1. Валидность теста. Результаты тестирования группы студентов должны соответствовать объективным характеристикам, данным студентам их руководителями, коллегами, преподавателями. Это важнейший принцип, которому должны быть подчинены усилия составителя теста. В соответствии с множеством указанных характеристик, принято различать виды валидности. 2. Надежность теста и технологии тестирования. Результаты тестирований подобных групп студентов с помощью одного теста должны быть одинаковыми (подобными) и не зависеть от времени. Это второй по важности принцип. Чаще всего, надежность можно охарактеризовать лишь умозрительно, поскольку: • повторное тестирование одной группы студентов по одному тесту может приводить к росту результатов за счет эффектов памяти, самообучаемости и пр.; • трудно найти подобные группы студентов и доказать, что это так; • на результаты оказывает влияние предыстория студентов, сложности 66

3.

4.

5. 6. 7.

8. 9.

исключения предварительного общения между ними и пр. Надежность – принцип, пришедший в педагогику из техники, предъявляемый к инструменту технического измерения. Но педагогика – иная область с иными закономерностями, и поэтому принцип надежности часто обоснованно подвергается критике. Дидактическая релевантность теста и технологии тестирования Выберем два одинаковых по величине показателя валидности теста (или две технологии тестирования). С точки зрения дидактики, науки подчиняющей всё цели росту качества обучения, если повторное тестирование с использованием первого теста (первой технологии) приводит к более выраженному улучшению результатов, чем с использованием второго теста (второй технологии), то первый тест (первая технология) – лучше. Пусть результаты в обоих случаях улучшаются по-разному за счет разной выраженности эффекта самообучаемости студентов, привлекательности процедуры и др. С точки зрения принципа надежности, оба теста (обе технологии) – не надежны. Чем лучше тест (технология тестирования) с точки зрения дидактики, тем он (она) хуже, исходя из принципа надежности. Поэтому, в педагогике, в отличие от техники, лучше говорить не о надежности теста (технологии), а о релевантности теста (технологии), т. е. степени соответствия принципам дидактики. Релевантность теста (технологии тестирования) – мера его способности к инициации процессов самообразования. Релевантность можно выразить численно, взяв отношения прироста усредненных результатов при повторном тестировании с использованием разных тестов (технологий). Научная достоверность. В тест включаются только те элементы знания и связи между ними, которые являются объективно истинными. Соответственно, спорные точки зрения, вполне нормальные в науке, не включают в тест. Обобщенность. Тема тестирования не должна быть излишне обобщена. Значимость. Значимое ТЗ отражает структурный информационный элемент дисциплины либо связь между структурными элементами, без которых знания становятся неполными, с пробелами. Соответствие современному знанию. В ТЗ включаются только современные элементы знания. Исключением могут быть ТЗ, составленные специально для ведения учебных занятий процесса в рамках концепции «диалога культур». Соответствие источникам знания. Все ТЗ должны включать адрес источника, который может быть включен и в демонстрируемую часть текста ТЗ в случаях, когда имеются разночтения в рекомендованной литературе. Репрезентативность. Репрезентативный тест содержит совокупность ТЗ, отражающую все структурные элементы содержания дисциплины и их связи. Репрезентативная (представительная) БТЗ содержит совокупность ТЗ, достаточную для ведения вариативного контроля по любой из имеющихся в структуре дисциплины учебных тем. Репрезентативная БТЗ может включать ТЗ по дополнительным учебным материалам для проведения олимпиад и пр. 67

10. Вариативность. Содержание теста должно варьироваться по мере: • изменения содержания дисциплины; • изменения и появления новых научных знаний; • изменения цели тестирования; • изменения направленности на особенные выборки студентов. Для достижения достаточной вариативности теста в рамках учебной дисциплины необходимо, чтобы БТЗ содержала тестовые задания соответствующие разным учебным пособиям и разным способам изложения учебного материала. 11. Сложность. Для каждого ТЗ в процессе контроля определяют усредненную, выраженную числом, сложность. Сложность задания № j определяют двумя способами. Например, так: qj = 1-pj, где pj – относительное количество студентов, выполнивших данное задание. Либо, как «логит», равный ln(qj/pj). Студент, правильно выполняющий сложные задания, с большой вероятностью правильно выполнит и легкие. Сложность теста соответствует содержанию обучения и поддерживает высокий уровень мотивации студентов. Не следует пренебрегать заданиями, которые выполняются большим количеством студентов (от 90 до 100%). Иногда может показаться, что задание лишнее, поскольку слишком лёгкое. Надо проконтролировать выборку – вошли ли в нее слабо подготовленные студенты. Они могут сознательно не допускаться к тестированиям руководством учреждения под благовидным предлогом. Аналогичная, но обратная ситуация может случиться и с наиболее сложными заданиями. Прежде, чем отвергать задания, которые никто не выполнил, необходимо проверять, проходили ли тестирование наиболее подготовленные студенты. Они могли в это время отсутствовать по причине участия в олимпиаде или в работе кружка. 12. Трудоемкость. Для каждого ТЗ в процессе контроля определяют усредненную, выраженную числом, трудоемкость. Она характеризует количество элементарных операций (и мыслительных, и физических, и расчетных), которые необходимо выполнить в процессе работы над заданием. Отношение трудоемкостей заданий можно определить через усредненное отношение времен их выполнения. Относительное количество труда, который тестируемые затратят на выполнение каждого тестового задания, должно быть пропорционально относительной значимости отраженного в задании элемента курса. 13. Взвешенность. Для придания результату тестирования большей объективности, все ТЗ после сеанса «взвешивают». Затем общий результат студента вычисляют как сумму весов выполненных заданий. Иногда за вес ТЗ принимают его относительную сложность, т. е. долю студентов, не сумевших его выполнить. Иногда вес приписывают заданиям волюнтаристски, опираюсь на преподавательский опыт. Оба подхода к вычислению весов не лишены недостатков. Например, при первом подходе возможен вариант, когда наивысший вес приобретет задание, которое показалось всем студентам слишком легким, недостойным сиюминутного внимания, которое они, в погоне за рейтинговыми очками, оставили «на потом» и не успели к нему вернуться. 68

14. Системность. Задания в БТЗ связываются между собой общей структурой знаний. Такая связь может быть определена умозрительно либо методами факторного анализа. 15. Комплексность и сбалансированность. Следует гармонично сочетать в тесте задания на проверку знаний теоретического материала (понятия, законы, закономерности, гипотезы, факты, структурные компоненты теории), методов научной и практической деятельности, умений решать типовые задания. Отношение количеств ТЗ перечисленных типов должно соответствовать отношениям значимостей и объемов рекомендованной учебной информации. 16. Соответствие содержания и формы. Педагогический тест характеризуют как результат единения содержания заданий с наиболее подходящей формой. 17. Разрешающая способность теста. Сложность ТЗ не может быть только легкой (все выполнили), средней (половина группы выполнила) или трудной (никто не выполнил): • Выраженные численно сложности совокупности ТЗ в тесте должны равномерно заполнять тот интервал, который соответствует обученности студентов; • Трудоемкость ТЗ должна быть такой, чтобы во временные рамки теста могли уложиться все студенты, способные их выполнить. От сбалансированности ТЗ по сложности и трудоемкости зависит способность теста дифференцировать студентов в соответствии с их свойствами. Эта способность теста, выраженная числом, называется разрешающей способностью. 18. Дидактическая направленность теста и технологии тестирования. Одних студентов трудные ТЗ могут подтолкнуть к учебе, других – оттолкнуть от нее. Скучные, однообразные, излишне формальные совокупности ТЗ вредоносны в учении. ТЗ, в своей совокупности, должны включать элементы: • Привлекательности (юмористическая окраска условий и пр.); • Сюрпризности (разные и неожиданные словарные обороты, редко встречаемые в учебнике, обращение в условии заданий непосредственно к исполнителю с использованием данных регистрации и пр.); • Практической направленности (примеры из жизни, возможность применить результаты выполненного задания непосредственно в деятельности и пр.). Сюрпризные задания включаются в тест для противодействия возникновению в процессе работы студентов эффекта «ровной дороги». Трудоемкость и сложность ТЗ, в совокупности, должна быть такой, что хотя бы парутройку заданий должны правильно выполнить абсолютно все студенты. Это заставит слабых студентов поверить в свои силы, увлечет, инициирует соревнование, даст основания для похвалы. Тест (технология тестирования), в соответствии с принципами дидактики, должен (должна) не только 69

дифференцировать и измерять свойства студентов, но и обладать свойством инициирования их самообучения и проявлять их стремление к повышению качества ЗУН. 19. Оптимальность теста. В тест включаются только те ТЗ, содержание которых не дублируется и равномерно покрывает, в своей совокупности, учебный материал. ТЗ исключают из теста, когда известно, что: • студенты не знают соответствующей части материала или, наоборот, знают ее гарантированно хорошо; • студенты не имеют навыков работы и поэтому не справятся с трудоемкими заданиями. Тест считают более оптимальным, если с его помощью можно измерить такие же характеристики и провести дифференцирование студентов за меньшее время. 20. Темперированность сложности. Последовательность заданий теста такова, что каждое последующее ТЗ, по мнению составителя, труднее предыдущего. Этот принцип, применяющийся в бланковом тестировании, нередко подвергается критике, поскольку действует лишь «в среднем». Если студенты учились у разных преподавателей и по разным учебникам, предсказать ряд возрастающей трудности для большинства из них – большая проблема. А «усредненный» ряд не приносит желаемого эффекта повышения разрешающей способности. Поэтому в компьютерном тестировании чаще применяют иной принцип: студентам позволяют самостоятельно выбирать порядок выполнения заданий. (см. «Свобода выбора ТЗ») 21. Темперированность трудоемкости. Последовательность заданий теста такова, что каждое последующее ТЗ, по мнению составителя, более трудоемко, чем предыдущее. Применяется, когда оптимизируют тесты для оценки работоспособности, внимательности и подобных характеристик студентов. 22. Свобода выбора. Принцип составления теста, пришедший на смену принципу «возрастающей сложности». Принцип свободы выбора в технологиях компьютерного тестирования проявляется в том, что студентов не ограничивают в выборе последовательности выполнения заданий. Практика показывает, что при этом студенты сами ищут и интуитивно находят для себя индивидуальный ряд ТЗ возрастающей сложности и трудоемкости. 23. Вариативность теста. Каждое обращение к БТЗ приводит к генерации нового варианта теста в соответствии с алгоритмом, ключ которого может формироваться в соответствии с регистрационными данными, датой и временем сеанса. Алгоритм, ориентирующийся при составлении варианта теста на личность студента, может исключать возможность повторения ТЗ при повторном тестировании. 24. Адаптивность теста. Содержание теста адаптируют для придания тесту большей разрешающей способности в известной группе студентов. Для адаптации теста к свойствам группы студентов и каждого студента в отдельности, необходимо наличие в БТЗ такого набора классифицированных заданий, что возможно построение вариантов теста нацеленных на оценку 70

конкретных свойств: • Тест дробят на субтесты, а сеанс – на ступени; • Перед построением субтеста очередной ступени проводится анализ результатов выполнения предыдущих субтестов; • При анализе конкретизируются результаты произведенных измерений, затем, если объективная дифференциация группы студентов еще не возможна, составляется очередной субтест; • Действия повторяются на очередной ступени сеанса до тех пор, пока не будет достигнута требуемая степень дифференциации. 25. Полнота. В банке ТЗ должны быть отражены абсолютно все структурные элементы содержания дисциплины и связи между ними. 26. Целесообразность. Содержание теста зависит от цели тестирования. Например, возможны ситуации: • Если нужно отобрать самых подготовленных студентов на олимпиаду, то задания должны быть сложные, ибо только с помощью таких заданий можно отобрать лучших; • Если студенты учились по разным учебникам, то формулировки отобранных для теста ТЗ должны соответствовать каждому. 27. Верифицируемость результата. Тест может содержать равномерно распределенные среди всех заданий такие ТЗ, которые характерны разной формой и равным содержанием. Установив корреляцию результатов их выполнения можно установить, как студент выполнял задания – вдумчиво либо методом «случайного тыка». 28. Сбалансированность. Количество разделов БТЗ и включенных в них заданий должны коррелировать с содержанием, относительными объемами информации разделов и формой дисциплины. 29. Стилистическая непротиворечивость. ТЗ формулируются в привычной для студентов форме, с использованием словарных оборотов из рекомендованных им учебных пособий. Исключения – сюрпризные задания, включаемые в тест для противодействия возникновению в поведении студентов эффекта «ровной дороги». 30. Логическая и семантическая непротиворечивость. Среди логических требований – определенность предмета измерения. Близость дисциплин затрудняет определение предметной принадлежности ТЗ. Чем меньше пересечений дисциплин и их разделов, тем чище, определеннее выражается в тесте их содержание. Логически ТЗ можно ассоциировать с утверждением. В случае правильной подстановки (Форма ТЗ №2) утверждение превращается в истинное, в случае неправильной – в ложное. Привычные для педагога вопросы не являются утверждениями, а потому содержание вопроса не может определяться как истинное или ложное. Вопросы применяются в ТЗ закрытой формы. Следует избегать несоответствий рода, числа, склонения в формулировках заданий и вариантов их выполнения. В ТЗ нет места двусмысленностям, например: • на вопрос «Где находится Москва?» можно ответить «на берегу Моск71

вы-реки», «в Европе» и пр.; • на вопрос «Кто первым полетел в космос?» можно ответить «советский человек», «Юрий Гагарин», «Лайка» и пр.; • подлежащее в именительном падеже легко путается с прямым дополнением в винительном падеже, например: «мать любит дочь» (пример В. С. Аванесова); • на вопрос «Когда началась Великая отечественная война?» можно ответить; «в июне», «в XX веке» и пр.; • в заданиях открытой формы следует указывать род, падеж и пр. ожидаемых слов. Например, на вопрос «Как называется судно, колющее лед?» можно ответить и «ледокол», и «ледоколом»; • среди заданий на установление соответствия или на установление последовательности встречаются варианты, трактуемые в разных источниках по-разному (причины и последовательности исторических событий). 31. Дистрактивность. Варианты выполнения заданий формулируются так, чтобы правильные варианты были похожи на неправильные, и наоборот. Формулировки правильных вариантов должны точно соответствовать материалу учебного курса. Следует избегать характерной ошибки начинающих авторов, когда формулировки верных вариантов, в большинстве, длиннее формулировок неверных вариантов. Следование принципу дистрактивности значительно повышает валидность теста. 32. Избыточность. Часто случается так, что в группу студентов попадают студенты, учившихся по разным программам и учебникам. Тест составляется один для всех и поэтому, чтобы «сравнять шансы», предпринимаются следующие шаги: • в тест включаются ТЗ, составленные в формулировках разных учебников, примерно в равных пропорциях; • эквивалентные по информации задания группируются, и участники информируются, что необходимо и достаточно правильно выполнить только одно задание группы; • количество ТЗ в тесте превышает норму, которую мог бы выполнить усредненный участник сеанса. Иногда завышают количество заданий теста выше нормы и из других соображений: чтобы увеличить шанс слабо успевающим учащимся хоть в чем-то проявить себя и получить похвалу; чтобы исключить при проведении образовательной олимпиады накладки связанной с тем, что несколько участников выполнят правильно все предложенные ТЗ. 33. Деловая игра. Технологии тестирования конструируются исходя из рекомендаций дидактики, утверждающей, что наилучших успехов можно достичь при игровом обучении. Играпозволяет сделать процесс тестирования привлекательным и достичь высоких успехов за счет: естественной индивидуализации, соревновательности, коллективности, публичности. Существуют типологии тестовых заданий (ТЗ), где определены четыре 72

их основных формы [см. напр.: 1, 12, 52, 65, 132, 175]. Вопрос об отнесении тестовых заданий к той или иной форме хорошо разработан. Вместе с тем понятно, что тестовые задания можно демонстрировать испытуемым поразному, в соответствии со сценарием ДПК. Например, сценарий демонстрации ТЗ закрытой формы [1] может включать последовательное открытие вариантов выполнения поодиночке и в случайном порядке с целью уменьшения вероятности угадывания верного варианта путем простого сравнения. Таких сценарных возможностей достаточно много. Типология сценариев компьютерного тестирования. Компьютерные комплексы для тестирования ЗУН могут быть построены с применением разных сценариев. Нам не приходилось встречать в литературе общепринятой классификации сценариев. Приведем построенную нами классификацию, представляющуюся нам приемлемой сегодня. 1. «Стандарт. Фиксированный выбор». Самый распространенный, ставший стандартным сценарий, где тестовые задания из фиксированного списка предъявляются на экране последовательно, все варианты выполнения задания видны одновременно, и студенту в каждом случае предлагается выбрать один из предъявленных вариантов выполнения (закрытая форма ТЗ). Иногда применяется открытая форма ТЗ, когда студентам предлагается ввести с клавиатуры слово или число. Применение ТЗ на указание последовательности или соответствия редки, что, более всего, связано со сложностью их составления (в т.ч. следующей из высокой вариативности современных учебных планов). Задания часто «взвешены», рейтинг студента вычисляется как приведенная к 100-балльной шкале сумма весов верно выполненных заданий. Здесь велика вероятность простого списывания, случайного угадывания, угадывания путем сравнения вариантов. 2. «Стандарт. Случайный выбор». Сценарий, отличающийся от «Стандарт. Фиксированный выбор» тем, что задания из фиксированного списка предъявляются студентам в случайном порядке, и варианты выполнения также перемешиваются при каждом предъявлении. Такой подход значительно снижает действенность простой шпаргалки. 3. «Стандарт. Множественный выбор». Усложненный, по сравнению со «Стандарт. Случайный выбор», сценарий. Здесь от студента требуется указать в списке не один, а все верные варианты выполнения ТЗ. Такой подход значительно снижает вероятность случайного угадывания, в соответствии с законами теории вероятностей. 4. «Стандарт. Множественный случайный выбор». Усложненный, по сравнению со «Стандарт. Множественный выбор», сценарий. Здесь ТЗ предъявляются студенту в случайном порядке, и их варианты выполнения перемешиваются при каждом предъявлении, что значительно уменьшает вероятности угадывания и простого списывания. 5. «Стандарт. Единственный выбор». Усложненный, по сравнению со «Стандарт. Множественный случайный выбор», сценарий. Здесь, вместе с текстом задания, студенту демонстрируется только один из возможных вариантов выполнения. От студента требуется оценить этот единственный 73

вариант по двузначной шкале (правильно – не правильно). В этом варианте низка вероятность угадывания путем сравнения, однако велика вероятность простого угадывания. Для исправления последнего недостатка применяется система «штрафов». Такой подход позволяет констатировать знания и контролировать их глубину. Здесь значительно снижены вероятности случайного угадывания, угадывания путем сравнения вариантов, простого списывания. 6. «Поиск однозначного соответствия». Сценарий, где студенту демонстрируется небольшое количество ТЗ (в связи с повышенной трудоемкостью заданий) От студента требуется однозначно сопоставить термины (изображения, звукозапись) из двух списков (подобно тому, как в математике определяется изоморфное соответствие множеств). Здесь очень низка вероятность угадывания путем сравнения вариантов и случайного угадывания. Иногда количество демонстрируемых списков для сопоставления бывает больше двух (три-четыре). 7. «Поиск неоднозначного соответствия». Это усложненный вариант по сравнению с «Поиск однозначного соответствия». Здесь от студента требуется построить такое соответствие между списками, когда одному термину (изображению, звукозаписи) из первого столбца могут соответствовать 2-3 термина из второго, и наоборот. Такой подход позволяет констатировать знания и контролировать их глубину; делает ничтожной вероятность угадывания путем сравнения вариантов и случайного угадывания. 8. «Создание сообщения». Сценарий, в котором от учащегося требуется ввести в указанном месте слово, словосочетание или совокупность цифр и букв – т. е. закодировать сообщение, являющееся решением поставленной в задании задачи. Этот сценарий сложен как для студента, так и для автора, поскольку часто такая вводимая студентом совокупность может быть представлена в нескольких разных, но абсолютно верных вариантах. Закодированное сообщение может указывать закон взаимного соответствия элементов двух или трех множеств, а также последовательность элементов множества. Здесь крайне низка вероятность угадывания путем сравнения вариантов, случайного угадывания. 9. «Поиск и исправление ошибки». Сценарий, усложненный по сравнению с «Поиск неоднозначного соответствия» тем, что место ввода последовательностей знаков не определено, и студенту предлагается его найти. Такой подход позволяет констатировать знания и контролировать их глубину; делает ничтожной вероятность угадывания путем сравнения вариантов и случайного угадывания. 10. «Диктант». Расширенный и усложненный, по сравнению с восьмым, мультимедийный сценарий, в котором требуется написать диктант, слушая звук в наушниках, либо перевести прослушанный текст на другой язык. Такой подход лишен большинства недостатков, связанных со случайностью и позволяет контролировать знание правил написания математических выражений, словосочетаний, химических формул и пр. 11. «Путешествие». Игровой мультимедийный сценарий, где для выполне74

ния задания требуется проделывать сложные манипуляции с клавиатурой и мышью. Например, «двигаться» по анимированному помещению, вводить информацию с клавиатуры и «разыскивать» объекты по инструкции. Такой подход позволяет констатировать знания и контролировать их глубину; делает ничтожной вероятность угадывания путем сравнения вариантов и случайного угадывания. 12. «Единственный выбор. Определение оценки». Сценарий близкий сценарию «Стандарт. Единственный выбор» и усложненный тем, что студент должен оценить степень верности единственного предъявленного ответа по многозначной шкале. Например: «да» – не знаю – нет»; «верно – не точно – не верно»; «верно – не полно – не точно – не верно». Такой подход позволяет констатировать знания и контролировать их глубину; делает ничтожной вероятность угадывания путем сравнения вариантов. Сценарий может быть игровым, имитировать учебные действия учителя и учеников. 13. «Дидактор». Игровой мультимедийный полуинтерактивный сценарий, усложненный по сравнению с «Единственный выбор. Определение оценки». Студенту предлагается провести устный опрос в виртуальном классе и поставить оценки виртуальным ученикам. Усложнение состоит в следующем: варианты выполнения являются двухуровневыми, после выбора варианта и его оценки, демонстрируются варианты, уточняющие уже оцененный вариант, которые вновь предлагается оценить; среди выполняемых заданий присутствуют задания открытой формы. Сценарий позволяет не только констатировать знания, но и контролировать их глубину; делает ничтожной вероятность угадывания путем сравнения вариантов и случайного угадывания. Подход позволяет эффективно совместить тестирование с обучением. 14. «Диалог». Игровой мультимедийный сценарий. Отличие сценария в том, что здесь имитируется диалог между персонажами и студентом, где студенту в определенном порядке предъявляются высказывания персонажей в утвердительной форме, которые требуется оценить по многозначной шкале, либо «ответить персонажу», используя прямой ввод с клавиатуры. Такой подход отличается малой вероятностью простого угадывания и угадывания путем сравнения, позволяет контролировать глубину знаний и использовать современные педагогико-философские подходы для непосредственного обучения (например, «диалог культур» и др. [38, 80]) решению математических задач. 15. «Адаптивное тестирование». Этот сценарий можно назвать «суперсценарием», поскольку он может применяться как своего рода надстройка над любым из перечисленных сценариев. Основная его идея в том, что последовательность предъявления заданий зависит от того, как студент справился с предыдущими заданиями. Психологическое состояние студента также оценивается автоматически, в зависимости от оценки состояния меняется сложность и трудоемкость заданий, включаются блоки психологической разгрузки. Большая часть информации поступает по слуховому каналу. Этот сценарий многими считается наиболее перспективным. 75

По нашему мнению, эту классификацию можно сегодня считать близкой к исчерпывающей. Распространенные БТЗ [см. напр.: 1, 2], при условии необходимой корректировки, могут быть применены с многими из описанных сценариев, например со сценариями №№13, 15. Психофизиологические особенности сценариев тестирования. Игровые технологии давно применяются на курсах ускоренного обучения в интенсивно развивающихся областях знаний – менеджменте, маркетинге и др. [32, 102, 113, 183, 207, 226, 234, 261, 263, 304, 309, 316 и др.]. Но студенты в массовых вузах по-прежнему проводят учебное время в таких условиях, где несложно приобрести неприязнь к учению. Часто педагоги относится к игре как к чему-то несерьезному, не желая и/или не умея применять на практике игровые технологии. Дидактическая идея о применении игр в учении стара, как и та, что образное познание не менее важно, чем логическое. Создатели ДПК упорно не замечают их [30, 112, 134, 141, 145, 163, 233]. Причины этого удивительного упорства следует искать, возможно, в специфике системы знаний «технарей» - компьютерщиков и в содержании образования педагогов. Люди индивидуальны в способностях восприятия, запоминания и воспроизведения информации. Однако исследователи сходятся во мнении: использование образов значительно интенсифицирует процесс обучения. [24, 280] Этот вывод универсален для любого типа мышления (а этих типов психологи и физиологи выделяют до нескольких десятков). Те не менее, большинство отечественных ДПК не характерны своим уникальным образом и содержат мало образов среди учебного материала. В этом смысле они – «безобразны». На важность этой проблемы обращается внимание в одной из концепций информатизации образования, опубликованной в самом первом номере журнала «Высшее образование в России»: «Одна из болевых точек нашего образования исторически связана с превалирующим развитием вербальнологического, аналитического, левополушарного мышления в ущерб синтетическому, образному, интуитивному, то есть правополушарному. Особо следует отметить психологические принципы, тесно связанные с компьютерной геометрией и графикой, которые обеспечивают воспитание творческой личности, поскольку и то и другое опирается на развитие правополушарного мышления...» [112, 128, 321 и др.] Можно было бы нашу «забывчивость» считать субъективным фактором, если бы она не была столь массовой. [72, 82, 95] Причин «забывчивости» несколько: картинки и образы требуют для своего рождения много времени; картинки должны создаваться профессионалами; картинки часто вызывают много споров среди рецензентов и авторов; учебник с картинками всегда стоит дороже. Для ряда дисциплин эта «забывчивость» стала одной из причин общероссийской катастрофы, к которой мы привыкли и предпочитаем не замечать [107, 321]. Проще всего это можно проиллюстрировать на примере преподавания языковых дисциплин: «…до сих пор одной из наиболее острых проблем образования остается крайняя неэффективность обучения неродному языку и от76

сутствие сколько-нибудь заметных проявлений его развивающей функции (в частности, низкий уровень развития речи школьников на родном языке), а также бесплодность продолжающейся уже около полутора веков дискуссии о роли субъектного речевого опыта в овладении новым языком» [305]. Средний россиянин прошлого века изучал английский язык в школе, вузе и аспирантуре на протяжении 5-12 лет. Результат нам всем хорошо знаком. В чем дело? Последовательность изучения языка была такой: звук → буква → алфавит → слово → правила → фраза → «топик». А можно ли учить по-другому, эффективно? Да, за пару месяцев вполне можно научиться общаться на любом языке. Но только учиться нужно в другой последовательности, начиная с образов: речь → фраза → словосочетание → слово → буква, оставляя правила напоследок. Та же ситуация сложилась в мире (не только в России) с преподаванием физики, математики, истории. Из учебников исчезли образы, там появилось множество текстовых определений, аксиом и теорем, подкрепленных только иллюстрациями. Решения и формулировки задач, описания явлений и событий стали логичными, академичными, «красивыми» и непостижимыми для студента. Сложившаяся ситуация имеет свое отражение и в компьютерных учебных пособиях. Почти всегда они «безобразны», не включают образы, способствующего учению. Значительную роль здесь сыграла специфика образования создателей ДПК, в «технарских» представлениях памяти человека в виде стеллажей и ящиков, которые надо заполнять информацией, в воинствующем пренебрежении достижениями педагогики и психологии. Обратная связь в процедуре тестирования. Организация обратной связи между учащимся и ДПК играет первостепенное значение при проектировании интерфейса. [132, 169-175 и др.] Основные функции внутренней обратной связи: информирование студента о допущенной ошибке; оказание помощи студенту для устранения ошибки; повышение мотивации посредством суждения о результатах. Требования, традиционно предъявляемые создателями ДПК к организации обратной связи [см., напр.: 132]: • сообщения обратной связи после допущенной ошибки имеют большую педагогическую ценность, чем после правильного ответа; • информация, содержащаяся в сообщениях обратной связи, должна помочь быстро обнаружить и устранить ошибку; • прежде чем информировать студента о допущенной ошибке, целесообразно предложить ему самостоятельно ее устранить; • дополнительную информацию следует сообщать после того, как студент ввел ответ либо запросил помощь; • сообщения должны соответствовать индивидуальным особенностям студентов; • частая обратная связь приводит к отрицательным последствиям, поскольку сужает «поле самостоятельности» студентов; • студенты с заниженной самооценкой нуждаются в более частой обрат77

ной связи, чем уверенные в себе; • влияние немедленной и отсроченной обратной связи зависит от типа решаемых учебных задач и от этапа решения; в задачах на запоминание целесообразна немедленная обратная связь, на понимание – отсроченная; на этапе построения структуры (модели) решения задачи целесообразна немедленная обратная связь, при планировании решения и контроле его правильности – отсроченная; • сообщения обратной связи относящиеся к знанию, не должны изобиловать похвалой, если учебная задача была несложной или правильному ответу предшествовало большое количество ошибочных. Подобные перечни могут отличаться, однако они и сходны: малое внимание к особенностям процесса контроля (игнорирование приоритета игровых подходов и образного канала восприятия). Прагматизм авторов часто понятен, поскольку он обусловлен сложившимся за последние годы в системе образования отношением к оценке. Прагматические подходы к конструированию ДПК противоречат сути дидактики [297], ибо каждый технологический элемент образовательного процесса, каковыми являются и дидактические измерения, должен максимально способствовать росту образовательных результатов. Одним из проявлений прагматического подхода является следование, пришедшей из психологической тестологии, традиции приписывания приоритетного значения одной из инструментальных характеристик ДПК – надежности. Надежность инструмента в технике отражает неизменность результата при повторных измерениях. Будучи хорошо обоснованным в психологическом тестировании, подход, ориентированный на «приоритет» надежности, приводит к противоречиям в тестировании дидактическом. Дидактическое измерение, как полноправный элемент учебного процесса, должно способствовать росту образовательных результатов. Так же, как и в экзаменационной практике, здесь необходимо предусматривать переэкзаменовки и тренаж, проводимые с одним и тем же ДПК. Эксперименты с многократным тестированием (тренировки, переэкзаменовки) в указанных условиях практически всегда приводят к следующему: • пройдя дважды тестирование с разными группами, учившимися у разных преподавателей, студент может получить разный результат вследствие того, что для студентов разных групп оказываются сложными разные ТЗ, поэтому значения весов ТЗ будут разными; • повторное тестирование в одной группе студентов приводит к сдвигам результатов вследствие того, что студенты в перерыве успели обменяться информацией и проконсультироваться с преподавателем. Даже когда студенты совершенно изолированы, получить одинаковый результат при повторе тестирования практически невозможно потому, что каждый студент получает в течение сеанса опыт, самообучается. Говорить об инструментальной надежности теста в такой, обычной для вуза, ситуации нельзя. Особенно это видно в условиях вариативности образования – частой смены учебных планов и преподавателей, а также неоднородности контингента 78

студентов [253]. На величины сдвигов результатов влияют и факторы, и условия тестирования. При определенных сочетаниях факторов и условий, сдвиги результатов чаще позитивны [129, 200, 265, 320, и др.]. Организаторы тестирований борются с этим явлением, приводящим к низкой надежности ДПК, упрощенно, путем запрета повторных сеансов (поскольку в этом случае исчезает почва для споров), либо вводя изощренные способы пересчета результатов [1, 2, 175 и др.]. Существуют методики (самая распространенная применяется в IRT, Item Responce Theory) пересчета результатов тестирований, нивелирующие сдвиги результатов при повторах. Известны противоречия таких подходов [см. напр. критику: 160, 253, 281], но, тем не менее, они применяются [65, 219, 227, 259, 299]. Именно эта практика сделала незаметным развивающий потенциал, таящийся в дидактическом тестировании. Мониторинг, основанный на компьютерных технологиях тестирования, является естественным «преемником» этого потенциала. В условиях компьютерного мониторинга использование этого потенциала позволит придать мониторингу новые – развивающую и защищающую – функции. Далее мы представим соответствующую концепцию развивающего измерительного процесса.

ГЛАВА II. Дидактическое тестирование как средство интеллектуального развития студентов Результат учебного процесса зависит от многих контролируемых и неконтролируемых влияний. В разных условиях они сказываются на результате позитивно либо негативно. Малое, незамеченное преподавателем влияние может привести к заметным изменениям в результате его труда. Рассмотрению таких явлений посвящено значительное количество трудов [см. напр.: 21, 28, 31, 44, 61, 62, 67, 71, 72, 82, 95, 99, 107, 137, 163, 170, 171, 224, 229, 230, 231, 232, 235, 251, 255, 257, 260, 280, 294, 297, 298, 315, 317, 318]. Мотивация студентов к получению высокой оценки может быть случайной. Мотивация может быть и позитивной, и негативной, например, потребность «выделиться» может проявиться в стремлении к получению наименьшего рейтинга [31, 72]. Исключить случайную мотивацию можно таким путем: дать студентам мощную, общую для всех мотивацию, которая способна «перебить» своим влиянием все остальные. Это и исключит досадные случайности, и приведет к получению высоких оценок. Мотивацию можно создать с применением ОИТ [24, 43, 143, 319]. Мотивационные воздействия ОИТ таковы, что могут успешно конкурировать с мотивацией, создаваемой преподавателем. Поэтому часто педагоги считают Интернет и компьютерные игры «недругами» учебного процесса, и вступают в борьбу с ними вместо того, чтобы привлечь «на свою сторону». Проблеме такого привлечения посвящено относительно мало работ [см. напр.: 126, 250]. Здесь изложена педагогическая система, позволяющая привлечь скры79

тый потенциал компьютерного тестирования для придания дополнительной эффективности учебному процессу, а также математическая модель, позволяющая исследовать мотивационные влияния, оценивать и прогнозировать обученность и обучаемость студентов.

2.1.

Динамика оценок обученности студентов

Технология дидактического тестирования, тот антураж, который создается вокруг сеансов тестирования, обязательно приводит к усилению или ослаблению мотивации студентов. Мотивация студентов влияет на измеряемую величину коэффициента надежности теста. Если студенты не мотивированы – результаты измерения сконцентрируются у точки случайного «тыка» области определения результатов тестирования (Рис. 1.10). Рис 1.10 Распределение результатов тестирования группы студентов при отсутствии мотивации. По вертикали – плотность распределения результатов, по горизонтали – 100-балльная оценочная шкала 10 20 30 40 50 60 70 80 90

Сколько бы сеансов не проводилось – результаты останутся близкими. При этом надежность теста получится очень высокой. В арсенале тестологии существуют корректирующие приемы увеличения надежности теста. Они включают пересчет весов тестовых заданий такой, чтобы кривая распределения результатов была похожей на ту, что принята идеальной (известное в теории вероятностей «нормальное распределение» было причислено к идеалам еще на заре развития технической теории измерений). [147, 148, 164, 177, 272, 279, 282] У таких подходов есть достоинства и недостатки. Если студенты позитивно мотивированы и коррекция весов тестовых заданий не применяется, то во втором сеансе тестирования средний результат будет выше. Остановить изменения результатов не удастся, каким бы надежным не был признан используемый тест. Проведите третье тестирование, и – результаты вновь «уплывут», причем, для разных студентов – в разные стороны. Парадокс: чем выше дидактические качества технологии тестирования, чем более она усиливает мотивацию студентов к дополнительному обучению, тем она ненадежнее. Рассмотрим определение надежности, данное В. С. Аванесовым [1]: «Надежность теста – показатель точности и устойчивости результатов измерения при его многократном применении. Надежность теста тем выше, чем «одинаковее» результаты его применения при тестировании однородных групп студентов». Теперь рассмотрим обсуждение надежности, дан80

ное там же (текст приводится в сокращении): «Надежность характеризует степень адекватности отражения тестом соответствующей генеральной совокупности заданий. Раньше предполагалось, что мера надежности является устойчивой характеристикой теста. На надежность сильно влияет степень гомогенности групп студентов, уровень их подготовленности, а также другие факторы, связанные не столько с тестом, сколько с условиями его проведения. Поэтому в последние годы стали чаще писать о надежности измерения, имея в виду тест как результат тестирования в конкретно определенных условиях, а не общую характеристику теста как метода». Подробно ситуацию с определением надежности теста в тестологии описал Е. А. Михайлычев [175]. Оказывается, недоверие к понятию «надежность» давно существует в среде тестологов. Причины того, что подобные обсуждения в российской литературе редки, следует искать в истории тестологии в России. Полвека назад, во имя самого существования тестологии, некоторые ее понятия «мимикрировали», стали похожими на те, что применяется в непререкаемых областях человеческой деятельности. Сама тестологическая терминология стала столь похожей на инженерную, что из нее практически был «вычищен» дидактический смысл. Отсюда –механицизм, инструментальная «надежность». В то же время, и в зарубежной тестологической литературе трудно найти недоверие к «идеалам». По-видимому, причиной того является ориентация на психологическую тестологическую парадигму, где подобных сомнений нет. Понятно, что личностные (психологические) качества, в отличие от обученности, не могут измениться за несколько дней. Отсюда – отношение к надежности теста в психологии. Психологический тест, если он составлен профессионально, надежен в техническом, инструментальном понимании. При внимательном рассмотрении тестологических работ можно заметить, что сами значения «коэффициента надежности», тщательному измерению которых посвящается много сил, после измерения и вычисления нигде реально не применяются. Используется лишь мнение, порожденное в процессе измерения – «этот тест лучше, а тот – хуже». Но разве нельзя для упрочения мнения придумать другие, менее спорные критерии? Надежность не одинока в своем «непостоянстве». Веса тестовых заданий, как и надежность, занимают одно из видных мест в парадигме IRT. При повторении сеансов тестирований, подобно значениям результатов измерений в предыдущем примере, «плывут» и значения весов заданий. Рассмотрим реальную ситуацию. Возьмем тест, составленный в полном согласии с канонами тестологии. Возьмем две группы студентов, которые прекрасно подготовлены по двум разным учебникам избранной дисциплины. Разные учебники потому и разные, что разные вопросы дисциплины там освещены по-разному, в том числе и по-разному несовершенно. Следовательно, одну часть заданий правильно выполнят студенты из первой группы, другую – из второй. Тогда, вычисленный после сеанса вес каждого задания окажется зависимым от группы. Чем меньше студентов выполнивших конкретное задание, тем выше его вес. Следовательно, при условии равновероятности соот81

ветствия заданий тому и/или иному учебнику, вероятность победы выше у тех студентов, которые принадлежат меньшей группе. Выбор учебника для учения и количеств студентов в группах – субъективен. Следовательно, значения весов также практически всегда будут субъективными, поскольку абсолютной репрезентативности выборок в реальных условиях вуза добиться сложно (невозможно). Период вычислений весов тестовых заданий (удовлетворяющий требованиям IRT) долог. Пока пройдут тестирования сотни и тысячи студентов, пройдут месяцы. За такое время в вузе многое меняется – появляются новые учебники, модернизируются учебные программы, учебные дисциплины становятся другими. При этом, естественно, меняются базы тестовых заданий. Вместе с базами, должны меняться и значения весов заданий. «Плывущие» значения весов тестовых заданий объясняют нерепрезентативностью выборки студентов. В изменениях значений весов можно усмотреть закономерности. Если студенты мотивированы, интервалы между сеансами достаточно велики и студенты имеют возможность общения, то после нескольких сеансов веса заданий стремятся сравняться (Рис. 1.11), Рис 1.11 Примерные изменения весов тестовых заданий с течением времени. По вертикали – значения весов, по горизонтали – номера сеансов тестирования, единица – предельное значение весов

1

1 2 3 4 5 6 7 8 9

т.н. «сырые» результаты измерений (до пересчета значений весов заданий) испытывают тенденцию к группировке – рядом с точкой случайного «тыка» и рядом с верхним пределом (Рис. 1.12),

10 20 30 40 50 60 70 80 90

Рис 1.12 Распределение результатов тестирования группы студентов после нескольких сеансов. По вертикали – плотность распределения результатов, по горизонтали – 100-балльная оценочная шкала

надежность теста, вычисляемая на основании результатов текущего и предыдущего сеансов, растет: Рис 1.13 Примерный график роста коэффициента надежности теста с течением времени. По вертикали – значение коэффициента надежности, по горизонтали – номера сеансов

1

1 2 3 4 5 6 7 8 9

Здесь вывод о росте надежности (Рис. 1.13) мы делаем на основе наличия первых двух тенденций, приводящих к «сближению» последовательных резуль82

татов тестирований в смысле приведенной выше цитаты из [1]. Веса тестовых заданий всегда вычисляются для «усредненного» студента. Ситуация с этим вычислением напоминает притчу о больнице, где в качестве показателя успешности работы вычисляли среднюю температуру больных. Вместо того чтобы сравнить результаты двух студентов между собой и напрямую определить реального лидера, тестологи, в рамках принятой парадигмы, сравнивают их результаты с результатом «среднего» студента, который не только «не известен», но еще и «тестировался» в прошлом году. В итоге может случиться, например, ситуация, когда некое простое для «среднего ученика» задание, реальные, учившиеся у конкретного учителя, школьники не смогли выполнить, но это мало повлияет на их итоговый результат. [см. напр.: 253] Иногда для «сохранения» надежности просто запрещают повторные тестирования. Запрещают фотографировать компьютерный экран и выносить из компьютерных классов записи. Так проходили и первые экспериментальные всероссийские тестирования «Телетестинг», проводившихся Центром «Гуманитарные технологии» [2]. Но абитуриенты оказались хитрее – они запоминали задания и передавали их, вместе с решениями, своим коллегам, ожидавшим свой сеанс в очереди в коридоре. «Впереди танков по минному полю шли тральщики». Каждый последующий сеанс проводился с более подготовленными участниками. Если бы тогда значения весов заданий вычислялись каждый час для всей России, мы бы увидели чудесные метаморфозы абитуриентов, умнеющих на глазах, и тестовых заданий, которые в течение дня, становятся все проще. Более того, мы бы увидели, что качество образования чудесным образом зависит от часового пояса. Был ли смысл в скрупулезном расчете весов, длившемся затем несколько недель? Рассмотрим динамику результатов многократного прохождения одного и того же теста одной и той же группой студентов. Для того чтобы картина не стала тривиальной, пусть тест будет вариативным, т. е. его задания каждый раз будут меняться, но спектр их типов будет сохраняться. Пусть веса заданий вычислены заранее так, как это требует теория, и не меняются. После первого сеанса, если тест «достаточно» хорош, а группа студентов «достаточно» представительна и велика, согласно канонам тестологии, должно получиться распределение результатов, как на Рис. 1.14. Рис 1.14 Примерное распределение результатов тестирования группы студентов при «номальной» мотивации. По вертикали – плотность распределения результатов, по горизонтали – 100-балльная оценочная шкала 10 20 30 40 50 60 70 80 90

Каноны тестологии (теория IRT) требуют, чтобы вершина у кривой распределения была одна. Начинаться кривая должна от нуля, затем переваливать через вершину и плавно снижаться к нулю на границе 100%. Так оно 83

иногда и происходит. Если в группе студентов 300-400 человек и более, студенты мотивированы, задания заранее не известны, свойства студентов болееменее однородно распределены, то график получится более-менее плавным. Бывает и иначе. Например, при тестировании по коллективно «нелюбимой» дисциплине или при отсутствии у студентов достаточной мотивации (Рис. 1.15). Рис 1.15 Примерное распределение результатов тестирования группы студентов при слабой мотивации. По вертикали – плотность распределения результатов, по горизонтали – 100-балльная оценочная шкала

10 20 30 40 50 60 70 80 90

Здесь вершина распределения расположена над неким средним значением, которое получится, если все пройдут тестирование методом случайного «тыка». Ширина кривой в этом случае зависит от свойств самого теста и может быть вычислена по стандартным формулам теории ошибок. А может быть и так, что в группу тестирующихся попадут студенты с существенно разным уровнем знаний. Скажем, когда студенты гуманитарного и физикоматематического факультетов одновременно тестируются по тригонометрии. Кривая распределения т.н. «сырых» результатов, когда веса заданий еще не пересчитаны, может стать двугорбой (Рис. 1.16). Рис 1.16 Примерное распределение результатов тестирования неоднородной группы студентов. По вертикали – плотность распределения результатов, по горизонтали – 100-балльная оценочная шкала

10 20 30 40 50 60 70 80 90

Горб, что поближе к нулю (Рис. 1.16), соответствует гуманитариям, а другой – физикам и математикам. Горбы могут быть разделены резко, а могут и слиться в широкую вершину. Степень различения горбов зависит от свойств теста и учебной программы, которую выполнили студенты. Можно предположить и другие ситуации, когда кривая распределения результатов будет многогорбой. Можно проследить, как меняется кривая распределения результатов с каждым новым сеансом. Происходящие сдвиги и их скорость зависит от многих причин: степени внешней мотивации, степени внутренней мотивации, доступности консультаций и др. В случае действующей сильной мотивации, через 3-5 сеансов кривая распределения «сырых» результатов станет такой, как на (Рис. 1.17).

84

Рис 1.17 Примерное распределение результатов тестирования группы мотивированных студентов после 3-5 сеансов. По вертикали – плотность распределения результатов, по горизонтали – 100-балльная оценочная шкала

10 20 30 40 50 60 70 80 90

А потом, еще после нескольких сеансов, результаты большинства студентов окажутся сконцентрированными у границы 100%: Рис 1.18 Примерное распределение результатов тестирования группы мотивированных студентов после многих сеансов. По вертикали – плотность распределения результатов, по горизонтали – 100-балльная оценочная шкала 10 20 30 40 50 60 70 80 90

Неоднородность группы студентов может проявиться в динамике кривой распределения результатов так: • Студенты, потерявшие интерес к тестированию, не имеющие достаточной мотивации или уставшие покажут результаты вблизи уровня случайного «тыка»; • Результаты сильно мотивированных студентов, активно выяснявших друг у друга и преподавателя правильные решения, окажутся через 2-3 сеанса вблизи отметки 100%; • Результаты мотивированных, но слабо подготовленных к дообучению студентов будут медленно расти, двигаться к отметке 100%. Примерная картина такого распределения представлена на Рис 1.19. Рис 1.19 Примерное распределение результатов тестирования группы мотивированных студентов после многих сеансов. По вертикали – плотность распределения результатов, по горизонтали – 100балльная оценочная шкала

10 20 30 40 50 60 70 80 90

Рассмотрение мы провели при условии оговоренного выше постоянства весов тестовых заданий. Поскольку в тестологии существуют хорошо разработанные методы пересчета весов на основании полученных распределений результатов, представленные выше кривые могут быть трансформированы к каноническому «нормальному» виду путем пересчета значений весов (Рис. 1.20).

85

10 20 30 40 50 60 70 80 90

10 20 30 40 50 60 70 80 90

10 20 30 40 50 60 70 80 90

10 20 30 40 50 60 70 80 90

10 20 30 40 50 60 70 80 90

10 20 30 40 50 60 70 80 90

10 20 30 40 50 60 70 80 90

Рис 1.20 Приведение кривых Рис.1.13 - Рис.1.19 к нормальному виду. По вертикали – плотность распределения результатов, по горизонтали – 100-балльная оценочная шкала

При таком пересчете теряется много интересной информации [253]. Если после каждого сеанса тестирований приводить кривые распределения результатов к каноническому виду путем «перевзвешивания», то, вместе с «плывущими» кривыми распределения результатов, мы получим и «плывущие друг к другу» (и, соответственно, к единице) веса, вследствие того, что: • «разочаровавшиеся» студенты нажимают клавиши случайно и, в соответствии с законами случайности, все задания будут выполнять ими, правильно и неправильно, равномерно; • «стремящиеся к успеху» студенты, рано или поздно, узнают все верные варианты выполнения заданий и выполнят все верно; • «середняки» вносят разнобой в описанный процесс, однако их количество постепенно уменьшается за счет самообучения. На процесс «плавания» весов могут влиять артефакты, скажем такой: одна часть участников поверили своему учителю, научившему их ответам на вопросы теста, другая часть – соседу студенту, который решил задания посвоему. В итоге, совершенно случайно, часть заданий частью студентов будет в течение нескольких сеансов выполняться неверно, то есть окажется очень сложной для неизменного состава студентов. А обученность (значения показателей обученности) меняется вместе с проведенными измерениями. Следовательно, спорен смысл скрупулезного перевзвешивания заданий. Технологии тестирования разные, поэтому можно ожидать, что скорость «плавания» результатов у них будет разной. В таком случае, лучшей технологией следует признать ту, которая лучше выполняет дидактическую функцию, ту, где результаты студентов растут быстрее. Или ту, где веса заданий, многократно пересчитываемые при многократных тес86

тированиях, становятся равными быстрее. Ведь смысл дидактики как раз в этом и состоит – научить студентов путем тренировок. Чем быстрее растут результаты – тем лучше технология приспособлена для тренировок, тем выше ее дидактическая ценность (дидактическая релевантность). Результат измерения обученности студента зависит от применяемого инструмента и самого процесса измерения. Оптимизация учебного процесса может быть рассмотрена, например, в четырех аспектах: 1. минимизация времени, затрачиваемого на обучение и контроль; 2. максимизация прироста обученности в единицу времени; 3. максимизация времени сохранения усвоенных знаний; 4. максимизация «прироста» обучаемости в единицу времени. В качестве инструмента, позволяющего оптимизировать учебный процесс, мы далее будем рассматривать дидактическое тестирование.

2.3.

Интерфейс как средство поддержки активности

Формы представления, передачи и контроля усвоения педагогической информации Люди часто полагают, что стоит написать (продиктовать) гладкий учебный текст – и читатель (слушатель) поймет все правильно. Бесформенная, «гладкая», не представленная образно (безобразная) информация не запоминается. Верная, но «деформированная» информация воспринимается неверно. Форма представления образовательной информации может быть разнообразной и неожиданной. Одни и те же сведения о химическом составе молекулы можно представить вниманию студента в форме: детектива, подсказки, иллюстрации, мультфильма, лабораторной работы; игры – «угадайки»; игры – исследования; реферативного исследования; текста; лекции, аудиозаписи, видеозаписи, диалога. Важную роль в форме представления играют элементы неожиданности, сюрпризности, состязательности, «остранения» [305]. Широкий спектр используемых в образовании форм представления информации является как следствием различий в «устройстве» механизма восприятия, запоминания и воспроизведения информации у разных людей, так и свидетельством непрекращающейся работы педагогов над совершенствованием дидактического инструментария. Важность формы представления информации и связь оформления с качеством восприятия и запоминания содержания информации неоднократно подчеркивалась многими авторами: «В тестологии, не менее чем в архитектуре, литературе и искусстве, обнаружились пробелы в изучении формы. Недостаточное внимание к форме оправдывается обычно подчеркиванием важности содержания теста» [1]. Опытные лекторы применяют театральные 87

приемы для усиления восприятия материала, для «зажигания» студентов. Именно форма представления, определяет скорость и качество усвоения и запоминания; способствует «рождению» гения и мастера. Можно указать относительно редкие образцы учебных пособий оснащенных эстетичным и многофункциональным интерфейсом: • «Электронный учебник по начертательной геометрии» (автор - В.Т. Тозик) http://traffic.spb.ru/geom/ созданный на кафедре Инженерной и Компьютерной Графики Санкт-Петербургского государственного университета ИТМО; • «Практикум эффективного управления» (авторы – К. М. Ушаков, Д. Е. Фишбейн, Н. А. Рожкова) http://edu.direktor.ru созданный на кафедре Управления человеческими ресурсами АПКиППРО (г. Москва) Общепринятые формы представления и передачи образовательной информации: устная беседа и лекция; практическая демонстрация (делай как я); прослушивание аудиозаписи; просмотр видеозаписи; чтение (самостоятельное обучение). Отдельно выделим не общепринятые формы, т. е. такие, которыми довольно сложно овладеть и пользоваться. Например: технологии дистанционного сетевого обучения; деловые игры и спектакли. Общепринятые формы (технологии) контроля усвоения информации: устный опрос; игра – взаимный опрос (когда студенты в течение выделенного времени опрашивают друг друга и ставят оценки), или взаимная проверка письменных работ; проверка выполнения контрольных и практических работ, написания диктантов, заполнения тестовых анкет; устный экзамен; оценивание практических действий в реальном времени (в мастерской); коллективное прослушивание и оценивание устного выступления. К необщепринятым формам (технологиям) представления, передачи и контроля усвоения информации относят те, которые не получили пока достаточно широкого распространения и связаны с игровыми компьютерными технологиями. Игровым, например, можно сделать чтение учебного текста на компьютерном мониторе. Для этого достаточно имитировать интерактивный режим так, что на некоторые действия читателя (перенос указателя мыши в определенные области экрана и пр.) компьютер ответит фразой. Демонстрация случайной цитаты способна вызвать в воображении человека яркий образ, который провоцирует более глубокое освоение прочитанной информации.

Конструирование форм представления образовательной информации По сей день конструирование форм представлений образовательной информации является искусством и доступно немногим, несмотря на огромное количество рекомендательной и справочной литературы. Существует сложившееся мнение, что конструирование форм представлений образовательной информации – процесс, не поддающийся технологизации. 88

Подобрать форму представления для конкретной информации из перечня – проще. Но и эта задача требует знаний и сноровки. Форма не должна наскучить. Но и меняться часто, мельтешить, тоже не должна. Форма не должна отвлекать внимание от учебы, отнимать много учебного времени – за время урока учитель должен успеть изложить запланированную информацию. Форма, так же, как и содержание, рождается, живет и «надоедает». Провести урок так, чтобы не нарушить этих требований – искусство. Педагог никогда не имеет необходимой информации о характерных особенностях восприятия каждого ученика в отдельности, и аудитория практически всегда разнородна, поэтому эффекта в учении можно достичь, лишь комбинируя формы представления информации и выбирая те из них, которые приводят к наилучшему результату в данной аудитории. Осуществить выбор помогают устные опросы, оперативные контрольные работы. Это не всегда удобно. Устный опрос требует много времени, а результаты контрольных работ в большой аудитории не вполне объективны. Здесь – широкое поле для применения компьютерных технологий. Каждой форме представления образовательной информации, соответствуют технологии: конструирования; наполнения; хранения; защиты; обработки; передачи контроля полноты и верности усвоения информации. Выделим четыре группы основных недостатков интерфейса ДПК Недостатки интерфейса учащегося: • отсутствие свободы выбора режимов самообучения; • отсутствие соревновательного компонента, элементов сюрпризности и привлекательности; • однообразие представления информации (эффект «ровной дороги»). Недостатки интерфейса составителя тестовых заданий • сложность освоения; • большие затраты времени на ввод информации и конструирование заданий; сложность ввода графической информации; • сложность перевода тестовых заданий в электронный вид, необходимость присутствия дополнительного специалиста; • отсутствие анимационных средств; • сложность редактирования тестовых заданий. Недостатки интерфейса экзаменатора • сложность освоения; • отсутствие средств оперативного контроля успехов студентов; • отсутствие средств наблюдения за интегральными успехами группы; • сложность сравнения результатов тестирования групп студентов по разным дисциплинам. Недостатки интерфейса руководителя учебного заведения • сложность освоения; • отсутствие средств систематизации и хранения результатов; • отсутствие средств сопоставления успехов учебных групп по разным дисциплинам и во времени; 89

• сложность оперативного контроля успеваемости студентов. По нашему мнению, наименее всего создатели интерфейса, рпаботая над устранением отмеченных недостатков, обращают внимание на выполнение следующих требований: • привлекательность процедуры тестирования, психологически правильное выстраивание инструктажа и пр.; • дружественность интерфейса (наличие элементов помощи); • представительность результатов аттестации приобретенных знаний; • конвертируемость результатов; • подбор формы заданий (неправильная форма приводит к неправильному выражению содержания и пониманию смысла задания); • соответствие инструкций форме и содержанию заданий.

Интерфейсы мультидисциплинарных дидактических программных комплексов «Диалог» и «Дидактор» Обучение и контроль знаний становятся наиболее эффективными, когда им придаются атрибуты соревнования - массовость, сюрпризность, занимательность и др. Само обучение при этом становится желанным и целенаправленным. Коллективные компьютерные деловые игры смогут превратить учеников из подопытных кроликов, статистов и болельщиков в активных участников, членов команды своего учителя, активно познающих и применяющих знания. Образовательный и воспитательный эффекты такого «превращения» столь же очевидны, как и не используемы в практике создания. В данном разделе представлены особенности интерфейса двух дидактических программных комплексов, применяемых нами для тестирования обученности студентов с 1995 по 2005 гг. Поскольку тестирование, происходящее здесь, является незаметным и допускает недвузначную логику оценки и коррекцию ошибок, т. е. не является традиционным «жестким», нами предложено называть его непрямым, косвенным, «мягким». Впервые термин «мягкие технологии» введен в педагогический оборот в России в конце XX века (А. М. Лобок, Г. П. Звенигородская [99, 159]) для обозначения гуманистичных, «прощающих», побуждающих технологий обучения. В качестве англоязычного аналога, термину «технология мягкого косвенного тестирования» мы сопоставили «indirect-mild-testing technology» или, сокращенно – «IMT-technology». «Диалог» Интерфейс ДПК «Диалог» реализует известную в педагогике идею платоновских диалогов. В процессе работы с ним учащемуся предлагается поучаствовать в полуинтерактивном диалоге с анимированными изображениями известных ученых, писателей, литературных героев на учебные темы. Студент вовлекается в диалог, организуемый на фоне классной доски. Там 90

персонажи «помещают» изображения, фразы, формулы. С помощью «проектора» и «лазерной указки» персонажи ведут «обсуждения» и, иногда, обращаются к учащемуся за «поддержкой». Действия учащегося заключаются в нажатии клавиш «согласен» - «не уверен» - «не согласен». Можно и «отмолчаться» - пропустить нажатие. Иногда персонажи «предлагают» учащемуся ввести с клавиатуры число или слово (это вариация тестирования в открытой форме). По окончании диалога происходит оценивание верности действий, и студент получает награду - рейтинг. В зависимости от действий учащегося, сценарий виртуальной беседы ветвится. В случае частых ошибок «обыгрывается» возврат и беседа возобновляется в другом русле. Вместе с «персонажами», в действии участвуют «классики» - портреты признанных авторов. Они подсказывают учащемуся верные действия и объясняют ему сложные моменты диалогов. Иногда «классики» спорят между собой относительно понятий, трактовавшихся различно в разное время. В своих высказываниях они точно придерживаются концепций своего времени, что позволяет представить ДПК «Диалог» как инструмент для ведения учебного процесса в рамках известной философскопедагогической концепции «диалога культур» [38]. Учебный диалог, оснащен обращениями к учащемуся и элементами сюрпризности. Студент вовлекается в диалог персонажей, организуемый на фоне классной доски с соответствующим антуражем. На доске персонажи «пишут» высказывания, формулы. С помощью «проектора», они показывают иллюстрации и клипы. «Лазерной указкой» персонажи указывают детали иллюстраций, формул, высказываний. Поучающая и тестирующая функции совмещены, реализуются одновременно: в процессе диалога, в зависимости от действий студента, персонажи поучают его, приводят суждения, которые могут быть использованы далее на пути к успеху. Персонажи, приводящие верные суждения, оформлены как висящие на стенах аудиторий анимированные «портреты классиков». Комплекс «Диалог» лишен многих известных недостатков и ограничений. В противовес системам прямого, жесткого тестирования, лежащая в его основе идеология названа концепцией мягкого тестирования. Основа идеологии достаточно проста - скрытое измерение параметров студента через наблюдение за ним непосредственно в ходе процесса обучающей игры. Другими словами, учебные и контролирующие блоки не механически совмещаются «под крышей» пособия, но сливаются таким образом, что затрачиваемое на обучение время совпадает с временем, затрачиваемым на контроль знаний, а не прибавляется к нему. Скрытый контроль знаний применяется не только для оценки успеваемости, но и для управления процессом обучения. Поскольку авторы составляют диалоги так, что информационное наполнение всех блоков практически равноценно, нет нужды в применении специальных техник пересчета весов, и рейтинг здесь вычисляется как простая сумма, нормирующаяся на 100%. Тексты диалогов не содержат вопросительных конструкций, поскольку опыт показывает, что такие конструкции почти всегда порождают двусмысленности, неоднозначности. Тексты диало91

гов оснащены «точками ветвления», т.е. такими точками, где возможно подключение разных запрограммированных участков диалога, в зависимости от действий студентов. Таким образом, реализуется возможность дополнительного пояснения или более углубленного рассмотрения материала. Важно присутствие в диалогах доли юмора, бытовых высказываний. Особенно они важны в точках ветвлений. Мультимедийный вариант «Диалога» где вместо «доски» на экране присутствуют изображения улиц городов, а герои говорят на иностранных языках назван «Толмач» и может применяться для обучения синхронному мультиязычному переводу. Вариант деловой игры по мотивам сказки Л.Лагина «Старик Хоттабыч» может применяться для обучения истории, политологии, географии. Он назван нами – «Ковер-самолет». «Диалог» и Диалог культур. В процессе работ над сценарием комплекса «Диалог» было выяснено, что возможности используемого подхода значительно шире, чем предполагалось в начале пути. Одним из интересных направлений развития сценария оказалось культурологическое, а именно те направления культурологии и педагогики, которые связаны с известной идеей о плодотворности философско-педагогической концепции «диалога культур» [38] в учении. Эта идея предполагает, что учение станет более плодотворным, если в процессе объяснения материала педагог будет привлекать сведения и воззрения на изучаемый объект из разных культурных эпох. Эти воззрения должны демонстрироваться в споре, наряду с современными точками зрения, наглядно показывая сложность объекта и пути его познания. Сценарий «Диалог» позволяет строить сеанс так, что студент окажется вовлеченным в спор ученых, философов, политических деятелей разных эпох. Например, можно соединить в одном гипотетическом споре Сократа, Платона, и Антона Макаренко; Эйнштейна, Ньютона и Аристотеля; Петра-I, Иосифа Сталина и Никиту Хрущева, и др. Эти персонажи, естественно, будут высказывать именно свои «точки зрения» опубликованные либо подтвержденные свидетельствами и исследованиями. Изложение учебного материала в форме диалога позволяет по-новому взглянуть на многие положения, задуматься о том, на что ранее не обращалось внимание. Этот феномен ощутили на себе преподаватели и студенты, принимавшие участие в экспериментах по внедрению «Диалога» в учебный процесс ДВГУ и в процесс приема вступительных экзаменов абитуриентов ДВГУ (физический, юридический, исторический, филологический ф-ты). Студенты, работавшие с «Диалогом», спонтанно заводили споры между собой и с преподавателем, обращались к учебникам, доказывая – мог или не мог какой-либо из персонажей «произнести» конкретную фразу. И здесь в спорах рождалась не только истина, но и думающие молодые специалисты. Диалог и «Аквариум». Аквариум - интересная форма занятий со студентами, давно применяемая в медицинских учебных заведениях. Выглядит обучение здесь так: несколько преподавателей собираются вокруг стола, например операционного, и обсуждают между собой реальные проблемы – как лечить больного и пр. В отдалении на возвышении находятся студенты и на92

блюдают за происходящим. Студентам иногда дают возможность высказаться. Эта форма может применяться и как экзамен – чем меньше студента интересует происходящее, т.е. учебная дисциплина, тем дальше он постепенно физически отдалится от огораживающего преподавателей барьера. В США эту форму применяют экономисты, менеджеры, физики. Там она получила название «Аквариум». А преподавателей студенты при этом называют «золотыми рыбками». «Диалог» - компьютерное воплощение «Аквариума», настолько схожа лежащая в их основе идеология: ведение обучения и контроля знаний в адаптивном диалоге, где «учителей» много, а «ученик» один. «Встречное движение мысли». У преподавателей есть в арсенале методических средств прием "Придумай задачу на это правило". Такие приемы, когда учащимся предлагается не решать задачи, а придумывать новые, педагог и математик Д. Пойа назвал "встречным движением мысли". Многие педагоги считают, что именно такие упражнения нужны для тренировки мозга будущих первопроходцев науки. Применение такого приема требует от педагога находчивости, умения быстро ориентироваться в материале смежных дисциплин, куда фантазия моментально «уводит» студентов. Не каждому преподавателю под силу вести занятия по такой технологии в большой учебной группе в течение длительного времени. Среди студентов такие занятия пользуются особой популярностью. «Дидактор» Тренажер «Дидактор» стал наиболее массовым в применении для тестирования обученности специалистов и студентов в Приморском крае. Разновидность примененной здесь методики НМТ заключается в использовании известного педагогического приема, основанного на известной идее, приписываемой многим известным педагогам и философам - Сенеке, Платону и Сократу и др. – «Для того, чтобы научиться, - научи другого». Процедура тестирования при этом является «мягкой» и «непрямой» она скрыта от студента, который не отвечает на заранее определенные вопросы компьютера, а самостоятельно «выбирает и раздает» задания, а затем оценивает результаты их выполнения «учениками» в многозначной шкале. В ДПК «Дидактор» могут применяться ТЗ всех известных сегодня в тестологии [1, 153] форм. Студенту здесь предлагается играть роль учителя, проводящего устный опрос в виртуальном классе. Наполнение комплекса часто используется стандартное – база ТЗ типа «вопрос и четыре варианта ответа на выбор». Хотя возможности «Дидактора» шире. «Дидактор-6» позволяет использовать ТЗ открытого типа, мультимедийные задания, связанные задания. ТЗ можно группировать, представлять испытуемым в определенном или случайном порядке. Оценка и рейтинг вычисляются «Дидактором» также в нескольких вариантах. Здесь, в отличие от стандартной ситуации использования закрытых ТЗ, студент может видеть на экране много заданий (свобода выбора), но только один вариант выполнения - «ответ виртуального ученика» (невозможность сравнения). 93

В процессе тестирования оцениваются: • Знание общих сведений по дисциплине; • Знание определений, фактов, дат, названий, формулировок; • Навыки решения типовых учебных задач; • Умение решать сложные проблемы (сообразительность) Соответственно, ТЗ делятся на 4 группы. После окончания сеанса студент получает оценку по каждому из направлений оценивания, рекомендуемую интегральную оценку и рейтинг, перечень ошибок. Студент может пользоваться шпаргалкой в процессе тестирования. В этом обучающая функция «Дидактора». Результаты выполнения тех заданий, где это произошло, не включаются в итоговые оценки и рейтинг. То, что студенты активно пользуются шпаргалкой, ни в коей мере не может стать нежелательным артефактом итога многократных тестирований. • Во-первых, заданий много, зазубрить ответы на все невозможно; • Во-вторых, задания выбираются для каждого студента случайным образом и повторяются в разных сеансах крайне редко; • В-третьих, если задание повторится и студент вспомнит правильное его решение, он – заслужил положительную оценку; • В-четвертых, пользование шпаргалкой не прибавляет очков, а даже опосредованно убавляет, поскольку время тестирования ограничено. Преподаватель имеет возможность ознакомиться с характерными ошибками студентов, сохраняющимися для него, скорректировать параметры для выставления итоговой интегральной оценки. Комплекс «Дидактор» оказался технологичней комплекса «Диалог» в смысле простоты создания БТЗ. Составить вопрос и несколько ответов к нему – значительно проще, чем составить разветвленный текст диалога. Тем не менее, автора наполнения «Дидактора» также подстерегает психологический барьер. Ежедневно выставляя учащимся «тройки» и «четверки», опытный преподаватель привыкает действовать подсознательно, основываясь не только на реальном ответе, но и на поведении и предыстории учащегося. Анализируя же собственноручно составленные письменные тексты, преподаватель часто затрудняется в их оценке. Поэтому авторы, несмотря на все видимые достоинства методики НМТ реализованной в «Дидакторе», ограничиваются составлением только верных и неверных вариантов. Это снижает ценность инструментария. Термин «мягкое тестирование» означает, что из процесса тестирования устранены резкие границы оценки вариантов выполнения ТЗ. Вместо двухступенчатой шкалы «верно – неверно», здесь используется иные шкалы, например: трехступенчатая «верно» - «почти верно» - «не верно»; четырехступенчатая «верно» – «не полно» – «не точно» – «не верно». Такие шкалы лучше, чем двухступенчатая, соответствуют человеческой логике и образовательным целям. Здесь можно использовать, без изменений, имеющиеся базы заданий закрытой формы. Но лучше их изменить, введя в каждое задание, кроме верных и неверных вариантов ответов, еще неточные и неполные. При 94

этом форма тестовых заданий сохранится, будут лишь уточнены оценки вариантов. Примеры здесь приведены. Конструкцией «Дидактора» предусмотрена не традиционная техника представления заданий. Студенту предъявляется тест – выборка из большой базы тестовых заданий закрытой формы. Студент не видит на экране всех вариантов выполнения – только один. Именно этот единственный вариант студент и должен оценить по многоступенчатой шкале. Остальные варианты скрыты для того, чтобы не дать возможности студенту воспользоваться простым логическим сравнением. Если студент решит, что один из предыдущих вариантов он оценил не правильно, он может вернуться и совершить переоценку. Описанный вариант сценария реализован коллективом Центра новых образовательных технологий ДВГУ в 1996 году в электронном тренажере «STeacher» («Добрый учитель»). Этот тренажер был создан для работы в среде DOS. Он долгое время эксплуатировался в ДВГУ и школах Приморского края, но, с развитием компьютерной техники потребовалась его обновление для работы в средах Windows. Модернизированный тренажер, основанный на этой идее, созданный коллективом Тихоокеанского института дистанционного обучения и технологий (ТИДОТ ДВГУ, Владивосток) в 1999 году и применяющийся для тестирования знаний студентов и школьников по настоящее время, получил название «Дидактор». БТЗ «Дидактора» создана коллективом специалистов факультетов ДВГУ, Института довузовского образования ДВГУ и Открытого университета ДВГУ (руководители коллектива – Смаль Н. А., Вовна В. И.). Она включила более 20 тысяч заданий для более 40 школьных и более 200 вузовских дисциплин. В ранних версиях «Дидактора» не были реализованы мультимедийные возможности, которые позволяли бы вести многоплановое тестирование знаний языков. Оболочки «Дидактор-3» и «Дидактор-4» были созданы с использованием возможностей Интернет-редакторов. Пришлось отказаться от их использования для массовых тестирований, т.к. они оказались неустойчивыми к «взлому». В 2004 году коллективом лаборатории Мультимедиа (зав. лабораторией – Морев И. А., руководитель проектного коллектива – Вовна В. И.) ОУ ДВГУ создана версия тренажера «Дидактор-6», где реализованы и графические, и мультимедийные возможности, необходимые при изучении языков или технических наук. «Дидактор-6» позволяет вести тестирование в нетрадиционной форме, например, как диктант. «Дидактор-6» позволяет использовать мультимедийные задания закрытой и открытой формы, сортированные по группам с произвольными признаками. Алгоритм выборки заданий – определенный либо случайный. Вычисление оценки и рейтинга студента производится с учетом признаков групп заданий по алгоритму, позволяющему «обойти» некоторые известные в тестологии трудные моменты (см. ниже). Психологические барьеры студентов. Опросы студентов Прошедших тестирований с комплексом «Дидактор» показали: • Оформление процедуры тестирования в виде деловой игры позволяет снять психическое напряжение и устранить эффект «ровной дороги»; 95

• Пройти тестирование стало сложнее, поскольку нельзя использовать простое логическое сравнение; • Деловая игра побуждает студентов к пользованию электронной «шпаргалкой» (инициирует процесс самообразования), а затем к повторному и многократному тестированию. Школьниками сценарий «Дидактора» воспринимается легко. Они быстро понимают идею интерфейса и, практически, сразу прекращают тренировку, переходя к основному тестированию. Со студентами, имеющими опыт централизованных тестирований в рамках других сценариев, ситуация оказалась сложнее. Одним из «камней преткновения» для некоторых студентов стала заложенная в сценарии «Дидактора» принципиальная невозможность одновременного просмотра вариантов выполнения ТЗ для простого логического сравнения. Эти студенты привыкли применять свои логические способности в тестировании по бланковой технологии, получая за счет них высокие рейтинги. Компьютерный «Дидактор» не позволяет им этого делать, поскольку предназначен для оценивания не логических способностей, а знаний. В результате – рейтинги таких студентов снижаются на фоне среднего рейтинга. Таких студентов немного, однако, они часто воспринимаются окружающими в качестве «выразителей» воли всего студенчества. Есть студенты другие, для которых нетерпима традиционная трехбалльная «уравниловка». Они желают иметь достойную оценку своим знаниям, объективные ориентиры, не «уравниваться» с бойкими коллегами. Они быстро осознают достоинства «Дидактора» и принимают его. Преподавателей также можно подразделить на группы по отношению к технологиям тестирования. Например, иногда преподаватели используют такой критерий: чем меньше двоек получают студенты, тем лучше тестирующий комплекс. Возможность сравнения вариантов, непроизвольно закладываемая в традиционно используемых тестовых заданиях закрытого типа давно является объектом критики со стороны профессиональных тестологов, поскольку имеет, как минимум, две негативных стороны: во-первых, очень трудно составить варианты так, чтобы правильный ответ был подобен неправильному, а неправильный – правильному; во-вторых, и тому есть описанные примеры в российской и зарубежной практике, когда учащемуся достаточно немного попрактиковаться, чтобы успешно проходить тест, не имея знаний по дисциплине, а только за счет «привыкания» к стилю составителя заданий. Например, хорошо известно, и этот пример приводится в большинстве пособий по тестологии, что практически все неопытные составители заданий правильные ответы делают «длиннее» неправильных. Психологические барьеры педагогов. Своеобразная «тестовая культура», уже сложившаяся в мире и России, приносит свои плоды - и позитивные, и негативные. К позитивным плодам следует отнести, например, ушедшее в прошлое «глухое» сопротивление педагогов внедрению тестовых технологий и крепнущее доверие тестовым технологиям. К негативным явлениям, сопровождающим процесс внедрения, отнесем ощутимое стремление преподавателей облегчить процедуру тестирования, превратить ее в «легкую 96

прогулку» для учащегося. В частности, это стремление сводится к «настойчивым пожеланиям» со стороны части преподавателей к нивелированию особенностей «Дидактора». Причины этого негативного явления просты и понятны. На протяжении последних, нелегких для системы образования России, лет многие преподаватели изменили свое отношение к оценке знаний и умений, «повысили» ее. Для этого были субъективные основания, так или иначе влияющие на учебный процесс: чем выше были оценки выставляемые педагогом своим ученикам, тем выше была оценка его педагогической деятельности. А компьютеру – не прикажешь. Часта ситуация, когда «по милости» компьютера вчерашний отличник становится троечником.. Есть педагоги, которым трудно представить, что студенты будут играть в игру, пусть учебную, на занятии. Есть студенты – «юные старички», поелонники идеи об обязательной «серьезности» и «занудности» всего, что связано с учебным процессом. Эти люди будут писать в разные инстанции о том, что учебный процесс – не игрушка, и о том, чтоб их учили «как требуется по инструкции». Ропот таких студентов длится лишь до первой полученной после тестирования «пятерки», а недоверие педагогов исчезает, когда они убеждаются в объективности распределения оценок и в том, что студенты после тестирований больше задают интересных учебных вопросов. Меньше трудноадаптирующихся педагогов и студентов среди тех, кто преподает и изучает психологию, маркетинг, менеджмент, т.е. относительно новые науки, где использование деловых игр в учении поощряется. Отличия процедуры мягкого тестирования. Процедура мягкого тестирования отличается от традиционной (жесткой): • Организацией режима тестирования знаний в виде деловой игры. • Произвольностью выбора студентом порядка выполнения заданий. • Предоставлением студенту возможности произвольного возврата и исправления случайной либо осознанной ошибки, что увеличивает объективность результата тестирования. • Исключением необходимости чтения большого количества «ошибочных» текстов снижает непроизводительные потери времени и влияние эффекта «зазубривания чужих ошибок». • Наличием элементов соревнования и отсутствием традиционных ограничений на количество сеансов для одного студента, стимулирует процесс самообучения и обеспечивает массовость тестирований. • Дружественностью и интуитивной понятностью интерфейса. Наличием поощрений, сюрпризов и игровых элементов, нивелирующих негативное влияние психологической напряженности. • Публичностью (т.е. предусматривается публикация результатов, позволяющая реализовывать не только ресурсы соревнования, но и новые направления взаимодействия с работодателями, которые заблаговременно получат возможность ознакомления с успехами будущего работника); • Затрудненностью выполнения заданий путем простого логического сравнения текстов. Предоставление информации о верности действий студента 97

только после выполнения всего теста. • Использованием ТЗ с многозначной шкалой оценивания ответов и повышением, в связи с этим, степени объективности суждения об умении студента определить степень верности суждений и решений задач; • Избыточностью. Количество заданий, предъявляемых к выполнению, больше, чем необходимо для получения высшей оценки. Это важно когда студенты учились по разным учебникам и учебным программам. • Мультимедийностью учебных и тестовых материалов; • Наличием как 5-балльной, так и рейтинговой шкалы оценивания; • Ведением тестирования и самообучения параллельно. Тестовые задания снабжены доступной учащемуся шпаргалкой, включающей правильный ответ либо развернутый иллюстрированный учебный текст. • Многоуровневостью тестовых заданий. Дидактор-6 включает 4 уровня заданий, где оценивание результатов проводится независимо: знание общих сведений по дисциплине, знание определений, умение решать стандартные задачи, умение решать проблемы или комплексные задачи. • Устранением ряда известных проблем (построения дистракторов, вычисления весов, нивелирования фактора угадывания) путем o ограничения доступа студентов к полному перечню вариантов и перехода от традиционного принципа «вижу одно задание и много вариантов выполнения для выбора лучшего» к принципу «вижу много заданий и один подлежащий оценке вариант выполнения»; o неограниченности количеств вариантов выполнения заданий; o использования большого банка заданий и генерации индивидуального списка заданий для каждого учащегося случайным образом; o применения отличной от стандартных процедуры вычисления рейтинга: перехода от «взвешенного среднего арифметического» к «взвешенному среднему геометрическому». • Упрощением труда автора за счет наличия в комплексе блока автоматизации построения базы заданий на основании электронного документа в формате RTF с присоединенными элементами – графиками, таблицами, изображениями, звуком, клипами. • Упрощением работы преподавателя за счет использования интуитивно понятного русифицированного интерфейса и сохранения в банке результатов не только оценок и рейтингов студентов, но и индивидуальных протоколов сеансов по каждой теме Часть перечисленных отличий (соревновательность, публичность) реализуются организационно, в соответствии с инструкцией. Сюрпризность реализуется авторами в соответствии с рекомендациями. Типы тестовых заданий. Сценарий «Дидактор» включает выполнение мультимедийных ТЗ всех четырех принятых в тестологии форм. Каждый элемент задания может содержать произвольно форматированный текст (формат RTF), таблицы, иллюстрации, формулы, звуковые фрагменты, клипы. Задания могут быть сгруппированы так, что первые два элемента (см. ниже) станут 98

общими для них, предваряя их выполнение. Такой способ применяется, например, когда несколько заданий касается одного и того же довольно большого демонстрационного материала. Использование «подсказки» в ТЗ аннулирует оценку дальнейшего выполнения данного задания. Все задания разбиты на четыре уровня в соответствии с замыслом автора. Оценки выполнения заданий на каждом уровне вычисляются и представляются в виде четырехкомпонентного векторного рейтинга. На основании этих четырех оценок вычисляется скалярный рейтинг. ТЗ закрытой формы могут содержать: инструкцию; демонстрационный материал (текст, звуковой фрагмент, клип); задание; подсказку; несколько вариантов выполнения задания с оценкой «верно»; несколько вариантов выполнения задания с оценкой «не полно»; несколько вариантов выполнения задания с оценкой «не точно»; несколько вариантов выполнения задания с оценкой «не верно». После знакомства с инструкцией и демонстрационным материалом, студент вызывает на экран (по одному, в случайном порядке) варианты выполнения и оценивает их. Если варианты содержат звуковые фрагменты, можно повторять их прослушивание. Можно возвращаться к выполненным заданиям и делать переоценку. Затем компьютерная программа анализирует действия студента на совпадение его оценок с оценками автора. ТЗ открытой формы могут содержать: инструкцию; демонстрационный материал (текст, звуковой фрагмент, клип); задание; подсказку; точный вариант выполнения задания – «матрицу»; варианты выполнения задания с ошибками и пропусками в тексте. После знакомства с инструкцией и демонстрационным материалом, студент вызывает на экран (по одному, в случайном порядке) варианты выполнения и, с помощью клавиатуры, вставляет необходимые символы в отведенные места, либо исправляет содержащийся там текст. Можно возвращаться к выполненным заданиям и делать дополнительные исправления. Затем компьютерная программа анализирует действия студента на совпадение его варианта исправлений с вариантом автора (матрицей). ТЗ на установление соответствия могут содержать: инструкцию; демонстрационный материал (текст, звуковой фрагмент, клип); задание; подсказку; точный вариант выполнения задания – «матрицу»; вариант выполнения задания с пропусками для заполнения в строке соответствий. После знакомства с инструкцией и демонстрационным материалом, студент вызывает на экран (по одному, в случайном порядке) варианты выполнения и, с помощью клавиатуры, вставляет в отведенные места шифр соответствия. Элементы массивов, предназначенные для установления соответствия между ними, помечены: элементы первой группы – цифрами, элементы второй группы – буквами. Шифр соответствия представляет собой строку символов, где на нечетных местах стоят цифры и на нечетных – соответствующие им буквы. Можно возвращаться к выполненным заданиям и делать дополнительные исправления. Компьютерная программа анализирует действия студента на совпадение его варианта с авторским. ТЗ на установление последовательности могут содержать: инструкцию; демонстрационный материал (текст, звуковой фрагмент, клип); задание; 99

подсказку; точный вариант выполнения задания – «матрицу»; вариант выполнения задания с пропусками для заполнения в столбце соответствий. После знакомства с инструкцией и демонстрационным материалом, студент вызывает на экран (по одному, в случайном порядке) варианты выполнения и, с помощью клавиатуры, вставляет цифры в отведенные места. Можно возвращаться к выполненным ТЗ и делать дополнительные исправления. Затем программа анализирует действия студента на совпадение его варианта столбца соответствий с вариантом автора. К ключевым характеристикам теста относятся: названия дисциплины и темы тестирования, данные авторов, параметры вычисления результата, количество заданий каждого уровня, отводимое на сеанс время. Стиль заданий. Стиль заданий Дидактора может быть стандартным, деловым. Однако опыт показывает, что заинтересованность студентов в учении и тестировании возрастет, если при редактировании придерживаться следующих правил. • Не следует употреблять без необходимости чересчур «книжные» словарные обороты. Изложение ТЗ должно быть «разговорным» и содержать обороты, специфические в общения учителя с учеником. • Следует избегать излишней краткости формулировок элементов ТЗ. • Следует отвлекать студента от мысли о контроле, снимать психологическую напряженность и усталость, поддерживать ощущение игры. • Следует тексты ТЗ подкреплять сравнением, иллюстрацией. • Там, где можно предвидеть затруднения студента в оценке вариантов, следует включать комментарий. Публикация результатов. В течение прохождения массовых тестирований ежедневно публикуются результаты. Все имеют свободный доступ к результатам. Результаты публикуются под псевдонимами. Если у студента нет псевдонима, публикуется его фамилия и инициалы. По окончании тестирований результаты представляются преподавателю. ТЗ каждого уровня составлены автором так, что они однородны по сложности и трудоемкости для «среднестатистического» студента. Это – важная посылка описываемой процедуры оценивания студентов. На каждом уровне студенту представляется заданий больше, чем необходимо выполнить для успешного прохождения уровня. Избыточность необходима для уравнивания шансов на успех студентов, обучавшихся по разным учебникам и у разных преподавателей. Соотношения количеств и избыток заданий на уровнях задаются параметрами. В течение сеанса студент выбирает самостоятельно (гуманистичность процедуры) задания из списков и оценивает по четырехступенчатой шкале представляемые в случайном порядке варианты выполнения выбранных ТЗ. Задание считается выполненным абсолютно верно, когда выбор «оценки» студентом совпал с авторским. Выраженная в баллах степень верности выполнения задания зависит от степени совпадения оценок автора и студента. Если студент приступал к выполнению одного задания М раз, результат выполнения вычисляется как среднее арифметическое соответствую100

щих элементов оценочной таблицы M

Si = j

∑ (s k =1

j i

)k ,

M

j

где S i - результат выполнения j-го задания на i-м уровне, M – количество попыток выполнения данного задания, k – номер попытки. При этом для любых значений индексов выполняются очевидные ограничения: − 2,5 ≤ sij ≤ +1,0 и − 2,5 ≤ S i j ≤ +1,0 .

В пределах одного уровня, результат далее вычисляется как простая арифметическая сумма очков, полученных за выполнение каждого задания. N

Pi = ∑ S i j

,

j

где N – количество заданий в списке i-го уровня, i = 1,2,3,4. При превышении величиной Pi заданного нормативного значения, уровень считается успешно пройденным. Это нормативное значение может быть разным для разных уровней. Пятибалльная оценка действиям студента после завершения сеанса ставится автоматически в согласии со следующим алгоритмом: • «5» – за успешное прохождение любых 4-х уровней, • «4» – за успешное прохождение любых 3-х уровней, • «3» – за успешное прохождение любых 2-х уровней, • «2» – за успешное прохождение только 1-го уровня. Такой подход позволяет разрешить известную проблему отсутствия объективного обоснования, какую из пяти возможных оценок следует сопоставить значениям рейтинга. Четыре суммы баллов, набранных студентом при прохождении каждого из четырех уровней, являются компонентами векторного рейтинга. Если, на каком-либо уровне, студент набрал большее количество очков, чем это требуют условия сеанса - это учитывается вычисляемой далее величиной скалярного рейтинга. При вычислении рейтинга в тестологии всегда приходится иметь дело с проблемой «взвешивания» и учета весов заданий. Все известные процедуры такого учета не лишены изъянов, связанных с потерей объективности результатов измерений при смене выборки; сопоставимости результатов студентов при попадании их в разные выборки и «перевзвешивании». Условие уровней, фиксирующее количество разных типов ТЗ, позволяет обойти эту проблему. Скалярный рейтинг в тренажере «Дидактор-6» вычисляется как среднее геометрическое результатов на всех уровнях: R = [4

Ph

4

∏ (1 + P

N h

h =1

N

) − 1] ∗ 100%

где индекс h нумерует уровни, Ph - нормативный уровень прохождения уровня h. Легко видеть, что вес заданий одинакового качества (т.е. характеризуемых одинаковой сложностью) сгруппированных по уровням, каким бы 101

он ни был, автоматически сокращается при таком вычислении скалярного рейтинга. Здесь нет необходимости во взвешивании заданий. Среднее геометрическое никогда не превышает среднего арифметического. Величины Ph здесь принимаются равными нулю, если они получены отрицательными. Единицы под корнем и вне корня – технологические, они нужны для устранения отрицательных и мнимых результатов в известных экстремальных случаях (когда характеристики студента ниже всяких похвал). Величина R может превысить значение 100% лишь в случае, когда студент превысил в своих результатах нормативы на уровнях. Тогда это подтверждается при подведении итогов и остаток суммы баллов, превышающей 100%, заносится в протокол тестирования как «приз». Логичность этого подхода очевидна – так проще выбрать «лучших из лучших». Значительного снижения вероятности угадывания здесь можно достичь путем применения технологии двухуровнего тестирования. Двухуровневое тестирование. Двухуровневое тестирование – относительно новое понятие в тестологии. Идея его заключается в добавлении еще одного алгоритмического блока к стандартной схеме, в том месте, где студент уже оценил предъявленный ему вариант выполнения задания и должен произойти переход к следующему заданию. Согласно игровому сценарию, студент играет роль учителя. Если виртуальный ученик представил ему вариант выполнения задания, оценка которого не совпадает с «верно» или «не верно», логично ожидать продолжения диалога. Учитель должен задать виртуальному ученику «наводящий» вопрос, выбрав его в появившемся меню, а ученик должен ответить. Этот ответ ученика принадлежит второму уровню. Второй уровень заданий (наводящих вопросов) адаптируется к каждому варианту выполнения заданий первого уровня. Двухуровневый сценарий не только эмулирует интерактивность, но и создает у студента ощущение проверки именно глубины знаний. Особого обсуждения заслуживает «вознаграждение», которое добавится к рейтингу студента после прохождения второго уровня. К сожалению, эта тема еще ожидает своей детальной разработки.

2.4.

Методика непрямого мягкого тестирования. Требования к сценарию и интерфейсу дидактического программного комплекса

В рамках современной дидактической тестологии ведется интенсивный научный поиск новых способов контроля обученности [1, 153, 160]. Ставший традиционным тест закрытой формы, где задания состоят из вопроса и четырех вариантов ответа, мало удовлетворяет требованиям всесторонней оценки [12, 124,125, 133, 136, 158, 167, 169, 172, 176, 180, 205, 206, 216, 217, 312].Его недостатки: низкая точность; высокая сложность построения дистракторов (неверных вариантов, похожих на верные, и верных вари102

антов, похожих на неверные); двузначность логики (верно - неверно), не позволяющая достичь желаемой глубины контроля. Большие трудности для авторов ТЗ закрытого типа представляет проблема составления дистракторов (формулировок, среди которых неподготовленный испытуемый принимает верный вариант за неверный, и наоборот), для снижения вероятности угадывания верных вариантов путем сравнения [1]. В настоящее время растет популярность таких тестов, где выполнение каждого ТЗ оценивается в рамках более развитой шкалы, чем «верно – неверно». Задания, открывающие возможность дифференцированной оценки выполнения, называют шкалированными [153] или градуированными [1]. Есть предложения и по преодолению других трудностей – облегчения авторского труда путем стандартизации дистракторов и пр. Чтобы избежать сложной процедуры составления дистракторов, нами предложено использовать такую процедуру представления студенту ТЗ, где варианты выполнения открываются в случайном порядке поочередно, и их нельзя увидеть все сразу. Это предложение, вкупе с известной идеей применения шкалированных (градуированных) ТЗ [1, 153], реализовано нами в описанном здесь ДПК «Дидактор». Кроме этого, в ДПК «Дидактор» нами учтена необходимость поддержания мотивации студента в течение сеанса тестирования [153], реализована новая для тестологии форма интерфейса - деловая обучающая игра. Мотивации студентов к учению, в т.ч. способам поддержания внимания посвящено достаточно много научных исследований [21, 24, 31, 43, 92, 95, 99, 107, 112, 126, 137, 143, 146, 163, 229, 230, 235, 250, 251, 255, 257, 260, 294, 297, 298, 315, 318 и др.], многие из которых стали классическими [67, 71, 82б 170, 171, 224, 231, 232, 252, 280, 317 и др.]. Тем не менее, эта область педагогической деятельности, ввиду сложности и непредсказуемости сопутствующих учебному процессу феноменов [62, 72, 219, 398], не поддается технологизации и считается искусством. Ниже мы рассмотрим некоторые из этих факторов и феноменов, а также найденный нами простой способ «превращения» одного из них в позитивный [61]. Внедрение технологий тестирования в ДВГУ оказалось связанным с рядом обстоятельств, имеющих отношение к правовым аспектам. Появились, например, хакеры-«доброжелатели», пытающиеся влиять на результаты тестирования – зачеты, экзамены, оценки вступительных испытаний. Хакеры смогли повлиять на ритмичность учебного процесса вузов, участвующих в подобных экспериментах: производились попытки вскрытия засекреченных файлов; распространялись компьютерные вирусы; публиковались ответы на тестовые вопросы в сети Интернет. Хакеры пытались вскрывать защищенную информацию не только «из интереса», но и с целью наживы. В этом – элемент преступления. Бороться с информационным мошенничеством правовым путем затруднительно. Однако следует обратить внимание на специфику системы образования. Мы столкнулись с новым, интересным противоречивым явлением. Вместе с активизацией «преступной» хакерской деятельности, параллельно, 103

необычным путем инициируется массовый процесс повышения уровня качества образования: хакеры самостоятельно постигают новые, порой не изучаемые в вузе, знания в области компьютерных наук; «потребители» хакерской продукции вполне сознательно и старательно изучают «купленные» тексты с ответами на вопросы тестов, причем, изучают так, как не изучали ни один из своих или чужих конспектов. В упомянутых же текстах просто содержится полный текст курса, изложенный в несколько иной форме, нежели в учебнике – в виде вопросов и ответов. Этим позитивным аспектом феномена, безусловно, следует воспользоваться при организации компьютеризованного учебного процесса [61]. Мотивация студентов разнообразна.[187] Она должна быть известна организаторам тестирования до начала тестирований и анализа результатов. Мотивация может быть открытой (известной) и скрытой (неизвестной организатору тестирования). Влияние скрытой мотивации может быть принято организаторами тестирований, например, за систематическую ошибку процедуры измерений. Неожиданно появившаяся либо исчезнувшая мотивация может «спутать карты» тестологов, измеряющих надежность и валидность теста. Мотивацию может создать возглас неформального лидера коллектива студентов, впечатление от увиденного кинофильма и пр. Прекрасный тест может быть признан негодным случайно. Особенно заметно на результаты тестирования влияет мотивация, связанная с: соревновательным азартом; игрой; стремлением познания интересных сведений; безразличием к результату. Причем, игра и соревнование здесь могут происходить не только с коллегами, но и с виртуальными персонажами, и с собой. Для проявления мотивационных эффектов необходимо, чтобы студенты имели возможность тестироваться несколько раз, а тест должен обладать вариативностью. С 1994 года ДВГУ проводит массовые компьютерные тестирования знаний школьников Приморского края. Это делается в рамках договора с департаментом образования и науки администрации Приморского края (ранее – краевым управлением народного образования). Зимой компьютерные тестирования проходят на базе Всероссийского детского центра «Океан». Там собираются до 900 абитуриентов – победителей районных олимпиад. Тестирование проводится бесплатно и без вручения призов – победителям выдаются дипломы и сертификаты с указанием набранных результатов. На основе проведенных нами там экспериментов была предложена относительно простая методика мотивации, которая впоследствии показала свою высокую эффективность при применении в студенческой аудитории – методика непрямого мягкого тестирования (НМТ). К недостаткам технологий тестирования относят [190]: • двузначность логики оценки, не позволяющую распознать, насколько точно студент чувствует нюансы определений и описаний; • отсутствие моментов психологической разгрузки, постоянно и неоправданно поддерживаемое у студента в течение сеанса состояние крайней ответственности за каждое неправильное действие, приводящее к случайным ошибкам; 104

• однобокость рейтинговой оценки, отсутствие в результатах тестирования подробной информации о склонностях студента; • сложность определения весов заданий, требующая предварительных массовых экспериментов и временных затрат, оказывающихся неоправданными после очередной смены преподавателя или учебника. Методика непрямого мягкого тестирования (НМТ) создана нами [181, 184, 185, 199, 291, 325] в «противовес» традиционным жестким: • когда студентам запрещают повторное тестирование; • когда задание можно выполнить только правильно или неправильно, без дифференциации (жесткость тестирования); • когда в процессе тестирования нет места обучению; • когда сеанс тестирования скучен и зануден; • когда до успехов студентов нет никому дела; • когда студента тестируют не тогда, когда он готов, а по расписанию. Задачи, решение которых становится возможным с использованием методики НМТ: • Ввести в ТЗ многозначную логику оценки [37, 179, 228, 238], создать критериально-ориентированную технику оценки выполнения заданий, включающую не только полюсные («верно» и «не верно») варианты, но широкий спектр, в т.ч. двумерную, матричную шкалу. • Снизить вероятность логического угадывания верных вариантов; • Ввести в сценарий игровые моменты, позволяющие безболезненно увеличить время сеанса и количество предъявляемых заданий, а также осуществить психологическую разгрузку в течение сеанса. • Ввести в сценарий мотивационные моменты; • Создать технику подсчета многомерного рейтинга, исключающую необходимость вычисления относительных весов заданий и позволяющую непротиворечиво судить о разных склонностях студентов. • Реализовать в едином ДПК возможности создания и применения ТЗ всех форм, предоставив возможность автору реализовать их достоинства без привлечения дополнительных программных средств. • Максимально упростить труд авторов, переложив труд по конвертации и сортировке ТЗ на плечи компьютера. • Реализовать наиболее прогрессивные методики обеспечения конфиденциальности и информационной безопасности. • Реализовать достоинства мультимедийных технологий. • Сделать программный комплекс мобильным, позволяющим немедленно приступать к работе в сети и на персональном компьютере, с компактдиска и в сети Интернет. В процессе решения перечисленных задач нами была выработана совокупность положений, описывающая методику НМТ. Некоторые из них являются нетрадиционными для вузовского учебного процесса: • Применяемая в тестированиях БТЗ должна быть достаточно велика для того, чтобы сидящим за соседними компьютерами (или повторяющим 105

•

• •

• •

•

•

сеанс) участникам не попадались одинаковые задания. Участникам следует разрешить тестироваться не только официально, но и в свободное время, посещая компьютерный класс «живой» очередью. Принцип: «Тестируйся по любой дисциплине, сколько хочешь раз, не ущемляя этого права своих коллег». Заключительная часть этой фразы необходима в связи с ограниченностью ресурсов. Все результаты, полученные в присутствии ответственного лица, учитываются. Как итоговый, засчитывается лучший результат. Отказ от сеанса или получение малой суммы очков не приводит к негативным последствиям для учащегося. Интерфейс компьютерного комплекса должен быть игровым, не занудным. Задания и интерфейс должны содержать элементы сюрпризности. Сначала это привлекает, а потом – не отвлекает. Это абсолютно необходимое требование, которое, вместе с обеспечением привлекательности процесса контроля, позволяет Необходимо путем введения разгрузочных моментов устранить влияние эффекта «ровной дороги» и, за счет этого, величить количество предъявляемых ТЗ и время сеанса. Время активного компьютерного тестирования школьников не должно превышать 15-20 минут, а количество заданий не должно превышать 30-40. Для студентов эти цифры могут быть увеличины вдвое. Это выявленный нами предел, после которого даже отличники и преподаватели начинают тестироваться «методом тыка». Если задания короткие, то удвоение времени тестирования от 20 до 40 минут не дает качественных изменений или методических выгод: чаще всего при этом просто удваивается количество набранных участниками очков. Длительность сеанса играет важную роль в привлекательности методики, например, сидение за компьютером более часа значительно уменьшает аудиторию желающих проверить силы. В том случае, если среди тестовых заданий есть вычислительные задачи, т. е. в случае неактивного тестирования, время можно увеличить. Важно, чтобы в процессе решения задач студент смотрел не на экран (усталость зрения), а на листок бумаги. Лучше, если задачи студенты получат предварительно, решат их в аудитории, а потом ответят на вопросы теста о ходе решения и результатах. По истечении времени тестирования, необходимо оперативно проанализировать результаты и громко, так, чтобы это слышали стоящие в коридоре учителя и участники следующей смены, назвать фамилии школьников, которые набрали лучшие результаты в течение сеанса. Если при этом попросить всех присутствующих (входящих и выходящих, сидящих за компьютерами участников) устроить аплодисменты победителю смены, они это с удовольствием сделают. Эти аплодисменты – абсолютно обязательный атрибут. Это действие, как показали наши опросы участников, «подстегивает» и победителей, и побежденных. Это 106

характерно в среде и студентов, и учителей. • Тестирование следует вести в течение нескольких дней. Утром каждого нового дня на доске объявлений должны появляться списки вчерашних участников, сортированные по дисциплинам и величине результатов. Это – важно. Именно эти списки станут наиболее значимым объектом сегодняшних обсуждений в столовой, коридорах. • На следующий день, после появления списков результатов, у компьютерного класса всегда вырастает живая очередь. Именно эта очередь всегда становилась для нас «камнем преткновения». С одной стороны – это показатель успешности методики, с другой – присутствие в очереди для учащихся становится значительно более важным, чем посещение других занятий. • Методика НМТ так проста, что трудно поверить в ее действенность. Но экспериментально подтверждаемая информация говорит «сама за себя»: результаты студентов растут (в среднем) в течение периода испытаний при каждом повторном сеансах; ожидающие сеанс студенты внимательно изучают учебники и дополнительную литературу, заинтересованно обсуждают и задают связанные с учебными дисциплинами вопросы друг другу и преподавателям; появляющиеся рядом с очередью студентов преподаватели (сначала случайно, потом – постоянно) спонтанно устраивают тут же консультации, и эти консультации востребованы и желанны. Такую спонтанно создающуюся продуктивную учебную обстановку трудно встретить в вузе. Варианты методики НМТ многократно представлялись нами и обсуждались на научных конференциях российского уровня (см. Введение). Результаты наших экспериментов с вариантами методики НМТ в рамках ДПК «Диалог» и «Дидактор» позволили выработать относительно новый для тестологии критерий: технология организована тем лучше, и тестовый комплекс тем лучше, чем выше скорость роста результатов участников при повторных тестированиях. Этот критерий «перекликается» с известным в статистической физике принципом «производства энтропии», а также принципом «непрерывного улучшения» известной системы менеджмента качества ISO-9000 [177]. Наблюдение. В 1999 году (год 200-летия со дня рождения А. С. Пушкина) на базе ВДЦ «Океан» нами проводилось внедрение компьютерного игрового тестера-тренажера «Пушкинистика». В один из дней нам довелось случайно услышать разговор библиотекаря и двух учительниц. Они, не зная, что мы проводим эксперимент, живо восторгались тем, что в библиотеке «нарасхват» книги Пушкина и о Пушкине, что книги даже приходится «придерживать» и разрешать пользоваться ими только в читальном зале! Более того, они заметили, что творчеством и жизнеописанием Пушкина совершенно неожиданно и в массовом порядке интересуются «физики», «математики», «информатики». Это явление характерно не только для среды «олимпийцев», но и для сельской и городской школы, где ведутся длительные компьютерные тестирования по методике НМТ. 107

Элементы методики НМТ применялись нами в течение двух лет и при организации Всероссийских компьютеризованных олимпиад «Телетестинг». В Приморском крае ДВГУ проводил «Телетестинг» в рамках договорных отношений с Центром тестирования «ГТ» МГУ им. М.В.Ломоносова. Договором и инструкциями не оговаривалась возможность массового знакомства участников с результатами – просто каждый участник мог получить в указанное время из Москвы свой собственный сертификат. В начале тестирование шло вяло, не смотря на многомесячную рекламную кампанию. Исходя из ситуации, Центр «ГТ» даже разрешил повторные тестирования во всех пунктах России. Ситуация для нас кардинально изменилась, когда в вестибюле ДВГУ стали появляться списки участников с результатами. Применение этой «маленькой хитрости» в первый же год эксперимента вывело ДВГУ в российские лидеры по массовости участия в централизованных тестированиях. Другие регионы этой «хитрости» не организовывали. При проведении тестирований во второй раз, когда организаторы отказались от использования фактора публичности, ДВГУ спустился в рейтинговой таблице на 42 место. Возврат к прежней технологии вновь принес ДВГУ лидерство. Опросы участников смен в ВДЦ «Океан» и участников «Телетестинга», ставших студентами ДВГУ, показали, что наиболее яркие впечатления для них, приводившие к желанию вновь пройти тестирование, возникали именно при знакомстве с ежедневными «боевыми листками» – списками результатов тестирований. Поэтому фактор публичности мы считаем основным в представленной здесь методической системе МССОО. Аванесовым В. С. [1] обоснована необходимость подходов, подобных описанной здесь методике НМТ, как путей разрешения известных дидактических проблем: «Хотя задания с выбором одного правильного ответа не одобряют многие педагоги, активнее других проявляют себя преподаватели математики. Первая причина отрицательного отношения вполне обоснована: если задание сформулировано неудачно, то испытуемые вместо решения нередко просто подбирают подходящий ответ. Очевидно, такое «тестирование» противоречит цели математического образования, впрочем, как и любого другого. Вторая причина - это необходимость как-то оценить ту часть работы, которая выполнена правильно, несмотря на общий неправильный ответ, что позволит точнее оценить тех, кто выполняет правильно хотя бы часть требуемых преобразований, в отличие от тех, кто не делает ничего. Метод последовательной оценки каждого правильно выполненного этапа решений на Западе называется grading. Третья причина - психологическая. Среди дистракторов заданий в тестовой форме часто встречаются ответы частично правильные. Например, при использовании принципа кумуляции ответов А потому при апеллировании возникает вопрос справедливой оценки Нельзя же оценивать одинаково, нулем, ответ неправильный и частично правильный, равно как ответы менее правильные и более правильные. Отсюда возникает необходимость поиска градуированных вариантов оценивания… …мы подошли к варианту дифференцированной оценки ответов студентов, называемой в западной литературе словом grading. …такая оценка повышает общую вариацию 108

тестовых баллов, за счет чего создаются условия для роста надежности измерений. С этой точки зрения распространенная сейчас практика давать во всех случаях баллы 1 и 0 является упрощением, особенно неприемлемым в централизованном тестировании. … Примечательная особенность заданий с выбором нескольких правильных ответов состоит как раз в том, что в них приходится определять не только правильные ответы, но и оценивать самому студенту полноту своего ответа».

2.5.

Внутри- и межвузовское тестирование как инструмент развивающего измерительного процесса

В настоящем параграфе описана система развивающего измерительного процесса для управления качеством образования. Система опирается на компьютерные технологии тестирования, отличается повышенной ролью мотивационной компоненты, подразумевает не только измерения, но и прогноз обученности и обучаемости студентов. Условия и факторы развивающего измерительного процесса. Если тестирования в вузе проводятся не эпизодически, и люди, которые их проводят, рассчитывают на достижение высокой дидактической ценности мероприятий, то, кроме приведенных в предыдущем параграфе замечаний, необходимо учесть следующее. Тестирования следует проводить как длительную олимпиаду (четвертьфинал, полуфинал, финал и пр.). Маленькие и большие успехи студентов должны быть сразу доступными всем: рукоовдству, преподавателям, работодателям. Работники администраций в обязательном порядке должны упоминать фамилии победителей тестирований в своих докладах и отчетах. Информацию о результатах следует отображать в СМИ с обязательной публикацией таблиц рейтингов. Для того чтобы победителей было больше, следует «размножать» номинации: скоростное, тематическое тестирование и пр. Большей степени объективности оценки обученности студента можно достичь, если складывать оценку, из трех компонент: • Результат тестирования ЗУН; • Результат опроса работодателей о качестве выпускников конкретного подразделения учебного заведения; • Рекомендации преподавателей выпускника. Во многих странах развита культура рекомендательных писем, опросы проводятся независимыми мониторинговыми центрами. Деятельность центров финансируется государством и крупными образовательными ассоциациями [197, 324]. На основе данных мониторинговых центров: • Работодатели – определяют, выпускников каких учебных заведений следует брать на работу в первую очередь; • Руководители учебных заведений – определяют, каких преподавателей следует пригласить на работу; • Абитуриенты – выбирают учебное заведение для поступления; 109

• Родители студентов – планируют дальнейшее обучение своих детей; • Студенты – определяют, к какому преподавателю следует пойти для выполнения дипломной работы и производственных практик; • Органы управления образованием – регулируют ценовую политику и определяют планы распределения субсидий. Сертификации подвергаются и учебные заведения. В отличие от России, где эта процедура часто упрощена до уровня бюрократической, за рубежом к аттестации подходят как к перманентному мероприятию.[326] Мониторинговыми центрами ведутся опросы, заполняются базы данных о выпускниках и пр. Учреждения, где проводится аттестация учреждений и специалистов, называют сертификационными центрами. Сертификаты могут иметь разные степени (рейтинги), в соответствии с удостоверяемым ими уровнем качества. Уровень сертификатов (дипломов, аттестатов и пр.) можно сравнить по публикуемым рейтинговым таблицам. Служба трудоустройства не имеет права отдать рабочее место произвольному специалисту, если в очереди есть специалист с сертификатом более высокого рейтинга. Сертификат свидетельствует право образовательного учреждения на получение субсидий определенного рейтингом уровня. В зависимости от своего статуса, сертификационный центр выдает успешно прошедшим аттестацию испытуемым: государственные сертификаты; сертификаты государственного образца; удостоверения; иные документы. Считается, что качество деятельности сертификационного центра будет выше, если он независим, т. е. изучаемые им структуры никак не влияют ни на оснащенность, ни на уровень вознаграждений сотрудников центра. Трудно обеспечить независимость образовательного сертификационного (или мониторингового) центра в России. В процессе настоящего исследования выявлены способы, позволяющие учесть эту особенность. Исходя из нашего многолетнего опыта, можно заключить: аттестационные мероприятия становятся желанными и наиболее эффективными, когда им придаются атрибуты соревнования - массовость, сюрпризность, занимательность и др. Внедрение в практику компьютерных профессиональных деловых игр позволяет развить эту идею, придать аттестационным мероприятиям более массовый характер и снизить уровень затрат. Кроме этого, коллективные компьютерные деловые игры смогут превратить учащихся из статистов и болельщиков в активных участников, членов команды своего преподавателя. Воспитательный эффект такого "превращения" очевиден. Соревновательному азарту покорны все возрасты, что позволяет предложить использовать отработанную технологию и при проведении массовых мероприятий по аттестации и переподготовке педагогических кадров. Результаты тестирований обученности студентов многих вузов, получаемые на основах добровольности, сведенные в единые таблицы и выставленные на доступном сайте в Интернет, станут объективным аргументом в развитии конкуренции: • между вузами за абитуриентов; 110

• между выпускниками за получение лучшего рабочего места; • между абитуриентами за место в вузах, т.е. стимулом для роста качества образования. Проявления влияния факторов и условий. Приведем перечень проявлений факторов и условий развивающего измерительного процесса, необходимые для их сепарации и дальнейшего изучения. Массовость. Рост измеряемого значения обученности и устойчивое желание продолжать эксперимент у 30-40% выборки испытуемых в случае совокупного применения с факторами публичности и соревновательности. При этом видимых различий в отношении к эксперименту среди «успевающих» и «неуспевающих» учащихся не выявлено. Сюрпризность. Рост интереса к учебному материалу, устойчивое желание продолжать эксперимент, возникновение у 10-20% выборочного состава желания к самостоятельной работе по составлению тестов. Публичность. Появление и рост осознанного стремления к повышению личного результата у 30-40% выборки студентов, 80-90% выборки школьников, 30-40% выборки педагогов в случае совместного применения с фактором соревновательности в условиях массововсти. Включение в процесс «заинтересованных» лиц, бывших до этого незаинтересованными – родителей, работодателей, преподавателей других дисциплин и пр Соревновательность. Появление и развитие спортивного (не осознанное как самообразование) стремления к скорейшему повышению личного результата у 60-80% выборки в случае совместного применения с фактором соревновательности в условиях массововсти. Интенсивность повышается при включении в технологию материальных стимулов. Деловая игра, технология IST. Рост интереса к вариациям учебного материала, возникновение у 10-20% выборки желания к самостоятельной работе по составлению тестовых материалов. Возникновение протеста у 60-80% выборки при попытке организаторов устранения элементов деловой игры из процедуры тестирования. Индуктивное узнавание. Интенсивно проявляется у 80-90% выборки в условиях массовости, а также отсутствия ряда традиционных барьеров (т.е. общение и перетестирование не запрещены). Факторы деловой игры и индуктивной мотивации не оказывают влияния на интенсивность. Предварительное знакомство студентов и преподавателей не существенно. Индуктивная мотивация. Интенсивно проявляется в условиях «звездной» организации пунктов тестирования и наличия непрерывной электронной связи между организаторами (возможности циркулярного обмена). Успешность его очевидна: в течение 5-ти лет (с 1999 года) ДВГУ является лидером массовости участия во всероссийских компьютерных тестированиях (в отличие от бланковых, где этот фактор не применялся)

111

ПРИЛОЖЕНИЕ. Методические и организационные требования к организации развивающего измерительного процесса в вузе Современный студент не только учится, он также ищет для себя перспективное место работы. Он желает, чтобы работодатели также его искали и выбирали. Как помочь студенту и работодателю, осуществляя при этом позитивное влияние на качество образования? Создание сайта для публикации результатов студенческих тестирований – это первый этап внедрения мотивационной технологии. Не каждый студент сразу соглашается с широкой публикацией своих результатов (таких студентов оказалось около 20%). Поэтому публикация результатов должна выполняться «по желанию», с оставлением пустых незаполненных граф в таблицах и опуская их при сортировке по рейтингу в нижнюю часть списков. Студентов, заранее ищущих контактов с работодателями, по нашим опросам на естественных и гуманитарных факультетах ДВГУ, оказалось около 40% (на старших курсах больше). Эксперименты, проведенные нами в 2001-2004 гг. в учреждениях университетского образовательного округа (более 3 тыс. участников) показали, что учащиеся, рядом с фамилиями которых в рейтинговых таблицах нет результатов тестирований, быстро пересматривают свои взгляды на необходимость публикации. Доводы здесь просты: если результатов нет, значит – нечем гордиться. Второй этап внедрения – разрешение студентам тестироваться в порядке живой очереди произвольное количество раз, с правом публикации в Интернет лучших результатов. Третий этап внедрения – привлечь к тестированиям студентов других вузов. Они не откажутся прорекламировать себя в Интернет, пусть даже за оплату. Когда в базе данных результатов тестирований появятся результаты тестирований студентов 3-4 вузов, возникнет хорошая база для работ по мониторингу качества высшего образования в регионе. Публикация результатов мониторинговых исследований качества мотивирует конкуренцию вузов и неизбежно приведет к росту уровня качества. Информационная безопасность тестирований. Обеспечение информационной безопасности тестирований – важный элемент МССОО. Он включает обеспечение: • Секретности баз тестовых заданий; • Секретности перечней лиц имеющих доступ к тестовым заданиям; • Недосягаемости лиц, имеющих доступ к информации о тестах, в период конструкторских работ; • Запрета несанкционированного доступа к базам тестовых заданий и тестовым программным оболочкам во время их перемещений, установок, хранения, использования; • Запрета несанкционированного доступа к результатам тестирований во 112

• • • • • • • • • • • • •

время их создания, пересылки, обработки и хранения; Запрета несанкционированного использования справочников; Применения специальных способов размещения студентов в аудиториях, исключающих возможности взаимного подсказывания и пр. Недопущения несанкционированных действий персонала; Недоступности для посторонних лиц аудиторий, коридоров, туалетов и пр., в т.ч. проверка помещений на наличие шпаргалок; Предотвращение последствий нарушения названных выше пунктов. Само же обеспечение предполагает: создание документационного сопровождения; отбор персонала; обучение и инструктаж персонала; повышенное вознаграждение персонала за обеспечение режима; проведение инспекций, в т.ч. с привлечением лиц – «инкогнито»; оснащение техникой видеонаблюдения и сейфами; привлечение сил милиции либо вневедомственной охраны; меры по выявлению нарушений и наказанию виновных.

Обеспечению информационной безопасности массовых компьютерных тестирований. Среди мер обеспечения информационной безопасности многие стали традиционными. Перечислим нетрадиционные пути устранения негативных последствий информационных «преступлений» и обеспечения информационной безопасности массовых компьютерных тестирований. 1. Не следует «засекречивать» ответы на вопросы компьютерного теста. Большую часть текстов базы тестовых заданий следует издавать типографским способом. Это приведет к исчезновению объекта несанкционированной купли-продажи. 2. Вопросов и ответов в БТЗ должно быть так много, чтобы невозможно было быстро и полноценно воспользоваться бумажной или электронной шпаргалкой. Для отображения в БТЗ материала объемом 36 учебных часов, как показывает опыт, достаточно 300-400 заданий. 3. Рядом сидящие студенты должны видеть на своих мониторах разные задания. При повторном тестировании студент получает новый вариант. Экзамен – это лотерея; студент не должен заранее знать варианты заданий, которые «выпадут» именно ему. Выполнение этих условий достигается путем случайной генерации вариантов из базы тестовых заданий. 4. Варианты тестов не должны повторяться, однако программа – генератор вариантов должна составлять списки заданий для каждого студента не абсолютно случайным образом, а исходя не из принципа равномерности покрытия учебного материала – понемногу из каждой темы курса. 5. Следует предпринимать меры защиты не только на программном уровне. Например, текущие результаты тестирования необходимо контролироваться в интерактивном режиме, а программные модули должны храниться на физически независимых носителях и обновляться с периодом меньшим, 113

чем время сеанса. 6. Следует периодически обновлять базы тестовых заданий. Можно не только дополнять базу количественно, но и, например, просто видоизменять словарные обороты в заданиях. Этим устраняются многие из возможностей применения шпаргалок. 7. «Сговор» студентов персоналом будет исключен, если разрешить использование любых бумажных учебных пособий во время тестирования. При этом следует ограничить время сеанса тестирования так, чтобы было невозможно успеть воспользоваться этой информацией в полной мере. Этим не только устраняется возможность «преступного» сговора студентов с персоналом компьютерного класса, но и создается стимул к дополнительному изучению материала. 8. Контрольное тестирование должно происходить для всей учебной группы одновременно. Тогда защита обеспечивается простым присутствием заинтересованного преподавателя из тех, что будут вести учебные курсы для этих студентов в будущем семестре. 9. Следует исключать на время сеанса связь класса с внешними сетями. 10. Следует использовать процедуру случайного выбора номера компьютера и псевдонима для каждого студента. Студенты в классе должны сидеть в случайном порядке и иметь достаточно сложные псевдонимы. 11. Тестирование должно вестись на рейтинговой основе. Это влияет как на качество образования, так и на установление внутренней системы контроля. Если студенты будут знать, что количество пятерок и четверок, которые они могут получить, ограничено, устранятся подсказки. 12. Результаты тестирований необходимо публиковать для обеспечения их доступности работодателям выпускников. Это для студентов - значимый стимул к учебе. При этом следует предоставить студенту право выбора – разрешить или не разрешить публикацию. Последний пункт может показаться спорным. Мы считаем его крайне важным и оказывающим непосредственное положительное влияние на уровень качества образования. Наш опыт, свидетельствует о следующем: публикация результатов тестирования в виде рейтинговых списков приводит к возникновению феномена состязательности, побуждает учащихся многократно проходить сеансы тестирования, читать учебную литературу, консультироваться по вопросам учебных дисциплин. Состязательность может быть поддержана локальными мерами. Например, если громко похвалить одного из участников за только что полученный высокий рейтинг, и попросить всех присутствующих поаплодировать ему, происходит удивительное: студенты начинают конкурировать за место в компьютерном классе, придумывая невероятные причины, чтобы повторить тестирование. Такие воздействия на аудиторию снимают часть сиюминутной усталости, повышают уровень внимания. Не менее интересен эффект воздействия на студентов интерфейса тестирующей программы. Если интерфейс скучен и однообразен, уровень внимания студентов снижается быстрее, нежели в случае игрового интерфейса, сочетающего элементы сюрпризности, игры, новизны. Игровой интерфейс по114

буждает к повторению тестирования. Перечисленные здесь меры не только устраняют нежелательные явления, но и позитивно влияют на уровень качества образования. Каналы утечки конфиденциальной информации. Обеспечение секретности БТЗ. Студент, получивший несанкционированный доступ к экзаменационным тестовым заданиям до экзамена, имеет немалые преимущества перед остальными. Наличие таких студентов приводит не только к появлению ложных оценок ЗУН, но и влияет на объективность результатов региональных мониторинговых исследований, делает необъективным анализ свойств тестовых заданий в экзаменационной базе. Недоступность тестовых заданий учащимся до экзамена – один из важных компонентов технологии. Распространенные в России компьютерные тестовые комплексы, применяемые для массовых тестирований школьников и студентов, не удовлетворяют требованиям секретности. Это связано со следующими обстоятельствами: • ТЗ составляются преподавателями, работающими в момент составления заданий в окружении нежелательных свидетелей; • Круг составителей ТЗ мал (обозрим); • Количество ТЗ, включаемых в тест, невелико. Прошедшему тестирование студенту не составит труда передать увиденную и запомнившуюся информацию друзьям, которые будут тестироваться позже; • ТЗ предъявляются сидящим классе учащимся в едином пронумерованном порядке, что упрощает создание шпаргалок; • В компьютерных сетевых классах, как правило, расставлены компьютеры так, что соседи видят сразу несколько экранов. Если тест представлен одним вариантом, студенты, видящие действия соседей, имеют возможность «списывать»; • Невариативность. Студент, который станет тестироваться повторно, получит тот же вариант заданий, с которым он познакомился ранее и который он имел возможность обсудить с репетитором; • Кроме авторов, к ТЗ имеют доступ оформители (сканирование и включение иллюстраций, таблиц), программисты и др. – несколько десятков специалистов. «Утечку» информации от такого огромного коллектива трудно контролировать; • Россия – большая страна, время начала тестирований в разных регионах различается на много часов. Телефон и электронная почта в течение этих часов обеспечивают передачу на запад и обработку рассекреченной на востоке страны информации. Это – одна из известных причин того, что уровень качества образования в западных регионах оказывается неизменно выше, чем в восточных; • Договоры, которые заключаются центрами тестирований со своими сотрудниками и между собой, как правило, не включают конкретных условий по обеспечению конфиденциальности информации; • Нет информации о том, что «кого-то, когда-то, как-то» наказали за рас115

секречивание информации о школьных или студенческих тестах. Перечисленные обстоятельства снижают уровень конфиденциальности тестов. Информация о заданиях тестов, несмотря на усилия Министерства, задолго до их начала мероприятий становится доступной всей стране, появляется на сайтах в Интернет. Нам не известны случаи серьезных наказаний лиц, допускающих утечку конфиденциальной информации из центров тестирования и торгующих ключами школьных тестов. Продажа информации о заданиях предстоящих школьных тестирований превратилась в своеобразную российскую индустрию. Продажа неверной, подложной информации о тестах стала точно такой же индустрией, и это, как ни парадоксально, несколько компенсирует потерю конфиденциальности. Во многих странах ситуация с секретностью тестов иная. Пакеты с тестовыми заданиями распространяются по стране под охраной вооруженных полицейских. Личности составителей тестовых заданий засекречены, и секрет этот охраняется законом. Рассекречивание тестовой информации – преступление, подлежащее суровому наказанию в судебном порядке. Более того, все эти меры – верхушка айсберга. Есть еще невидимая часть общественных взаимоотношений, защищающая секретность тестов. Добропорядочный американский студент никогда не будет списывать контрольную работу. И никому не даст списать, и сам первым укажет присутствующему полицейскому на того, кто списывает. Подоплека этого – система общественно признанных стимулов [197]. Известные в России способы экзаменационного подлога: 1. Подмена студента при регистрации путем подделки документов; 2. Подмена студента при тестировании в ЦТ путем изменения места или времени выполнения заданий; 3. Подмена бланков с результатами в процессе транспортировки; 4. Подмена бланков с результатами работы студента в ЦТ путем сговора; 5. Подмена файла результатов в территориальном ЦТ путем сговора; 6. Взлом и исправление файла результатов в течение времени хранения в ЦТ путем сговора. Для взлома нужно довольно много времени; 7. Подмена файла результата на сервере ЦТ или в момент пересылки между серверами путем хакерской атаки; 8. Покупка, пронос и использование шпаргалки в течение сеанса тестирования. Если вариантов теста достаточно много, используется сговор; 9. Списывание. Происходит, если студенты сидят в аудитории так, что видят результаты действий друг друга; 10. Обмен файлами. Происходит, когда один студент регистрируется с паспортными данными и паролем другого студента. Российский студент всегда готов помочь коллеге. Рискуя собственной репутацией и будущей карьерой, он поможет сидящему за соседней партой во время тестирования конкуренту – решит его задачи и даст списать свои. Поднимая уровень качества образования, россиянам приходится решать еще и задачу ломки менталитета, шире вводить в вузовский обиход элементы сорев116

нования и конкуренции. Меры по обеспечении секретности могут привести и к снижению качества ТЗ. Будучи созданными единоличным автором и хранящиеся в тайне, они оказываются закрытыми для рецензирования, редактирования и экспериментального контроля в референтных группах. Политики говорят, что для того, чтобы прекратить утечку информации на уровне государства, надо либо все засекретить, либо – все рассекретить. Проще и дешевле пойти вторым путем. Оптимальная, на наш взгляд, технология обеспечения конфиденциальности тестовых заданий описана ниже в виде алгоритмической последовательности действий. Обеспечение конфиденциальности в масштабе региона и страны. На основании опыта участия в организации массовых тестирований в Приморском крае, а также опыта участия в инспектировании таких тестирований в Республике Саха (Якутия) и Хабаровском крае, нам удалось выделить и систематизировать встреченные технологические недостатки и разработать достаточно безупречную и экономичную технологию обеспечения конфиденциальности. В этой схеме совмещены два варианта сценария: для полностью и частично компьютеризованной формы тестирования. 1. 2.

3.

4.

Безопасная технологии создания БТЗ Список коллектива авторов, рецензентов и редакторов тестовых заданий является открытым и может быть опубликован. В электронную базу вводится около 2-3 тысяч ТЗ по каждой дисциплине, включающих, например, материал опубликованных учебников и задачников. Это число обусловлено следующим: именно столькоТЗ (вместе с вариантами) по каждой учебной дисциплине можно найти в открытой печати, и что-то новое придумать довольно сложно; если студент просто выучит хотя бы четверть верных вариантов выполнения такого количества заданий – он достоин высокой оценки; создать такую базу вполне возможно втроем – вчетвером за 1-2 месяца. Такое количество иллюстрированных ТЗ вполне поместится на одном компакт-диске. ТЗ сортированы по принципу подобия (равной сложности, равной трудоемкости, соответствия одной теме, равной важности). Групп подобных заданий для каждой дисциплины - около сотни. В каждую группу войдет два-три десятка равных по сложности ТЗ. Процедура создания вариантов основывается на принципе: по одному заданию из каждой группы. Если тест включает 100 ТЗ, по одному из каждой группы, и в каждой группе будет 20 заданий, то если пересчитать все возможные варианты сочетаний ТЗ, получится 20100. Это астрономическое количество, гарантирующее неповторимость вариантов. Нет традиционного «засекречивания» ТЗ. Задания публикуются в виде сборников для подготовки. Объем такого пособия составит 500-800 страниц, т. е. может превысить объем учебника. Страшного ничего не случится, если школьник выучит значительную часть заключенной в пособии 117

5.

6.

7.

8.

9.

информации. Публикация сборников принесет доход центрам тестирования и устранит почву для нежелательных теневых явлений. Веса ТЗ вычисляются заблаговременно, путем экспериментальных тестирований. Тестируются все желающие, эксперименты проходят многократно в течение года во многих территориях. Это возможно в условиях отсутствия секретности, поскольку все возможные варианты задач и вопросов заранее опубликованы. Выучить их все – равносильно повторному неоднократному прохождению курса обучения. Заблаговременное определение весов ускорит стат.обработку результатов тестирований. Алгоритм формирования единственного и неповторимого варианта теста для каждого студента основан на коде, включающем паспортные данные; точные дату и время создания кода; четырехзначное число – ключ, меняющееся на едином Интернет-сайте через определенные промежутки времени и транслируемое по радио или телевидению одновременно на территории всей России в течение всего периода тестирования; параметр отражающий желание либо нежелание студента опубликовать результат Блок-генератор вариантов ориентируется на эти данные, и дает возможность разрешить студентам повторные тестирования по любой дисциплине, с гарантией неповторимости вариантов, в том числе и предварительные тренировки. Вариант теста может быть сгенерирован вновь и в другом месте при повторном введении перечисленных данных, например, при работе апелляционной комиссии. Алгоритм формирования варианта теста включает выбор формы представления варианта – бланковой (если центр тестирования не оборудован достаточным количеством компьютеров) либо компьютерной. Выбор осуществляет руководитель центра тестирования. Блок выбора формы позволяет распечатать тест на принтере для каждого студента. По окончании сеанса тестирования студенты должны ввести результаты выполнения заданий в компьютер. Нормативные документы и инструкции включают официальное разрешение студентам тестироваться и тренироваться произвольное количество раз по любой дисциплине на протяжении периода тестирования (если это не ущемляет прав доступа других студентов). Первый шанс (сеанс тестирования) предоставляется студентам бесплатно, последующие – после оплаты. Тестирования проводятся на базе специализированных центров, ответственные лица которых сертифицированы. Руководители специализированных центров несут персональную ответственность за соблюдение правил тестирования – обеспечение доступности тестовых материалов, работоспособность печатных устройств и пр. Законодательством определена ответственность за подлог.

Безопасная технология тестирования 1. Утверждается и инструктируется персонал территориального Центра тестирования. Руководит тестированием специалист, сертифицированный в 118

2.

3.

4.

5.

6.

7.

8.

9.

рамках централизованных мероприятий Министерства. Программное обеспечение, поступившее заблаговременно, устанавливается в территориальном Центре тестирований. Оно используется как для тренировочных, так и для аттестационных тестирований. Доступ студентов оговорен инструкцией. Тренировочные и аттестационные тестирования проходят по описанному ниже технологическому плану. Администратор сети Центра тестирования регулярно, по установленному расписанию, получает по телевидению, по радио или из Интернет ключ, необходимый для формирования кода студентов. Ввод числа синхронизован со временем начала и окончания сеансов. Начало регистрации синхронизировано по времени с получением ключа. Контроль документов студентов при регистрации проводится независимо представителем милиции. Независимый контроль перекрывает один из вероятных путей подлога – подмену студента. Приступающие к тестированию студенты в течение нормативного промежутка времени вводят в компьютеры свои паспортные данные. На основе этой информации формируется код студента и соответствующий вариант теста, который можно выполнять сидя перед экраном компьютера либо, если время сеанса тестирования велико и компьютеров мало – в аудитории, имея на руках распечатанный вариант и бланки для работы. Решение о форме тестирования принимает руководитель центра на основе сведений о количестве студентов, наличия техники и пр. Объявляется начало сеанса. Выполнение заданий в аудиториях центра тестирования и в компьютерном классе контролируется дежурными и представителями вузов региона. Контроль в рассматриваемом случае упрощен, поскольку варианты заданий у всех участников разные. Объявляется окончание сеанса. Студенты, выполнявшие задания письменно, возвращаются в компьютерный класс и в течение нескольких минут вводят в компьютер свои коды и свои результаты. Документы студентов контролируется представителем милиции. Если результат введен в компьютер после окончания нормативного времени, например, после получения очередного ключа, задание считается невыполненным. Результаты тестирования отправляются на специализированный сайт для обработки. Они остаются неизвестными в течение оговоренного инструкцией периода. Студенты имеют право пройти сеанс вновь в тот же день либо в другой день периода тестирований. По истечении технологического периода обработки, публикуются результаты. По окончании периода тестирований, студенты получают сертификаты, изготовленные на бланках утвержденной формы.

Безопасная технология обработки результатов тестирования 1. Результаты студентов в виде зашифрованного файла из территориального Центра тестирования направляются на специализированный сайт тестирований для обработки и оперативной публикации. 2. Обработанные результаты возвращаются в территориальный Центр тести119

3. 4.

5.

6. 7. 8.

9.

рования для распечатки и публикации. Результаты студентов, не пожелавших публикации, в публикуемых списках отсутствуют. Принцип формирования зашифрованного файла результата и его обработки известен только двум специалистам – руководителю и заместителю руководителя специализированного сайта. Ввод на сайт любой иной информации, кроме файлов-результатов блокируется специальными методами. Обработка производится автоматически без участия людей. Определена мера личной ответственности создателей сайта и методов защиты сайта за подлог результатов. Вся входящая и исходящая информация специализированного сайта тестирований дублируется независимым Центром хранения в утвержденном порядке, исключающем возможность подлога. Дублированная информация используется при работе апелляционной комиссии. Результаты оперативно публикуются на стенде территориального ЦТ. Студенты имеют право повторить попытку тестирования произвольное количество раз. В новом сеансе код, который будет сформирован для студента компьютером, будет другим, и вариант заданий – тоже. Таблицы рейтингов студентов, прошедших тестирования, без промедления параллельно публикуются на специализированном сайте, защищенном от посягательств. Это мероприятие не только повышает популярность и массовость тренировочных тестирований, но и дополнительно «перекрывает» пути фальсификации результатов. После окончания тестирований все студенты получают заверенный печатью сертификат, включающий его рейтинги по всем дисциплинам. Оценки по пятибалльной шкале абитуриенты получают на основании приказа руководителя вуза, устанавливающего шкалу пересчета.

СПИСОК ПРИНЯТЫХ СОКРАЩЕНИЙ APRU IRT АИО АРМ БД БТЗ ГТ

– сообщество университетов стран АТР – Item Response Theory - теория тестовых пед. измерений – Академия информатизации образования – автоматизированное рабочее место – база (банк) данных – банк (батарея) тестовых заданий – «Гуманитарные технологии» (Москва), научно-методический центр, занимающийся развитием технологий тестирования ДВГУ – Дальневосточный государственный университет ДО – дистанционное обучение (не образование!), Distance Learning ЕГЭ – единый государственный экзамен ЗУН - знания, умения, навыки ИОС – информационная образовательная среда ИОСО РАО – институт общего среднего образования РАО 120

ИТ ИУУ КУИТЭ МКО МОН РФ МРСВПО

– информационные технологии – институт усовершенствования учителей – компьютерный учебник – игра – тренажер - энциклопедия – мониторинг качества образования – Министерство образования Российской Федерации – мониторинг развития системы высшего профессионального образования МССОО – методическая система стимулирования роста обученности и развития обучаемости (в англ. транс.: Competence & Learning Ability Development, CLAD) МЭОО – педагогико-математическая модель эволюции обученности и обучаемости (в англ. транс.: Competence & Learning Ability Evolution Model, CLAEM) МЭСИ – Московский экономико-статистический институт НИТ – новые информационные технологии НМТ – непрямое мягкое тестирование, (Indirect Mild Testing, IMT) ОИТ – образовательные информационные технологии ОО – открытое образование (не обучение!) ОУ – открытый университет ПИППКРО – Приморский институт переподготовки и повышения квалификации кадров работников образования ПК – персональный компьютер ПСУН – программное средство учебного назначения РАО – Российская Академия образования РГИОО – Российский государственный институт открытого образования РОУ – Российский открытый университет РЦ – ресурсный центр СДО – система дистанционного обучения СМИ - средства массовой информации СОО – система открытого образования ТЗ – тестовое задание ТИДОТ – Тихоокеанский институт дистанционного обучения и техн-гий ФЦТ МОН РФ – Федеральный центр тестирования МОН РФ ЦАКО – центр аттестации качества образования ЦДО – центр дистанционного обучения ЦИТ – центр информационных технологий ЦМКО – центр мониторинга качества образования ЦНИТ – центр новых информационных технологий ЦОКО – центр оценки качества образования ЦТ – центр тестирования, централизованное тестирование ЭСУН – электронные средства учебного назначения

121

ЛИТЕРАТУРА

1. 2. 3. 4.

5.

6. 7. 8. 9. 10.

Аванесов B. C. Современные методы обучения и контроля знаний. – Владивосток: ДВГТРУ, 1999. – 125 с.; Аванесов В. С. Композиция тестовых заданий: Учебная книга. 3 изд., доп. – М.: Центр тестирования, 2002 г. – 240 с. Адаптивное тестирование знаний в системе "Телетестинг" / А. Г. Шмелев, А. И. Бельцер, А. Г. Ларионов, А. Г. Серебряков / Под ред. Е. С. Полат. – М.: Образование, 1999. – С. 234 – 235. Айсмонтас Б. Б. Педагогическая психология: схемы и тесты. – М.: Изд-во ВЛАДОС-ПРЕСС, 2004. – 208 с. Актуальные проблемы технологии дистанционного обучения (методический сборник). / Под ред. Н. С. Сельской. Выпуск первый. М., 1997. – 35 с.; Александров С. Нельзя представить виртуального учителя // Учительская газета. – 1999. – № 38. – С. 13.; Барсуков В. Н. “Дистанционное…?” – Да! Но… // Проблемы информатизации высшей школы. – 1995. – № 3. – С. 10 – 12.; Бершадский А. М., Кревский И. Г. Дистанционное образование на базе новых ИТ. – Пенза, 1997. – 55 с.; Богданова Д. А., Федосеева А. А. Проблемы дистанционного обучения в России // Информатика и образование, 1996. № 3; Бутырин Г. Н., Ефимов Н. Н., Нечаев В. Я. Дистанционное образование по оценкам экспертов // Проблемы информатизации высшей школы. – 1997. – № 5. – С. 44–48.; Бухаркина М. Ю. Особенности организации учебного процесса школьников в системе дистанционного обучения // Педагогические и информационные технологии в образовании. – № 1. – Internet:http://scholar.urc.ac.ru:8002/Teachers/methodics/journal /numero1/pedag/art3.htm.; Дмитренко В. Дистанционное образование – кому это надо? // Компьютер пресс. – 1999. – № 9. – С. 20–22.; Усков В. Л., Ускова М. Дистанционное образование: организационные, технологические и финансовые аспекты // Информационные технологии. – 1999. – № 1. – С. 31–38.; Федоров М. От дистанционного обучения – к единому образовательному пространству // Международное сотрудничество, № 1, 1996; Скуратов А. К. Дистанционное образование: седьмой год работы АМО. Материалы конгресса. «Образование–98», – М: Минвуз РФ, 1998. – с. 75 – 79. Александров Г. Н. Основы теории принятия педагогических решений как упорядочивающая различные оптимизационные подходы в педагогике // Проблемы педагогики начальной, средней и высшей школы. Сборник научно-методических трудов, Том 1, Владикавказ, 1998.; Александров Г. Н., Иванкова Н. И., Тимошкина Н. В. Педагогические системы, педагогические процессы и педагогические технологии в современном педагогическом знании // Educational Technology & Society. – 2000. – 3 (2). – P. 134 – 149. Александров И. О., Максимова Н. Е., Горкин А. Г. Комплексное исследование структуры индивидуального знания // Психологический журнал. – 1999. – № 1. – С. 49 – 69. Аленичева Е., Езерскии В., Антонов А. Компьютеризация и дидактика: поле взаимодействия // Высшее образование в России. – 1999. – № 5. – С. 83–88. Альтшуллер Г. С. Найти идею. – Новосибирск: Наука, 1986. – С. 209. Ананьев Б. Г. Сенсорно-перцептивная организация человека. Познавательные процессы: ощущение, восприятие. – М.: Педагогика, 1982. Анастази А., Урбина С. Психологическое тестирование. – СПб.: Питер, 2003. 122

11. 12.

13.

14.

15. 16.

– 688 с.; Клайн П. Введение в психометрическое программирование: Справочное руководство по конструированию тестов. Киев, 1994.; Психологическая диагностика. Проблемы и исследования / Под ред. К. М. Гуревича. – М.: Педагогика, 1981.; Психологические тесты / Под ред. А. А. Карелина: В 2-х т. – М.: Владос, Энциклопедия психологических тестов. Общение, лидерство, межличностные отношения. – М.: ООО «Издательство ACT», 1997. – 304 с. Андреев А.А. Педагогика в высших учебных заведениях. – М.: Электронное издание, 2005. – 458 с. Андреев А.А. Средства новых информационных технологий в образовании: систематизация и тенденции развития. В сб.: Основы применения информационных технологий в учебном процессе вузов. – М.: ВУ, 1995. – C. 43–48.; Инструментальные средства для конструирования программных средств учебного назначения / Ин-т пробл. информатики АН CCCP; [Отв. ред.: Г.Л. Кулешова]. – М., 1990.; Кирилова Г.И. Информационные технологии и компьютерные средства в образовании // Educational Technology & Society. – 2000. – № 4 (1). – С. 125–136.; Компьютерные обучающие программы / А.С. Демушкин, А.И. Кириллов, Н.А. Сливина, Е.В. Чубров, А.О. Кривошеев, С.С. Фомин // Информатика и образование. – 1995. – № 3. – С. 15–22.; Кречетников К.Г., Черненко Н.Н. Обоснование требований к компьютерным обучающим программам. Труды ДВГТУ / Владивосток, 2000. – Вып. 125. – С. 3–12.; Кривицкий Б. Х. О систематизации учебных компьютерных средств // Educational Technology & Society. – 2000. – № 3 (3). – С. 548–556.; Свистунов А. В., Тимченко В. В. Критерии создания автоматизированных систем контроля знаний обучаемых в системах дистанционного обучения // Тез. докл. III межрегиональной НПК Дополнительное образование. Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России. – СПб.: Смольный, 2000. С. 27 – 31.; Чепегин В. И. Компьютерные технологии обучения – проблемы классификации // Educational Technology & Society. – 2000. – № 3 (4). – С. 180–182. Андреев А. А., Солдаткин В. И. Дистанционное обучение: сущность, технология, организация. – М.: Изд-во НИИДО, 1999.; Андреев А. А. Дидактические основы дистанционного обучения. – М.: ВУ, 1998.; Андреев А. А. ДО в России: история и современность. Материалы 4 Международной конференции по ДО. – М: МЭСИ, 1997.; Андреев А. А., Паршиков Б. Л., Солдаткин В. И. К вопросу о модели образовательного учреждения ДО для определения его рейтинга. Проблемы информатизации ВШ. Бюллетень Минобразования РФ, № 1, 1999. Андреев А. А., Солдаткин В. И., Лупанов К. Ю. Проблемы разработки учебно-методических пособий для системы дистанционного образования. Материалы IХ международной конференции «Применение новых технологий в образовании» 1–3 июля 1998. г. Троицк: «Байтик», 1998.; Андреев А. А., Маслова Н. В. Проблемы биоадекватного представления учебного материала в системе дистанционного образования. // Дистанционное образование. – № 3, 1998. – C. 35–37. Андреев А. А. и др. Концептуальный подход к созданию интеллектуальной системы анализа знаний // Открытое образование. – 2001. № 5. – С. 44–48. Андрианов В. В. Принципы создания защищенных информационных процес123

17. 18. 19. 20. 21. 22. 23. 24. 25. 26.

27. 28. 29.

сов // Проект "Информационная безопасность". – Internet: http://security.list.ru /0/3/11.htm.; Басс С. Защитите ПК от атак // Мир ПК. – 2000. – № 4. – С. 124, 125.; Болконский В. Проблемы безопасности в области телекоммуникаций и информационных технологии // Мир ПК. – 2000. – № 5. – С. 102 – 104.; Остапенко А. Г. Информационная революция: проблемы безопасности // Проект "Информационная безопасность". – Internet: http://security.list.ru/0/6/4.htm.; Петренко С. А. Безопасное подключение к Интернету // Защита информации. Конфидент. – 2000. – № 4 / 5. – C. 34–41.; Поляков А. Атаки хакеров в сети: как их избежать? // Мир Internet. – 2000. – № 9. – С. 54–56.; Тимофеев П. А. Принципы защиты информации в компьютерных системах // Защита информации. Конфидент. – 1998. – № 3. Анискин В. Н. и др. Компьютер как средство управления в педагогических системах: проблемы моделирования информационных связей. Самара, 1993. Аношкин А. П. Педагогическое проектирование систем и технологий обучения. – Омск: Изд-во ОмГПУ, 1998. Апатова Н. В. Информационные технологии в школьном образовании. – М., 1994. –227 с. Архангельский С. И. Учебный процесс в высшей школе. – М.: ВШ, – 1980. – 368 с. Асеев В. Г. Личность и значимость побуждений. – М.: ИПРАН, 1993. Асмолов А. Г. Принципы организации памяти человека: системнодеятельностный подход к изучению познавательных процессов.: уч.-мет. пособие. – М.: МГУ, 1985. – 103 с. Атанов Г. А. Моделирование учебной предметной области, или предметная модель обучаемого // Educational Technology & Society. – 2001. – № 4 (1). – C. 111 – 124. Атанов Г. А., Локтюшин В. В. Организация вводно-мотивационного этапа деятельности в компьютерной обучающей системе // Educational Technology & Society. – 2000. – № 3 (2). – С. 118–125. Аткинсон Р. Человеческая память и процесс обучения. М.: Прогресс, 1980. – 527 с. Афремов Л. Л., Вовна В. И., Морев И. А., Смаль Н. А., Шаповалова Г. М. На пути к ЕГЭ: опыт массовых компьютерных тестирований школьников в Дальневосточном государственном университете // Развитие системы тестирования в России. Тезисы докл. III Всеросс. научно-методич. конф., Москва, 22–23 ноября 2001 г. – С. 218. Бабанский Ю. К. Закономерности, принципы и способы оптимизации педагогического процесса // Избранные педагогические труды / Сост. М. Ю. Бабанский. – М: Педагогика, 1989. Бакурадзе А. Б. Мотивация труда педагогов – М.: Сентябрь, 2005. – Вып. 3. – 192 с. Башмаков А. И., Башмаков И. А. Разработка компьютерных учебников и обучающих систем. – М.: Информационно-издательский дом "Филинъ", 2003. – 616 с.; Башмаков А. И., Башмаков И. А. Проблемы организации пользовательского интерфейса компьютерных тренажерных систем // Международная научная конф. «Пользовательский интерфейс в современных компьютерных системах». Сборник материалов конференции. Орел: Орловский ГТУ, 1999. – С. 79 – 91. 124

30. 31. 32. 33. 34. 35.

36. 37.

38.

39. 40. 41. 42. 43. 44. 45. 46.

Белавина И. Г. Восприятие ребёнком компьютера и компьютерных игр. // «Вопросы психологии». – 1993. № 3. – С.62–69. Белкин А. С. Ситуация успеха: как ее создавать. – М., 1992. Бельчиков Я. М., Бирнштейн М. М. Деловые игры. – Рига.: Авотс, 1989. Берг А. И. Кибернетика и проблемы обучения М: 1970. – 390 с. Берг А. И. Применение ЭВМ в учебном процессе. М: Сов. радио, 1969. Беспалько В. П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). – М.: Издательство: МПСИ, 2002. – 352 с.; Беспалько В. П. Педагогика и прогрессивные технологии обучения. – М., 1995.; Беспалько В. П. Основы теории педагогических систем. – Воронеж: Изд. Воронежского ун-та, 1977. – 304 с.; Беспалько В. П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. 192 с.; Беспалько В. П. Психологические парадоксы образования // Педагогика. 2000. №5. – С. 13–20.; Беспалько В. Мониторинг качества обучения – средство управления образованием // Мир образования. 1996. № 2. – С. 31. Белнап Н. Как нужно рассуждать компьютеру // Белнап Н., Стил Т. Логика вопросов и ответов. – М., 1981.; Бочвар Д. А. Об одном трехзначном исчислении //Математический сборник. – 1938. Т.4. – № 2.; Вригт Г. Х. Логика истины. // Вригт Г. Х. Логико-философские исследования. – М. 1986; Карпенко А.С. Импликативные логики: решетки и конструкции // Логические исследования. Вып. 2. – М., 1993. – С. 224–258.; Смирнов В. А. Комбинированные исчисления предложений и событий и логика истины фон Вригта // Исследования по неклассическим логикам. IV Советско-финский коллоквиум. – М., 1989.; Muskens R.A. Meaning and partiality. – Amsterdam, 1989.; Sіupecki J., Bryll G., Prucnal T. Some Remarks on Three-valued Logic of J. Ј ukasiewicz. // Studia Logica. 1967. Vol. XXI. – P. 45–70.; Библер В. С. Культура: Диалог культур // Вопросы философии. 1989. № 6.; XVII век в диалоге эпох и культур: Материалы научной конференции. Серия «Symposium». Выпуск 8. – СПб.: Санкт-Петербургское философское общество, 2000. – 136 с. Бикбулатов М. С. Дидактические возможности контроля осознанности усвоения знаний. – М.: Педагогика , 1981. Бирюков Б. В. Кибернетика в гуманитарных науках. – М.: МГУ, 1973. Блинов В. М. Эффективность обучения. – М.: Педагогика, 1976. Бойко Е. И. Механизмы умственной деятельности. – М.: Педагогика. 1976. – 247 с. Болескина Е. Л. Потребители игровой компьютерной культуры // Социс. – 2000. – № 9. – С. 80–87. Бондаревская Е. В. Личностно-ориентированное образование: опыт, разработки, парадигмы. – Ростов н/Д: Изд-во РГПУ, 1997. Борзов С. А., Почтман Ю. М., Рыбальченко Л. В. Применение генетических алгоритмов для дистанционного обучения в Интернете // Открытое образование. 2001. №3. – С. 37–48. Боровкова Т. И., Вовна В. И., Морев И. А. Технология оценки и использования результатов тестирования: опыт ДВГУ и УНО АПК внедрения образовательного мониторинга для управления качеством образования // Развитие системы тестирования в России. Тезисы докладов III Всероссийской научнометодической конференции, Москва, 22–23 ноября 2001 г. – C. 55. 125

47.

48. 49. 50. 51. 52.

53. 54. 55. 56. 57.

58. 59.

60.

61.

Боровкова Т. И., Морев И. А. Мониторинг развития системы образования. Часть 1. Теоретические аспекты: Учебное пособие. – Владивосток: Изд-во Дальневост. ун-та, 2004. – 150 с.; Боровкова Т. И., Морев И. А. Мониторинг развития системы образования. Часть 2. Практические аспекты: Учебное пособие. – Владивосток: Изд-во Дальневосточного ун-та, 2004. – 134 с. Брусиловский П. Л. Модели обучаемого в интеллектуальных обучающих системах // УсиМ. – 1992. – № 7-8. – С. 109–118. Бухвалов В. А. Методики и технологии образования. – Рига, 1994. Ваграменко Я. А. Информационные технологии и модернизация образования // Педагогическая информатика. – 2000. – № 2. – С. 3–9. Ваграменко Я. А. Фонд компьютерных учебных программ – ресурс развития образования // Компьютерные учебные программы. – 2000. – № 1. – С. 5–6. Васильев В. И., Тягунова Т. Н. Теория и практика формирования программно-дидактических тестов. – М.: Издательство МЭСИ, 2001. – 130 с.; Васильев В. И., Демидов А. Н., Малышев Н. Г., Тягунова Т. Н. Методологические правила конструирования компьютерных тестов. – М.: МГУП, 2000. Вейн А. М. Каменецкая Б. И. Память человека. – М.: Наука, 1973. – 208 с. Велицкая А. П. Модели образовательных систем и подходы к стандартизации // Образовательные стандарты: Материалы международного семинара. – СПб.: 1995. Вербицкая Н. Мониторинг и саморазвитие школьного управления // Директор школы. 1999. № 6. С. 15.; Вербицкая Н., Бодряков В. Мониторинг результативности учебного процесса // Директор школы. – 1997. – № 1. – С. 33–37. Винер Н. Кибернетика и общество. – М.: ИЛ, 1958. Висленев А. Н., Зиновьев С. Ю. Опыт использования компьютерной технологии управления формированием профессиональных навыков в автоматизированной системе обучения вопросам решения астронавигационных задач // Современные технологии обучения. Материалы VI междун. конф. – Ч. I. – СПб: ЛЭТИ, 2000. – С. 250. Вовна В.И., Львов И.Б., Морев И.А. СДО: шестьдесят первых шагов // Открытое и дистанционное образ-е. – 2004. – № 4(16). – C. 22–26. Вовна В. И., Морев И. А. Компьютерный тестер-тренажер «Дидактор»: имеющийся банк тестовых заданий, концепция и опыт применения в школе и вузе // Развитие системы тестирования в России. М-лы III Всероссийской научно-методической конференции, Москва, 22–23 ноября 2001 г. – М.: ЦТ, 2002. – С. 224.; Вовна В. И., Фалалеев А.Г., Львов И.Б., Петраченко Н. Е., Морев И. А. Опыт Открытого университета ДВГУ создания электронных пособий для обучения и тестирования знаний // Единая образовательная информационная среда: Проблемы и пути развития: М-лы III Всеросс. научнопракт. конф.-выставки. – Омск: Изд-во ОмГУ, 2004. – С. 126 – 127. Вовна В. И., Смаль Н. А., Станкевич Л. А., Морев И. А. Университетский образовательный округ как форма открытого непрерывного образования в сегменте школа – университет // Открытое и дистанционное образование. 2004. № 1(13). – С. 3–5. Вовна В. И., Доценко С. А., Шаповалова Г. М., Яровенко В. В., Колесов Ю. Ю., Петраченко Н. Е., Морев И. А. Информационная безопасность процедур массового компьютерного тестирования знаний. Неожиданное положительное влияние студенческого "мошенничества" на уровень качества образова126

62.

63. 64. 65.

66.

67. 68.

69. 70.

71.

ния // Персп. техн. оценки и мониторинга качества в образовании. Сб. науч. тр. – Владивосток: Изд-во Дальневост. ун-та, 2003. – С. 204–206.; Вовна В. И., Морев И. А., Короченцев В. В. Обеспечение информационной безопасности массовых компьютерных тестирований и пути управления качеством образования // Тр. XII Всеросс. научно-метод. конф. Телематика'2005, 6–9 июня 2005 г., СПб.: ГУИТМО. – 2005. – С. 355 – 356. Войскунский А. Е. Зависимость от Интернета: актуальная проблема // Социальные и психологические последствия применения информационных технологий. Материалы всеросс. Интернет-конф. 20 марта – 14 мая 2001 г. – Москва, 2001. – Internet: http://www.auditorium.ru /conf /psichol/voiskun_zav.htm. Волынец Ю. Ф. Опыт разработки и внедрения автоматизированной среды подготовки специалистов // Современные технологии обучения. Мат-лы VI междун. конф. – СПб: ЛЭТИ, 2000. – Ч. 1. – С. 260. Вопросы оптимизации управления качеством подготовки специалистов в университете. – Гродно, 1983. Вопросы тестирования в образовании / Под ред. Хлебникова В. А., Неймана Ю. В. – М.: «Век книги», 2001. – 115 с.; Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. – М.: Прометей, 2000. – 168 с.; Нардюжев В. И., Нардюжев И. В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. – М.: Прометей, 2000. – 148 с.; Челышкова М. Б., Ковалева Г. С., Татур А. О., Хлебников В. А. Концепция аттестационного тестирования выпускников общеобразовательных учреждений на этапе перехода от школы к вузу // Проблемы качества, его нормирования и стандартов в образовании: Сб. науч. ст. – М.: ИЦ, 1998. Воронина Т., Молчанова О., Абрамешин А. Управление инновациями в сфере образования // Высшее обр-е в России. 2001. № 6. С. 312.; Воронина Т. П., Кашицин В. П., Молчанова О. П. Образование в эпоху новых информационных технологий. – М.: АМО, 1995. Выготский Л. С. Избранные психологические исследования. – М.: Изд-во Акад. пед. наук РСФСР, 1956. Вымятнин В. М., Кистенев Ю. В., Нечаев И. А. Автоматизация учебного процесса в системе дистанционного образования средствами "Lotus Notes". "Электронная кафедра" // Дистанционное образование. – 1999. – № 1. – С. 10– 11. Выштынецкий Е. И., Кривошеев А. О. Вопросы применения информационных технологий в сфере образования и обучения // Информационные технологии. – 1998. – № 2. – С. 32–36. Гальперин П. Я. В какой мере понятие «черного ящика» применимо в психологии обучения // Теория истинного формирования умещенных действии и управление процессом обучения: Доклады научной конференции. М., 1967. С. 24–45.; Гальперин П. Я. О психологических основах программированного обучения. – М.: Знание, 1967.; Гальперин П. Я. Основные результаты исследований по проблеме "Формирование умственных действий и понятий". – М.: МГУ, 1965.; Гальперин П. Я. Программированное обучение и задачи коренного усовершенствования методов обучения // Программированное обучение: Метод, указания. М., 1964. – С. 3–11. Гальперин П. Я. Введение в психологию: Учебн. пособие для вузов. – М.: 127

72. 73. 74. 75. 76. 77. 78. 79. 80. 81.

82.

83. 84. 85. 86. 87.

Изд-во МГУ, 1976. Генике Е. Как преподавать студентам, которые не хотят учиться? // Вестник высшей школы. – 1999. – № 10. – С. 26–27. Гершунский Б. С. Компьютеризации в сфере образования: проблемы и перспективы. – М.: Педагогика, 1987. Гласе Дж., Стенли Дж. Статистические методы в педагогике психологии / Пер. с англ. Л. И. Хайрусовой. – М.: Прогресс, 1976. Голицына И. Н. Вопросы эффективности внедрения компьютерных технологий в профессиональное образование // Educational Technology & Society. – 2000. – 3 (3). – С. 538–547. Горбунова А. В., Лузянин В. И., Шамец С. П. Требования к дидактическим материалам для ДО. Тезисы докладов всероссийской научно-практической конференции 8–11 июня г. Санкт-Петербург. 1997. Грановская Р., Березная И. Запоминание и узнавание фигур. – М.: МГУ, 1974. – 96 с. Гребенюк В. А., Катасонов А. А. Учебный процесс и контроль знаний в системе виртуального образования // Дистанционное образование. – 1999. – № 1. – С. 30–33. Гузеев В. В. Планирование результатов образования и образовательная технология. – М.: Народное образование, 2000. 240 с.; Гузеев В. В. Методы и организационные формы обучения. – М.: Народное образование, 2001. – 128 с. Гурова Л. Л. Процессы понимания и развития мышления // Вопросы философии. – 1986. № 2. – С. 126–137. Гутник Г. Качество образования как системообразующий фактор региональной образовательной политики // Современная школа. 1999. № 1. С. 28.; Гутник Г. В. Информационное обеспечение системы управления качеством образования в регионе // Информатика и образование. – 1999. – № 4. – С. 7–10. Давыдов В. В. Проблемы развивающего обучения: Опыт теоретического и экспериментального психологического исследования. – М., 1986.; Давыдов В. В., Рубцов В. В., Крицкий А. Г. Психологические основы организации учебной деятельности, опосредствованной использованием компьютерных систем // Психологическая наука и образование. – 1996. – № 2. – С. 68–72. Демкин В. П., Можаева Г. В. Технологии дистанционного обучения. – Томск: Изд-во Том. ун-та, 2003. – 106 с. Джуринский А. Н. Развитие образования в современном мире / Уч. пос. – М.: Туманит, изд. центр ВЛАДОС, 1999. – С. 200. Дзюбенко А. А. Новые информационные технологии в образовании. – М., 2000. – 104 с. Дистанционное обучение: Учеб. пособие. / Под ред. Е . С. Полат. – М.: Владос, 1998. – 192 с. Доблаев Л. П. Смысловая структура учебного текста и проблемы его понимания. – М.: Педагогика, 1982.; Деревнина А. Ю., Кошелев М. Б., Семикин В. А. Принципы создания электронных учебников // Открытое образование. 2001. № 2. С. 14–17.; Воронина О. В. Использование гипертекстовой системы Link Way для контроля знаний // Информатика и образование. – 2000. – № 4. – С. 22–24.; Казиев В. М. Информация: понятия, виды, получение, измерение и проблема обучения // Информатика и образование. – 2000. – № 4. – С. 12– 22. 128

88. 89.

90.

91. 92.

93.

Долженко О. В., Шатуновский В. Л. Современные методы и технология обучения в техническом вузе: Методическое пособие. – М.: Высшая школа, 1990. 77 с. Донской М. Интернет и пользовательский интерфейс // Мир Internet. – 1999. – № 9. – С. 78–81.; Алиев Т. М., Богдоров Г. И., Кривошеее В. П. Системы отображения информации. – М: Высшая школа, 1988.; Бондаренко В. Е. Учебная информация в технических средствах обучения (Технические средства обучения). Вып. 7. – М.: Знание, 1979.; Видро В. Л., Поляк В. Е. Методология построения интерактивных компьютерных обучающих программ для систем дистанционного образования и опыт их применения // Материалы 6-й Всероссийской конференции по дистанционному образованию, Москва, 1997. – http://www.dist-edu.ru.; Голицын Г. А. Информация – логика – поэзия. // Число и мысль. Вып. 7. – М.: Знание, 1984.; Коутс Р., Влейминк И. Интерфейс «человек – компьютер»: Пер. с англ. – М.: Мир, 1990. 501 с.; Гололобов А. В Методика проведения интерактивных лекций по экономической теории с применением мультимедиа-технологии обучения // Вестник УМО по профессионально-педагогическому образованию. 2001. № 1.; Лебедев С. Оценка качества обучающих программных продуктов // Высшее образование в России. – 1997. – № 2. – С. 98–99.; Печников А. Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. – Петродворец: ВВМУРЭ им. А. С. Попова, 1995. – 322 с.; Рывчин В. Н. О художественном конструировании учебников. – М.: Книга, 1980.; Рок И. Введение в зрительное восприятие. Кн. 1. – М.: Педагогика, 1980.; Зайцева Л. В., Новицкий Л. П., Грибкова В. А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ. Рига: Знание, 1989. – 174 с.; Осолоткина Е. Ю. Формализация структуры Web-страниц // Дистанционное образование. – 2000. – № 4. – С. 37–39.; Вашик К. Представление исторического знания и новые мультимедийные технологии. Серия "АИРО – научные доклады и дискуссии Темы для XXI века" Выпуск 6. – М.: АИРО – ХХ, 1999 – 40 с.; Сабадашев В. П., Жмуран Д. Н., Шишка В. Г. Методические аспекты учебного пособия для дистанционного обучения // Проблемы создания автоматизированных обучающих и тестирующих систем – Новочеркасск: Изд-во ЮРГТУ, 2001. Дружинин В. Н. Экспериментальная психология. – СПб: Питер, 2000. – 320 с.; Евтюхин Н. В. Структуризация знаний и технология разработки компьютерных мастер-тестов // Дистанционное образование. – 1999. – № 1. – С. 18– 21. Дубровский Д. И. Информация. Сознание. Мозг. Монография. – М.: Высшая школа, 1980. – 286 с. Дьяченко В.К. Еще раз о коллективных учебных занятиях (технология педагогического труда) // Народное образование. – 1992. – № 1.; Дьяченко В.К. Сотрудничество в обучении. – М.: Просвещение, 1991.; Григорьев С.А, Раевский A.M. Групповая форма работы на уроке // Советская педагогика. 1989. № 8.; Дежникова Н.С., Первин И.Б. Товарищеская взаимопомощь школьников. – М.: Педагогика, 1981.; Шадрин А. Н. Коллективный способ обучения. Методика и теория. – Ростов н/Д: Изд-во ОблИУУ, 1993.; Лийтметс Х.И. Групповая работа на уроке. – М.: Знание. – 1975. Егоршин А. П. Дистанционное обучение в учебном заведении высшего обра129

94. 95. 96.

97.

98.

99.

100. 101. 102. 103. 104. 105. 106.

107.

зования // Дистанционное образование. – 1998. № 1, С. 20–23. Егоршин А. П., Кручинин В. А. Пути развития дистанционного высшего образования. // Дистанционное образование, 1999. Ежеленко В. Б. Новая педагогика. Теория и методика педагогического процесса / Учебное пособие. – СПб.: РГПУ им. А. И. Герцена, 1999. – С. 246. Елисеев И. И., Елисеев И. Л. Некоторые практические аспекты разработки педагогических тестов для итоговой аттестации // Инновационные аспекты учебного и воспитательного процессов в технических вузах: Материалы научно-методического семинара вузов Северного Кавказа. – Новочеркасск: Изд-во ЮРГТУ, 1999. Зайцева Ж. Н., Рубин Ю. Б., Титарев Л. Г., Титарев Д. Л., Тихомиров В. П., Хорошилов А. В., Ярных В. В., Яхшибекян А. А. Интернет-образование: не миф, а реальность XXI века / Под общ. ред. В. П. Тихомирова // Изд-во МЭСИ, М., 2000 – 189 с. Зайцева Ж. Н., Солдаткин В. И. Информатизация образования: состояние, проблемы и перспективы // Школа-семинар "Создание единого информационного пространства системы образования" / Под общ. ред. Н. А. Селезневой, И. И. Дзегеленна. – М.: Исследовательский центр проблем качества подготовки специалистов, 1998. Звенигородская Г. П. Гуманитарные системы: проблемы управления: Хрестоматия. – Хабаровск: Изд-во ГОУ ВПО ХГПУ. 2003. – 126 с.; Звенигородская Г. П. О феноменологии и рефлексии в образовании: книга для учителя. – Хабаровск: Изд-во ХГПУ. 2002. – 117 с. Зинченко П. И. Непроизвольное запоминание. – М.: АПН, 1961. – 562 с. Зинченко Т. П. Память в экспериментальной и когнитивной психологии. СПб: Питер, 2002. – 320 с. Зубрилин А. А., Овчинникова О. В. Игровые моменты при изложении темы "Символьные величины" // Информатика и образование. – 2000. – № 3. – С. 44–52. Иваницкий А. М., Стрелец В. Б., Корсаков И. А. Информационные процессы мозга и психическая деятельность. М. Наука, 1984. – 199 с. Изюмова С. А. Индивидуальная память и процесс обучения // Труды СГУ. Серия "Психология и социология образования". – 1997. – Вып. 4. – С. 10–23. Ингенкамп К. Педагогическая диагностика: Пер. с нем. – М.: Педагогика, 1991. –240 с. Интегрированный подход при моделировании процесса личностноориентированного обучения в системе повышения квалификации / Г. М. Стрижкова, Н. Е. Астафьева, Л. В. Филатьева, Л. Л. Юрова // Всероссийский августовский педагогический совет. Материалы науч.-практ. конф. – 2000. – Internet: http://pedsovet.alledu.ru/section/joint /conf 081816. htm. Интенсификация учебного процесса и повышение познавательной активности студентов. – Пермь, 1984.; Карнаухов Д. А. Формирование мотивации обучения студентов в проекте АСУ ПДС-2000 // Новые информационные технологии в университетском образовании: Материалы VII междун. Научно-метод. конф. 21–23 марта 2000 г. – Томск, 2000. – Internet: http://cctpu.edu.ru/conf/out/tez10. html.; Кулыгина Л. С. Активизация учения: сущность и содержание // Педагогика. – 1994. – № 1.; Вербицкий А., Кругликов В. Контекстное обучение: формирование мотивации // Высшее образова130

108.

109. 110.

111. 112. 113. 114. 115. 116.

117. 118.

119. 120.

ние в России. – 1998. – № 1. – С. 101–107.; Волов В. Т., Сопов В. Ф., Капцов А. В. Социально-психолого-педагогические детерминанты успешности обучения при дистанционной форме образования. – Казань. – 2000. – 76 с.; Кулыгина Л. С. Активизация учения: сущность и содержание // Педагогика. – 1994. – № 1.; Нечаева О. Проблема формирования мотивации в учебной деятельности // Internet: http://www.athens. kiev.ua/academy/index. htm. Информатизация и система тотального управления качеством. Дистанционное образование в России: проблемы и перспективы. Материалы Шестой международной конференции по ДО (Россия, Москва, 25–27 ноября 1998 г. ). – С. 317–336. Информационные технологии в системе непрерывного педагогического образования (проблемы методологии и теории). Монография. Под ред. В. А. Извозчикова. СПб : Образование, 1996. – С. 224. Информационные технологии в университетском образовании. – М.: 1991.; Информационные технологии для будущих экономистов / В. Тихомиров, Ю. Рубин, В. Самойлов, К. Шевченко // Высшее образование в России. – 1999. – № 1. – С. 113–116.; Назаров А. И., Сергеева О. В., Чудинова С. А. Использование информационных технологий для повышения эффективности вариативного обучения общему курсу физики в вузе // Открытое образование. 2001. № 6. С. 13–17. Исследования памяти. под ред. Корж Н. Н. Наука.: 1990. – 215 с. Кабардов М. К., Матова М. А. Межполушарная асимметрия и вербальные и невербальные компоненты познавательных способностей // Вопросы психологии. 1988. № 6. – С. 106–115. Кавтарадзе Д. Н. Человек в мире игры // Мир психологии. – 1998. – № 4. – С. 33–49. Кальней В. А., Шишов С. Е. Школа: мониторинг качества образования. – М.: Педагогическое общество России, 2000. – С. 320 Камке Э. Справочник по обыкновенным дифференциальным уравнениям. – М.: Наука. – 1976. – 576 с. Карпенко М. П. Проблема измерения знаний и образовательные технологии // Труды СГУ. Серия "Психология и социология образования". – М., 1999. – Вып. 10. – С. 14–20.; Карпенко О. М., Переверзев В. Ю. Технология тестового контроля успеваемости студентов в СГУ // Труды СГУ. Серия "Психология и социология образования". – М., 1999. – Вып. 10. – С. 132–136. Карпенко М. П. Эффективные дистанционные образовательные технологии // Инновации в образовании. 2001. – №3. – С. 62–69. Катыс Г. П., Катыс П. Г. Новая информационная технология – компьютерный синтез виртуального пространства. Часть I // Информационные технологии. – 1999. – № 3. – С. 11–16.; Катыс Г. П., Катыс П. Г. Новая информационная технология – компьютерный синтез виртуального пространства. Часть II // Информационные технологии. – 1999. – № 4. – С. 7–14.; Носов Н. Образование и виртуальная реальность // Новый коллегиум. – 2000. – № 3. – С. 40–43.; Титтел Э., Сандерс К., Скотт Ч., Вольф П. Создание VRML–миров: Пер. с англ. Киев: Издательская группа BHV, 1997. – 320 с. Кац А. Качество образования: подлинный смысл и бессмысленные процедуры // Директор школы, №3. – 2001. Кашицин В. П. Системы дистанционного обучения: модели и технологии // 131

121. 122. 123. 124.

125. 126.

127. 128. 129.

130. 131.

132.

Проблемы информатизации, 1996. № 2. – С. 14–19. Кинелев В. Дистанционное образование 21 века // Alma mater: Вестник высшей школы. – 1999. – № 5. – С. 4–8. Кларин М. В. Педагогическая технология в учебном процессе. Анализ зарубежного опыта. – М.: Знание, 1989. Клацки Р. Память человека: структура и процесс. – М.: МИР, 1978. – 319с. Кожевников Ю. В., Медведева С. Н. Дидактическое проектирование компьютерных технологий обучения для профессиональной математической подготовки по специальности "Прикладная математика и информатика" // Educational Technology & Society. – 2000. – № 3 (4). – C. 203–217. Козлов О. А., Солодова Е. А., Холодов Е. Н. Некоторые аспекты создания и применения компьютеризированного учебника // Информатика и образование. – 1995. – № 3. – С. 97–99. Колесников Р. Д. Опыт использования компьютерных конструкторов в учебно-воспитательной работе Академии // Актуальные проблемы развития и совершенствования военного образования. – СПб: ВМА, 1997. – Вып. 22. – С. 140–144. Комаров В. Н., Морев И. А. О возможности применения теории диссипативных структур в реформе системы образования // Проблемы региональной экономики, №4 – 5, 2001. –С. 269–274. Комаров В. Н., Морев И. А. Феномен дислексии как синергетическая реакция человечества на глобальные изменения окружающей среды // Вестник УдГУ, 2001, № № 10, 11. – С. 272–277. Короченцев В. В., Морев И. А. Внедрение компьютерной технологии ЦКТ оценки качества знаний студентов Приморья в 2002 – 2003 гг. // Стандарты и качество. №12, 2003. – С. 92 – 94.; Короченцев В. В., Морев И. А. Мониторинговые исследования качества знаний учеников школ Приморского края // Стандарты и качество. № 9, 2003. – С. 96–97.; Короченцев В. В., Морев И. А. Опыт внедрения ЦКТ в Приморском крае в 2002–2003 годах // Открытое и дистанционное образование. № 3(11), 2003. – С. 84–86. Кофтан Ю. Р. Программно-инструментальное обеспечение сетевых систем дистанционного обучения // Дистанционное образование, 2000. – № 1. Краевский В. В. Общие основы педагогики: Учеб. для студ. высш. пед. учеб. заведений. – М.: Издательский центр «Академия», 2003. – 256 с.; Краевский В. В. Лернер И. Я. Процесс обучения и его закономерности. – М.: Педагогика, 1982. Кречетников К. Г. Задания в тестовой форме и методика их разработки: Учебно-методическое пособие. – Владивосток: Изд-во Дальневост. ун-та, 2002. – 36 с.; Кречетников К. Г. Ход педагогического эксперимента для сравнения эффективности традиционного и компьютерного обучения // Военноморское образование на Дальнем Востоке России. Материалы всеросс. научно-техн. конф. – Т. 1. – Владивосток: ТОВМИ, 2001. – С. 58–61.; Кречетников К. Г. Теоретические основы создания креативной обучающей среды на базе информационных технологий для подготовки офицеров флота. Моногр. – Владивосток: Изд-во Дальневост. ун-та, 2001. – 360 с.; Кречетников К. Г. Применение компьютерных обучающих программ в военно-морском институте // Современные математические методы и новые информационные технологии при решении навигационных и военно-прикладных задач. Материа132

133. 134. 135.

136. 137. 138. 139. 140. 141.

142. 143. 144. 145. 146. 147. 148.

лы науч.-практ. конф. – СПб: ВМИ им. М. В. Фрунзе. – 2000. – С. 107 – 108.; Кречетников К. Г., Черненко Н. Н. Применение компьютерного тестирования для контроля знаний. Мотивационный эффект. Электронный образовательный журнал "Эйдос". – 2000. – Вып. 13. – М.: ЦДО "Эйдос". – Internet: http://www.eidos.ru/journa /title.htm. Кривошеев А. О. Электронный учебник – что это такое? // Университетская книга. – 1998. – № 2. – С. 13–15. Крившенко Л. П. Развитие творческой активности студентов в процессе обучения // Психолого-педагогические аспекты многоуровневого образования. – 1997. – Т. 9. – С. 229–232. Кроль В. М., Мордвинов В. А., Трифонов Н. И. Психологическое обеспечение технологий образования. // Высшее образование в России № 2, 1998 г. Научно-педагогический журнал Минобразования России , стр. 34–41.; Шахтер М. С. Образные компоненты знания в обучении // Вопросы психологии. 1991. №4. С. 50–58.; Усачев Ю. Е. Проектирование интеллектуального учебника // Дистанционное образование. – 2000. – № 4. – С. 24–27. Кручинин В. В. Разработка компьютерных учебных программ. – Томск: Издво Том. ун-та, 1998. С. 210. Ксензова Г. Ю. Значение ситуации успеха в учебной деятельности // Гуманитарное образование в современном вузе: Сборник статей памяти Т. П. Долговой. – Тверь. – 2000. – С. 80–84. Кузовлева К. Т. Разработка теста для контроля знаний по аналитической химии на основе Item Response Theory // Internet: http://www. dvgu. ru / vido / fesulOO / tes / t52. htm. Кукуев А. И. Педагогический мониторинг как функциональный инструмент управления учебно-воспитательным процессом // Завуч, 2000. № 8. С. 10–22. Кулюткин Ю. Н. Моделирование педагогических систем. – М.: Педагогика, 1981. Лебедев В. А., Афанасьева С. В., Андреев В. В. Повышение эффективности обучения и приобретения практических навыков на интеллектуальных тренажерах // Современные технологии обучения. Материалы VI междун. конф. – СПб: ЛЭТИ, 2000. – Ч. 1. – С. 278. Лебедев О. Е., Неупокоева Н. И. Цели и результаты школьного образования: Методич. рекомендации. – СПб.: СПГУПМ, 2001. – 52 с. Левина О. Г. Взаимодействие компьютера и человека как социальное явление // Педагогический вестник. – 1998. – № 2. – Internet: http://www.yspu.yar.ru/vestnik/novosti_i_problemy/6_1/index.html. Леднев В. С. Содержание образования: сущность, структура, перспективы. – М: ВШ, 1991. – 224 с. Леонтьев А. Н. О формировании способностей // Вопросы психологии. – 1960. – № 1. – С. 11. Леонтьев А. Н. Психологические вопросы сознательности учения // Известия АПН СССР. – 1947. – Вып. 7. – С. 3–40. Леонтьев А.Н., Джафаров Э.Н. К вопросу о моделировании и математизации в психологии // Вопросы психологии. – 1973. – № 3. – C.25. Лернер А. Я. Начала кибернетики. – М.: Наука, 1967. – С. 104–105. Лернер И. Я. Дидактические основы методов обучения. – М.: Педагогика, 1981.; Лернер И. Я. Внимание технологии обучения // Сов. педагогика. – 133

149. 150. 151. 152. 153. 154.

155. 156. 157. 158.

159. 160. 161. 162.

163. 164.

165.

166.

1990. – № 3. Лобачев С. Л., Солдаткин В. И. Дистанционные образовательные технологии, информационный аспект. – М.: МЭСИ, 1998. – 300 с. Лобок А. М. Антропология мифа. – Екатеринбург, 1997 . Лукасевич Я. О детерминизме // Логические исследования. Вып. 2.– М., 1993. С. 190–205 Лукасик А. В. Психологические особенности запоминания при последующем воспроизведении с узнаванием // Труды СГУ. Серия "Психология и социология образования". – М., 1997. – Вып. 4. – С. 51–57. Лукьянова Е. М. Оптимизация распределения времени обучения в школе // Информатика и образование. – 2000. – № 8. – С. 51–53. Лупанов К. Ю. Паршиков Б. Л., Солдаткин В. И. Об особенностях дистанционных образовательных технологий. Материалы Шестой международной конференции по ДО. «ДО в России: проблемы и перспективы». 25–27 ноября 1998 г. Москва. – С. 269–272. Лурия А. С. Маленькая книжка о большой памяти. – М.: Эйдос, 1994. – 96 с. Ляудис В. Я. Память в процессе развития. – М.: МГУ, 1976. – 254 с. Маврин С. А. Педагогические системы и технологии. Уч. пос. для студ. педвузов. – Омск: Изд-во ОмГПУ, 1998. Мадудин В. Н. Программно-методическое обеспечение для контроля знаний студентов // Педагогические и информационные технологии в образовании. – № 1. – Internet: http://scholar.urc.ac.ru:8002 /Teachers/methodics/journal/numero1. Майоров А. Н. Мониторинг в образовании. – СПб.: «Образование – Культура», 1998. – 344 с. Майоров А. Н. Теория и практика создания тестов для системы образования. – М.: Интеллект-центр, 2001. – 296 с. Макарова Т. Д. Тестирование в системе мониторинга качества образования // Стандарты и мониторинг в образовании. 1998, №1. – С. 60–61 Марголин В. М., Тиунов Н. А. Психофизиологическое обоснование динамики напряженности и работоспособности студентов и преподавателей с использованием ТСО // Тезисы докладов на Всесоюзной конференции о научных основах разработки и внедрения ТСО в обучении. – М., 1984. Маркова А. К., Орлов А. Б., Матис Т. А. Формирование мотивации учения. М., 1990.; Маркова А. К. и др. Диагностика и коррекция умственного развития в школьном и дошкольном возрасте. – Петрозаводск, 1992. Математическое моделирование. Сб. статей под ред. Дж. Эндрюс и Р. Мак – Моун, пер. с англ. / Под ред. Ю. П. Гупало. – М.: Мир. – 1979. – 277 с.; Гулд Х., Тобочник Я. Компьютерное моделирование в физике: В 2-х частях. – М.: Мир, 1990. Матрос Д. Ш. Электронная модель школьного учебника // Информатика и образование. – 2000. – № 8. – С. 41–42.; Савельев А. Я., Новиков В. А., Лобанов Ю. И. Подготовка информации для автоматизированных обучающих систем: Метод, пособие для преподавателей и студентов вузов / Под ред. А. Я. Савельева. – М.: Высшая школа, 1986. – 176 с. Матрос Д. Ш., Полев Д. М., Мельникова Н. Н, Управление качеством образования на основе новых информационных технологий и образовательного мониторинга. Издание 2-е. – М.: Педагогическое общество России, 2001. – 128 134

167. 168.

169. 170.

171. 172. 173. 174. 175. 176. 177. 178.

179.

180.

с. Матушанский Г.У. Проектирование педагогических тестов для контроля знаний // Информатика и образование. – 2000. – № 6. – С. 7–11. Махоткина Т. Л., Махоткин С. К., Морев И. А. «Симметрия в физике» – дистанционно. // Материалы VI международной конференции « Физика в системе соврем. образования» (ФССО – 01), 28–31 мая 2001 г., Ярославль. 2001. – С. 79–81. Машбиц Е. И. Методические рекомендации по проектированию обучающих программ / Ин-т психологии Мин-ва просвещения УССР; [Разраб.: Е. И. Машбиц]. – Киев, 1986. Машбиц Е. И. Психологические основы управления учебной деятельностью. – Киев: Вища школа, 1987. – 224 с.; Машбиц Е. И. Психологопедагогические проблемы компьютеризации обучения. – М.: Педагогика, 1988. – 191 с. Менчинская Н. А. Проблемы “самоуправления” познавательной деятельностью и развитие личности // Теоретические проблемы управления познавательной деятельностью человека. – М., 1975. Методика разработки обучающих программ для автоматизированных обучающих систем / Мазаев А. А., Монахова О. Е., Токарев А. Б. – М.: МЭИ, 1985. – 48 с. Методы и средства кибернетики в управлении учебным процессом высшей школы: Сб. науч. трудов. Рига: Риж. политехн. ин-т, 1985. Вып. 1. – 216 с. Мильнер Б. З. Управление знаниями. – М.: ИНФРА–М, 2003. Михайлычев Е. А. Дидактическая тестология. – М.: Народное образование, 2001. – 432 с. Михеева Т. И., Михеенков И. Е. Программная таксономия – основа для создания гипермедийных обучающих программ // Информационные технологии. – 1998. – № 8. – С. 40–43. Мишин В. М. Управление качеством: Учеб. пособие для вузов. – М: ЮНИТИ–ДАНА, 2000. – 303 с. Модели взаимодействия факторов, влияющих на уровень математической и естественнонаучной подготовки школьников России. Ковалева Г. С., Краснянская К. А., Найденова Н. Н. и др. / Под ред. Найденовой Н. Н. Сб. науч. ст. – М.: ИЦ, 2002.; Технический отчет по проведению в России международного исследования – TIMSS. / Каменщикова Е. К., Ковалева Г. С., Крайнова Н. А., Найденова Н. Н. / Под ред. Ковалевой Г. С. Сб. науч. ст. – М.: ИЦ, 2002. Моисеев В. Б и др. Оценивание результатов тестирования на основе экспертно – аналитических методов // Открытое образование. 2001. №3. – С. 32–36.; Карак А. Б. Разработка системы диагностирования знаний человека, основанной на использовании нечетких оценок // Международный форум информатизации – 98: Доклады международной конференции «Информационные средства и технологии». Т. 3. – М.: Изд-во «Станкин», 1998. С. 129–134.; Попов Д. И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений // Дистанционное образование. – 2000. – № 6. – С. 26–28.; Хубаев Г. О построении шкалы оценок в системах тестирования // Высшее образование в России. – 1996. – № 1. – С. 122–125. Монахова Л. Ю., Конюховский В. С. Структура тезауруса в генераторе кон135

181.

182.

183.

184.

185.

трольных заданий // Современные технологии обучения. Материалы VI междун. конф. – Ч. I. – СПб: ЛЭТИ, 2000. – C. 214. Морев И. А, Вовна В. И. Концепция мягкого тестирования знаний для системы дистанционного образования // Мат-лы VI междунар. конф. «Дистанционное образование в России: проблемы и перспективы». – Москва, 1998. – С. 291–295. Морев И. А. Дистанционное обучение: Формы передачи и представления образовательной информации // Открытое и дистанционное образование. 2005. №3(19).; Морев И. А. Проект «Аралия»: проблемы представления образовательной информации. Межвузовская региональная научно-техническая программа Дальний Восток России. Вузы региона как центры науки, образования и культуры. Владивосток, Изд-во ДВГУ, 1994. – С. 3–10.; Морев И. А., Фалалеев А. Г. Недостатки интерфейса компьютерных комплексов для обучения и тестового контроля и их причины // Труды XII Всерос. Научнометод. конф. Телематика'2005, 6–9 июня 2005г, Санкт–Петербург: ГУИТМО. – 2005. – С. 215–216.; Морев И. А., Фалалеев А. Г., Махоткин С. К., Андросов П. Г. Проблемы компьютерного представления образовательной информации // Вестник УдГУ, 2001, № 10–11. – С. 198–205. Морев И. А. Игра в обучении и измерении качества обучения. Безобразие учебных пособий // XXXVII Всеросс. межвуз. научно-техн. конф. Сб. докл. МАНВШ. Владивосток, 2004 г., ТОВМИ им. С. О. Макарова, 2004 г. – Т. 1. – C. 24–27. Морев И. А. Как учить иностранному языку дистанционно? Технология мягкого тестирования: тренажер "Толмач" // Открытое образование. Москва, 2005. № 3(48); Морев И. А. Как учить решению задач дистанционно? Технология мягкого тестирования // Открытое и дистанционное образование. 2005. №3(19). Морев И. А. Бушуева Т. А. Рынок оценок как структурный элемент активных методов обучения в вузе./ М-лы 3-ей Дальневосточной региональной научнометод. конференции "Содержание и образовательные технологии многоуровневой подготовки в техническом вузе". Владивосток, 1995. – С. 89-90.; Морев И. А. Рынок образовательных услуг в Приморье: перспективы развития, конкуренция, сертификация, биржа, аспекты международного сотрудничеств. // Дальневосточный ученый. – 1992. – № 28; Морев И. А. "Растущий ребенок" для роста преподавателя // Дальневосточный ученый. – 1992. – № 30; Морев И. А., Комаров В. Н. Структурные перестройки образования с точки зрения теории диссипативных структур // Материалы III Региональной научно-методической конференции. – ДВГУ.: Владивосток,1993; Морев И.А., Комаров В.Н. Левши и дислектики – вузовская проблема. // Материалы III Региональной научно-методической конференции. – ДВГУ.: Владивосток, 1993; Морев И. А., Бушуева Т. А. Концепции КУИТЭ: за и против // Материалы III Региональной научно-методической конференции. – ДВГУ.: Владивосток, 1993; Морев И. А., Бушуева Т. А. Рынок оценок как структурный элемент активных методов обучения // Материалы III Региональной научнометодической конференции. – ДВГУ.: Владивосток, 1993; Морев И. А. "Растущий ребенок" – компьютерная энциклопедия, игра для детей, тренажер для родителей и молодых педагогов // Материалы III Региональной научнометодической конференции ДВГУ: Владивосток, 1993.; Морев И. А. Оболоч136

186. 187.

188. 189. 190. 191. 192.

193.

194. 195. 196.

ка оптимального массового учебника. // Дальневост. ученый. – 1993. – № 6.; Морев И. А. Феномен дислексии и новые вые информационные технологии. // Материалы Российской конференции по новым информационным технологиям в образовании. – УдГУ: Ижевск, 1994.; Морев И. А., Бушуева Т. А. Концепция мягкого тестирования для обучающих комплексов КУИТЭ гуманитарного и естественнонаучного направлений. // Материалы Российской конференции по новым информационным технологиям в образовании. – УдГУ: Ижевск, 1994; Морев И. А., Фалалеев А. Г. Неожиданные аспекты распространяющихся компьютерных игр: региональная специфика и прогноз – предупреждение. // Материалы Российской конференции по новым информационным технологиям в образовании. – УдГУ: Ижевск, 1994. Морев И. А. Методическая система стимулирования обучаемости средствами дидактического тестирования. Монография. – Владивосток: Изд-во Дальневост. ун-та, 2005. – 112 с. Морев И. А. О "подводных камнях" дидактических рейтинговых систем // Труды VI Междунар. научно-метод. конф. "Качество образования: менеджмент, достижения, проблемы", Новосибирск, 2005г. – с. 314–318.; Морев И. А. Об особенностях рейтингового механизма защиты качества образования // Труды VI Междунар. научно-метод. конф. "Качество образования: менеджмент, достижения, проблемы", Новосибирск, 2005 г. – C. 254–257. Морев И. А. О надежности тестовых измерений в дистанционном обучении // Открытое и дистанционное образование. 2005. №1(17). – С. 24–31. Морев И. А. Образовательные информационные технологии. Часть 1. Обучение: Уч. пособие. – Владивосток: Изд-во Дальневост. ун-та, 2004. – 158 с. Морев И. А. Образовательные информационные технологии. Часть 2. Педагогические измерения: Учебное пособие. – Владивосток: Изд-во Дальневост. ун-та, 2004. – 174 с. Морев И. А. Образовательные информационные технологии. Часть 3. Дистанционное обучение: Учебное пособие. – Владивосток: Изд-во Дальневост. ун-та, 2004. – 150 с. Морев И. А. Принципы индуктивности и индуктивной мотивации – новые элементы дидактической системы // XXXVII Всеросс. межвуз. научно-техн. конф. Сб. докл. . МАНВШ. Владивосток, 2004 г., ТОВМИ им. С. О. Макарова, 2004 г. Т. 1. – C. 28–30. Морев И. А. Пятнадцать типов сценариев компьютерного тестирования знаний // XXXVII Всероссийская межвузовская научно – техническая конференция. Сб. докладов. МАНВШ. Владивосток, 2004 г., ТОВМИ им. С. О. Макарова, 2004 г., Т. 1. – C. 20–23.; Морев И. А. Тридцать три принципа конструирования теста, создания тестовых заданий и выбора технологии тестирования // Открытое и дистанционное образование. 2004. – № 4(16). – C. 45–50. Морев И. А. Развивающий измерительный процесс в вузе. Монография. – Владивосток: Изд-во Дальневост. ун-та, 2005. – 124 с. Морев И. А. Развитие системы ДО на Дальнем Востоке России // Дистанционное образование. 1998. №5. – С. 20–24. Морев И. А. Рынок образовательных услуг в Приморье: перспективы развития, конкуренция, сертификация, биржа, аспекты международного сотрудни137

197. 198. 199.

200.

201.

202.

203.

204. 205. 206. 207.

чества. // Дальневост. ученый, 1992, № 28. – С. 4. Морев И. А. Там, за горизонтом // Управление школой, 2004, № 38(374). – С. 24–25. Морев И. А. Центр новых образовательных технологий ДВГУ // Вестник ДВО РАН. – № 5–6. – 1994. – С. 40–41. Морев И. А., Бушуева Т. А. Концепция мягкого тестирования для обучающих комплексов КУИТЭ гуманитарного и естественнонаучного направлений. // Тез. докл. Российской конференции по новым информационным технологиям в образовании. УдГУ: Ижевск, 1994. – С. 126.; Морев И. А., Андросов П. Г., Махоткина Т. Л., Махоткин С. К. Компьютерный тест по физике: мотивируем, увлекая // Мат-лы VI междунар. конференции «Физика в системе современного образования» (ФССО – 01) – Ярославль: Изд-во ЯрГУ, 2001. – С. 161.; Морев И. А., Короченцев В. В., Фалалеев А. Г., Львов И. Б., Колесов Ю. Ю. О нетрадиционных функциях процедуры компьютерного тестирования знаний // Перспективные технологии оценки и мониторинга качества в образовании. Сб. науч. тр. – Владивосток: Изд-во Дальневост. ун-та, 2003. – С. 199–201. Морев И. А., Вовна В. И. О защите качества в системе открытого образования. Опыт массовых тестирований студентов и неожиданные проявления образовательной специфики // Единая образовательная информ. среда: Проблемы и пути развития: Мат-лы III Всеросс. научно – практ. конференции – Омск: Изд-во ОмГУ, 2004. – С. 298–299. Морев И. А., Вовна В. И., Смаль Н. А. Приморский краевой центр мониторинга качества образования – звено федеральной системы контроля качества образовательных ресурсов // Единая образовательная информационная среда: Проблемы и пути развития: Мат-лы III Всеросс. научно-практ. конф.– выставки. – Омск: Изд-во ОмГУ, 2004. – С. 47–48. Морев И. А., Махоткин С. К., Андросов П. Г., Петраченко Н. Е. «Дидактор». Свидетельство о регистрации программы для ЭВМ № 990756, Зарегистрировано РОСПАТЕНТ в реестре программ для ЭВМ 22. 10. 1999 г.;Морев И. А., Махоткин С. К., Подворняк В. А. «Дидактор – 2» Свидетельство об официальной регистрации программы для ЭВМ № 2000610785. Зарегистрировано РОСПАТЕНТ в реестре программ для ЭВМ 22. 08. 2000 г. Морев И. А. Расчеты физических характеристик молекул с применением эволюционного подхода. Автореф. канд. дисс. – Л.: ЛГУ, 1988. – 17 с.; Морев И. А., Смирнов Е. П. Релаксационный метод оптимизации нелинейных параметров в вариационной задаче для функционала энергии. // Вестн. Ленингр. унта, сер. Физика, Л.: ЛГУ, 1982, вып. 4, № 5. – С. 68–70.; Морев И. А., Смирнов Е. П. Об оптимизации нелинейных параметров в неэмпирическом методе ПСГО // Вестн. Ленингр. ун-та, сер. Физика, Л.:ЛГУ, 1986, вып. 4, № 2. – С. 76–79. Морев И. А. С компьютером на «ты». Ч. 1,2,3 // Управление школой, 2004, №40, 42, 46(379, 381, 385). – С. 19–21, 16–17, 21–22. Назарова Т. С., Полат Е. С. Средства обучения (Технология создания и использования). – М.: УРАО, 1998 – С. 203. Наумов В. В. Разработка программных педагогических средств // Информатика и образование. – 1999. – № 3. – С. 36–40. Неверкович С. Д. Рефлексия оснований профессиональной деятельности в 138

208.

209.

210. 211. 212.

213.

214. 215.

216. 217. 218. 219. 220. 221. 222.

игровом обучении // Психологическая наука и образование. – 2000. – № 3. – С. 68–74. Невзоров М. Н. Инновационные процессы в массовой общеобразовательной школе: педагогическая рефлексия / В кн.: Звенигородская Г. П. Гуманитарные системы: проблемы управления: Хрестоматия. – Хабаровск: Изд-во ГОУ ВПО ХГПУ, 2003. – С. 106–116. Невзоров М. Н. Научно-методические основы проектирования школы жизни. Практико-ориентированная монография Хаб.: ХГПУ, 2002. – 209 с.; Невзоров М. Н. Школа созидания человека (опыт инновационной практики в образовании) Уч. пос. Хаб.: ХГПУ, 2000. – 113 с. Немова Н. Это модное словечко – "мониторинг" // Директор школы. – 1999. – № 7. – С. 29. Нестеров А. В., Тимченко В. В., Трапицын С. Ю. Информационные педагогические технологии. Учебно-методическое пособие. – СПб.: Издательство ООО "Книжный дом", 2003. – 340 с. Никанорова И. Я. Возможности применения математических методов в педагогических исследованиях // Педагогика как наука и как учебный предмет: Тезисы докладов международной научно-практической конференции. 26–28 сентября 2000 г. – М., 2000. – С. 123–125.; Лазарев B. C., Коноплина Н. В. Деятельностный подход к формированию содержания педагогического образования // Педагогика. – 2000. – № 3. – С. 27–34.; Морозов И. Ю. Курс Информатики на филологическом факультете педвуза // Информатика и образование. – 1999. – № 9. – C. 54–55. Новиков В. А. Проблемы повышения дидактической эффективности автоматизированных обучающих систем / В кн.: «Развитие методов и средств автоматизированного обучения». Сборник научных трудов. – М.: НИИВШ, 1987. – С. 93–101. Новикова А. А. Медиаобразование в США: проблемы и тенденции // Педагогика. – 2000. – № 3. – С. 68–75. Новые педагогические и информационные технологии в системе образования. Учебное пособие для студентов пед. вузов и системы повышения квалификации пед. кадров / Е. С. Палат, М. Ю. Бухаркина, М. В. Моисеева, А. Е. Петров / Под ред. Е. С. Полат. – М.: Издательский центр "Академия", 2000. – С. 272. Ногин С. Б. Автоматизированные учебные курсы и их разработка. – СПб.: ВАС, 1993. Образцов П. И. Психолого-педагогические аспекты разработки и применения в вузе информационных технологий обучения. – Орел: Изд-во Орловского госуд. технич. ун-та., 2000. – 145 с. Обучение и развитие / Под ред. Л. В. Занкова. – М., 1975. Оганесян А. Г. Опыт компьютерного контроля знаний // Дистанционное образование. – 1999. – № 6. – С. 30–35. Околелов О. П. Оптимизационные методы дидактики // Педагогика. – 2000. – № 3. – С. 21–26. Осин А. В. Интернет-страница: http:\\www.rnmc.ru\ideas\ideas.html Осипов Г. С. Построение моделей предметных областей. Ч.1. Неоднородные семантические сети // Известия РАН. Техническая кибернетика. 1990. № 5. – С. 32–45. 139

223. 224. 225. 226.

227.

228.

229.

230. 231.

232. 233. 234. 235. 236.

237.

Основы открытого образования. Т.1,2 / Ответ. редактор В. И. Солдаткин. – РГИОО. – М., 2002. – 680 с. Основы педагогики и психологии высшей школы / Под. ред. А. В. Петровского. – М.: Изд-во Моск. ун-та, 1986. Павличенко Ю. А., Хатьков Н. Д. Автоматическое формирование индивидуального учебного курса // Открытое образование. 2001. – №5. – С. 28–31. Павловский В. В. Компьютерная игра как индикатор социальнопсихологических установок общества // Социальные и психологические последствия применения информ. техн. материалы всероссийской Интернетконференции 20 марта – 14 мая 2001 г. – Москва, 2001. – http://www.auditorium.ru/conf/psichol/pavlovsky_comp.htm. Пак Н. И., Симонова А. Л. Компьютерная диагностика знаний в системах дистанционного образования // Дистанционное образование. – 2000. – № 2. – С. 17–21.; Пак Н. И., Симонова А. Л. Методика составления тестовых заданий // Информатика и образование. – 1998. – № 5. – С. 27–32. Павлов С. А. Исчисление предикатов истинности и ложности // Логический анализ естественных языков. 2-ой Советско-Финский коллоквиум по логике. – М., 1979.; Павлов С. А. Логика с терминами 'истинно' и 'ложно' // Философские основания неклассических логик. Труды научно-исследовательского семинара по логике Института философии АН СССР. – М., 1990.; Павлов С. А. Логика ложности FL4 / Труды научно-исследовательского семинара логического центра Института философии РАН. 1993. – М., 1994.; Павлов С. А. Классификация трех- и четырехзначных логик в рамках логики ложности FL4 // Логические исследования. Выпуск 3, – М., 1995.; Педагогические технологии: Учебное пособие для студентов педагогических специальностей / Под общей ред. B. C. Кукушина. – Серия «Педагогическое образование». – Москва: ИКЦ «МарТ»; Ростов н/Д: Издательский центр «МарТ», 2004. – 336 с. Педагогика и психология высшей школы / Под ред. С. И. Самыгина. – Ростов н/Д: Феникс, 1998. Педагогика наших дней / Сост. Ш. А. Амонашвили, В. Ф. Шаталов, С. Н. Лысенкова., Краснодар, 1989.; Амонашвили Ш. А. Воспитательная и образовательная функция оценки учения школьников. – М.: Педагогика, 1984.; Гузеев В. В. Оценка, рейтинг, тест. Школьные технологии. 1998, №3. – С. 3–40.; Ксензова Г. Ю. Оценочная деятельность учителя. – М., Педагогическое общество России, 2000. – 121 с.; Шаталов В. Ф. Куда и как исчезли тройки. – М., 1979. Педагогика. / Под ред. С. П. Баранова, В. А Сластенина – М.: 1986. Пидкасистый П. И., Хайдаров Ж С. Технология игры в обучении и развитии. – М., 1996. Платов В. Я. Деловые игры: разработка, организация и проведение. – М.: Профиздат, 1991. Подласый И. П. Педагогика. Новый курс. – М.: Владос, 1999. – Кн. 1. – 576 с. Подлесский Г. Ф., Прасько А. Д., Филатов А. А. Педагогические аспекты повышения качества подготовки обучаемых на основе современных информационных технологий // Проблемы создания автоматизированных обучающих и тестирующих систем. – Новочеркасск: Изд-во ЮРГТУ, 2001. Подсказка как способ активизации мыслительной деятельности студентов / 140

238. 239. 240. 241. 242. 243. 244. 245.

246. 247.

248.

249.

А. К. Ахлебинин, Т. В. Ахлебинина, М. Г. Горбач, Э. Е. Нифантьев // Информатика и образование. – 2000. – № 3. – С. 53–57. Пойа Д. Математика и правдоподобные рассуждения. – М.: Издательство иностранной литературы, 1957. Полат Е. С. и др. Дистанционное обучение. – М.: ВЛАДОС, 1998. – 192 с. Поличка А. Е. Анализ опыта осуществления информатизации образования в Дальневосточном федеральном округе. – Хабаровск: ХГПУ, 2002. – 140 с. Поличка Н. П. Управление образованием. Часть 1.: Образование как целенаправленный процесс. – Хабаровск: Изд-во упринформпечати при Адм. Хабаровского края, 1993. – 87 с. Полякова Т. М. и др. Разработка обучающих курсов в среде мультимедиа. Материалы 2-й и 3-й конференции по ДО. – М.: МЭСИ. 1997. – C. 99–107. Пономарева Е. А. Основные закономерности развития мышления // Информатика и образование. – 1999. – № 8. – С. 12–20. Попов В. Г., Голубков П. В. Мониторинг развития региональной системы образования // Стандарты и мониторинг в образовании. 2000. – № 2. – С. 30. Поташник М., Моисеев А. Управление качеством образования // Народное образование. 1999. № 7, 8. С. 167.; Могилев А. В. Интернет в управлении образованием. Образовательный мониторинг / Научно – практическая конференция "Всероссийский @вгустовский педагогический совет – 2000". http://www. informika. ru; Никитина Т. А., Фишман Л. И. Можно ли научиться эффективно управлять школой? / Директор школы. – 2005. – № 3; Щербо И. Н. Уроки самим себе или почему у нас проваливаются реформы / Директор школы. – 2005. – № 1; Рындак В. Управление качеством образования // Народное образование. 1999. – № 1, 2. – С. 162. Преображенский Б. Г. Синергетический подход к анализу и синтезу образовательных систем / Б. Г. Преображенский, Т. О. Толстых // Университетское управление: практика и анализ. – 2004. – № 3(32). – С. 7–12. Пригожин И. Философия нестабильности. // Вопросы философии –1991. – № 6. – С. 46–52.; Николис Г., Пригожин И. Познание сложного. – М.: Мир, 1990. – 344 с.; Николис Г., Пригожин И. Самоорганизация в неравновесных системах: от диссипативных структур к упорядоченности через флуктуации. – М.: Мир, 1979. – 512 с.; Капица С. П, Курдюмов С. П., Малинецкий Г. Г. Синергетика и прогнозы будущего // http://ww\v iph. ru, 1997.; Горбань А. Н. Обход равновесия: уравнения химической кинетики и их термодинамический анализ. – Новосибирск: Наука, 1984. – 226 с.; Гилмор Р. Прикладная теория катастроф: в 2-х книгах. – М.: Мир, 1984.; Каста Дж. Большие системы. Связность, сложность, катастрофы. – М.: Мир, 1982.; Томсон Дж. Неустойчивости и катастрофы в науке и технике. – М.: Мир, 1985. – 254 с.; Хакен Г. Информация и самоорганизация: макроскопический подход к сложным системам. – М.: Мир, 1991. Прогнозирование в образовании (теоретические и практические международные исследования). М.:1993.; Васильева Е. А., Ващенко А. Д. Диагностика, коррекция, прогнозирование предметной обученности // Русский язык. – 2002. – № 28. Программа развития единой образовательной информационной среды Приморского края на 2002/2005 годы. – Владивосток: Изд. Дальневост. ун-та, 2002. – 88 с. 141

250.

251. 252. 253. 254. 255. 256.

257.

258. 259. 260.

261. 262. 263. 264. 265. 266.

Проектирование пользовательского интерфейса на персональных компьютерах / Под ред. М. Дадашова. Вильнюс: DBS, 1992. 186 с.; О'Доэлл М. Влияние компьютерной анимационной среды на школьное образование // Информатика и образование. – 1998. – № 5. – С. 55–62. Психологические проблемы неуспеваемости школьников / Под ред. Н. А. Менчинской. М.: Педагогика, 1971. Психофизиологические закономерности восприятия и памяти. / Под ред. А. Н. Лебедева. М.: Наука, 1985. – 224 с. Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы / Пер. с англ. – М.: Когито – Центр», 1999. – 144 с. Разработка и применение экспертно – обучающих систем: Сб. науч. трудов. М.: НИИВШ, 1989. – 154 с. Растригин Л. А. Обучение как управление // Изв. РАН, Техн. киберн. 1993. № 2. С. 153–163. Резник Б. Л., Вовна В. И., Морев И. А., Львов И. Б. Ресурсный центр Дальневосточного государственного университета – форпост российской системы открытого образования на Дальнем Востоке // Открытое и дистанционное образование. № 3(11). – 2003. – C. 76–83. Рейтинг в учебном процессе ВУЗА: опыт, проблемы, рекомендации. Под ред. Синайского А. С. – М: ВУ, 1997.; Попков В. А. Опыт рейтинговой оценки знаний студентов // Педагогика. 1998. № 8.; Масленников М. Ф. Система рейтинга в преподавании методики физики // Методика преподавания физики в технич. вузе: Матер. межвуз. семин. Йошкар-Ола: Изд. Марийского политехн ин-та, 1994. С. 31–32.; Коротков А. М., Никитин А. В. Компьютерное тестирование как элемент рейтинговой системы вуза // Тр. Волгогр. гос. пед. ун– та. НИЛИТО. – 1999. – http://www.vspu.ru/~tmepi/articles/kor_nik1.htm. Роберт И. В. Современные информационные технологии в образовании: дидактические проблемы; перспективы использования. – М.: "Школа–Пресс", 1994. – 205 с. Родионов Б. У., Татур А. О. Стандарты и тесты в образовании. – М.: МИФИ, 1995. – 45 с. Рожкова Н. А. Выясняем соотношение стимулов и мотивов / Директор школы. – 2001. – № 9.; Рожкова Н. А. Формула свободы / Директор школы. – 2004. – № 9; Рожкова Н. А. С помощью метода семантической дифференциации / Директор школы. – 2001. – № 6. Сайко Э. В. Игра как способ поведения и необходимый момент построения культурного пространства // Мир психологии. – 1998. – № 4. – С. 3–7. Самойлов В. А., Шевченко К. К. Методологический аспект управления качеством дистанционного образования // Информационные технологии. – 1999. – № 4. – С. 47–49. Самоухина Н В Организационно – обучающие игры в образовании – М., 1996. Селевко Г. К. Современные образовательные технологии: Уч. пособие. – М.: Народное образование, 1998. – 256 с. Серебрякян А. Л. Использование поурочного тестирования при обучении. // Образовательная индустрия. Приложение к журналу «Наука и школа», 1999, №4. – С. 21–26. Сериков Г. Н. Качество подготовки специалистов в вузах и оптимизация обу142

267. 268. 269. 270. 271. 272. 273.

274. 275. 276. 277. 278. 279. 280.

281. 282. 283.

284. 285.

чения. – Челябинск, 1982. Сидоренко Е. В. Методы математической обработки в психологии. – СПб: Речь, 2000. – С. 29–30. Симоненко В. Д., Воронин A. M. Педагогические теории, системы, технологии. Учеб. пос. для пед. работников и студентов педвузов. Брянск: 1998. Симонов С. В. Биометрические устройства в подсистемах аутентификации // Защита информации. Конфидент. – 2000. – № 4/5. – C. 56–59. Скаткин М. Н Проблемы современной дидактики – М.: Педагогика, 1980. Скаткин М. Н. Методология и методика педагогических исследований. – М.: Педагогика, 1986. Сквайрс Дж. Практическая физика. – М.: Мир. – 1971. – 246 с. Сметанин Ю. М. Концептуальное моделирование компонентов учебного процесса // Развитие системы тестирования в Удмурдской Республике: Тез. докл. регион. научно – практ. конф. 1 февраля 2001 г. – Ижевск: ИжГТУ, 2001. – С. 43–49. Смирнов А. А. Проблемы психологии памяти. – М.: Просвещение, 1966. – 428 с. Соколов Е. Н. Механизмы памяти: опыт экспериментального исследования. – М.: МГУ, 1969. – 174 с. Солдаткин В. И. Современная государственная образовательная политика: Социальные императивы и приоритеты. – М.: МЭСИ, 1999. Софронова Н. В. Программно-методические средства в учебном процессе общеобразов. школы. – М.: ИИО РАО, 1998. – 178 с. Степанов Р. И. Технологический подход к гуманизации образования // Наука и образование Зауралья. – 2000. – № 3. – Internet: http://nioz. narod.ru /archives/3-2000/stepanov-ri.htm. Субетто А. И. Квалитология образования. – СПб: Исслед. центр проблем качества подготовки специалистов МО РФ, 2000. – 220 с. Талызина Н. Ф. Управление процессом усвоения знаний. – М., 1984. – 344 с.; Талызина Н. Ф. Формирование познавательной деятельности студентов. – М., 1983; Гинецинский В. И. Знание как категория педагогики. – Л.: ЛГУ, 1989. – 144 с. Талызина Н. Ф. Методика составления обучающих программ – М.: 1980. – C. 47. Тарасов С. Г. Основы применения математических методов в психологии. – СПб: СПб университет, 1999. – С. 53–55. Тестирование: не угроза, а защита // Независимая газета. – 1999. – № 10. – С. 11.; Тесты для старшеклассников и абитуриентов. Оценка знаний. / Под ред. Шмелева А. Г. – М.: «Первое сентября», 2000. – 132 с; Шмелев А. Шадриков В., Розина Н. Централизованное тестирование: состояние и перспективы // Высшее образование в России. – 2000. – № 1. – С. 27–31.; Концепция централизованного тестирования в системе непрерывного общего и профессионального образования // Бюллетень Министерства образования РФ. – 2000. – № 8. – С. 43–47. Тиффин Д., Раджасингам Л. Что такое виртуальное обучение. Образование в информационном обществе. – М.: «Информатика и образование», 1999. – 312 с. Тихомиров В. П., Солдаткин В И. Виртуальная образовательная среда: пред143

286.

287. 288.

289.

290.

291.

292. 293. 294. 295. 296. 297.

посылки, принцип, организация. – М., 1999.; Тихомиров В. П. Образование должно быть открытым // Элитное образование, 2000. № 2.; Тихомиров В. П. Современные образовательные технологии: мировой опыт и положение дел в России // Альма Матер. 2002. – № 1. – С. 9–12. Тихонов А. Н., Абрамешин А. Е., Воронина Т. П., Иванников А. Д. Молчанова О. П. Управление современным образованием: социальные и экономические аспекты / Под ред. А. Н. Тихонова. – М.: Бита – Пресс, 1998. – 256 с.; Управление современным образованием / Под ред. А. Н. Тихонова. – М.: Вита, 1999. Трифонов Н. И. Моделирование внедрения мобильных информационных технологий в учебный процесс. МИРЭА, 1998. Тыщенко Г. А., Сарана Д. В., Евстратов И. В., Заярный В. П. Самообучающаяся компьютерная система "Вопрос – ответ" // Информационные технологии. – 1999. – № 5. – С. 36–38.; Тыщенко О. Диалог компьютера и студента / Высшее образование в России. – 2000 . – № 6 – C. 120–123. Управление качеством образования: Практикоориентированная монография и методическое пособие / Под ред. М. М. Поташника. – М.: Педагогическое общество России, 2000. – 448 с.; Управление в образовании: Проблемы и подходы: Практическое руководство: Сборник статей. / Под ред. П. Карстанье. – М.: Изд-во фирмы "Сентябрь", 1995.; Третьяков П. И. Управление школой по результатам: Практика педагогического менеджмента. – М.: Новая школа, 1998. – 288 с.; Лазарев B. C., Поташник M. M., Моисеев A. M. и др. Управление развитием школы: Пособие для руководителей образовательных учреждении / Под ред. М. М. Поташника и B. C. Лазарева. – М.: Новая школа, 1995. – 464 с. Ушаков К.М. Модели организационного поведения: какая из них адекватна вашим условиям? / Директор школы. – 2002. – № 6; Ушаков К.М. Рефлексия по поводу соотношения теории и практики в управлении / Директор школы. – 2004. – № 7; Дерзкова Н., Ушаков К. М. Власть: основные источники и формы / Директор школы. – 1997. – № 5. Фалалеев А.Г., Бойко Н.Ю., Шнырко А.А., Лазарев Ю.В., Вовна В. И., Колесов Ю.Ю., Морев И.А. Совместная Интернет-программа ДВГУ и университета Васеда. Российско-японский эксперимент по дистанционному изучению иностранного языка // Перспективные технологии оценки и мониторинга качества в образовании. Сб. науч. тр. – Владивосток: Изд-во Дальневост. ун-та, 2003. – С. 294–296. Филатов О. К. Информатизация современных технологий обучения в ВШ. – Ростов: ТОО Мираж, 1997. – 213 с. Филатова Н. Н., Вавилова Н. И. Проектирование мультимедиа тренажеров на основе сценарных моделей представления знаний // Educational Technology & Society. – 2000. – № 3 (4). – С. 193–202. Хекхаузен Х. Мотивация и деятельность. – М.: Педагогика, 1986. Хорн Г. Память, импринтинг и мозг. Исследования механизмов. – М.: МИР, 1988. – 343 с. Хофман И. Активная память. Экспериментальные исследования и теория человеческой памяти. – М.: Прогресс, 1986. – 308 с. Хуторской А. В. Современная дидактика: Учебник для вузов. – СПб: Питер, 2001. – 544 с. 144

298. 299.

300.

301. 302. 303. 304. 305. 306. 307.

308. 309. 310. 311. 312. 313. 314.

315. 316. 317. 318.

Цибульский И. Е. Ошибочные реакции человека – оператора. – М.: Советское радио, 1979. – C. 8–17. Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.; Поддубная Л. М., Татур А. О., Челышкова М. Б. Задания в тестовой форме для автоматизированного контроля знаний студентов. – М.: МИФИ, 1995. Черная А. В., Вовна В. И., Колесов Ю. Ю., Минин И. Н., Морев И. А. Компьютерное учебное пособие «Современные способы и методы защиты от оружия массового поражения». Зарегистрировано ОФАП 06. 02. 2003 г. Свидетельство о регистрации отраслевой разработки № 2340 Чернилевский Д. В., Филатов О. К. Технологии обучения в ВШ. – М: Экспедитор,1996. – 288 с. Шадриков В. Д. Информационные технологии в образовании // Инновации в образовании. 2001. №1. – С. 28–33. Шалталова З. А. Математические модели и методы оптимизации процесса обучения в высшей школе. – Рига, 1983. Шапкин С. А. Компьютерная игра: новая область психологических исследований // Психологический журнал. – 1999. – № 1. – С. 86–102. Шеншев Л. В. Основы адаптивного обучения языку (семиотические аспекты развития речи с помощью автомата). – М.: Наука, 1995. – 113 с. Шипилина Л. А. Управление образованием. – Омск: ОмГПУ, 1994. Шишов С. Е., Кальней В. А. Школа: мониторинг качества образования. – М.: Педагогическое общество России, 2000. – 320 с.; Шишов С. Е. Механизмы контроля и оценки эффективности деятельности в системах образования европейских стран. // Стандарты и мониторинг в образовании. –1999. – № 3. – С. 32–47 Шиянов Е. Н., Котова И. Б. Развитие личности в обучении. – М.: Академия, 1999. – 288 с. Шмаков С. А. Игры студентов – феномен культуры – М., 1994. Шмелева А. Круглый стол "Интенсивное обучение и компьютер" // Мультимедиа в образовании. – 2000. – № 1. – С. 24–31. Шнейер Б. Компьютерная безопасность: Мы научимся чему-нибудь или нет? // Защита информации. Конфидент. – 2000. – № 6. – С. 22–25. Шолохович В. Ф. Информационные технологии обучения: дидактические основы, проблемы разработки и использования. Екатеринбург: Изд-во Уральского ГПУ, 1995. Щевелева Г. М., Безрядин Н. Н. Входное тестирование в обеспечении преемственности школьного и вузовского курсов физики Физическое образование в вузах. Т.5. – 1999. – № 2. – С. 70–72. Щенников С. А. Открытое дистанционное образование. – М.: Наука, 2002.; Щенников С. А. Опыт ЛИНК по развитию открытого дистанционного образования в регионах России // Alma mater: Вестник высшей школы. – 1999. – № 5. – С. 9–15. Щукина Г. И. Педагогические проблемы формирования познавательных интересов студентов . – М.: Педагогика, 1988. Эльконин Д. Б. Психология игры – М.: Педагогика, 1999. Якиманская И. С. Развивающее обучение. – М.: Педагогика, 1979. Якунин В. А. Обучение как процесс управления. – Л.: ЛГУ, 1988. 145

319. 320.

321.

Янг К. С. Диагноз – Интернет-зависимость // Мир Интернет. – 2000. – № 2. – С. 24–29. Ярославцев В.М., Ярославцева Н.А. Эффективность и качество компьютерного тестирования // Стандарты и качество. – 2002. – № 9. – С. 83–85.; Ярославцев В.М., Ярославцева Н. А., Савин К. А. Тестовая система контроля и самоконтроля с элементами обучения. – Электр. изд. – М.: МГТУ им. Н. Баумана, 2001 – СО – Р. – Гос рег. № 0320100155. Ярославцев В.М., Яковлев А.И., Ярославцева Н.А., Савин К.А. Роль компьютерного тестирования в повышении качества обучения // Стандарты и качество. – 2000. – № 10. – С. 107–109. Путин В. В. Послание Президента России Федеральному собранию (апрель 2001 г.); Филиппов В. М. Российское образование: состояние, проблемы, перспективы // Доклад министра образования РФ на всероссийском совещании работников образования. – Москва, Кремль, 14 января 2000 г.; Федеральная целевая программа "Создание системы открытого образования в России" // Дистанционное образование. – 2000. – № 1. – C. 6–13.; Постановление правительства РФ о федеральной целевой программе «Развитие единой образовательной информационной среды (2001–2005 годы)» от 28 августа 2001 г. № 630. 2001.; Политика в области образования и новые информационные технологии. Национальный доклад РФ на II Международном конгрессе ЮНЕСКО "Образование и информатика" // Информатика и образование. – 1996. – № 5. – С. 1–20.; О создании центра информационно – аналитического обеспечения системы дистанционного обучения: Приказ Госкомвуза от 17 июня 1996 г., № 1062 // Бюлл. Госкомвуза, 1996 г., № 8. О создании системы дистанционного образования в Российской Федерации // Министерство науки, высшей школы и технической политики российской федерации, Комитет по высшей школе Решение коллегии от 09 июня 1993 г. № 9/1.; О проведении эксперимента в области дистанционного образования // Министерство общего и профессионального образования РФ. Приказ от 30 мая 1997 № 1050.; О национальной доктрине образования в Российской Федерации. Постановление Правительства Российской Федерации от 4 октября 2000 г. № 751 г. Москва // Бюллетень Министерства образования РФ. – 2000. – № 11. – С 3.; О Межвузовском центре дистанционного образования Минобразования России // Министерство общего и профессионального образо-вания РФ. Приказ от 17 ноября 1997 № 2296.; О межвузовской научно-методической программе "Научно-методическое обеспечение дистанционного обучения" // Министерство общего и профессионального образования Российской Федерации, приказ от 26. 04. 99 № 1127.301; Государственный Совет Российской Федерации. Доклад. Образовательная политика России на современном этапе. 2001г. [http://gov.karelia.ru/gov/Power/Ministry/Education/gossovet.zip]; Информационные материалы об основных результатах 30-й сессии генеральной конференции ЮНЕСКО и основных задачах ЮНЕСКО в XXI веке в области образования // Бюллетень Министерства образования РФ. – 2000. – № 10. – С. 3– 5.; О дальнейшем развитии дистанционного образования. Министерство общего и профессионального образования РФ. Приказ от 14 мая 1997 года № 1515.; Концепция модернизации российского образования на период до 2010 года. (http://www. informika.ru ); Национальная доктрина образования в 146

322.

323. 324.

325. 326.

Российской Федерации. – М.: Постановление Правительства РФ от 4 декабря 2000 г. № 751. 2000.; Национальный доклад РФ «Политика в области образования и НИТ» на 11 Международном конгрессе ЮНЕСКО «Образование и информатика» // ИНФО, № 5, 1999. – С. 1–32.; Концепция создания и развитие системы дистанционного образования в России, – М.: Госкомвуз, 1995. Временное положение о сертификации качества педагогических тестовых материалов, используемых для оценки знаний обучающихся в образовательных учреждениях Российской Федерации // Бюллетень Министерства образования РФ. – 2000. – № 8. – С. 50–53.; Кудрявцев В. Б., Тимченко В. В., Трапицын С. Ю. Сертификация информационных технологий высшей школы и независимая экспертиза систем дистанционного обучения // Тезисы доклада на III межрегиональной НПК Дополнительное образование. Проблемы и перспективы взаимодействия вузов Санкт – Петербурга с регионами России. – СПб.: Смольный, 2000. – С. 107–109.; Нешта Е. П., Ретинская И. В. О подходах к проведению сертификации аппаратно-программных средств // Автоматизация и управление в машиностроении. – 1998. – № 4. – http://magazine.stankin.ru/arch/n_04/index.html; Отраслевой стандарт "Оценка качества программных средств учебного назначения. Общие положения". – М.: ИНИНФО, 1998.; Позднеев Б. М. Обеспечение качества средств информационных технологий в сфере образования // Автоматизация и упр-е в машиностр.. – 2000. – № 13. – http://magazine.stankin.ru/arch/n_13/articles/index.shtml; Скальский И.А. К вопросу сертификации компьютерных средств обучения // Автоматизация и управление в машиностроении. – 1999. – № 8. –http://magazine.stankin.ru/arch /n_08/articles/index.shtml. Инструкция о проведении централизованных тестирований в 2005 г. ФЦТ МОН РФ; Приказ Минобразования РФ № 1122 от 17.04.2000. Состояние и развитие ДО в мире. Аналитический доклад Института ЮНЕСКО по информационным технологиям в образовании, – М.: ИЧП « Изд. Магистр», 1999. – 45 с.; Булавин В. А. Дидактические особенности управления качеством подготовки специалистов в высшей школе США. – М.: 1982.; Бриге Д. Краткий обзор тенденций образования США // Perspectives. – 1998. – № 6. – Vol. 15. – P. 36–55.; Феррер Ф. Система поступления в вуз: европейский взгляд // Перспективы. – 1999. – Т. XXVIII. – № 3. – С. 119–131. Morev I. A. Computer Games in Remote Education: The Conception of Indirect – Mild – Testing // APRUNet Distance Learning and Internet Conference, Far East National University, Vladivostok, 2005. Morev I. A. New educational technologies as a factor of passing the spirit of cultural pluralism to the youth. / The Youth & Future: The materials of the International «Round Table» 21 – 23 Sept., 1995. – Vladivostok: FESU Publishing House, 1998. – P. 141–144.; Falaleev A. G., Zubritskiy A. N., Morev I. A., Lvov I. B., Vovna V. I. International E-Learning and Face-to-Face Learning // The 3rd International Academic Symposium on Toward Building an e – Learning Network in Northeast Asia, Kangnung National University, 2004.; Kurilov V. I., Falaleev A. G., Zubritskiy A. N., Morev I. A., Lvov I. B., Vovna V. I. FENU's Seattle Branch Campus Project, Russian Language Online, and Other Recent Initiatives // APRUNet Distance Learning and Internet Conference, Tsinghua University, Beijin, 2004.

147

Морев Игорь Авенирович Образовательные информационные технологии Часть 4. РАЗВИВАЮЩИЙ ИЗМЕРИТЕЛЬНЫЙ ПРОЦЕСС В ВУЗЕ Монография В авторской редакции Технический редактор: И. Б. Львов Компьютерная верстка: И. А. Кугуенко

Подписано в печать 18.10.2004. Формат 60х84 1/8 Усл. печ. л. 18,13 . Уч.-изд. л. 16,50 Тираж 500 экз.

Издательство Дальневосточного университета 690950, г. Владивосток, ул. Октябрьская, 27 Отпечатано на множительной технике ТИДОТ ДВГУ 690950, г. Владивосток, ул. Октябрьская, 27

148