Конференции ИВТ СО РАН


«Вычислительные и информационные технологии
в науке, технике и образовании»

Алматы, Казахстан, 6 – 10 октября 2004 года

Тезисы докладов


Интелектуальный блок принятия решений в системе тестирования для достижения надёжности и валидности тестовых заданий

Махмутов С.А., Михалкин С.А, Пестерев А.В., Слепов С.Б.

Казахский Государственный Женский Педагогический Институт (Алматы)

Одной из главных задач Государственной образовательной политики Республики Казахстан на современном этапе является создание Национальной системы оценки качества образования для обеспечения государственного контроля качеством образования и повышения объективности, достоверности оценки качества образования.
Тестирование в образовательном процессе - периодический процесс объективного и стандартизированного измерения (оценки) результатов образовательного процесса (уровня подготовки и/или образовательной услуги) на всем протяжении образовательного процесса.
Объективное измерение характеризуется, в первую очередь, надежностью и валидностью.
Тесты (т.е. серии тестовых заданий) для контроля усвоения знаний в какой-либо предметной области относятся к так называемым тестам достижений.
По отношению к контролю знаний в учебных заведениях распространен также термин ``педагогические тесты''. Для того чтобы подготовленные тесты действительно позволяли оценить степень усвоения учебного материала, они должны быть составлены в соответствии с определенными требованиями классической теории тестирования.
Основные объективные составляющие (характеристики) тестов: надежность и валидность тестов. Применительно к ``педагогическим тестам'' - это:
ретестовая надежность, надежность взаимозаменямых (параллельных) форм, надежность эквивалентных половин теста, надежность на внутреннюю согласованность теста, очевидная валидность, содержательная валидность, эмпирическая (сравнительная, текущая и прогностическая) валидность.
Отличительная особенность предлагаемого подхода заключается в том, что оценку надежности и валидизацию проходят и тестовые вопросы, и тестовые задания как по отдельным группам экспертов, состоящих из высоквалифицированных специалистов-предметников по тестовым вопросам и из ответственных специалистов центра тестирования по организации и проведению тестирования, так и в комплексе.
Общая информационная структура интеллектуального блока принятия решений (ИБПР) включает: ИБПР - интеллектуальный блок принятия решений, который включает в себя набор процедур и программных средств для оценки надежности и валидности тестов (тестовых вопросов и заданий) на основе баз знаний, сформированных через интерфейс, и содержащих знания экспертов и информацию от тестируемых - студентов; БДТВ - база данных тестовых вопросов, которая содержит тестовые вопросы, разработанные специалистами кафедр;
БД*ТВ - промежуточная БДТВ, содержащая тестовые вопросы, прошедшие этапы оценки надежности и валидизации через ИБПР;
БД Деканат -- база данных ``Деканат'', которая содержит учетные данные о студентах и профессорско-преподавательском составе (ППС), статистические данные по успеваемости студентов, календарные планы по специальностям, расписание занятий;
БД*ТЗ - промежуточная база данных тестовых заданий, содержащая тестовые задания, прошедшие этапы оценки надежности и валидизации через ИБПР;
БЗ - база знаний, которая содержит декларативные знания (данные о классификаторах специальностей, типовых программах и типовых учебных планах, рабочих программах и рабочих учебных планах, а также процедуры обработки);
БЗ*ТВ - промежуточная база знаний тестовых вопросов, которая содержит промежуточные знания экспертов по разработке и формированию тестовых вопросов, информацию от студентов, процедуры по обработке данных из БД*ТВ, процедуры по оценке надежности и валидизации тестовых вопросов через ИБПР;
БЗ*ТЗ - промежуточная база знаний тестовых заданий, которая содержит промежуточные знания экспертов по организации и проведению тестирования формированию тестовых заданий, процедуры по обработке данных из БД*ТЗ, процедуры по оценке надежности и валидизации тестовых заданий через ИБПР;
БнЗ - банк знаний, который тестовые вопросы и тестовые задания, прошедшие процедуры по оценке надежности и валидизации через ИБПР, и конечные (эталонные на данный момент времени) процедуры и знания из промежуточных баз.
В ИБПР реализованы следующие функции:
первичная валидизация тестовых вопросов при формировании БДТВ;
формирование БЗ по Государственным общеотраслевым стандартам образования (ГОСО);
очевидная валидизация тестовых вопросов;
содержательная валидизация тестовых вопросов;
формирование тестовых заданий из вопросов, прошедших очевидную и содержательную валидизацию;
тестирование студентов (интерактивное тестирование в компьютерных классах; анкетирование в лекционных аудиториях);
формирование результатов тестирования; статистическая обработка результатов тестирования; эмпирическая валидизация тестовых вопросов, содержательная и эмпирическая валидизация тестовых заданий, оценка надежности тестовых вопросов и заданий; накопление вариантов ТЗ из ТЗ, прошедших валидизацию и оценку надежности.
Разработанный авторами данной статьи подход по достижению надежности и валидности тестовых вопросов и тестовых заданий реализован в автоматизированной системе тестирования образовательного процесса, которая находится на различных этапах внедрения в КазГосЖенПИ.

Примечание. Тезисы докладов публикуются в авторской редакции



Ваши комментарии
Обратная связь
[ICT SBRAS]
[Головная страница]
[Конференции]

© 1996-2000, Институт вычислительных технологий СО РАН, Новосибирск
© 1996-2000, Сибирское отделение Российской академии наук, Новосибирск