ИСПОЛЬЗОВАНИЕ МЕТОДА АНАЛИЗА ИЕРАРХИЙ ДЛЯ ОЦЕНКИ СОГЛАСОВАННОСТИ РАБОТЫ ЭКСПЕРТОВ РЕГИОНАЛЬНЫХ ПРЕДМЕТНЫХ КОМИССИЙ ПО ПРОВЕРКЕ ЗАДАНИЙ С РАЗВЕРНУТЫМ ОТВЕТОМ ОГЭ И ЕГЭ : научное издание
Библиографическое описание:ИСПОЛЬЗОВАНИЕ МЕТОДА АНАЛИЗА ИЕРАРХИЙ ДЛЯ ОЦЕНКИ СОГЛАСОВАННОСТИ РАБОТЫ ЭКСПЕРТОВ РЕГИОНАЛЬНЫХ ПРЕДМЕТНЫХ КОМИССИЙ ПО ПРОВЕРКЕ ЗАДАНИЙ С РАЗВЕРНУТЫМ ОТВЕТОМ ОГЭ И ЕГЭ : научное издание / Г. Ш. Шкаберина, П. О. Краснов. - Текст : непосредственный // Информатика и образование. - 2018. - № 8. - С. 20-25. - ISSN 0234-0453, DOI 10.32517/0234-0453-2018-33-8-20-25. Перевод заглавия: USE OF THE ANALYTIC HIERARCHY PROCESS FOR WORK CONSISTENCY ESTIMATION OF EXPERTS OF THE REGIONAL SUBJECT COMMISSIONS ON ASSESSMENT OF THE PROBLEMS WITH DETAILED ANSWERS OF THE GENERAL STATE EXAM AND THE UNIFIED STATE EXAM
Аннотация:В статье рассмотрено использование метода анализа иерархий для оценки согласованности в работе членов предметных комиссий ОГЭ и ЕГЭ в процессе проверки результатов выполнения заданий с развернутыми ответами. Данный метод является математическим инструментом системного подхода к сложным проблемам принятия решений. Он применяется во многих областях — от управления на межгосударственном уровне до решения отраслевых и частных проблем в бизнесе, промышленности, здравоохранении и образовании. Его использование для оценки согласованности в работе членов предметных комиссий ОГЭ и ЕГЭ в процессе проверки результатов выполнения заданий с развернутыми ответами обусловлено необходимостью разработки такого инструмента, который позволит максимально уменьшить субъективность как в формировании комиссий, так и в присвоении внутри них определенного статуса тем или иным экспертам. И в этом заключается его ключевая особенность, поскольку в преобладающем большинстве случаев подходы, направленные на решение аналогичных задач, опираются на результаты третьих проверок экзаменационных работ, выполненных старшими и ведущими экспертами, как на эталонные. Предложенный подход позволяет оценить работу каждого конкретного эксперта в пределах всей комиссии даже при условии, что эксперт осуществлял перекрестную проверку только лишь с некоторыми из ее членов. При этом значимым для оценки эффективности эксперта является не его статус, а присутствие или отсутствие расхождений в баллах, выставленных им за выполнение того или иного задания участником экзамена, с другими членами комиссии. В свою очередь, качество работы последних также индивидуально оценивается аналогичным образом уже при анализе их перекрестных проверок с другими группами экспертов. Предложенный способ применения метода анализа иерархий позволяет использовать результаты работы предметной комиссии ОГЭ или ЕГЭ в текущем году для модификации состава комиссии в следующем году с целью увеличения согласованности проверки экзаменационных работ экспертами.
Use of the Analytic Hierarchy Process for work consistency estimation of experts of the regional subject commissions on assessment of the problems with detailed answers of the General State Exam and the Unified State Exam is considered in the paper. This process is a mathematical technique of system approach for the complex problems of decision making. It is used in the different fields from management on interstate level to the solving the sectoral and particular problems in business, industry, public health and education. Its use for work consistency estimation of experts of the regional subject commissions on assessment of the problems with detailed answers of the General State Exam and the Unified State Exam is conditioned by a need of such technique development which will allow decreasing extremely the influence of subjectivity at commission formation as well as at awarding the status to ones and others experts inside the commission. And this is the key specialty of this process because in the most cases the approaches, considered for the solving the similar problems, are based on the results of the third (seniors or leading) experts as standard. Suggested technique allows estimating the work of every concrete expert in the frame of all commission even at the case, when he was carrying out cross validation with only some others its members. At thus the status of expert is not significant for estimation his efficiency but the absence or presence a difference in grades suggested by him and other commission members for problems solutions of exam participant are significant. At the same time the efficiency of last ones work is also estimated personally by the similar way at the consideration of their cross validations with other expert groups. Suggested principle of Analytic Hierarchy Process’ application allows using the results of work of the regional subject commissions on assessment of the problems with detailed answers of the General State Exam and the Unified State Exam in the current year for modification of the commission in the next one with a purpose to enhance the consistency of exam works validation by the experts.
Ключевые слова:метод анализа иерархий, огэ, егэ, анализ работы предметной комиссии, статус экспертов, analytic hierarchy process, General State Exam, unified state exam, analysis of subject commission work, expert status
