Программа деятельности эксперта при проведении аттестации образовательного учреждения 
Этап 1. Анализ и обработка
информации, полученной от экспертов.
Главная задача этапа анализа и
обработки информации - выделить итоговое мнение группы экспертов и тем самым
получить результат экспертизы. В этих целях необходимо свести воедино суждения
всех респондентов.
Мнения участников экспертизы
часто имеют между собой расхождения. Это может быть обусловлено рядом причин,
наиболее важными из них являются сложность и многоплановость исследуемых
объектов, различная степень приобщенности экспертов к проблеме, различия в
базовом образовании, а также в социальных и профессиональных установках
участников или индивидуальные особенности респондентов.
В результате проведения
процедуры опроса формируется некий спектр ответов экспертов, из которого
требуется выбрать "единое" решение. Обычно групповая оценка
определяется методами голосования или усреднения.
Метод "голосования" основывается
на мнении, с которым согласно большинство экспертов в группе. Он может быть
применен как в отношении общего результата оценивания, так и в отношении мнений
экспертов по каждой из рассматриваемых позиций. Особенностью данного метода
является игнорирование нетипичных или крайних оценок. Применение метода "голосования"
не требует больших затрат на обработку и может быть использовано для оценок,
произведенных по качественным шкалам.
Однако применение метода "голосования"
может привести к искажению результатов в случаях, когда оценки меньшинства
экспертов оказываются более точными по сравнению с оценками большинства. Игнорирование
крайних суждений в этом случае отдаляет итоговый результат оценивания от
истинного.
Метод усреднения. Выбор
группового результата экспертизы методом усреднения основывается на вычислении
среднего значения оценки, которое представляет собой абстрактную типическую
характеристику всей совокупности, уничтожающую, погашающую, сглаживающую
случайные и неслучайные колебания, влияния индивидуальных особенностей и
позволяющую представить в одной величине некую общую характеристику реальной
совокупности оценок. Главное условие использования средних величин состоит в
том, что совокупность должна быть в отношении усредняемых признаков качественно
однородной. Применение метода усреднения дает существенные преимущества при
обработке результатов экспертизы, если получена количественная информация,
поскольку лежит в основе математических способов выявления группового мнения.
Этап 5. Обобщение полученной
информации и принятие решения
Основным содержанием данного этапа
является оформление результатов экспертной оценки, сопоставление их с
поставленной задачей, формулирование решения проблемы.
Полученные в процессе обработки
результатов экспертизы данные представляют собой обобщенные по заданным
логическим и математическим правилам числовые величины, которым еще предстоит
приобрести определенное смысловое содержание, т.е. стать показателями. Любой
показатель несет на себе определенную смысловую нагрузку, а также указывает на
направленность последующих выводов и рекомендаций.
Любая числовая величина может
интерпретироваться с разных точек зрения и, следовательно, многозначна. Если
организаторы наполняют числовые данные неким содержанием, соотносят их с
изучаемой проблемой, с наиболее важными сторонами объекта и предмета исследования,
то они превращаются в показатели. Интерпретация результатов фактически
предопределяется на этапе формулирования цели и разработки процедуры опроса,
когда выделяется контекст, в котором будет рассматриваться изучаемая проблема.
По форме экспертное заключение
может свободно варьироваться. Что же касается содержания, оно должно включать,
в качестве обязательных, следующие пункты:
установление факта
непротиворечивости программы и деятельности школы законодательству РФ и правам
ребенка;
обоснованную оценку и
аргументированное выражение экспертной позиции по всем основным концептуальным
аспектам инновационной программы и ее реализации;
ответы на вопросы, поставленные
перед экспертами авторами эксперимента;
рекомендации по возможным
направлениям дальнейшего движения и развития эксперимента с учетом его
обеспечения (научного, кадрового, методического, организационного,
материального);
выявление значимых результатов,
определение важности данной инновации, ее общественной значимости для
реализации федеральных, региональных, местных программ развития образования.
Заключение о целесообразности,
размерах и направлениях дополнительного финансирования и иной поддержке
инновационных проектов может осуществляться органами управления образованием на
основании рассмотрения ими заключения экспертной комиссии и принятия
соответствующих управленческих решений в случае согласия органов управления с
экспертными рекомендациями.
После того как эксперты
ознакомились с текстом окончательного решения и завизировали его, решение
передается в органы управления образованием.
Для проведения аттестации
образовательное учреждение представляет следующие документы:
а) заявление с приложением
информационной карты (паспорта) образовательного учреждения;
б) копию устава образовательного
учреждения;
в) копию лицензии на
образовательную деятельность;
г) учебный план образовательного
учреждения;
д) гарантийное письмо об оплате
затрат, связанных с проведением аттестации;
е) данные о результатах итоговых
аттестаций выпускников в течение 3 последних лет;
ж) материалы, отражающие
специфику образовательной деятельности, представляются дополнительно по желанию
образовательного учреждения.
Основные методы сбора информации
и экспертизы - это наблюдение, исследовательское интервью, групповая дискуссия,
различные игровые методы, системный анализ, а также методы экспертизы различных
документов, в которых отражается будущее или настоящее образовательного и
управленческого процессов: проектов, планов, программ и др. Заметим, что
аналитическая работа начинает осуществляться экспертом уже на этапе сбора
информации. Однако, для того, чтобы не путать описание деятельности с ее
интерпретацией и не подменять интерпретацию описанием событий, процессов,
явлений, характеристикой объекта, эксперту следует, как уже отмечалось выше,
разделять эти два плана и, соответственно, задачи сбора и интерпретации
полученной информации.
Наблюдение (прямая регистрация
событий очевидцем) предназначено для описания феноменального плана, подчинено
четко сформулированной цели и планируется по заранее обдуманной процедуре. Все
данные наблюдения фиксируются в протоколе по определенной системе, а полученная
информация должна поддаваться контролю на обоснованность.
Суть наблюдения состоит в том,
что эксперт, находясь на занятиях, присутствуя на совещаниях, педагогических
советах, обсуждениях педагогами своей работы и т.д., фиксирует наблюдаемые
события: их ход, содержание и методы деятельности субъектов (например, то,
какие задания дает учитель ученикам, что и каким образом объясняет, как
подводит итоги занятия, что оценивает положительно и отрицательно и т.д.).
Затем, переходя из
феноменального плана в план интерпретации деятельности, эксперт дает свою
трактовку наблюдаемого (увиденного, услышанного, прохронометрированного) и
обосновывает эту точку зрения, опираясь на знание предмета экспертизы.
Исследовательское интервью (проводимая
по определенному плану беседа, предполагающая прямой контакт интервьюера с
опрашиваемым) направлено на выявление профессиональных ценностей
интервьюируемого, его целей, представлений о результатах выполняемой деятельности,
а также, возможно, и внутренних, не до конца осознанных мотивах.
Интервью позволяет эксперту
разобраться с идеальными представлениями субъекта о своей деятельности и ее
целях.
Групповая дискуссия представляет
собой организованное обсуждение под руководством ведущего тех или иных
вопросов, связанных с осуществляемой инновационной деятельностью.
Этот метод может использоваться
как в целях диагностики ситуации и социально-психологических особенностей
участников дискуссии, так и в целях обучения участников дискуссии
коммуникативным умениям, необходимым в групповой работе, умениям анализировать
и оценивать свою профессиональную деятельность и т.п. Однако, используя этот
метод, следует учитывать, что главной проблемой, снижающей эффективность
групповой работы, является отсутствие у ее участников знания правил и владения
техникой проведения совместного обсуждения.
Для диагностики (анализа) ситуации
можно использовать метод фокус-групп как разновидность групповой дискуссии. Фокус-группа
позволяет получить "субъективную" информацию от нескольких (до 10-12)
человек одновременно, а также за счет столкновения нескольких точек зрения
более глубоко и разносторонне увидеть обсуждаемые проблемы.
Игровые методы (имитационные
игры) - это воспроизведение (моделирование) в игровой форме конкретных или
воображаемых ситуаций и процессов, в которых участникам предлагается выполнение
определенных игровых функций (ролей). Применяется как метод исследования
ситуации. Например, может быть проигран процесс разработки программы проведения
эксперимента, обсуждение его направлений, целей и задач. Это позволяет не
только реально продвинуться в создании конкретного проекта, но и увидеть, как в
такой сложной деятельности проявляются разные люди, какие позиции они занимают.
Игровая ситуация также помогает ее участникам определить свое место в
планируемых изменениях (инновации).
Существует несколько
разновидностей подобных игр: деловые, ролевые, организационно - деятельностные
и т.д. Игра позволяет не только исследовать, понять особенности сознания и
деятельности ее участников, но и обучить их различным приемам и методам в
процессе реализуемой, хотя и игровой, но вполне конкретной деятельности.
Метод системного анализа
позволяет рассматривать объект анализа не только и не столько с точки зрения
его внутренней структуры (свойств элементов, характера их связи), но и как
самостоятельный элемент в структуре (системе) более высокого порядка, в то же
время зависимый от качества этой объемлющей системы. Например, таким объектом
является образование.
Анализ образовательных проектов
и программ. Желательно, чтобы эксперт, действующий в рамках методической
службы, не только проводил оценку готовых проектов и программ, но и принимал
участие в их разработке. В этом случае оп сможет не только влиять на процесс
проектирования изменений, но и более полно разобраться в их сути и понимании их
назначения людьми. Кроме того, ему придется иметь дело и с текстовым материалом
проектов, программ, планов. Именно поэтому ему необходимо хорошо знать их
формальную структуру, владеть требованиями, предъявляемыми к форме их
разработки.
Ошибки оценивания при
проведении экспертизы и способы их предотвращения.
Всякая оценка, и в том числе
экспертная, предполагает измерение того, что есть, и его сравнение с тем, что
должно быть. Никакой метод измерения не может обеспечить абсолютной его
точности, в результате чего и возникают ошибки.
Обеспечение объективной и точной
оценки - важная задача, трудность решения которой связана с тем, что
совершаемые ошибки часто даже не осознаются теми, кто их допускает. Поэтому
каждому принимающему участие в экспертизе необходимо четко представлять типы
возможных ошибок и способы их устранения.
Анализ опыта оценки показывает,
что существуют многочисленные источники ошибок: и недостаточная компетентность
оценивающих, и их субъективные установки, и неполная информация о программах, и
несовершенство используемых методов, и многое другое.
Прежде всего, рассмотрим те
ошибки, которые возникают вследствие неверного использования уже специально
разработанных для проведения экспертизы критериев и оценочных шкал.
Специальными исследованиями
выделено несколько типов наиболее распространенных ошибок при оценивании.
Первый достаточно
распространенный тип ошибок связан с неполным использованием оценочной шкалы. В
результате этого возникают такие ошибки как строгость, мягкость или центризм, т.е.
наличие единой усредненной оценки.
Второй тип ошибок состоит в том,
что сравнение реального положения дел с нормой осуществляется некорректно. В
результате возникают такие ошибки, как эффект "ореола", недавности,
контраста.
Эффект "ореола" - тенденция
оценивать всех специалистов или их разработки на одинаковом уровне по всем
характеристикам. Как правило, это связано с тем, что предмет оценки имеет ярко
выраженные положительные или отрицательные качества, "заслоняющие" другие
характеристики. Отрицательными последствиями этой ошибки являются
необъективность, не выявление как сильных, так и слабых сторон экспертируемого
объекта.
Эффект не давности (свежести) - оценка
производится на основе недавних фактов, событий и результатов, связанных с
другими видами деятельности оцениваемого. В результате этого при оценке эксперт
пользуется не наиболее значимой информацией, а той, которая была извлечена на
момент экспертизы из кратковременной памяти, как правило, это бывает последняя
информация. Так, на оценку эксперта может повлиять недавнее посещение занятий,
неприятное воспоминание о недавней встрече с оцениваемым и др. Негативным
последствием этого эффекта служит необъективность экспертной оценки.
Эффект контраста - влияние на
оценку результатов оценок тех специалистов или их разработок, которые были
оценены ранее. Этот эффект появляется из-за сравнения качеств не со стандартом,
а с ранее оцениваемыми объектами. В результате при оценивании используется
"гибкий" стандарт: как правило, после высокой оценки следующая оценка
занижается, и наоборот, после низкой следующая оценка несколько завышается.
Атрибуция - использование в
качестве объяснения оценки не характеристик оцениваемой деятельности, а качеств
личности оцениваемого. Причинами возникновения этой ошибки служит, с одной
стороны, придание чрезмерного значения личностным характеристикам, с другой - отсутствие
необходимой для объективной оценки информации о самом предмете оценки. Предупреждение
атрибуционной ошибки обеспечивается за счет накопления информации о самой
экспертируемой деятельности, а не только об ее субъекте.
Как добиться повышения качества
экспертизы и снижения вероятности возникновения ошибок? Универсальным средством
является выработка четких, всем известных, согласованных и принимаемых всеми
критериев проведения оценки:
формулировка и доведение до
каждого эксперта четких определений того, что закладывается в каждое значение
оценочных уровней шкалы;
участие в оценке нескольких экспертов
и сопоставление их оценок, что обеспечивает обоснованность и объективность
оценок;
проведение оценки самими
авторами по тем же критериям, что и эксперты, что повышает доверие к
оценивающим, служит появлению положительного восприятия оценки и рекомендаций
по ее совершенствованию:
знакомство разработчиков с
критериями еще на этапе их создания, что повышает качество деятельности и
формирует психологическую готовность к восприятию внешней оценки.
Если за время экспертизы
произошли изменения в смыслах критериев оценки, то, естественно, об этом должны
узнать эксперты и оцениваемые.
Таким образом, во избежание
ошибок, необходимо разрабатывать надежную методику для оценивания и готовить
экспертов к ее использованию при проведении экспертизы.
Иными словами, проанализировать
действующие системы и выявить их недостатки в состоянии только широко
образованный компетентный в области передовых педагогических систем специалист,
владеющий методом их системного анализа.
Чтобы облегчить анализ причин
недостатков в результатах функционирования образовательных систем, B. C. Лазарев
рекомендует воспользоваться алгоритмом, который можно применить к любым видам
образовательных систем.
Согласно алгоритму, первый
вопрос, которым следует задаться при поиске причин выявленного недостатка в
результатах функционирования системы: "Позволяет ли содержание основного
процесса получить желаемый результат?". Если "да" или если
недостатки содержания существенно не влияют на результаты, то далее следует
перейти к анализу технологии, используемой при реализации процесса. Если же
"нет", то нужно перечислить основные недостатки содержания, которые
существенно отражаются на анализируемых неудовлетворительных результатах.
Второй вопрос: "Позволяет
ли используемая технология и принципы получить желаемый результат?". Ответ
на него должен даваться, исходя из предположения, что есть все, что нужно для
максимально эффективной реализации используемой технологии осуществления
основного процесса: и материально-техническая база, и квалификация кадров, и их
мотивация и время, необходимое для решения проблемы и др. Оценивается, возможно
ли, при идеальных условиях, используя данную технологию, достичь желаемого
результата. Если "да", то осуществляется переход к третьему вопросу. Если
"нет", то нужно составить перечень основных недостатков реализуемой
технологии, существенно ограничивающих возможности получения желаемого
результата.
Если недостатки содержания и
технологии основного процесса настолько существенны, что при них в принципе
результаты не могут быть положительными, то на этом анализ заканчивается. Если
недостатки основного процесса связаны с его реализацией или являются не очень
существенными, то следует перейти к третьему вопросу.
Третий вопрос: "Есть ли
недостатки в том, как работники реализуют основной процесс (технологию),
существенно влияющие на результаты?". Если технология существенно на
результаты не влияет, что означает, что она в принципе не позволяет их получить
даже в случае ее хорошей реализации, то, повторим, ресурсы анализировать не
нужно. Если "да", то нужно понять, почему они возникают: то ли
сотрудники не умеют делать что-то, что требуется по технологии, то ли не хотят
это делать. Если "нет", то следует переход к анализу условий
осуществления учебного процесса.
Страницы: 1, 2, 3, 4
|
