56. Основные этапы создания теста.
Создание теста - это результат процесса мышления, с одной стороны, и соблюдение определенных правил конструирования - с другой.
Психологический тест может быть охарактеризован как эффективный инструмент при условии, что он удовлетворяет определенным требованиям. Основные из них следующие:
1. Использование психометрической шкалы не ниже интервальной.
2. Высокая надежность теста.
3. Высокий уровень валидности теста.
4. Хорошая различительная способность каждого задания теста, т.е. дискриминативность.
5. Наличие нормативных данных, или возможность описания результатов теста с высокой точностью различными моделями, наличие критериев, установленных экспертами.
1. Разработка первичной формы теста.
1. Выбор предмета диагностики.
2. Анализ и теоретическая разработка предмета диагностики, которая заключается в создании теоретического и операционального определения предмета диагностики.
3. Выбор области валидности применяемого теста.
4. Выбор шкалы ответов.
5. Выбор типов задний в соответствии с характером ответа.
6. Составление и формулирование заданий теста, определение порядка размещения их в тесте.
7. Проведение созданной формы на специально подобранной выборке.
2. Психометрическая проверка теста.
1. Анализ пунктов теста. Смысл этой процедуры состоит в том, чтобы определить насколько каждое задание теста соответствует общему диагностическому содержанию методики.
2. Проверка основных видов надежности теста. Задачей данной процедуры является определение того, насколько результаты тестирования подвержены влиянию различных побочных факторов.
3. Оценка основных видов валидности или обоснованности теста. Задачей данной процедуры является определение того, насколько хорошо создаваемая методика выполняет свои диагностические задачи, т.е. диагностирует тот конструкт, который лежит в ее основе.
3. Расчет нормативных показателей.
Надежность теста . Дисперсия результатов попадания может быть объяснена не только дисперсией «истинной», обусловленной различиями в выраженности психологического качества, но и разбросом, вызванным действием случайных факторов, т.е. дисперсией «погрешности»:
Dx = Dист. + Dпогр.
Отношение дисперсии истинной к дисперсии совокупной и будет называться коэффициентом надежности измерения.
Источником D «погрешности» являются разного рода ошибки. Появление ошибок может быть вызвано разными причинами, среди которых можно выделить две: неточность измерительного инструмента и условия опыта.
Под надежностью теста в самом широком смысле понимается характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам отражают действительные различия в измеряемых свойствах, а в каком они могут быть приписаны действию случайных факторов .
Надежность как устойчивость результатов . Надежность как устойчивость результатов во времени представляет собой согласованность результатов теста, получаемых при первичном и вторичном его применении по отношению к одним тем же испытуемым в разные моменты времени.
Ретестовой надежности - процедуры повторного тестирования одной и той же выборки. Повышение надежности в этом случае свидетельствует о повышенной чувствительности результатов тестирования к изменению состояния испытуемых и обстановки тестирования. При определении ретестовой надежности особое значение имеет интервал между первичным и повторным тестированием. Оптимальный интервал для ретестовой надежности - 6 месяцев для взрослых и 3 месяца для детей.
Надежность параллельных форм. Использование двух взаимозаменяемых форм теста. Обследовании выборки сначала основным набором заданий, а затем - дополнительным, аналогичным первому. Другим путем проверки этого вида надежности является разбиение всей выборки на две примерно равные группы. Первичное тестирование заключается в тестировании первой группы одной формой теста (А), а второй группы - аналогичной формой (В). После небольшого интервала времени (примерно около недели) проводится повторное тестирование в обратном порядке.
Надежность как точность измерений. Наличие внутренней согласованности между заданиями теста и их «суммарную работу на общую цель - точное измерение тестируемой характеристики». Процедура проверки предполагает вычисление интеркорреляционных связей между заданиями, составляющими тест. М етод расщепления - тестировании испытуемого двумя половинками теста. Существуют несколько способов расщепления теста пополам.Данный способ определения надежности как внутренней согласованности часто называют надежность по однородности.
Надежность относительно постоянства условий - проявляется в надежности экспериментатора. В любом исследовании экспериментатор может выполнять три функции: организатора исследования, оценщика и интерпретатора.
Валидность теста. В понятие валидности входит большое количество самой разнообразной информации о тесте. Понятие валидности относится не столько к самому тесту, сколько к цели, ситуации и процедуре его применения. Он может быть валидным или невалидным лишь по отношению к определенной цели применения.
Критериальная валидность - отражает соответствие диагноза и прогноза определенному кругу критериев измеряемого качества. Она измеряется путем корреляции баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия, причем это должен быть именно внешний, т.е. жизненный, независимый от тестирования критерий. Критериальная валидность делится на:
Текущая валидность - это характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике (уровень способностей, вербальный интеллект, тревожность и т.д.).
Прогностическая валидность характеризует степень точности и обоснованности суждений о диагностируемом качестве по его результату, спустя определенное время после его измерения.
Характеристики критериальной меры:
1. Релевантность критерия. Это степень, в которой критериальная мера значима для целей измерения; 2. Свобода от «загрязнения» (контаминации). Выполнение индивидом работы является функцией как переменных индивида, так и переменных ситуации; 3. Надежность критерия. Если критерий используется в качестве показателя исполнения работы индивидом, это должен быть стабильный показатель.
Конструктная валидность . Конструктная валидность теста показывает, насколько его результаты могут рассматриваться в качестве меры некоего теоретического конструкта или свойства. Проверка конструктной валидности может осуществляться следующими способами: 1. Сопоставление исследуемого теста с другими методиками, конструктное содержание которых известно; 2. В этом случае исследователь формулирует ряд предсказательных гипотез о том, как будет коррелировать его новый тест с другими тестами, измеряющими родственные характеристики; 3. Факторный анализ - позволяет статистически проанализировать структуру связей исследуемого теста с другими известными и латентными факторами - факторную валидность; 4. Внутренняя согласованность пунктов теста также является важным аспектом конструктной валидности; 5. Введение экспериментальной переменной.
Другие виды валидности: синтетическая валидность, очевидная валидность, экологическая валидность
Объективность, валидность и надежность – требования, которым должен удовлетворять каждый тест. Рассмотрению этих понятий посвящены следующие параграфы.
2. Психологический тест как объективное измерение
Объективность психологического теста означает, что первичные показатели, их оценка и интерпретация не зависят от поведения и субъективных суждений экспериментатора. Первичными называют показатели, полученные после обработки данных выполнения респондентом тестовых заданий. Выражаются первичные показатели в так называемых "сырых баллах".
Разработка заданий, процедура проведения, обработка результатов теста осуществляется согласно определенным стандартным правилам.
Добиться объективности психологического теста можно при выполнении следующих условий:
единообразие процедуры проведения теста для получения сравнимых с нормой (см. ниже) результатов;
единообразие оценки выполнения теста;
определение нормы выполнения теста для сопоставления с ними показателей, полученных в результате обработки данных тестирования (см. здесь "третий этап стандартизации").
Эти три условия называют этапами стандартизации психологического теста.
Этапы стандартизации
На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.
Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:
условия тестирования (помещение, освещение и др. внешние факторы). Очевидно, что объем кратковременной памяти лучше измерять (например, с помощью субтеста повторения цифровых рядов в тесте Векслера), когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.
1 этап - Определение количества заданий (спецификация теста)
Прежде чем приступать к созданию теста, необходимо четко знать, для чего он нужен :
Ø формулирование цели будущего теста
Ø разработка спецификации будущего теста (таблица, по горизонтали содержательные области, по вертикали - их манифестации (пути, по которым содержательные области могут проявляться)). При спецификации манифестаций важно выделить различные формы их реализации (4-7 категорий). Далее определяется сколько заданий должно быть создано для каждой из ячеек и какое количество заданий должно быть включено в тест.
2 этап - Разработка заданий
Правила разработки заданий: в каждом задании может быть задан только один вопрос; сформулировано предельно ясно и просто; избегать двусмысленных формулировок и др.
В личностных опросниках, как правило, используют три типа заданий :
Ø дихотомические (задания с альтернативным выбором,которые просты для понимания. Недостаток - обследуемые часто не удовлетворены предлагаемой альтернативой, хотели бы видеть больше вариантов ответа).
Ø трихотомические (три варианта ответа, например «да», «не знаю», «нет». Преимущество - обследуемые могут более точно выразить себя. Недостаток - установка на выбор крайних вариантов ответа).
Ø задания с рейтинговыми шкалами (важно обеспечить достаточное количество градаций ответа, чтобы обследуемые смогли адекватно выразить самих себя). Следует помнить и о том, что в разрабатываемом опроснике желательно использовать только один тип заданий.
3 этап - Оформление теста
От оформления, формы представления методики, зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. Оформление опросника должно способствовать восприятию его как формального документа или приближать к игре (особенности шрифта, цвет бумаги и расположение заданий).
4 этап - Пилотажное исследование
предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника.
5 этап - Анализ заданий
Анализ заданий по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно (в соответствии с ключом) и дискриминантности каждого задания.
6 этап - Определение надежности теста
Тест обычно считается надежным, если с его помощью получаются одни и те же показатели для каждого обследуемого при повторном тестировании.
7 этап - Валидность теста
Тест называется валидным, если он измеряет то, для измерения чего предназначен.
Для определения валидности теста необходимо найти ВНЕШНИЙ КРИТЕРИЙ ВАЛИДНОСТИ – показатель проявления изучаемого свойства в повседневной жизни. ВКВ – непосредственная и независимая от валидизируемого теста мера психического свойства, которая исследуется психодиагностической методикой. Если связь между ними признается удовлетворительной, то делается вывод о практической эффективности, действенности диагностической методики.
Существует несколько видов валидности: внешняя, оценочная, содержательная, практическая, конструктивная. Не существует какого-либо единичного показателя устанавления валидности теста. Разработчик должен представить весомые доказательства в пользу валидности теста, что потребует от него психологических знаний и интуиции.
8 этап - Стандартизация теста
Стандартизация позволяет сравнить показатели, полученные одним испытуемым, с таковыми в генеральной совокупности или соответствующих группах. Тем самым достигается адекватная интерпретация показателя отдельного испытуемого. Стандартизация наиболее важна в тех случаях, когда осуществляется сравнение показателей обследуемых .
При этом вводится понятие нормы , или нормативных показателей. Нормы необходимы при интерпретации первичных показателей в качестве эталона, с которым сравниваются результаты тестирования.
Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:
1. условия тестирования (помещение, освещение и др.
Внешние факторы). Очевидно, что объем кратковременной памяти (тест Векслера) лучше измерять, когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.
3. Наличие стандартного стимульного материала.
4. Временные ограничения выполнения данного теста.
5. Стандартный бланк для выполнения данного теста, что облегчает процедуру обработки.
6. Учет влияния ситуационных переменных на процесс и результат тестирования (состояние испытуемого, внешние факторы, прерывание процедуры тестирования).
7. Учет влияния поведения диагноста на процесс и результата тестирования. Например, одобрительно – поощряющее поведение экспериментатора во время тестирования может восприниматься как подсказка правильного ответа.
8. Учет влияния опыта респондента в тестировании.
Второй этап стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и предварительной стандартной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста, пола.
Третий этап стандартизации психологического теста состоит в определении норм выполнения теста.
Репрезентативность – понимается как характеристика качества психодиагностической процедуры.
Репрезентативная выборка – выборка, которая по основным параметрам соответствует генеральной совокупности.
Репрезентативность выборки можно проверить, сравнив между собой два распределения, полученных для двух случайных половин выборки стандартизации (та выборка, на которой определяются статистические нормы).
Генеральная совокупность – всякая большая (конечная или бесконечная) совокупность предметов (признаков), которые мы хотим обследовать, или относительно которых мы собираемся сделать выводы.
Выборка – часть генеральной совокупности, которая может быть обследована на практике и которая отвечает характеристикам генеральной совокупности.
Классификация выборок:
Репрезентативная – выборка, которая отражает адекватно всю генеральную совокупность в качественном и количественном отношении / нерепрезентативная;
Большая (более 200), средняя (менее 200) и малая (менее 19);
Случайная и неслучайная выборка.
Еще по теме Этапы стандартизации:
- 93. Менеджмент в здравоохранении. Управленческий цикл (этапы). Управленческое решение (степени, требования). Проведения контроля (виды).
- 10. Основные задачи, стадиииэтапы конструкторской подгот.
- 2. Основные этапы развития науки об организации производства.
- 5. Достоинства и недостатки психодиагностики на современном этапе в России.
- Достоинства и недостатки психодиагностики на современном этапе в России.
- Этапы и методика становления и развития воспитательной системы, критерии оценки
- Методика обучения биологии на современном этапе развития отечественного образования и ее особенности.
- 44. Сущность педагогической технологии. Задачная природа педагогической технологии. Этапы развития педагогической задачи.
- Понятие, цель и процедура стандартизации в профессиональном образовании. Общероссийская система оценки качества образования (ОСОКО).
Читайте также:
|
Создание психодиагностической методики – сложный, многошаговый процесс. Не претендуя в рамках данной статьи на полноту изложения этого вопроса, выделю основные этапы с кратким описанием их содержания. Сразу нужно заметить, что объектом внимания будет диагностическая методика (тест-опросник), так как для другого класса методик – исследовательских, проективных, клинических – существуют другие требования по созданию и апробации.
Создание психодиагностической методики не сводится только к проверке отдельных психометрических свойств – репрезентативности, надежности, валидности, достоверности и т.д. Первичная работа в этом направлении начинается с глубокой теоретической проработки оснований предмета, с выяснения методологических, концептуальных подходов к его исследованию. Прежде чем разрабатывать процедуру измерения, необходимо создать концепцию измеряемого психического свойства , построить его модель. Именно глубокая теоретическая подготовка является условием успешной работы по созданию методики, отвечающей всем критериям качества. Можно сказать, что прежде чем перейти к технологии разработки методики необходимо провести фундаментальное теоретическое исследование.
Если следовать логике исследования, то начинать его необходимо с определения проблемы . Это и будет первым этапом по созданию методики. Проблема – это задача, не имеющая решения, либо предполагающая неоднозначные решения. Проблемы могут порождаться как объективными условиями, реальной ситуацией, так и быть результатом собственной активности исследователя. Проблемы диагностики являются, как правило, прикладными и ориентированы на практическое решение возникших в реальной социальной ситуации задач. Исследователю необходимо помнить, что не все проблемы подлежат решению. Кроме реальных проблем, являющихся объектом непосредственного приложения усилий исследователя, существует категория проблем, неразрешимых средствами современной науки, а также «псевдопроблемы». Как уже было отмечено, проблемы диагностики – это реальные задачи, требующие своего прикладного решения. Скажем, в качестве примера можно привести проблему школьной тревожности. Данная проблема – пример уже операционализированной проблемы, переведенной, оформленной в терминах определенной научной отрасли. Иногда исследователю еще предстоит эта задача.
Следующим этапом по созданию психодиагностической методики будет определение предмета диагностики . Предмет имплицитно присутствует в операционализированной проблеме. Предмет – это то, что станет непосредственным объектом измерения, то, что будет измерять созданная методика. Предмет традиционно определяется как зафиксированные в опыте стороны, свойства и отношения объекта, исследуемые с определенной целью в данных условиях. Предмет существует в виде понятия. В нашем случае предметом диагностики будет феномен тревожности, представленный психологическим понятием «тревожность».
На следующем этапе необходимо определить границы понятия (этап уточнения предмета). Данная процедура осуществляется через проведение дифференциального анализа рассматриваемого понятия с близкими и противоположными по значению понятиями. Одним из способов определения понятия является принятое в логике сравнение с помощью кругов Эйлера – изображений посредством кругов отношений между объемами понятий. Круг, в данной процедуре, изображает объем конкретного понятия. В нашем случае, кроме понятий тревога и тревожность, необходимо рассматривать такие понятия, как страх, беспокойство и т.д.
Следующий шаг по конструированию методики связан с уточнением феноменального поля понятия . Для этого необходимо как можно более подробно описать тот феномен, который представлен в понятии, создать по возможности полную картину данного феномена. Как правило, это производится через операциональное определение понятия. Операциональное определение – это подробное указание операций, необходимых для представления и измерения понятия. В психологии часто используются абстрактные понятия, такие как интеллект, самооценка, память, научение, креативность и т.д. Необходимо их операционализировать, то есть описать все возможные объективные способы проявления рассматриваемого понятия. В объективной диагностике, какой является тест-опросник, используются лишь те способы проявления понятия, которые можно реально фиксировать как минимум в наблюдении с помощью наших органов чувств.
На следующем этапе из выделенных объективных способов проявления понятия необходимо отобрать наиболее значимые, которые будут выполнять роль критериев для распознавания (диагностики) предмета . Критерий (средство для суждения) – признак, на основании которого производится оценка, определение или классификация чего-либо, мерило оценки. Критерии измеряемого понятия должны представлять собой существенные, надежные и объективные признаки его проявления. Именно они найдут свое отражение в вопросах либо утверждениях, которые составят содержание стимульного материала методики. Таким образом, данный этап будет связан с выбором критериев, по которым будет диагностироваться предмет.
На следующем этапе создания методики производится выбор формы методики . Форма методики определяется спецификой предмета диагностики и исследовательскими целями. Методика может быть сконструирована в форме тест-опросника (как в нашем случае), проективной методики, клинической методики и др. Каждая из представленных форм имеет свою специфику, отличительные требования по критериям качества. На этом же этапе происходит выбор стимульного материала. В нашем случае стимульный материал может быть представлен в форме вопросов либо утверждений. Утверждения, в свою очередь, могут быть личные и безличные.
После определения формы стимульного материала производится его подбор. Выбор содержания стимульного материала осуществляется из того феноменального поля понятия, которое явилось результатом предшествующей работы с учетом выделенных критериев предмета диагностики. Качество отдельных заданий (вопросов, утверждений) является определяющим для всего тест-опросника, поэтому при разработке заданий теста необходимо учитывать наиболее часто встречающиеся проблемы, которые могут привести к его низкой валидности.
При отборе отдельных заданий (вопросов, утверждений) необходимо определить индекс эффективности каждого из них. Для этого можно прибегнуть к методу экспертов. Суть данного метода заключается в том, что нескольким специалистам в данной предметной области (5–7 человек) предлагают оценить список предполагаемых заданий из стимульного материала на предмет их валидности, то есть адекватности измеряемому предмету по рейтинговой шкале (3-, 5-, 7-бальной). Те из заданий, которые получат высокие оценки у всех или большинства экспертов будут обладать экспертной валидностью и их можно рекомендовать для включения в опросник. В качестве еще одной из стратегий отбора стимульного материала можно воспользоваться пилотажным исследованием. Проведение пилотажного исследования предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для диагностики которых он разрабатывается. Анализ полученных данных позволит разработчику теста отобрать лучшие задания для окончательной версии опросника. На репрезентативной выборке проводится пробное тестирование. Минимальный объем выборки должен быть в два раза больше, чем количество заданий. Далее рассматривается каждое из заданий стимульного материала с точки зрения того, как на него отвечали все испытуемые. При отборе разработчики руководствуются следующим правилом: не проходят те из заданий (вопросов, утверждений), которые получают у большинства испытуемых однозначные оценки. К примеру, если все испытуемые ответили «да» на какой-то из вопросов, то его не включают в будущий опросник, так как он не отражает индивидуальные особенности испытуемого, а направлен на некое общее для всех свойство. Индекс эффективности для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Кроме индекса эффективности, необходимо также определять дискриминативность задания – проверка того, измеряют ли отдельные задания (вопросы, утверждения) те же самые свойства, что и другие. Для определения дискриминативности заданий используется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дискриминативность задания, тем оно лучше. Минимальный коэффициент корреляции должен составлять 0,2. Для расчета этого показателя чаще всего применяется коэффициент произведения моментов Пирсона.
Важным моментом в разработке стимульного материала является выбор формы вопросов .
После того как задания для тест-опросника отобраны, необходимо позаботиться о его достоверности . Данное свойство методики (в случае опросников) представляется достаточно важным и является одним из критериев ее качества. Чаще всего достоверность обеспечивается благодаря включению в содержание стимульного материала корректурной шкалы (шкалы лжи).
Важным этапом в создании психодиагностической методики является разработка инструкции . Инструкция составляется в письменной форме, так как на устную инструкцию влияют паралингвистические компоненты исследователя: мимика, жесты, интонации, паузы и т.д. Кроме того, устная инструкция забывается, к письменной же испытуемый может, в случае надобности, возвращаться по ходу выполнения заданий теста. Инструкция должна быть простой и понятной испытуемому, не должна содержать в себе специальных профессиональных терминов, непонятных тестируемому, неоднозначно трактуемых слов и выражений. В ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике. В инструкции следует выделить ту информацию, которая может способствовать эффективной работе испытуемого, например о соблюдении конфиденциальности исследования. Основные функции, которые должна выполнять инструкция: информирующая и мотивирующая.
Разработкой инструкции завершается этап создания теста. Следующий этап будет посвящен его проверке соответствию критериям качества, а также его стандартизации и адаптации.
Основными критериями качества диагностической методики считаются валидность и надежность . Названные свойства теста являются необходимым атрибутом диагностического теста. Методика, которая не прошла испытания на валидность и надежность либо которая не отвечает требованиям по этим качествам, не может применяться как диагностический инструмент, хотя при этом ее можно использовать для исследовательских целей.
Заключительным этапом в разработке психодиагностической методики является ее стандартизация и адаптация . Диагностическая методика отличается от исследовательской методики тем, что она стандартизирована. Стандартизация методики включает в себя два этапа:
1. Выработка единых требований к процедуре тестирования. Этот этап включает в себя унификацию способов регистрации результатов, условий инструкций, бланков исследования и проведения тестирования.
2. Определение единого критерия для оценки результатов. На этом этапе производится определение тестовых норм.
Применение тестовых норм в психодиагностике основывается на переводе тестовых баллов из «сырой шкалы» в стандартную шкалу. Эта процедура называется стандартизацией тестового балла . Норма теста – это средний уровень выраженности исследуемого качества, установленный на большой выборке людей.
Для тест-опросников разрабатываются статистические тестовые нормы. Для их вычисления обращаются к методам математической статистики. Нормы для каждой группы должны быть представлены в средних величинах и показателе среднего отклонения. Результатом стандартизации теста является создание конверсионной таблицы для перевода «сырых» баллов в стандартные по заданной шкале. В ней приводится полный перечень соответствия между интервалами сырой шкалы и интервалами шкалы стандартной. Норма теста должна пересматриваться раз в 5 лет. В описании теста для каждой включенной в него нормы обязательно должно быть указано: где, когда, как и на ком она была установлена.
В заключение хочется сказать, что в конструировании тестов нельзя ограничиваться математическими расчетами. Математические модели в психодиагностике не смогут заменить разработку теоретических конструктов, фундаментальных принципов исследования. Без полного психологического описания измеряемого конструкта, без формулирования гипотез о его результатах процесс создания теста становится упражнением из математической статистики.
