Что такое экспериментальная группа контрольная группа
Экспериментальные и контрольные группы и их назначение в экспериментальном психолого-педагогическом исследовании
Экспериментальная группа – это группа, непосредственно подвергающаяся экспериментальному воздействию в процессе исследования. Экспериментальная группа состоит из лиц, которые будут подвергнуты воздействию независимой переменной, или стимула.
Контрольная группа определяется как группа испытуемых, аналогичная экспериментальной группе, которая помещается в те же условия, что и экспериментальная, за исключением того, что испытуемые в ней не подвергаются экспериментальному воздействию (независимой переменной).
Экспериментальная и контрольная группы должны быть практически идентичными. Идентичность экспериментальной и контрольной групп достигается тремя способами.
Второй, более доступный, метод выравнивания групп основан на выравнивании частотныхраспределений, а не каждой пары в отдельности. Испытуемые распределяются по группам таким образом, чтобы было гарантировано наличие в каждой группе одних и тех же средних характеристик и одинаковое распределение каждой характеристики. Например, экспериментатор обеспечивает 30-процентную долю испытуемых с высшим образованием и в той, и в другой группе. Аналогичные выравнивания осуществляются и по другим признакам, а отдельные испытуемые уже не контролируются. Разумеется, в данном случае не достигается высокого сходства между группами, но комплектование групп намного облегчается.
Третий метод формирования групп более гибок по сравнению с точным подбором соответствий. Это метод рандомизации. Испытуемый, выбранный из списка всех подходящих испытуемых, включается в группу посредством некоторого случайного процесса, например с помощью таблицы случайных чисел. Рандомизация имеет большое преимущество, создавая у нас чувство уверенности, что все наши группы сходны между собой во всех отношениях, а не только с точки зрения переменных, которые мы считаем релевантными для эксперимента, поскольку при отборе большого числа испытуемых случайное распределение по группам гарантирует нейтрализацию различий между испытуемыми.
Дополнительно:
Значение зависимой переменной в каждой группе измеряется до начала воздействия стимула в ходе так называемого предварительного тестирования (pretest) и затем еще раз после того, как экспериментальная группа подверглась воздействию стимула, в ходе контрольного тестирования (posttest). Вывод о влиянии стимула (независимой переменной) делается на основании сравнения оценок предварительного теста и контрольного теста для каждой группы. Чем больше различие в значениях между предварительным тестом и контрольным тестом в каждой группе, тем большее влияние приписывается независимой переменной.
Экспериментальные и контрольные группы
Если в одних исследованиях группы испытуемых подвергаются воздействию одной независимой переменной, имеющей разные уровни выраженности, то в других экспериментах используются экспериментальные и контрольные группы.
Хотя такие эксперименты можно описать с помощью определения независимой переменной, мы обсудим здесь относящиеся к ним основные понятия потому, что они занимают особое место при разработке экспериментального плана.
Экспериментальная группа – это группа, непосредственно подвергающаяся экспериментальному воздействию в процессе исследования, то есть группа, с которой непосредственно работает экспериментатор.
Слепые люди успешно избегают столкновений с различными препятствиями, однако очень малоизвестно, как им это удается. В одной из гипотез предполагалось, что у них развивается способность «видеть лицом», то есть они реагируют на ничтожные изменения давления воздуха на открытые участки кожи. Согласно другой теории, это происходит потому, что слепые могут улавливать самые слабые звуковые сигналы.
Супа, Котцин и Далленбах решили проверить эти теории. В их эксперименте слепые люди ходили по комнате с установленными в ней различными препятствиями (экранами). Экспериментальные условия были представлены в двух вариантах. В первом случае слепым людям надевали войлочную маску на лицо и перчатки на руки (чтобы исключить восприятие кожей). Во втором случае им в уши вставлялись звукопоглощающие пробки. Третий вариант условий – контрольный: слепые просто ходили по той же комнате, как в обычных условиях.
Результаты показали, что испытуемые из контрольной группы и испытуемые в войлочных масках каждый раз обходили препятствия, в то время как испытуемые с пробками в ушах каждый раз на них натыкались. На основании этих результатов авторы эксперимента пришли к заключению, что умение слепых людей обходить препятствия объясняется в первую очередь их тонкой чувствительностью к звуковым сигналам, а не «лицевым зрением».
Приведенный эксперимент – это сокращенный вариант целого ряда исследований, в которых изучались способности к восприятию внешних воздействий у зрячих и слепых людей, В данном примере довольно трудно определить независимую переменную.
Проще представить этот эксперимент как два способа воздействия на группы – один, в котором исключалась возможность восприятия кожей, и другой, в котором исключалась возможность слухового восприятия. На контрольную группу воздействовали так же, как и на две другие, за исключением воздействий на слуховую или кожную чувствительность.
Контрольная группа обеспечивает исходный уровень, помогающий определить, улучшают или ухудшают экспериментальные воздействия способность слепых обходить препятствия. Зависимая переменная в этом исследовании – способность реагировать на раздражители в условиях ограничения чувствительности – оценивалась по количеству случаев, когда испытуемые натыкались на препятствия.
Иногда требуется более одной контрольной группы. Например, в фармакологии часто используется контрольная группа плацебо. Группу плацебо лучше всего представить как группу, членам которой внушают, что оказанное на них воздействие улучшит их работоспособность или избавит от тех или иных симптомов, в то время как в действительности никаких воздействий не оказывается. Такой тип контрольной группы применяется также для определения эффективности различных методов лечения. Рассмотрим следующий пример из психологической литературы.
Пол провел эксперимент с целью проверки эффективности двух методов лечения речевой фобии. Его испытуемыми были студенты крупного университета, посещающие занятия по риторике. Пол выбрал 67 студентов, у которых были серьезные проблемы в процессе обучения, и распределил их по четырем группам. Первой группе из 15 человек предлагался курс поведенческой терапии.
Другой группе из 15 человек предлагался курс рациональной терапии. Третья группа из 15 человек получала плацебо в виде безвредных, но и бесполезных таблеток, хотя испытуемым говорили, что это поможет им избавиться от проблем. Испытуемым из четвертой группы из 22 человек сообщали, что к ним не будут применяться какие-либо специальные меры, и они просто отвечали на те же вопросы, которые задавались членам других групп.
Каждый испытуемый должен был произнести одну речь до начала предписанного курса и одну – после его завершения. Зависимой переменной было количество улучшений, выявляемых в речах испытуемых от первого ко второму разу по оценкам четырех психологов-клиницистов. Эти четыре специалиста не знали, какой курс проходил тот или иной испытуемый и в какой группе.
Результаты эксперимента показали, что улучшили свои показатели 100% испытуемых из группы поведенческой терапии, 6о% испытуемых из группы рациональной терапии, 73% испытуемых из группы плацебо и 32% испытуемых из контрольной группы, к которым не применялись никакие методы.
Эксперимент Пола показывает, что иногда необходимо иметь различные типы контрольных групп. Интерпретация результатов эксперимента была бы совсем другой, если бы Пол не использовал контрольную группу плацебо. Без нее рациональная терапия представлялась бы достаточно эффективной для лечения трудностей речи.
А благодаря включению в эксперимент группы плацебо стало очевидным, что рациональная терапия оказалась неэффективной и могла воздействовать положительно только в качестве плацебо. В самом деле, показатели в группе плацебо оказались выше, чем в группе рациональной терапии.
Эксперимент Пола также показывает необходимость в привлечении группы, к членам которой не применялись никакие методы воздействия, поскольку даже в ней более 30% испытуемых улучшили свои показатели. Это позволяет получить исходный уровень для оценки эффективности воздействия по сравнению со случаем его отсутствия.
В различных областях исследований используются разные типы контрольных групп. Исследователи, удаляющие часть мозга у животных, входящих в состав экспериментальной группы, иногда используют контрольные группы, подопытные животные в которых подвергаются подобным хирургическим операциям, за исключением удаления части мозга.
Это позволяет контролировать такой фактор, как послеоперационный шок (справиться с которым помогают ветеринарные услуги цены на которые являются весьма приемлемыми), вызывающий определенные последствия у подопытных животных из экспериментальной группы. Следует помнить, что с контрольной группой следует обращаться точно так же, как и с экспериментальной группой, исключая только экспериментальное воздействие.
Эксперимент Пола также показывает важную контрольную процедуру, использованную для того, чтобы избежать влияния фактора предвзятости экспериментатора. Психологи, оценивавшие речевые способности испытуемых, не участвовали в проведении терапевтических процедур и не знали, к какой группе принадлежал тот или иной испытуемый.
Вполне естественно предполагать, что врач может предвзято относиться к результатам своих пациентов. Более того, оценивающие результаты эксперты могут питать пристрастие к той или иной методике лечения, и если бы они знали, что испытуемый проходил именно этот курс, то были бы склонны замечать улучшения в первую очередь у данного пациента.
Или же эксперты могут предполагать, что у испытуемых из контрольной группы, к которым не применялись какие-либо методы лечения, не может быть улучшений, и соответственно давать им заниженные оценки. Пол контролировал влияние возможной предвзятости, используя независимых экспертов и не сообщая им, к какой группе принадлежал тот или иной испытуемый.
Термин слепой используется в экспериментальных исследованиях в специальном смысле. Просто слепой эксперимент обычно означает, что испытуемым не говорят, к какой они группе принадлежат, и, возможно, даже о том, в чем заключается эксперимент. Термин двойной слепой часто используется при испытаниях действия лекарств или в исследованиях, в которых участвуют эксперты, оценивающие какие-либо качества испытуемых или изменение каких-либо показателей в ходе эксперимента.
Как экспертов, так и испытуемых держат в неведении («слепыми») относительно применяющихся в ходе эксперимента воздействий и ожидаемых результатов. Выбранный нами конкретный пример показывает влияние предвзятости экспериментатора в экспериментальной психологии и серьезные последствия, которые это может иметь для психологии и других наук.
Очевидное проявление предвзятости при проведении эксперимента было показано Розенталем и Фоудом. Студентам, обладавшим некоторыми знаниями в сфере экспериментальной психологии, предложили оценить способность проходить лабиринт у крыс, разделенных на две группы. «Экспериментаторам» было сказано, что одну группу сформировали из крыс, обладавших хорошей наследственной способностью прохождения лабиринта, тогда как другую группу – из крыс, такой способностью не обладавших.
Как и ожидалось, «способные» показали значительно более высокие результаты. Однако странность заключалась в том, что крысы отбирались из стандартной выборки, в которой не было деления на способных и неспособных. Действительно ли крысы из группы «способных» проходили лабиринты лучше «неспособных»? Вряд ли, но «экспериментаторы» ожидали такого результата, и это ожидание повлияло на объективность их оценок.
Разница между контрольной группой и экспериментальной группой
Контрольная группа против экспериментальной группы Научные эксперименты часто проводятся в форме контролируемых экспериментов. Причина, по которой эти экспериментальные исследования называются так, з
Содержание:
Контрольная группа против экспериментальной группы
Научные эксперименты часто проводятся в форме контролируемых экспериментов. Причина, по которой эти экспериментальные исследования называются так, заключается в том, что испытуемые в эксперименте были разделены на две группы, называемые экспериментальной группой и контрольной группой. Обе группы состоят из идентичных по своей природе предметов. Существует так много общего, преднамеренного и преднамеренного, что трудно отличить контрольную группу от экспериментальной. Однако между этими двумя группами есть одно важное различие, которое заставляет исследователя относиться к этим двум группам по-разному. Давайте выясним эту разницу.
Что такое контрольная группа?
В эксперименте, в котором должны быть проверены эффекты лекарства, контрольная группа не получает лекарство, тогда как оно вводится субъектам экспериментальной группы. Таким образом, испытуемые из контрольной группы служат инструментом сравнения, когда исследователь оценивает эффекты лекарства.
Что такое экспериментальная группа?
В чем разница между контрольной группой и экспериментальной группой?
• Научные эксперименты, известные как контролируемые эксперименты, требуют создания экспериментальной группы и контрольной группы.
• Эти две группы практически идентичны, и нет никакой разницы в составе.
• Однако испытуемые в экспериментальной группе подвергаются воздействию проверяемой переменной, тогда как испытуемые в контрольной группе остаются в стороне от этой переменной.
• Контрольная группа помогает объяснить влияние переменной на испытуемых в экспериментальной группе, поскольку она не подвергается воздействию переменной.
Эксперементальная и контрольные группы
Если в одних исследованиях группы испытуемых подвергаются воздействию одной независимой переменной, имеющей разные уровни выраженности, то в других экспериментах используются экспериментальные и контрольные группы.
Хотя такие эксперименты можно описать с помощью определения независимой переменной, мы обсудим здесь относящиеся к ним основные понятия потому, что они занимают особое место при разработке экспериментального плана.
Экспериментальная группа – это группа, непосредственно подвергающаяся экспериментальному воздействию в процессе исследования, то есть группа, с которой непосредственно работает экспериментатор.
Контрольная группа помещается в те же условия, что и экспериментальная, за исключением того, что испытуемые в ней не подвергаются экспериментальному воздействию. Хорошим примером такого подхода является эксперимент Спалланцани. Те собаки, которым вводили для оплодотворения профильтрованную сперму, составляли экспериментальную группу, а те, которым вводилась нормальная сперма – контрольную. В следующем примере мы увидим контрольную и экспериментальную группы, воздействия на которые различаются в соответствии с их назначением.
Слепые люди успешно избегают столкновений с различными препятствиями, однако очень малоизвестно, как им это удается. В одной из гипотез предполагалось, что у них развивается способность «видеть лицом», то есть они реагируют на ничтожные изменения давления воздуха на открытые участки кожи. Согласно другой теории, это происходит потому, что слепые могут улавливать самые слабые звуковые сигналы.
Супа, Котцин и Далленбах решили проверить эти теории. В их эксперименте слепые люди ходили по комнате с установленными в ней различными препятствиями (экранами). Экспериментальные условия были представлены в двух вариантах. В первом случае слепым людям надевали войлочную маску на лицо и перчатки на руки (чтобы исключить восприятие кожей). Во втором случае им в уши вставлялись звукопоглощающие пробки. Третий вариант условий – контрольный: слепые просто ходили по той же комнате, как в обычных условиях.
Результаты показали, что испытуемые из контрольной группы и испытуемые в войлочных масках каждый раз обходили препятствия, в то время как испытуемые с пробками в ушах каждый раз на них натыкались. На основании этих результатов авторы эксперимента пришли к заключению, что умение слепых людей обходить препятствия объясняется в первую очередь их тонкой чувствительностью к звуковым сигналам, а не «лицевым зрением».
Приведенный эксперимент – это сокращенный вариант целого ряда исследований, в которых изучались способности к восприятию внешних воздействий у зрячих и слепых людей, В данном примере довольно трудно определить независимую переменную.
Проще представить этот эксперимент как два способа воздействия на группы – один, в котором исключалась возможность восприятия кожей, и другой, в котором исключалась возможность слухового восприятия. На контрольную группу воздействовали так же, как и на две другие, за исключением воздействий на слуховую или кожную чувствительность.
Контрольная группа обеспечивает исходный уровень, помогающий определить, улучшают или ухудшают экспериментальные воздействия способность слепых обходить препятствия. Зависимая переменная в этом исследовании – способность реагировать на раздражители в условиях ограничения чувствительности – оценивалась по количеству случаев, когда испытуемые натыкались на препятствия.
Иногда требуется более одной контрольной группы. Например, в фармакологии часто используется контрольная группа плацебо. Группу плацебо лучше всего представить как группу, членам которой внушают, что оказанное на них воздействие улучшит их работоспособность или избавит от тех или иных симптомов, в то время как в действительности никаких воздействий не оказывается. Такой тип контрольной группы применяется также для определения эффективности различных методов лечения. Рассмотрим следующий пример из психологической литературы.
Смешение
Смешение семантическое (процедурное) — источник нарушения внутренней валидности Вызвано тем, что действие независимой переменной сопровождается влиянием связанных с ней фактов, которые изменяются в зависимости от уровня переменной и которые невозможно одновременно проконтролировать. К их числу относятся факторы времени, последовательности предъявления, индивидуальных различий.
Смешение сопутствующее — источник нарушения внутреннейвалидности, обусловленный неизбежным сочетанием в эксперименте основного воздействия с сопутствующим ему. Одним из проявлений сопутствующего смешения является плацебо-эффект.
Выборка эмпирического исследования
Выборка в дипломной работе по психологии – это испытуемые или респонденты, которые приняли участие в эмпирическом исследовании.
Если говорить более строго, научно, то выборка – это какая-то часть некоторой большой группы (генеральной совокупности), которая отражает ее свойства. В этом случае говорят, что выборка репрезентативна. И поэтому полученные на выборке результаты распространяют на всю генеральную совокупность.
Существуют разнообразные процедуры формирования репрезентативной выборки: простой случайный отбор, стратифицированный случайный отбор и др. Они описываются в книгах по экспериментальной психологии и математической статистике. Выполнение этих процедур важно при проведении серьезных психологических исследований. В практике написания курсовых, дипломных и магистерских работ в современных российских ВУЗзах репрезентативность выборки, как правило, не оговаривается и специальные процедуры не применяются. При этом по умолчанию предполагается, что выборка репрезентативна.
Например, вы исследовали взаимосвязь тревожности женщин и срока их беременности. Вы взяли в качестве испытуемых своих знакомых. Получили результат, что чем выше срок, тем выше тревожность. На защите можно смело говорить о том, что «выявлена положительная взаимосвязь тревожности и срока беременности у женщин среднего возраста». То есть, вы смело распространяете полученный на маленькой группе результат на всех женщин. Хотя, строго говоря, не известно, была ли ваша выборка репрезентативна группе всех беременных женщин среднего возраста в нашей стране.
Очень часто именно выборкой определяется тема исследования. Преподаватели часто расспрашивают студента-психолога об обстоятельствах его жизни (где работает и т.п.). На основании этой информации и делается вывод, на какой выборке удобнее провести исследование.
Например, если вы – педагог, то в качестве выборки могут выступить учащиеся. Сотруднику организации научный руководитель может предложить взять в качестве испытуемых его коллег-сотрудников. Домохозяйка может выбрать в качестве респондентов своих знакомых женщин. Часто студенты берут в качестве выборки тоже студентов и проводят эмпирическое исследование на своих сокурсниках.
В связи с формированием экспериментальной выборки при написании выпускной работы по психологии у студентов могут возникнуть следующие вопросы:
Объем (численность) выборки
Иногда преподаватели уверенно говорят студентам, что результаты их исследования будут недостоверны, если объем выборки будет меньше 30, 50, 70, 100 человек и т.д. Строго говоря, это не корректное утверждение. В данном случае важно понимать, что во всех статистических расчетах действует такое правило: чем меньше объем выборки, тем жестче критерии, при которых результат статистического расчёта считается достоверным.
Например, вы проводите анализ взаимосвязей показателей агрессивности и тревожности младших школьников в группе из 30 человек. Если принять достаточным уровень статистической значимости в 0,05 (5%), то значимыми будут коэффициенты корреляции больше либо равные 0,36. А ваш коллега – студент-психолог – проводит анализ взаимосвязей карьерных ориентаций и стажа сотрудников организации в группе из 10 человек. В его случае значимыми будут считаться коэффициенты ранговой корреляции не ниже 0,64 при том же уровне значимости.
Итак, статистически достоверные результаты эмпирического исследования можно получить на любой выборке (от 10 человек). При этом чем меньше экспериментальная выборка, тем жестче критерии статистической достоверности полученных на ней результатов.
Однако, чем меньше выборка, тем в меньшей степени она отражает генеральную совокупность, тем заметнее в ней влияние отдельных результатов на общий показатель. То есть, формально можно брать выборку в 10 человек, но практически в эмпирическом исследовании этого недостаточно.
Строгих правил по численности выборки для получения статистически достоверных результатов психологического исследования нет, но есть следующие рекомендации:
Есть одна вполне невинная хитрость, позволяющая увеличить численность экспериментальной выборки. Например, если в ВУЗе требуют большие выборки (80-100 человек), а набрать столько испытуемых проблематично, можно сделать следующее. Реальное эмпирическое исследование провести на небольшой выборке, например, 20 человек. А далее увеличить объем выборки в кратное количество раз (2, 3, 4 и т.д.), то есть получить выборку в 40, 60, 80 человек и т.д. Такая процедура существенно не повлияет на результат. В этом случае станут более мягкими критерии значимости статистических критериев (см. выше правило соотношения объема выборки и жесткости критериев статистической значимости результатов).
Например, вы пишете дипломную работу на тему «Исследование взаимосвязи ощущения одиночества и субъективного благополучия у женщин среднего возраста, занимающих руководящие должности». Руководитель потребовала, чтобы выборка была не меньше 60 человек. Вы резво взялись за дело. Но вскоре выяснилось, что найти женщин-руководителей среднего возраста, готовых участвовать в тестировании, не так просто. Вы протестировали 15 человек и больше найти не можете. Что делать?
Берете данные по этим 15 испытуемым в сводной таблице результатов и копируете 4 раза. Получается выборка из 60 человек. Главное, что взаимосвязи, которые вы выявите на этой увеличенной выборке, будут отражать реальные корреляции ощущения одиночества и субъективного благополучия в исходной выборке из 15 человек. Изменения будут незначительны – станут значимыми некоторые корреляции, которые в выборке из 15 женщин были не значимы.
Характеристики выборки
При описании выборки в дипломной работе по психологии указываются социально-демографические характеристики испытуемых: пол, возраст, образование, семейный статус, профессия и пр.
Существует множество характеристик, которые можно указать при описании выборки. Какие включить в описание, а какие – нет?
Строго говоря, нужно указывать характеристики выборки, которые имеют отношение к сути исследования. Например, если сравниваем женщин-руководителей и простых сотрудниц, то важно при описании выборки указать профессиональный статус.
При описании выборки всегда указывают пол, возраст и образование (для взрослых испытуемых). Остальные характеристики указывают по необходимости, если они важны. Например, при исследовании корпоративной культуры сотрудников организации вряд ли необходимо указывать их семейный статус, так как он имеет очень отдаленное отношение к теме исследования.
Некоторые научные руководители требуют описывать выборку с указанием максимального количества характеристик.
Контрольная и экспериментальная группы
В каких случаях в дипломной работе по психологии возникает необходимость введения экспериментальной и контрольной групп? Если тема ВКР связана с выявлением индивидуально-психологических различий испытуемых, имеющих какую-то особенность и не имеющих ее. Например, в качестве таких особенностей могут быть:
Смысл эмпирического исследования с экспериментальной и контрольной группой состоит в том, что различия психологических показателей, выявленные между этими группами, укажут на влияние критерия разделения на личность человека. Например, если лица с заболеванием окажутся более тревожны, чем без заболевания, то можно будет сделать вывод о том, что данная болезнь ведет к росту тревожности или что повышенная тревожность выступает одной из причин данной болезни. Или если окажется, что у семейных выше осмысленность жизни, то вывод будет в том, что семья повышает осмысленность жизни. И, наконец, если выяснится, что у пожарных выше выраженность психологического стресса, то сделаем вывод о том, что работа в МЧС создает предпосылки развития стресса.
Так вот, чтобы выводы о влиянии критерия разделения на группы на выраженность тех или иных психологических показателей были обоснованы, между экспериментальной и контрольной группами не должно быть никаких других различий, кроме того, которое выбрано. Например, состоящие и не состоящие в браке испытуемые не должны различаться ни по каким другим характеристикам. То есть, у них должны быть примерно одинаковые возраст, социальный статус и пр. Только в этом случае можно будет сказать, что выявленный более высокий уровень осмысленности жизни у семейных по сравнению с не состоящими в браке связан именно с тем, что у представителей экспериментальной группы есть семья.
Если экспериментальная и контрольная группа не выровнены по другим социально-демографическим показателям, то, возможно, на осмысленность жизни повлиял какой-то другой фактор. Например, если состоящие в браке работают дизайнерами, а не состоящие в браке – безработные, то различия в уровне осмысленности жизни могут быть связаны не с наличием супруга, а с наличием интересной работы.
Естественно, невозможно выровнять экспериментальную и контрольную группу по всем социально-демографическим показателям. Нужно ограничиться некоторыми ключевыми: возраст, образование, социальный и семейный статус.
Существует устойчивый миф, что для корректной статистической обработки результатов численность выборки в контрольной и экспериментальной группе должна быть одинаковой. В моей практике были случаи, когда научные руководители требовали выравнивать численность испытуемых в контрольной и экспериментальной группе, когда исследование было уже проведено. Такие требования указывают на непонимание сущности статистических расчётов, которые имеют дело с усредненными величинами. А среднее значение величины в группе (среднее арифметическое) не зависит от численности группы, так как при его расчете сумма показателей всех участников группы делится на число человек.
Пример описания экспериментальной и контрольной групп:
Характеристика выборки. В исследовании приняли участие 50 подростков, разделенных на две группы:
Надеюсь, эта статья поможет вам самостоятельно написать диплом по психологии. Если возникнет необходимость, обращайтесь (все виды работ по психологии; статистические расчеты). Заказать