Применение теории обучения с подкреплением (reinforcement learning, RL (Саттон Р. С., Барто Э.
Work5 выполняет курсовые на заказ в Ростове любой сложности.
. Г. Обучение с подкреплением, 2011)) при моделировании задачи поведенческого выбора дает результаты, качественно согласующиеся с экспериментом И.А. Смирнитскойи соавт. (Смирнитская И.А., Фролов А.А., Мержанова Г.Х. Модель выбора вознаграждения, на основе теории обучения по подкреплению, 2007). Однако не всегда эта теория применима. Например, она не подходит в случае отрицательного (болевого) подкрепления.
Во-первых, потому, что обучение с подкреплением – это обучение методом проб и ошибок, а в случае, когда выбор состоит в отказе от действий, влекущих за собой болевое воздействие, метод проб и ошибок не подходит. В случае сильного болевого стимула обучение часто происходит после всего лишь однократного воздействия. Да и с чисто эволюционной точки зрения пробные действия неуместны в угрожающих жизни ситуациях.
Во-вторых, в нервной системе имеются специальные структуры, обрабатывающие сигналы о негативных воздействиях. В случае отрицательного подкрепления поведенческим выбором управляет миндалина (Par? D., QuirkG.J., Ledoux J.E.New vistas on amygdala networks in conditioned fear, 2004).
Еще одно соображение, указывающее на недостаточную адекватность теории обучения с подкреплением – скорость обучения. Теория RL требует сотен (и даже тысяч) итераций. В реальности животному для обучения нужно гораздо меньше.
И, наконец, наиболее ощутимый аргумент, определяющий возможность применения RL – рассмотрение реальных сетей мозга, участвующих в обучении, и операций, которые можно приписать управляющим структурам.
Исследование конформности
Начиная с основополагающей работы Соломона Эша, исследования социального влияния показали, что люди меняют свое поведение под влиянием мнения своей социальной группы, т.е. проявляют конформность.
В своем исследовании Василий Ключарев и соавторы при помощи метода функциональной магнитно-резонансной томографии (фМРТ) впервые показали, что в момент рассогласования мнения испытуемого и мнения большинства наряду с активацией прочих зон, происходит активация медиофронтальной области коры (или ростральной цингулярной зоны)(V. Kliucharev ey al.Downregulation of the Posterior Medial Frontal Cortex Prevents Social Conformity, 2011).
Результаты многочисленных исследований методами фМРТ, электроэнцефалографии и транскраниальной магнитной стимуляции позволили заключить, что ростральная цингулярная зона вовлечена в анализ результатов действия.
Активность ростральной цингулярной зоны также может быть зарегистрирована с помощью метода вызванных потенциалов (ВП). Компонентами ВП, ассоциируемыми с анализом результатов деятельности, являются так называемая негативность результата действия (НРД) (от англ. feedback-related negativity) и следующее за ней позитивное отклонение потенциала – Pe (с характерным фронтоцентральным распределением по поверхности головы).
В работе Крутицкой Я.А., выполненной на кафедре Высшей Нервной Деятельности и Психофизиологии Биолого-почвенногофакультета СПбГУ (магистерская диссертация)была поставлена цель проверить гипотезу о нейробиологической природе социального влияния, зарегистрировав НРД в момент рассогласования мнения испытуемых с мнением группы, а также определить пространственно-временные характеристики ВП в пробах, предшествующих конформным изменениям мнения.
В данном эксперименте производилось предъявление фотографий женских лиц с целью определения их привлекательности. В исследовании принимали участие 16 здоровых испытуемых женского пола в возрасте от 17 до 26 лет. Регистрация электроэнцефалограммы производилась в 19 отведениях в соответствии с международной системой 10-20. Эксперимент состоял из двух частей.
В первой части эксперимента испытуемому предлагалось оценить привлекательность лица, используя шкалу от 1 до 8. Через несколько секунд на экране появлялось то же лицо одновременно с предъявлением мнения группы (обозначенное красной рамкой поверх шкалы) и мнения испытуемого (синяя рамка). Во второй части эксперимента после получасового перерыва испытуемому снова предлагалось оценить те же лица, но на этот раз оценка группы не предъявлялась. Вторая часть эксперимента позволяла определить, поменял испытуемый свое мнение в сторону мнения группы или нет.
В действительности, «мнением группы» являлось случайно сгенерированное компьютером значение, которое было составлено следующим образом: в 33% случаев компьютер соглашался с испытуемым, а в остальных 67% отличался от последнего на 2 или 3 пункта.
Результаты исследования показали, что испытуемые изменяли свои оценки привлекательности, приближая их к оценкам группы. Причем, сильное рассогласование индивидуального мнения и мнения группы (на 3 пункта) вызывало большие изменения мнения, чем слабое рассогласование (на 2 пункта).
Анализ ВП показал, что конфликт с мнением группы вызвал нейрональную активность во фронтоцентральной области коры (негативное отклонение ВП около 200 мс), схожую с НРД, которая связана в литературе с контролем и коррекцией поведения.
31 страниц
81% уникальность
2013 год
129 просмотров
