ИССЛЕДОВАНИЕ КРЕОЛИЗОВАННЫХ ТЕКСТОВ В МОСКОВСКОЙ ПСИХОЛИНГВИСТИЧЕСКОЙ ШКОЛЕ

Вашунина И.В.¹, Матвеев М.О.²

Вашунина И.В.

Всероссийская академия внешней торговли Минэкономразвития РФ
е-mail: vashunina@yandex.ru

Матвеев М.О.

Московский физико-технический институт (национальный исследовательский университет)
е-mail: mike-matveev@mail.ru

Введение

Исследование креолизованных текстов учеными Московской психолингвистической школы начинается в конце ХХ века. В 1990 году выходит статья Ю.А. Сорокина и Е.Ф. Тарасова «Креолизованные тексты и их коммуникативная функция», которая вводит в научное обращение термин «креолизованный текст». В этой работе дается определение исследуемого феномена: креолизованные тексты – это «тексты, фактура которых состоит из двух негомогенных частей: вербальной (языковой/речевой) и невербальной (принадлежащей к другим знаковым системам, нежели естественный язык)» [12]. Термин «креолизованный» часто подвергался критике по разным причинам (наряду с ним используются термины «поликодовый», «полидомальный» и целый ряд других), однако до сих пор он является наиболее употребительным для обозначения текста с такими характеристиками.

Современные исследования подтверждают, что креолизованные тексты — один из наиболее востребованных форматов в массовой коммуникации. Они интегрируют вербальные и невербальные элементы, что усиливает их воздействие на аудиторию. Как отмечают Ю.А. Сорокин и Е.Ф. Тарасов [12], такие тексты обладают особой когнитивной сложностью, поскольку задействуют одновременно несколько каналов восприятия.

Получив научную концептуализацию, креолизованный текст сразу привлекает внимание исследователей разных школ и научных направлений. На сегодняшний день его изучению (на материале многих языков) посвящены десятки диссертаций, несколько монографий и множество научных статей.

Основные положения исследования креолизованных текстов

Специфика подхода Московской психолингвистической школы заключается в применении экспериментальных методов исследования: в фокусе внимания находится смысловое восприятие креолизованного текста реципиентами-испытуемыми. Все публикуемые данные являются интерпретацией результатов проведенных экспериментов, что позволяет обсуждать не просто прагматический потенциал креолизованных текстов, а реальное конструирование их смысла читателем или слушателем.

Основными положениями подхода к исследованию креолизованных текстов в Московской психолингвистической школе являются следующие.

Первое. Креолизованный текст представляет собой синтез вербального и невербального/ невербальных компонентов. Воздействие этих компонентов можно изучать по отдельности, но нужно учитывать, что креолизованный текст не является простой суммой своих составляющих. Поэтому воздействие креолизованного текста хотя и будет определяться характеристиками его компонентов, но не может быть полностью выведено из воздействия изолировано взятых составляющих, так как в их сочетании (креолизованном тексте) возникает некоторая взаимозависимость.

Второе. Креолизованными являются все тексты (это неоднократно подчеркивал Е.Ф. Тарасов в беседах с учениками), потому что к «чистому» слову всегда добавляется форма его овнешнения (термин Е.Ф. Тарасова), обладающая своими характеристиками: даже если речь идет о простом (без невербальных дополнений) письменном или устном дискурсе, то существуют признаки шрифта/ почерка или характеристики голоса говорящего, которые определенным образом взаимодействуют с вербальным текстом.

Третье. Воздействие параметров одной из составляющих креолизованного текста зависит от характеристик другой/ других составляющих. Задачей исследователя является выявление сочетаний параметров составляющих креолизованного текста, которые определенным образом воздействуют на реципиентов.

Наиболее часто используемым методом исследования креолизованных текстов в Московской психолингвистической школе является метод семантического дифференциала. Его основное достоинство – это возможность получить от респондентов реакции, не осознаваемые ими самими, что практически невозможно сделать другим способом.

 

Обзор исследований креолизованных текстов в Московской психолингвистической школе

Программная статья Ю.А. Сорокина и Е.Ф. Тарасова увидела свет в 1990 году, однако работы по изучению креолизованного текста начались значительно раньше. Уже в 1986 году под руководством Е.Ф. Тарасова защищена первая диссертация по этой проблематике – «Взаимовлияние иконических и вербальных знаков при смысловом восприятии текста» (Головина Лариса Владимировна) [6]. Исследование Л.В. Головиной заложило основы анализа креолизованных текстов как поликодовых образований, подразумевающих взаимодействие вербальных и иконических элементов. В своей работе автор выделяет три типа креолизованных текстов, основываясь на степени интеграции визуальных и текстовых компонентов. Л.В. Головина подчеркивает, что процесс восприятия таких текстов существенно зависит от композиции и когнитивной сложности изображения, которые либо усиливают, либо осложняют процесс интерпретации текста. Эти выводы формируют методологическую базу для дальнейших исследований восприятия сложных мультимодальных текстов. Практическая значимость работы Л.В. Головиной заключается в возможности применять ее выводы при разработке медиатекстов и рекламных материалов. Результаты данного исследования также нашли применение в образовательной сфере, где креолизованные тексты используются для развития когнитивных и коммуникативных навыков обучающихся, особенно в условиях мультимодальной подачи материала.

В 2003 под руководством Е.Ф. Тарасова (продолжившего работу А.М. Шахнаровича) Юлия Эдуардовна Леви защищает диссертацию «Вербальные и невербальные средства воздейственности рекламного текста» [9]. Диссертация Ю.Э. Леви представляет собой значимый вклад в изучение механизмов взаимодействия вербальных и невербальных компонентов в рекламных текстах. Автор работы исследует, как текстовые и графические элементы обеспечивают воздействие на реципиента, что особенно важно для креолизованных текстов.

Ю.Э. Леви выделяет ключевые средства воздействия, такие как парцелляция, вопросы-ответы, минималистичные заголовки, контрастные изображения и использование шрифтовых акцентов. Особое внимание уделено экспериментальному изучению эффекта обманутого ожидания — приема, при котором неожиданное визуальное и текстовое содержание стимулирует когнитивную активность реципиентов, усиливает их внимание и способствует запоминанию текста.

Таким образом, Ю.Э. Леви приходит к выводу, что эффективность рекламного текста достигается благодаря оригинальному сочетанию вербальных и невербальных компонентов, создающих целостное креолизованное сообщение. Данное исследование закладывает фундамент для дальнейшего анализа воздействия сложных текстовых систем, активно применяемых в средствах массовой коммуникации.

В 2007 году выходит монография «Взаимодействие визуальных и вербальных составляющих при восприятии креолизованного текста» [2], в которой представлен материал диссертационного исследования «Взаимовлияние вербальных и невербальных (иконических) составляющих при восприятии креолизованного текста», защищенного двумя годами позже [1]. Целью исследования было определение особенностей восприятия креолизованных текстов в зависимости от характеристик их вербальной и невербальной (иконической) составляющих. Материал исследования состоял из 30 креолизованных текстов. Вербальные компоненты представляли собой фрагменты научно-популярного, художественного прозаического и художественного стихотворного текстов по двум темам: Урал и змея. К каждому из этих текстов было сделано по пять иллюстраций в реалистической и нереалистической манере, а также в разных цветовых гаммах (графика, естественная цветовая гамма, гамма с преобладанием сине-зелено-фиолетовых тонов – названа минорной – и гамма с преобладанием красно-оранжево-желтых тонов – названа мажорной). Таким образом, исследовалось восприятие сочетаний разных по стилю и теме вербальных текстов с различными по манере исполнения и цветовой гамме иллюстрациями. Испытуемым было предложено оценить эти тексты по 50 шкалам семантического дифференциала.

Результаты исследования следующие. Обнаружена различная оценка креолизованных текстов с одинаковой вербальной составляющей, но с разными иконическими компонентами, что объясняется параметрами изображения. Был составлен перечень параметров изображения, которые могут влиять на оценку креолизованного текста определенным образом. Среди них есть как содержательные характеристики (степень реалистичности, понятности и тривиальности изображения), так и формальные (геометрические формы и цвет). Был сделан вывод о связи допустимой для успешного смыслового восприятия нереалистичности иллюстрации от степени свободы понимания вербального текста. Одним из результатов исследования является обнаружение возможностей визуализации качеств, обозначаемых шкалами семантического дифференциала, которые были выведены из систематического изменения оценки текста по какой-либо шкале при использовании определенного параметра изображения.

В 2018-2020 годах исследование креолизованных текстов проводилось коллективом ученых в рамках гранта 18-012-00652 РФФИ «Креолизованный текст как средство управления языковым сознанием: теоретико-экспериментальное исследование». По итогам опубликована монография [8]. За три года исследований было проведено семь серий экспериментов. Целями этих экспериментов было обнаружение и интерпретация различий в оценках креолизованных текстов и их отдельных конституентов, креолизованных текстов с разными по стилю (фигуративными и нефигуративными) и цветовой гамме изображениями; характеристика параметров вербального текста, влияющих на его оценку по отдельным шкалам; установление интенсивности воздействия цветовой гаммы на оценку по отдельным шкалам; обнаружение взаимосвязи оценок по отдельным шкалам и факторам; определение коэффициента креолизации текста; выявление особенностей оценок текстов с разными сочетаниями иконической и вербальной составляющих (мрачные тексты + мажорные иллюстрации, мрачные тексты + минорные иллюстрации, светлые тексты + мажорные иллюстрации, светлые тексты + минорные иллюстрации); обнаружение влияния объекта описания в его сочетании  с другими параметрами на оценку креолизованного текста.

Разные серии экспериментов проводились на материале креолизованных текстов, составленных из: 1) фотографии улицы (одна и та же фотография в трех вариантах – естественной, сине-фиолетовой и розово-оранжевой цветовой гамме), композиции К. Малевича и описаний этих изображений; 2) фотографии улицы в сине-фиолетовой и розово-оранжевой цветовой гамме и четырех отрывков из художественных произведений (по два со светло-веселой и темно-печальной смысловой доминантой); 3) фотографии природы (в трех вариантах: естественной, минорной и мажорной цветовой гамме) и отрывков из художественных произведений с описанием лета и осени с темно-печальной и светло-веселой смысловой доминантой.

В результате исследования было установлено, что существует возможность выявления параметров креолизованного текста, которые влияют на его оценку реципиентами. Однако поскольку действие определенного параметра зависит от других характеристик креолизованного текста, практически все выявленные закономерности (за некоторыми исключениями) представляют собой импликации, действие которых можно прогнозировать с определенной процентной вероятностью. При интерпретации полученных результатов были разработаны новые положения теории креолизованного текста. В ходе соотнесения визуальных параметров со значением вербальных единиц определены механизмы интерсемиотического перевода (импрессивный, экспрессивный, конструктивный, межмодальный). Введено новое понятие коэффициента креолизации текста (который рассчитывается исходя из разницы между средним арифметическим оценки вербального текста и оценки изображения и реальной оценкой КТ) и приведены примеры его расчета. Рассмотрены возможности визуального представления вербальной информации и даны рекомендации по использованию этих возможностей.

Дальнейшее развитие тематики восприятия креолизованных текстов связано с исследованиями Михаила Олеговича Матвеева, представленных в его диссертации «Влияние вербальных и невербальных составляющих на восприятие креолизованного текста» [12]. В работе предложен двухэтапный психолингвистический эксперимент, включающий интерпретационный и моделирующий этапы, с целью изучения взаимосвязей вербальных и невербальных компонентов текста. Автор выявил, что вербальная составляющая играет ведущую роль в процессах смыслового восприятия, а невербальная — оказывает значительное влияние на параметры восприятия через дополнение, дублирование или противоречие. Результаты эксперимента позволили разработать методику определения коэффициента креолизации текста, что расширяет возможности прогнозирования его воздействия. Данный подход позволяет выявить ключевые параметры текстов, такие как степень реалистичности визуальных компонентов, их цветовая гамма и стилистическое соответствие вербальной части. Результаты диссертации М.О. Матвеева подчеркивают важность экспериментального подхода в изучении креолизованных текстов. Его исследования создают основу для последующего анализа текстов, взаимодействующих с различными модальностями, что особенно актуально в цифровую эпоху.

В 2021 году под руководством В.П. Синячкина защищена диссертация «Смысловое восприятие креолизованного текста» (Косенко Виктория Сергеевна) [7]. Целью исследования являлось обнаружение закономерностей процесса смыслового восприятия креолизованного текста в качестве основной формы функционирования речевых сообщений в современных социумах. Материал работы состоял из экспериментального креолизованного текста (компоненты: вербальный текст и изображение), изучавшегося как в целом, так и покомпонентно, а также звучащего текста (с изображением и без него) в женском и мужском исполнении. Результаты исследования следующие: определена роль вербального и визуального (изображения) компонентов в конструировании смысла креолизованного текста, выявлено, что семантическим базисом креолизованного текста является вербальная составляющая, выявлены характеристики женского и мужского голоса, ассоциирующиеся с семантикой и влияющие на смысловое восприятия креолизованного текста, установлено, что голос является мощным средством невербального воздействия на подсознание окружающих, установлена зависимость восприятия креолизованного текста от характеристик его иконической и аудиальной составляющих.

Современное состояние исследований креолизованных текстов

В настоящее время исследования креолизованных текстов продолжаются в разных направлениях. С.В. Мыскин занимается исследованием особенностей восприятия учебных креолизованных текстов [11]. Развиваемым аспектом проблематики является этноспецифический компонент восприятия учебных креолизованных текстов: на сегодняшний день собран материал нескольких языков и планируются дальнейшие эксперименты. Другим направлением является исследование восприятия иноязычных креолизованных текстов в сопоставлении с восприятием текстов на родном языке [3; 4]. Выявлены особенности восприятия креолизованных текстов на немецком и английском языках русскими испытуемыми. Еще одно направление представляет логико-грамматический подход к конструированию смысла креолизованного текста. Обнаружено, что добавление иллюстрации к тексту (находящейся в поле зрения читателя до чтения вербального текста) меняет развертку тема-рематической цепочки, влияя таким образом на смыслообразование [5]. В настоящее время продолжаются и «традиционные» экспериментальные исследования креолизованных текстов с разными вербальными и визуальными составляющими, а также запланировано и проводится ряд исследований (в том числе диссертационных) репрезентации эмоциональных концептов в креолизованном тексте.

В Московском городском педагогическим университете в рамках магистерской программы «Психология и психолингвистика речевой коммуникации» студентам предлагается курс «Теория и практика креолизованного (полимодального) текста», на котором предусмотрено обучение проведению экспериментальных исследований креолизованных текстов. Это проблематика всегда вызывает интерес у студентов, каждый год несколько человек выбирает креолизованный текст в качестве объекта изучения для ВКР. Таким образом, помимо приобретения нового эмпирического материала, происходит повышение интереса молодых исследователей к проблеме креолизованного текста.

 

Заключение

Проведенная работа показала, что креолизованный текст является крайне сложным феноменом, что объясняется синтетическим характером связи его компонентов между собой и наличием множества параметров, которые необходимо учитывать, потому что они могут воздействовать на смысловое восприятие такого сообщения. В то же время результаты исследований доказывают, что прогнозирование и научное моделирование восприятия креолизованных текстов возможно с высокой степенью вероятности. Поэтому задачами дальнейших работ по этой проблематике должно быть выявление параметров, влияющих на восприятие креолизованного текста, а также обнаружение условий, регулирующих такое влияние. Актуально изучение отдельных видов креолизованных текстов, сопоставление данных, полученных на материале разных языков. Особый интерес вызывает моделирование конструирования содержания креолизованного текста. Рассмотрение разных аспектов восприятия креолизованных текстов должно помочь прогнозировать воздейственный потенциал таких текстов и выявлять попытки манипулирования общественным сознанием.

Таким образом, в ходе исследований подтверждается, что креолизованные тексты обладают значительным потенциалом в различных сферах коммуникации, от рекламы до образования. Как продемонстрировано в ходе многочисленных экспериментов, креолизованные тексты не только повышают восприимчивость аудитории, но и облегчают запоминание сложной информации. За счет этого они становятся перспективным объектом для дальнейших психолингвистических и прикладных исследований.

Несмотря на уже достигнутые результаты, исследование креолизованных текстов остается перспективным направлением. Одной из ключевых задач будущих исследований является изучение восприятия креолизованных текстов, использующихся в цифровой среде, где роль визуальных элементов усиливается. Дополнительно следует обратить внимание на их влияние в межкультурной коммуникации, что может пролить свет на различия в восприятии текстов представителями разных культур. С другой стороны, применение технологий нейропедагогики, таких как айтрекинг и когнитивный анализ, может предоставить новые данные о том, как аудитория взаимодействует с вербальными и невербальными элементами учебного текста. Также интересным направлением является исследование креолизованных текстов, активно используемых детьми и подростками в рамках общения в сети.

Литература

 

1. Вашунина И.В. Взаимовлияние вербальных и невербальных (иконических) составляющих при восприятии КТ: автореф. дисс. … д-ра филол. н. М., 2009. 42 с.
2. Вашунина И.В. Взаимодействие визуальных и вербальных составляющих при восприятии креолизованного текста. Н. Новгород: Ин-т языкознания РАН, НГПУ, 2007. 421с.
3. Вашунина И.В. Особенности смыслового восприятия вербального и креолизованного иноязычного текста // Вестник Московского государственного лингвистического университета. Гуманитарные науки. 2023. № 6 (874). С. 41–48.
4. Вашунина И.В., ЗиминaB. Особенности восприятия поликодовых текстов на родном и иностранном языках// Когнитивные исследования языка. 2024. № 1–1  (57). С. 343–346.
5. Вашунина И.В., Рябова М.Э. Когнитивная вариативность восприятия креолизованного текста // Организационная психолингвистика. 2024. № 2 (26). С. 60–72.
6. Головина Л.В. Взаимовлияние иконических и вербальных знаков при смысловом восприятии текста: автореф. дисс. … канд. филол. наук. М., 1986. 21 с.
7. Косенко В.С. Смысловое восприятие креолизованного текста : автореф. дисс. … канд. филол. наук. М., 2021. 21 с.
8. Креолизованный текст: Смысловое восприятие. Коллективная монография / Отв. ред. И.В. Вашунина. Ред. колл.: Е.Ф. Тарасов, А.А. Нистратов, М.О. Матвеев. М.: Институт языкознания РАН, 2020. 206 с.
9. Леви Ю.Э. Вербальные и невербальные средства воздейственности рекламного текста: автореф. дисс. … канд. филол. наук. М., 2003. 22 с.
10. Матвеев М.О. Влияние вербальных и невербальных составляющих на восприятие креолизованного текста : автореф. дисс. … канд. филол. наук. М., 2021. 21 с.
11. Мыскин С.В. Интерпретационные характеристики креолизованного учебного текста // Организационная психолингвистика. 2021. № 1(13). С. 10–43.
12. Сорокин Ю.А., Тарасов Е.Ф. Креолизованные тексты и их коммуникативная функция // Оптимизация речевого воздействия. М.: Ин — т языкознания РАН, 1990. С. 180–186.

 

References

 

1. Vashunina I.V. Vzaimovlijanie verbal’nyh i neverbal’nyh (ikonicheskih) sostavljajushhih pri vosprijatii KT: avtoref. diss. … d-ra filol. n. [The interaction of verbal and non-verbal (iconic) components in the perception of creolized text]. Мoscow. 2009. 42
2. Vashunina I.V. Vzaimodeystvie vizual’nykh i verbal’nykh sostavlyayushchikh pri vospriyatii kreolizovannogo teksta [Interaction of visual and verbal components in the perception of creolized text]. Nizhniy Novgorod : NGPU Press. 2007. 421 s.
3. Vashunina I.V. Osobennosti smyslovogo vosprijatija verbal’nogo i kreolizovannogo inojazychnogo teksta [Features of semantic perception of a verbal and creolized foreign language text]. Vestnik Moskovskogo gosudarstvennogo lingvisticheskogo universiteta. Gumanitarnye nauki [Vestnik of Moscow State Linguistic University. Humanities]. 6 (874). pp. 41-48.
4. Vashunina I.V., Zimina M.V. Osobennosti vosprijatija polikodovyh tekstov na rodnom i inostrannom jazykah [Peculiarities of perception of polycode texts in native and foreign languages]. Kognitivnye issledovanija jazyka [Cognitive Language Studies].  1-1 (57). pp. 343-346.
5. Vashunina I.V., Ryabova M.E. Kognitivnaja variativnost’ vosprijatija kreolizovannogo teksta [Cognitive variability of perception of creolized text]. Organizacionnaja psiholingvistika [Organizational psycholinguistics]. 2, pp. 60-72.
6. Golovina L.V. Vzaimovlijanie ikonicheskih i verbal’nyh znakov pri smyslovom vosprijatii teksta: avtoref. diss. … kand. filol. Nauk [The mutual influence of iconic and verbal signs in the semantic perception of the text]. М 1986.
7. Kosenko V.S. Smyslovoe vosprijatie kreolizovannogo teksta : avtoref. dis. … kand. filol. nauk [Semantic perception of creolized text]. Moscow.
8. Vashunina I. V. (Ed.). Kreolizovannyy tekst: Smyslovoe vospriyatie [Creolized text: semantic perception]. Moscow : Institute of Linguistics of RAS Press. 2021
9. Levi Ju.Je. Verbal’nye i neverbal’nye sredstva vozdejstvennosti reklamnogo teksta: avtoreferat dis. … kand. filol. nauk [Verbal and non-verbal means of advertising text effectiveness]. М 2003
10. Matveev M.O. Vlijanie verbal’nyh i neverbal’nyh sostavljajushhih na vosprijatie kreolizovannogo teksta : avtoref. diss. … kand. filol. nauk [The influence of verbal and non-verbal components on the perception of creolized text]. Moscow. 2021
11. Myskin S.V. Interpretacionnye harakteristiki kreolizovannogo uchebnogo teksta [Interpretative characteristics of a creolized educational text].
    Организационная психолингвистика. Organizacionnaja psiholingvistika [Organizational psycholinguistics].2021.1 (13). 60-72.
12. Sorokin Ju.A., Tarasov E.F. Kreolizovannye teksty i ih kommunikativnaja funkcija [Creolized texts and their communicative function]. Optimizacija rechevogo vozdejstvija [Оптимизация речевого воздействия]. Moscow : Institute of Linguistics of RAS Press. 1990. pp. 180-186.