ЭКСПРЕСС-МЕТОДИКА ОЦЕНКИ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ НА ОСНОВЕ ИНТЕРНЕТ-ПРОГРАММ СЕМАНТИЧЕСКОГО АНАЛИЗА ТЕКСТОВ

Булгаков А.В.

Московский государственный областной университет
Москва, Россия
е-mail: av_bulgakow@mail.ru

Компетентностный подход плотно завладел различными сферами профессиональной деятельности организаций: от подбора персонала до аттестации с последующими кадровыми санкциями (обучением в системе повышения квалификации, обоснованное премирование, перемещение, увольнение и т.д.). Разработаны и внедрены целые системы управления персоналом, основанные на компетентностном подходе в экономике, правоохранительных органах, образовании [3]. В образовании именно на компетентностном подходе строится учебный процесс, в ходе которого формируется профессиональная компетентность будущего специалиста в своей области. Актуальность проблемы подчеркивает значительный научный интерес к ней. Например, нами выявлено, что только за последние 10 лет в электронной базе Российской государственной библиотеки находится не менее 900 научных исследований, в которых раскрываются как отдельные аспекты профессиональных компетенций, так и в целом структура компетенций педагога-психолога. В той или иной степени результаты исследований вошли в государственный стандарт, являющийся эталонной моделью для образования. Однако измерение исходного, промежуточных и конечного уровней овладения компетенциями дело образовательной организации. Здесь прямое заимствование диагностического инструментария изучения компетенций из диссертаций часто практически невозможно. Научные работы как правило затратны по времени проведения, сложны своей системой измерения, требуют репрезентативности выборки, валидности и надежности инструментария. Практика образования не дает возможности для проведения в полном объеме всех психометрических процедур. Решения требуется принимать быстро, прозрачно, обоснованно.

Современные цифровые технологии вполне могут помочь этому. Примером являются специальные программы семантического анализа текстов, размещенные на различных платформах Интернета. Так  программы сайтов Адвего; Txt.ru; Istio.com. успешно используются создателями контента в маркетинге, журналистике, политике, рекламе и др.

Профессиональная рефлексия материалов Рунета позволила сформулировать и подтвердить гипотезу о возможности использования Интернет-программ семантического анализа текстов для психологических исследований. Получены первые результаты. Например, в целях повышения качества обучения в системе повышения квалификации психологов органов внутренний дел изучались зоны риска в профессиональной деятельности психолога, давались рекомендации [4]. Проблемы трансформации региональной системы среднего профессионального образования исследовались с применением специально разработанной экспресс-методики семантического анализа [5].

Вполне понятную и где-то традиционную задачу поставило руководство магистерской программы Московского городского педагогического университета: разработать и реализовать методику оценки компетенций абитуриентов, поступающих на программу по профилю «Организационно-психологические технологии в профессиональном образовании» (Направление 44.04.02 «Психолого-педагогическое образование»). Будущие магистры наряду с собеседованием выполняли творческое задание по написанию эссе на психолого-педагогическую тематику. Такая вполне традиционная форма вступительных испытаний проверялась с помощью качественного анализа текстов, результат которого в значительной степени зависит от пространства видения экспертом психолого-педагогических проблем, его знаний компетенций педагога-психолога [9].

Эссе представлялись как тексты, в которых референтом уровня сформированности компетенций являлось слово. Подчеркнем, что категория «референт» понимается нами согласно позиции Ч. Огдена и А. Ричардса [8], суть в косвенном характере отношения референта к имени или знаку (в нашем случае: представление о компетенциях), с которым референт связан только посредством понятия (компетенции). При этом отношение выявлялось через систему опосредований с другими понятиями, входящими в сложный многоярусный концепт «профессиональная компетенция». По Л.С. Выготскому слово – «живое единство звука и значения, содержащее в себе, как живая клеточка, в самом простом виде все основные свойства, присущие речевому мышлению в целом» [6, с. 12], единица его анализа [2]. Значениями единиц языка (словами) занимается семантика, выделяя лишь тот слой смысла для понимания, которого достаточно знания языка. Но для того чтобы охватить весь смысл происходящего в жизни людей, их профессиональной деятельности мало знания языка. Нужно знать личность во всем ее многообразии, в сложности ее взаимодействия с другими, выделяя в них намерения, психологические особенности, социальную ситуацию и среду, историю и культуру и многое другое. Такое знание эксперты получали в ходе собеседований с поступающими на магистерскую программу. Причем в силу специфики магистерской программы особое внимание обращалось на сформированность языковой личности. Среди разнообразия подходов к изучению личности филолог Ю.Н. Караулов определяет языковую личность как «совокупность способностей и характеристик человека, обуславливающих создание и восприятие им речевых произведений, которые различаются степенью структурно-языковой сложности, глубиной и точностью отражения действительности, определенной целевой направленностью» [7], а материальным аналогом языковой способности ассоциативно-вербальную сеть языка, которая выражается в ассоциативном тезаурусе.

В настоящее время возрастает интерес к языковой личности как к динамическому, развивающемуся феномену. Фундаментальные положения Ю.Н. Караулова в данном аспекте были реализованы в исследованиях Н.Д. Голева и др., разработавшими, например, понятие общерусского языкового типа [7; 12]. Продолжая эту идею, можно использовать метод наращивания ассоциативных цепей или метод вербального ассоциативно-частотного ряда, восходящий к трудам А.Н. Леонтьева и Р.М. Фрумкиной, обнаружившими иерархическую упорядоченность слов в идеолексиконе в соответствии с частотой их встречаемости в речевом опыте человека [1]. По нашему мнению, во многом именно такой подход лежит в основе обсуждаемого в данной статье варианта технологии семантического анализа.

Схема семантического анализа текстов основывалась на информационно-ролевом подходе суть которого состоит в том, что смысл текста выражается графом, где в узлах стоят леммы или единицы, которые равны по объему словам, выражающимся в русском языке многословной конструкцией (напр. слово «числительные»). Отношения этого графа задаются перечнем и называются семантическими отношениями [10]. Семантический анализ позволяет создать точные сигнатуры (в нашем случае устойчивые словосочетания – шаблоны – профессиональные компетенции). Выявленное количество слов или фраз определяют смысл текста, то есть его семантическое ядро с соответствующими статистическими показателями, количественно оценивающими текст. К ним относятся: количество символов с пробелами и без, количество слов, в том числе уникальных и значимых, стоп-слов, количество «воды» (не несущие смысловой нагрузки слова), грамматических ошибок, процент классической и академической «тошноты» (метафора скучности, тривиальности текста), гармоничность текста по закону Ципфа [11].

Поставленная задача по оценке исходного уровня сформированности профессиональных компетенций решалась через сравнительный анализ результатов семантического анализа базовой модели компетенций, изложенной в стандартах обучения педагога-психолога, и полученных по результатам обработки эссе на психолого-педагогическую тему. Такой подход вполне логичен и традиционен. Вместе с тем, нами была введена дополнительная переменная сравнительного анализа: усредненные данные по конкретной группе, которые позволяют прогнозировать общие проблемные зоны для учебной группы, а при наличии 2-х и более групп менять подходы к обучению всей группы. Действия по извлечению количественных данных выполнялись автоматически, сравнительный анализ в специальной опции «сравнение 2-х текстов». Например, результаты семантического анализа стандартных компетенций – Топ 10 слов – представлялся как текст 1 «Компетенции по образовательному стандарту» или текст 1 «Усредненные данные по группе» и текст 2 – Топ 10 слов «Эссе будущего магистра». Результат выгружался из программы в %. Здесь возможен при необходимости переход на стандартизированную пяти бальную шкалу или шкалу «принят-не принят» (для поступающих на программу). Сравнительный анализ дополнялся другими показателями семантического анализа: объем, семантическое ядро текста, плотность изучаемого понятия (в нашем случае – компетенции), отсутствие смысловой нагрузки текста, низкая содержательность, скучность, тривиальность, гармоничность текста. В таблице 1 представлена система понятий семантического анализа, выявленных нами на сайтах https://istio.com/; https://p2pi.ru/ и др. автоматизированного семантического анализа текстов. Программа формирует таблицу, график распределения по закону Ципфа и полный загруженный текст для машинной обработки.

Таблица 1

Интерпретация понятий семантического анализ в показателях сайтов https://istio.com/; https://p2pi.ru/ автоматизированного семантического анализа текстов

Семантические показатели текста	На сайтах: https://istio.com/; https://p2pi.ru/; Адвего, Txt.ru и др.	Нормы
Объем текста	количество символов	По выбору исследователя
Семантическое ядро текста	количество слов, в том числе уникальных и значимых	5-10-20 слов
Плотность изучаемого понятия	плотность ключевых слов	Наглядно: наличие более крупного текста
Отсутствие смысловой нагрузки текста	количество слов, обозначенных как не имеющих смысла	Количество слов, обозначенных «Нет смысла»
	водность текста, количество «воды»	до 15% — естественное содержание «воды» в тексте; от 15% до 30% — превышенное содержание «воды» в тексте; от 30% — высокое содержание «воды» в тексте.
Низкая содержательность, скучность, тривиальность текста	классическая «тошнота» частота употребления одного самого часто встречаемого ключевого слова в тексте	от 3 до 7

Гармоничность текста	заспамленность текста	до 30% — отсутствие или естественное содержание ключевых слов в тексте; от 30% до 60% — SEO-оптимизированный текст. от 60% — сильно оптимизированный или заспамленный ключевыми словами текст
	закон Ципфа (естественность текста)	0-30% — низкая «естественность» 30-50% — средний уровень «естественности» от 50 и выше — хороший уровень «естественности»

Получены следующие результаты семантического анализа эссе, которые сведены в единую таблицу 3.

Пример анализа эссе А., поступающего на магистерскую программу Данные получены с сайта SEO-анализ текста (Табл. 2, Рис. 1.).

 

Таблица 2

Пример количественного анализа эссе

Всего символов	4988	Количество слов	716	Естественность текста	52%
Без пробелов	4273	Словарный запас	237	Вода	40%
		Ключевых слов	131	Заспамленность	18%
		Стоп-слов	288	Классическая «тошнота»	4.7%
				Аакадемическая «тошнота»	5.4%
Анализ текста по закону Ципфа. Естественность вашего текста: 52%

Рис. 1. Анализ текста эссе по закону Ципфа

Программа автоматически выгружает облако наиболее часто встречаемых ключевых слов в тексте (Рис. 2).

Рис. 2. Результаты наиболее часто встречаемых ключевых слов в тексте

Программа на сайте istio.com более наглядно выгружает не только тематику (область куда скорее всего относится текст), но и перечень 10 Топ-слов эссе.

Таблица 3

Результаты машинной обработки эссе (n=18 чел.) с помощью программ семантического анализа текстов https://istio.com/; https://p2pi.ru/

<td «>Женский клубРабота Образование

задача образование воспитание человек патриотический

поколение подрастать реализация страна гражданин

62,9

Тема эссе	Общее количество слов	Отсутствие смысловой нагрузки текста	Водность: https://istio.com/; https://p2pi.ru/	Классическая тошнота: https://istio.com/; https://p2pi.ru/	Академическая Тошнота	Заспамленность текста	Закон Ципфа	Тематика	Топ 10 слов	Соответствие со стандартом
Эссе 1	281	148	46/48	2,45	4,48	7	53	Работа Страхование Бизнес и финансы	воспитание развитие обучение человек ребенок педагогический психология общество фактор изменить	73,78
Эссе 2	305	124	28/30	8,43	8	70	64	ОбразованиеТехнологии Работа	подростковый обучение образовательный технология информация подросток формат общение образование актуальный	36,98
Эссе 3	744	285	47/40	6,45/4,69	5,4	19	52	Погода ПутешествияТранспорт	человек познание мир общение знание познать друг процесс учение самопознание	62,11
Эссе 4	343	110	35/32	2,35/4,12	8,5	16	61	Работа ОбразованиеСтрахование	развитие обучение процесс ребенка человек психология внешний опыт поколение роли	57,58
Эссе 5	703	281	45/41	5,38/2,83	3,33	13	35
Эссе 6	1196	337	50/46	8,36/3,61	4,2	15	39	Женский клуб Образование Работа	обучение преподавательначинать студентка воспитание год возраст психика человек развитие	63,22

Эссе 7	269	94	47/35	3,18/3	6,3	15	54	Женский клуб Дети Образование	педагог ребёнок ученик ребенка развитие любить учитель образование бояться путь	62,8
Эссе 8	454	194	48/42	3,74/3,87	5,6	15	57	Работа ОбразованиеБизнес и финансы	мотивация ученик знание учебный предмет обучение получение учитель получать человек	58,33
Эссе 9	738	231	41/37	5,8/4,2	5	13	57	ОбразованиеАдминистрации Техника	образование система обучаться развивать развитие общество обучение традиционный ориентация идея	48,89
Эссе 10	585	227	43/39	5,56/3,3	4,9	18	37	ОбразованиеЖенский клуб Работа	развивать образование традиционный учащийся обучение умение развитие творческий способ знание	61,8
Эссе 11	627	198	35/32	4,1/3,7	5,1	16	43	Дети ОбразованиеИгры	младший возраст школьный ребенок логический дошкольник ребёнок школьник деятельность учиться	42,94
Эссе 12	98	124	42/28	6,85/8,4	8	70	64	ОбразованиеАдминистрации Наука	образование качество процесс подход обучение образовательный педагог уровень развитие школа	67,05
Эссе 13	843	240	40/37	6,24/4	4,9	19	45	ОбразованиеНепознанноеРабота	обучение развитие проблема индивид процесс ребенка ребёнок воспитание может учебный	73,23
Эссе 14	602	238	45/40	5,56/4,9	6,9	22	50	Работа ОбразованиеСтрахование	развитие обучение воспитание концепция психология выступать область взаимосвязь педагогический проблематика	59,4

Эссе 15	393	115	34/30	3,75/3,16	5,8	13	45	ОбразованиеТранспорт Администрации	обучение обучаться учебный деятельность процесс личность студент мотивация мотив педагогический	61,67
Эссе 16	714	291	47/41	6,24/3,61	3,9	15	42	НепознанноеНаука, Религия	человек жизнь, мир понимание взаимопонимание рамка отношение полноценный общение том	54,7
Эссе 17	600	254	47/43	5,29/3,32	3,5	7	51	Женский клуб Прочее Работа	деятельность учебный развитие человек педагогический, знание обучение, том предмет воспитание	78,76
Эссе 18	560	248	47/44	4,69/374	5	16	46	Погода Женский клуб Работа	человек жизнь личность учение мир процесс может взгляд рождаться предмет	46,86
Эссе 19	180	4	0/2	3,46/3,46	13,5	38	48	ОбразованиеНепознанноеНаука	обучение развитие человек воспитание процесс образование учебный педагогический знание ребёнок	54,35
Эссе 20	266	34	20/13	4,24/3,16	8,5	22	43	ОбразованиеАдминистрации Наука	психологический компетенция образовательный процесс умение развитие деятельность образование особенность методический	1

Следует подчеркнуть, что все абитуриенты, написавшие эссе, справились с поставленной задачей с оценкой не ниже удовлетворительно. Вместе с тем, сравнение показателей работы, получившей 73% соответствия со стандартом, и работы, набравшей 32%, показали необходимость введения дополнительных коэффициентов, дифференцирующих выборку текстов эссе.

Корреляционный анализ полученных данных выявил умеренные корреляции между уровнем соответствия со стандартом и отсутствием смысловой нагрузки текста r= -0,491876; низкой содержательностью, скучностью, тривиальностью текста r= -0,32127; его гармоничность r= -0,31767. Результаты вызвали некоторые сомнения в работоспособности предлагаемого варианта методики семантического анализа. В полной мере модель соответствия уровня представлений о профессиональных компетенциях педагога-психолога и стандарта не выстраивалась. Для прояснения был реализован факторный анализ. Проведенный факторный анализ после Varimax-вращения показал следующее (Табл. 4).

Таблица 4

Результаты факторного анализа (Factor Loadings (Varimax raw) (Spreadsheet1) Extraction: Principal components (Marked loadings are > ,700000) данных семантического анализа текстов эссе*

	Factor 1	Factor 2	Factor 3
	Общая характеристика текста	Заспамленность текста	Соответствие со стандартом компетенций
Общее количество слов	0,904366	0,236174	0,034525
Отсутствие смысловой нагрузки	0,888081	0,315486	0,218781
Водность (Отсутствие смысловой нагрузки текста)	0,426553	-0,034655	0,764169
Классическая тошнота	0,272755	0,946167	-0,068885
Академическая тошнота	-0,825606	0,196332	-0,322616
Заспамленность	-0,596481	0,720823	-0,238081
Гармоничность (закон Ципфа)	-0,853092	0,189013	-0,018999
Соответствие со стандартом	0,001729	-0,160981	0,890851
Expl.Var	3,628092	1,671516	1,592498
Prp.Totl	0,453512	0,208939	0,199062

* цветом обозначены значимые показатели

По сути, была получена 3-х факторная модель «языковой личности». Наглядно вклады факторов в общую оценку языковой личности поступающих на магистерскую программу представлены на рисунке 4.

Однако изучаемый нами вопрос соответствия уровня представлений о профессиональных компетенциях педагога-психолога составляет всего 23% от общей суммы факторных весов. С одной стороны, для линейной (прямолинейной) оценки представлений об уровне сформированности компетенций может показаться мало, если смотреть на другие полученные факторы. Но вполне достаточно для оценки будущего магистра. Остальные факторы характеризуют его как автора текстов, что является безусловной компетенцией педагога-психолога.

Рис. 4. Факторная структура результатов семантического анализа текстов, в % от общей суммы факторных весов

Важным результатом является высокая общность групповых представлений о компетенциях вообще и стандартных компетенциях педагога-психолога – совпадение слов-показателей 54,35%.

По результатам исследования мы можем сделать несколько выводов:

Во-первых, доказана возможность использования методики семантического анализа текстов для выявления уровня представлений о компетенциях педагога-психолога.

Во-вторых, семантический анализ можно быстро выполнить на различных платформах в Интернете, но необходимо учитывать: хотя программы и обладают стандартным алгоритмом, результаты могут отличаться.

В-третьих, построена адекватная модель языковой личности, включающую: фактор 1 – общая характеристика текста 53%; фактор 2 –оптимизация текста 24%; фактор 3 – соответствие компетенций стандарту 23%. Считаем, что такое соответствие вполне достаточно для оценки уровня представлений о компетенциях у будущего магистра. Факторы 1 и 2 являются другими проявлениями языковой личности, которые опосредованно дают представления о компетенциях педагога-психолога. В-четвертых, в последующих исследованиях целесообразно продолжить работу для создания экспресс-диагностик для других специалистов образования. Использование представленной методики семантического анализа целесообразно как экспресс-диагностики компетенций в профессиональной деятельности, выявления зон их оптимизации.

Литература

1. Аникин Д. В. Исследование языковой личности составителя «Повести временных лет»: дисс. … канд. фил. наук. Барнаул, 2004. 197 с. URL: //http://starling.rinet.ru/~minlos/thesis/Anikin2005.pdf
2. Беспалов Б.И. О различиях «единиц» и «элементов» психологической реальности. Доклад на семинаре по деятельностному подходу, 27 апреля 2007 г. URL://www.psy.msu.ru/science/seminars/activity/materials/08_bespalov.pdf

3. Бородина Т.И. Личностно-профессиональная спецификация государственных служащих: монография /Т.И. Бородина, И.Н. Носс; под общ. ред. А.В. Булгакова. М.: ИИУ МГОУ, 2018. 228 с.
4. Булгаков А.В. Семантический анализ как экспресс-методика оценки представлений о риске в профессиональной деятельности // Вестник Московского государственного областного университета (Электронный журнал). 2019. № 4. C. 88-103 URL:https://evestnik-mgou.ru/ru/Articles/View/979 Doi:10.18384/2224-0209-2019-4-979
5. Булгаков А.В., Булгакова Е.А., Шумский Д.А. Проблемы трансформации системы среднего профессионального образования: социально-психологический анализ// Вестник Московского государственного областного университета. Серия: Психологические науки. 2020. № 1. С. 36-54.
6. Выготский Л.С. Мышление и речь. Изд. 5, испр. М.: Лабиринт, 1999. 352 с.
7. Караулов Ю.Н. Русский язык и языковая личность. Изд. 7-е. М.: Издательство ЛКИ, 2010. 264 с.
8. Митина О.В., Евдокименко А.С. Методы анализа текста: методологические основания и программная реализация // Вестник ЮУрГУ. Серия: Психология. 2010. №40 (216). С. 29-38.
9. 9. Мыскин С.В.Специфика функционирования профессиональных прецедентных текстов в совместной деятельности работников // Филологические науки. Вопросы теории и практики. Тамбов: Грамота, 2014. № 10. Ч. 3. С. 134-141 ISSN 1997-2911
10. Сокирко А.В. Семантические словари в автоматической обработке текста: По материалам системы ДИАЛИНГ: дис. … канд. техн. наук. М., 2001. 114 с.
11. Щеголева С.А. Статистика Ципфа-Парето-Мандельброта и анализ Парето // Вестник ТГЭУ. 2002. №3 (23). C. 56-64.
12. Языковая личность: Моделирование, типология, портретирование. Коллективная монография: Сибирская лингвоперсонология. Ч. 1 / Под ред. Н. Д. Голева, Н. Н. Шпильной. М.: Ленанд, 2014. 637 c.

References

1. Anikin D. V. Issledovanie jazykovoj lichnosti sostavitelja «Povesti vremennyh let»: diss. … kand. fil. nauk. Barnaul, 2004. 197 s. URL: //http://starling.rinet.ru/~minlos/thesis/Anikin2005.pdf
2. Bespalov B.I. O razlichijah «edinic» i «jelementov» psihologicheskoj real’nosti. Doklad na seminare po dejatel’nostnomu podhodu, 27 aprelja 2007 g. URL: //www.psy.msu.ru/science/seminars/activity/materials/08_bespalov.pdf
3. Borodina T.I. Lichnostno-professional’naja specifikacija gosudarstvennyh sluzhashhih: monografija /T.I. Borodina, I.N. Noss; pod obshh. red. A.V. Bulgakova. M.: IIU MGOU, 2018. 228 s.
4. Bulgakov A.V. Semanticheskij analiz kak jekspress-metodika ocenki predstavlenij o riske v professional’noj dejatel’nosti // Vestnik Moskovskogo gosudarstvennogo oblastnogo universiteta (Jelektronnyj zhurnal). 2019. № 4. URL:https://evestnik-mgou.ru/ru/Articles/View/979 Doi:10.18384/2224-0209-2019-4-979
5. Bulgakov A.V., Bulgakova E.A., Shumskij D.A. Problemy transformacii sistemy srednego professional’nogo obrazovanija: social’no-psihologicheskij analiz// Vestnik Moskovskogo gosudarstvennogo oblastnogo universiteta. Serija: Psihologicheskie nauki. 2020. № 1. S. 36-54.
6. Vygotskij L.S. Myshlenie i rech’. Izd. 5, ispr. M.: Labirint, 1999. 352 s.
7. Karaulov Ju.N. Russkij jazyk i jazykovaja lichnost’. Izd. 7-e. M.: Izdatel’stvo LKI, 2010. 264 s.
8. Mitina O.V., Evdokimenko A.S. Metody analiza teksta: metodologicheskie osnovanija i programmnaja realizacija // Vestnik JuUrGU. Serija: Psihologija. 2010. №40 (216). S. 29-38.
9. Myskin S.V. Specifika funkcionirovanija professional’nyh precedentnyh tekstov v sovmestnoj dejatel’nosti rabotnikov // Filologicheskie nauki. Voprosy teorii i praktiki. — Tambov: Gramota, 2014. № 10. Ch. 3. S. 134-141 ISSN 1997-2911
10. Sokirko A.V. Semanticheskie slovari v avtomaticheskoj obrabotke teksta: Po materialam sistemy DIALING: dis. … kand. tehn. nauk. M., 2001. 114 s.
11. Shhegoleva S.A. Statistika Cipfa-Pareto-Mandel’brota i analiz Pareto // Vestnik TGJeU. 2002. №3 (23). S. 56-64
12.  Jazykovaja lichnost’: Modelirovanie, tipologija, portretirovanie. Kollektivnaja monografija: Sibirskaja lingvopersonologija. Ch. 1/Pod red. N. D. Goleva, N. N. Shpil’noj. M.: Lenand, 2014. 637 s.