«Пусть тяжелая земля станет легкой»
В национальных республиках России появился свой язык, чтобы говорить о войне. Исследование «Новой-Европа» по 800 тысячам комментариев в «ВКонтакте»
Под давлением государства в России сложился набор формулировок, через которые разрешено говорить о войне. Но в национальных республиках для высказываний на эту тему нашелся свой язык — в прямом смысле слова. «Новая-Европа» изучила сотни тысяч комментариев в соцсетях на главных миноритарных языках России. Жители национальных республик не просто называют войну войной. Они пишут о ней так, как не принято говорить по-русски, — проклинают ее, молятся за мир, ждут земляков с фронта и оплакивают погибших.
На каких языках общаются россияне
В России живут носители сотен языков. На 24 из них, по данным Росстата, говорят больше 250 тыс. человек. Помимо русского и официальных языков других государств (английский, немецкий, украинский, армянский, азербайджанский и казахский) это 17 языков республик страны. Самые многочисленные среди них — татарский, чеченский, башкирский, чувашский.
Витальность языка, то есть его способность к развитию и передаче из поколения в поколение, не всегда напрямую зависит от числа носителей. Тувинским владеют 253 тыс. человек, но это один из шести языков республик (вместе с чеченским, ингушским, башкирским, татарским и якутским), которые Институт языкознания РАН относит в наименее рискованную группу — носителей достаточно, межпоколенческая передача работает как в селах, так и в городах. Чувашский же (хотя на нем говорят 750 тысяч человек), как и аварский, кабардино-черкесский, кумыкский и другие многочисленные языки, в более уязвимом положении — они сохраняются только в сельской местности.
Витальность языков в интернете тоже не всегда зависит от числа носителей. Доля нерусских комментариев в скачанных нами сообществах «ВКонтакте» и каналах телеграма превышает 2,5% только в пяти регионах. Туда входят Тува и Якутия, но не Чувашия, где носителей, казалось бы, значительно больше. К этому же выводу в 2016 году пришли лингвисты ВШЭ, изучая присутствие миноритарных языков в «ВКонтакте» и Википедии: живучесть языка онлайн не коррелирует с числом носителей. Важнее другое — наличие «активного сетевого сообщества».
Как мы считали
Сбор данных. Мы ограничились регионами, где живут носители самых крупных языков, — больше 250 тысяч человек, по данным Росстата.
Используя API «ВКонтакте», мы получили идентификаторы населенных пунктов, где живут больше 30 тыс. человек. Для этих населенных пунктов мы нашли сообщества по спискам ключевых слов, которые покрывают названия пабликов, где пользователи предположительно общаются между собой (знакомства, объявления, работа, администрация, район, медиа, подслушано, чп, жк, новости, сельсовет, названия крупных городов, название республики, а также переводы ключей на национальные языки). В полученных пабликах мы скачали посты, а потом комментарии под каждым постом вместе с ветками ответов.
Телеграм-каналы мы взяли из списков TGStat по регионам. Порог — 10 тысяч подписчиков. Комментарии мы также выкачали с помощью API из привязанных чатов обсуждений.
Начало периода для обеих соцсетей — 1 января 2022 года.
Мы использовали двухуровневый детектор — по уникальным буквам и частотным словам. Без машинного обучения, поскольку для этих языков нет надежных моделей. На первом уровне текст относится к группе 1) по уникальным буквам (ғ ҙ ҡ — башкирский, җ — татарский, ҕ — якутский); 2) палочка Ӏ или заменяющая ее цифра 1 относит текст к кавказской группе; 3) буквы ө ү ң без уникальных выше — к «мягкой» тюрко-монгольской.
На втором уровне язык уже внутри группы определяется по высокочастотным словам. Если текст не содержит таких слов, то он получает несколько маркеров (например, башкирский или татарский) — в анализ эти тексты по итогу не пошли. Так же, как и тексты короче 20 знаков.
Часть текстов на национальном языке при этом иногда набирается пользователями только кириллицей и без частотных слов, поэтому наша оценка доли родного языка — это нижняя граница.
В итоге мы скачали 812 788 не русских и не коротких комментариев. Для 685 757 из них язык определился точно, и они пошли в анализ.
Слово «война» мы перевели на разные языки: башкирское һуғыш и его падежные и притяжательные формы, татарское сугыш, бурятское дайн, якутское сэрии, тувинское дайын и т. д. Вокруг каждого слова мы взяли окно ±5 слов и выделили одиночные коллокаты (слова, которые чаще всего есть в окружении слова «война»), биграммы и триграммы (фразы из двух и трех слов). Далее мы сравнили результат для двух подкорпусов — русского и миноритарного. Русский подкорпус при этом уменьшался до размера национального. Тексты от 100 знаков дедуплицировались.
Отдельно мы выделили биграммы и триграммы без привязки к ключевым словам — внутри региона по подкорпусу национального языка и по русскому подкорпусу. Этот анализ позволил выявить ошибки алгоритма определения языка и проанализировать, о чем в принципе пишут пользователи вне контекста войны.
Отдельно мы ответили на вопрос, как война называется: прямым словом или официальным эвфемизмом, и различается ли это между этнической и русской речью одного региона. Для каждого региона мы посчитали пять показателей: национальная калька «СВО» в национальном сете, русская аббревиатура «СВО» в национальном сете, она же в русском сете, слово «война» в национальном сете и в русском. Официальные названия мы собрали по республиканским государственным медиа: башкирское и татарское махсус хәрби операция, тувинское тускай шериг операция, якутское анал байыаннай операция, бурятское сэрэгэй тусхай операц и разные вариации этих названий, а также аббревиатуры. Частоты нормированы на 100 тысяч токенов (слово), поскольку подкорпуса различаются по объему даже в рамках одного и того же текста — комментарии на миноритарном языке в среднем короче.
Слово «война» не всегда имеет отношение к «СВО» — это может быть ВОВ, чеченские войны, афганская, холодная. Чтобы они не входили в подсчет, каждое вхождение проверяется по окну ±5 слов на маркеры вроде «отечествен», «гражданск», «чеченск», годы 1941–1945, национальные названия Великой Отечественной (башкирское Бөйөк Ватан һуғышы, якутское Аҕа дойдуну көмүскүүр улуу сэрии).
Посты из «ВКонтакте» и телеграма мы разделили на три непересекающиеся группы: сообщения о гибели участника нынешней войны, прочие военные посты и все остальные. Пост был отнесен к группе «потери», если в окне ±12 слов встречаются маркер смерти (погиб, простились, соболезнования, «последний путь», башкирское һәләк булды, тувинское чок болган, якутское өлбүт и т. д.) и маркер войны одновременно. Посты про другие войны были отсеяны.
Тексты на национальных языках с достаточным объемом мы разбили на темы — чтобы понять, о чем в целом пишут пользователи. После проверки на башкирском мы решили не использовать мультиязычные эмбеддинги, поскольку модели LaBSE и mBERT почти не распознавали эти языки — векторы получаются шумными, а кластеры случайными. Основной метод — LDA на мешке слов. Такой алгоритм не понимает слов — он замечает, какие из них часто встречаются вместе в одних и тех же текстах, и объединяет их в темы. Перед кластеризацией тексты прошли грубый стемминг (процесс нахождения основы слова) по спискам аффиксов (вспомогательные части слова), составленным для каждого языка. Число тем было задано пропорционально объему корпуса.
