Почему глухие люди тоже могут иметь акцент

Большинство людей, вероятно, сталкивались с человеком, который, как кажется, использует чтение по губам, чтобы преодолеть трудности со слухом. Но все не так просто. Речь «бимодальна», поскольку для общения мы используем как звуки, так и движения лица и жесты, поэтому глухие и слабослышащие люди часто используют чтение по губам или «чтение речи» — наблюдение за движениями лица, языком тела и манерами — чтобы понять, что говорят им люди.

Но достаточно ли этих визуальных подсказок, чтобы помочь глухим или слабослышащим людям научиться говорить с региональным акцентом? Ответ на этот вопрос сложен и связан с тем, как они учатся говорить.

Люди учатся говорить в раннем возрасте — и люди, которые стали глухими после того, как научились говорить (постлингвальные), учатся говорить иначе, чем те, кто был глухим с рождения (прелингвальные). Именно люди, родившиеся без слуха, получают наибольшую пользу от чтения с губ — и часто делают это лучше, хотя обучение чтению с губ занимает больше времени.

То, как люди учатся говорить, зависит от возраста развития человека. Если мы говорим о детях с потерей слуха, то в возрасте до двух-трех лет артикуляция и знание языка незначительны, поэтому общим подходом является отработка звуков для составления слов. Если слух потерян после этого возраста, и говорящий имеет более развитое понимание языка и предложений, то эти знания позволяют усилить обучение ранее известным звукам в новых сочетаниях.

Это предпосылка, используемая системами аудиовизуального распознавания речи (AVSR), в которых для распознавания произнесенных слов используется как аудио-, так и визуальная информация. Когда эти системы используются в шумной среде, они больше полагаются на визуальные сигналы речи. Но визуальная информация помогает нам только на начальном этапе. Это может быть связано с тем, что мы не можем различить некоторые визуальные жесты между различными звуками.

Это означает, что хорошие люди, читающие по губам, встречаются редко. Это особенно сложный навык, а различия между носителями, языками, произношением и местными грамматиками делают его еще более трудным. Хорошие чтецы по губам часто на самом деле читают речь, а не понимают ее исключительно по движению губ. Даже хорошие чтецы по губам могут не понимать беззвучную речь, записанную на видео, а не от говорящего перед ними.

Бабелевская речь

Будучи младенцами, мы в первую очередь учимся говорить, слушая, но мы также наблюдаем за тем, как артикулируют окружающие нас взрослые. Мы не знаем, как много визуальной информации воспринимают младенцы, но нам известно, что уже шестимесячные дети могут определить, когда кто-то начинает говорить на другом языке. Таким образом, хотя младенцы еще не умеют говорить, они реагируют на новые акценты и произношения.

Звуки речи известны как «фонемы» — это наименьшие звуковые единицы, которые человек может произнести в контексте языка. Слышащие люди учатся говорить, подражая артикуляции — так, если родители используют фонемы определенным образом, чтобы произносить конкретные слова, то эффект от этого воспринимается как акцент, которому затем подражают их дети.

Итак, учитывая, что то, как мы используем фонемы в речи, влияет на то, как мы произносим слова, можем ли мы предположить, что при разных звуках мы также делаем разные визуальные сигналы губами? Действительно, если вы не можете услышать различные фонемы, которые вызывают различные акценты, как они могут быть восприняты — особенно учитывая, что некоторые визуальные сигналы кажутся одинаковыми для различных фонем?

Читай по губам

В последнее время появились интересные результаты экспериментов с использованием компьютера для чтения по губам. Исследователи из Оксфордского университета и Google DeepMind недавно представили систему сквозного чтения по губам на примере тысяч дикторов с более чем миллионом вариантов различных слов.

Они показали, что при достаточном обучении компьютер может достичь более 90% точности чтения по губам. Таким образом, если машина может это сделать, есть надежда, что и человек может быть обучен тому же самому, поскольку эксперимент показал, что в визуальной речевой информации есть что-то, что позволяет правильно интерпретировать слова.

Но есть важные оговорки — система обучалась на целых предложениях. Следовательно, мы пока не знаем, исходит ли эта способность различать звуки в визуальной информации из структуры языка (звуки, из которых состоят слова, из которых состоят предложения, из грамматических правил) — другими словами, нет уверенности в том, способен ли компьютер выводить то, что говорится, потому что это имеет смысл, или из самих визуальных жестов.

И мы должны подчеркнуть, как много данных требуется этой машине, чтобы достичь такого уровня точности. Большинство глухих носителей языка просто не встречаются с таким количеством людей в течение стольких часов, чтобы научиться говорить с определенным акцентом. Поэтому те, кто улавливает акцент, просто глядя, научились делать это с меньшим количеством информации и меньшим количеством тренировок, чем компьютер. И, на мой взгляд, это делает их особенно выдающимися личностями.

Итак, хотя чтение с губ, вероятно, действительно влияет на акцент глухих носителей, степень этого остается неизвестной. Но если бы я была азартной женщиной, я бы поставила на то, что большинство глухих, говорящих с акцентом, либо не совсем глухие, либо слышали эти звуки до потери слуха.

Немногочисленные исключения из этого правила — ну, это удивительно умные люди. Нам следует больше прислушиваться к ним.

Перевод — Хромов Григорий Вячеславович