Зрительная информация в восприятии речи

Воспринимая речь, мы воспринимаем события, а не просто звуки. Это сразу же заставляет предположить возможность того, что могут оказаться полезными и другие источники информации об этих событиях. Тот факт, что мы в состоянии воспринимать речь на основе одних только звуков (разговор по телефону, например), не означает, что мы не воспользовались бы любой другой инфор­мацией, окажись она доступной. Именно так, как правило, и бывает. Хотя некоторые речевые события (например, движения языка) скрыты от наблюдателя, осуществляясь внутри головы, другие (особенно движения губ) легко доступны каждому, кто посмотрит на лицо говорящего. Люди, специально обученные чте­нию с губ, могут воспользоваться этой визуальной информацией для понимания того, что говорится, даже при пол­ном отсутствии слуха. Небезынтересно, что в норме наряду с акустической информацией слушающие используют и визуальную информацию, если она имеется; восприятие речи в шумной обстановке заметно улуч­шается, если слушающий может видеть говорящего ¹.

___________

¹ Sumby, Pollack(1954).

___________ 172

Хотя обычно мы не вполне осознаем полимодальный характер восприятия речи, он может стать очевидным при демонстрации дублированного иностранного фильма или фильма, где не синхронизированы звук и изображение. Отсутствие синхронизации часто приводит к нарушению восприятия вследствие расщепления согласованной в норме информации об одном и том же событии, поступающей по двум разным сенсор­ным каналам.

Интересно отметить, что речевые события доступны еще одной модальности – осязанию, – если «слушающий» прислонит свою ладонь к губам и щекам говоря­щего. Эта возможность лежит в основе одного из методов коммуникации с глухими, способного обеспечить по крайней мере некоторое понимание речи в отсутствие одновременно слуха и зрения ¹. Чтобы воспринять речь, необходимо собрать информацию, специфицирующую артикуляционные движения. Любая сенсорная модаль­ность, способная это осуществить, может оказаться полезной.

Поскольку артикуляционные события представляют собой движения некоторых анатомических структур, восприятие речи имеет нечто общее с восприятием движения других частей тела, например движений, осуществляемых танцорами или спортсменами. В частности, восприятие мимики, так называемых невербаль­ных сигналов, «языка тела», и т.п. тесно связано с восприятием речи. Есть все основания полагать, что восприятие речи начинается как один из аспектов более широкого восприятия движений других людей и отчетливо дифференцируется только тогда, когда ребенок открывает для себя денотативную и пропозициональную функции языка. До этого единственным отличием является то, что звук несет в себе относительно меньше информации о речевых событиях (из-за того, что большинство таких событий происходит во рту и не может быть увидено), в то время как оптическим путем передается гораздо больше инфор­мации о внешних телесных движениях. В главе 9 я буду говорить о том, что мы, видимо, появляемся на свет, обладая схемами, чувствительными к выражениям

___________

Alcorn (1945).

___________ 173

эмоций и интенций, они-то и могут быть основой последующего формирования схем восприятия речи. Пример с дублированным фильмом интересен еще в одном отношении. Независимо от того, замечаем мы разрыв между двумя доступными нам видами информации или нет, воспринимаемая нами речь— это то, что мы слышим, а не то, что видим. Таким обра­зом, это случай, когда слух превалирует над зрением. Причина очевидна: акустические сигналы содержат гораздо более адекватную информацию о речевых событи­ях по сравнению с потоком света. Иначе обстоит дело для частично лишенного слуха человека, читающего с губ.

Несмотря на то что слух может превалировать над зрением при спецификации артикуляции, в отношении другого важного аспекта речи справедливо противоположное— я имею в виду локализацию речи в пространстве. Хотя человек и способен локализовать звук с достаточной точностью, когда это важно для него (основываясь прежде всего на различиях в интенсивности и времени поступления звука к каждому из ушей), способность к такой локализации весьма лабильна и легко нарушается под действием других факторов. Где бы ни находились динамики в кинотеатре, мы обычно склонны воспринимать речь так, как если бы она исходила от говорящих на экране актеров. И это не столько следствие неизбежной ошибки восприятия (при некотором усилии мы в состоянии правильно указать местонахождение динамика), сколько результат чего-то, представляющегося вполне естественным ¹. Именно этот эффект используют чревовещатели; зрители с готовностью приписывают слышимые слова кукле, так как ее губы находятся в движении, в то время как рот артиста неподвижен. Звук обладает своеобразной способностью подключаться к перцептивным циклам, с которыми он никак не связан, «соотноситься»

____________

¹ На самом деле полностью избежать ошибок в таких случаях невозможно: некоторые эксперименты показали, что в неосвещенном помещении воспринимаемые положения источника звука имеют тен­денцию ассоциироваться с имеющимися точечными источниками света. См. также недавние исследования (Thurlow, Jack 1973; Jack, Thurlow, 1973), показавшие, что эффект чревовещания определяется временными соотношениями между элементами слож­ных зрительных и слуховых стимулов.

_____________ 174

с событиями, которым он отнюдь не обязан своим про­исхождением. Это свойство может играть важную роль и усвоении языка.