XVI Международная студенческая научная конференция Студенческий научный форум - 2024

1. ТЕОРЕТИЧЕСКИЙ АСПЕКТ ВИЗУАЛИЗАЦИИ ЗВУКА

Звук – это один из видов информации, который человек получает из окружающего мира с помощью органов чувств. Представление о многих вещах и предметах впервые создаются в сознании человека именно на слух. Изучая звук на слух, практически невозможно получить объективные результаты исследования, так как слух индивидуален и зависит от особенностей человека.

В зависимости от характера используемого эффекта все методы визуализации звука можно подразделить на две группы:

1) методы, в которых используются колебательное смещение частиц. Один из способов этого метода - изображения звука при помощи компьютерных технологий. Основным достоинством этого метода является возможность проводить комплексную обработку изображения звука.

2) методы, основанные на деформации водной поверхности под действием звука, акустические течения

1.1. История визуализации звука

В XVIII-XIX века люди научились визуализировать звук.
Еще Пифагор и его ученики, проявляли интерес к звучанию музыкальных инструментов. В ходе наблюдений они узнали, что струны с кратной длиной порождают гармоничные звуки. Для Пифагора данное открытие подтвердило, что абсолютно все можно связать с математикой и числами.

Одним из первых инструментов визуализации звука стало изобретение Жуля Антуана Лиссажу, представленное в 1855 году [2,с.50]. Ученый создал конструкцию из двух камертонов, между которыми поместил зеркала (рис. 1.1). Благодаря перпендикулярно настроенным колебаниям одинаковых частот камертонов луч света в отражении зеркал начал рисовать фигуры. Эти кривые получили название «фигур Лиссажу».

Рисунок 1.1 – Визуализация звукового колебания по Ж.Лиссанжу

Следующий шаг в визуализации звуковых волн сделал Джон Тиндалл: в его конструкции один из камертонов заменило равномерно поворачивающееся зеркало. Таким образом, ученым удалось визуализировать колебания камертона. Но это простой инструмент и, соответственно, простой звук. А что делать со сложными звуками, например, с голосом?

На решение этой задачи потребовалось около сорока лет: исследователь Рудольф Кёниг, его еще называли «Фарадеем звука», долгие годы работал над изготовлением акустических приборов, которыми пользовались все специалисты того времени. Тонометр, который он соорудил из нескольких сотен камертонов, может использоваться для настройки инструментов до сих пор (рис. 1.2).

Рисунок 1.2 – Монометрическая горелка Кёнига

Но мало было визуализировать звук: его нужно было зафиксировать. Способ фиксации профиля колебания звука на твердом носителе предложил Томас Эдисон: для записи звука он попробовал применять фонограф: появление этого устройства стало возможным благодаря изобретению телефона, объединившего в себе микрофон и динамик, в 70-ых годах XIX века. Столь необычное использование фонографа запустило его эволюцию: за несколько лет он превратился сначала в граммофон, потом – в патефон [2,с.72]. Но для того, чтобы все эти устройства могли качественно записывать, а после воспроизводить звук, понадобились десятки лет.

Ученые добились желаемого результата – визуализации звука с его последующей фиксацией в режиме реального времени – только к 1920 году: именно тогда для этой цели стал использоваться осциллограф десятилетий.
Такого типа изображения (рис.1.4) на экране осциллографа, люди научились получать только в 1920 году. С этого момента можно считать, что мы можем исследовать звук во всех его сложных колебаниях в реальном времени [2,с.102].

Сегодня визуализация звука – это обыденность для нас: мы используем ее для того, чтобы ориентироваться под водой (в гидроакустических локаторах), обнаруживать коррозии металла (при дефектоскопии) и даже для создания шоу фонтанов [3, с.231].

Рисунок 1.3 – Фонограф Эдисона	Рисунок 1.4 – Визуализация звука на экране осциллографа

Визуализация звука позволяет развивать восприятие людей, страдающих глухотой. И это только несколько примеров применения этой технологии, и даже их достаточно для того, чтобы понять, насколько важно изучение возможных методов визуализации звуковых волн.

Актуальность моей работы заключается в возможном использовании визуализации звука в процессе создания безбарьерной среды для слабослышащих людей. Если мы сможем наглядно продемонстрировать, как «выглядит» звук таким людям будет проще социализироваться в мире.

1.2. Характеристики звуковой волны, современные методы визуализация звуковой волны

Большую часть информации человек получает через оптический (зрение) и акустический (слух) каналы. При изучении данных каналов принято обращать внимание на их отличия, например, на разную разрешающую способность, различия в информационном объеме и т.д. [4, с.121]. 

При этом я заметил, что между звуком и цветом есть тесная связь. Исследования доказали, что звук представляет собой серию гармонических колебаний. Частоты данных колебаний, относящиеся как целые числа, вызывают у человека консонанс – приятные ощущения. Если же колебания отличаются по частоте (даже незначительно), они вызывают ощущение диссонанса. Если же колебания звуковой волны имеют сплошной спектр частот, человеческое ухо воспринимает их как шум.

Звуковая волна характеризуется частотой и длиной. Частота и длина взаимосвязаны: частота = скорость/длина волны.

Лучшим доказательством взаимосвязи света и звука является визуализация нотного стана. Каждая музыкальная нота – это звук, имеющий собственную частоту и длину волны. Монохроматические (чистые) цвета также определяются длиной волны и имеют частоту, найти которую можно разделив скорость данной волны на ее длину. Любая нота находится в рамках определенной октавы. Исследования показали, что чтобы поднять ноту на одну октаву выше, частоту ее волны нужно увеличить в два раза. Так, например, частота ноты Ля малой октавы – 220Гц, соответственно, Ля первой октавы будет иметь частоту 220х2=440 Гц. Если постепенно подниматься все выше и выше, на 41 октаве частота звуков окажется в спектре видимого излучения (к нему относятся волны с длиной от 380 до 740 нанометров (405-780 TГц)). Именно в этом спектре мы можем соотносить длину звуковой волны и соответствующий ей монохроматический цвет.

Путем наложения октавы на радугу я выяснил, что все цвета спектра укладываются в нотный стан. Так, видимый нашему глазу спектр излучения помещается в октаву Фа#-Фа, простираясь от приблизительно 7000 Å (красного) до 4000 (фиолетовый). [7, с.82].

Возможно, подобная закономерность является также доказательством того, что мы не случайно выделили 7 основных цветов, а в стандартную гамму включили именно 7 нот.

Визуально получается вот такая схема (рис. 1.5):

Рисунок 1.5 – Схема наложения видимого спектра света и визуализации нот

2. ПРАКТИЧЕСКИЙ АСПЕКТ ВИЗУАЛИЗАЦИИ ЗВУКОВОЙ ВОЛНЫ

Существует тесная связь звука и цвета. Звуки – это гармонические колебания, частоты которых относятся как целые числа и вызывают у человека приятные ощущения (консонанс). Близкие, но отличающиеся по частоте колебания вызывают неприятные ощущения (диссонанс). Звуковые колебания со сплошными спектрами частот воспринимаются человеком как шум.

Представьте себе мир, в котором вы видите цифры и буквы разноцветными, в котором музыка и голоса кружатся вокруг вас в водовороте разноцветных форм. Синестезия – неврологический феномен, при котором два или более вида чувств сливаются воедино. Среди синестетов много творческих людей — например, Набоков, Римский-Корсаков и Кандинский. Синестезия в различной степени своего проявления, встречается и у многих слабослышащих людей.

Синестет может не только слышать чей-то голос или музыку, но и видеть их, обонять или осязать. Разные участки мозга, выполняя разные функции, у слабослышащих людей имеют больше "перекрестных" нейронных связей. Особенность их восприятия позволяет мозгу "смешать" данные, полученные с нескольких органов чувств, перед тем как анализировать их.

Одним из видов синестезии является хроместезия – это цветовая ассоциация на звуки. Звук порождает ощущение цвета и «выглядеть» это может по-разному. Некоторые синестеты могут воспринимать музыку, как фейерверк, другие – как вибрирующее движение разноцветных линий.

Рисунок 2.1.

Некоторые, слыша речь, "окрашивают" слова. «Цвет» слов и «оттенки» определяется не только высотой звучания звуков, но также и эмоциями. Очевидно, что используя эту особенность восприятия проще запоминать и воспроизводить музыкальные произведения, ведь в процессе задействована и зрительная память, несмотря на то, что "цветовые картины звука" рисуются воображением. Это очень полезно в обычной, повседневной, жизни.

2.1. Математическое обоснование взаимосвязи характеристик звуковых и световых волн

При сопоставлении некоторых физических характеристик оптических и акустических волн мы сделали следующие выводы:

В определенном диапазоне звуковых частот существует соответствие между произведением длины световой волны

λ_св на скорость света в вакууме c и произведением длины звуковой волны λ_зв на скорость звука, а именно:

c⋅λ _св ≈ υ ⋅λ _зв(1)

Соотношение (1) дает возможность сопоставить длины волн света и звука, воспринимаемые человеком. Перепишем (1) следующим образом:

f_зв≈ υ² /c⋅λ_св. (2)

Тогда, подставляя значения c и υ (3⋅10⁸ м/с и 331 м/с) в (2), получим, что диапазону слышимых звуков (456–913 Гц) соответствует диапазон видимого света (0,4–0,8 мкм). Возникает естественный вопрос: Является ли соотношение (1) случайным? Мы попытались ответить на него, учитывая некоторые особенности восприятия звука и света человеком.

Напомню некоторые факты из области музыкальной акустики, в частности сведения о построении 12-ступенчатого звукоряда [4, с.45]. Ряд тонов, составляющих октаву, разделен интервалами. Интервал определяется как отношение (а не разница) частот соответствующих тонов. Отношение частот ближайших полутонов составляет величину 1,0595. Отношение частот тонов, соответствующих октаве, равно 2. Связать номер музыкального полутона и соответствующую ему частоту звука можно используя формулу n = 12log₂(f_n/f₀), (3) где n – номер полутона, f_n – частота нужной ноты и f₀ – частота настройки, обычно нота Ля первой октавы (440 Гц).

Величины одноименных интервалов в различных октавах равны между собой. Диапазон используемых в музыке частот близок к максимальному от 16 до 7900 Гц (9 октав, рояль). Реально воспроизводится диапазон 30–4000 Гц (человеческая речь: 40–3000 Гц).

Подставляя значения частот музыкальных тонов в выражение для f_зв, можно определить соответствующие им длины волн электромагнитного излучения. В результате получим:

• видимый свет (400–800 нм) соответствует звуку второй половины первой октавы и первой половины второй октавы;

• каждой ноте в диапазоне 456–913 Гц с помощью формулы (1) можно сопоставить участок видимого спектра, соответствующий разложению белого света;

• акустическая октава, которая соответствуют видимому спектральному диапазону света, наиболее употребительна в музыке и речи. Отметим, что первая форманта (резонанс) голоса человека лежит в области 400–800 Гц (в этом интервале лежит и максимум мощности мужского голоса – 500 Гц [3, с. 89-90]).

Таким образом, я обнаружил следующий факт. Как известно, максимумы спектральной чувствительности цветовых рецепторов глаз – колбочек – приходятся на длины волн 420, 534, 564 нм, а черно-белых палочек – на длину волны 498 нм [5, с. 47]. Соответствующие им по формуле (3) музыкальные тона оказываются разделенными интервалами, которые приблизительно совпадают с величинами музыкальных интервалов: 3, 4 и 5 полутонов. В музыкальной терминологии это малая терция, большая терция, кварта – так называемые благозвучные интервалы.

2.2. Компьютерное приложение для визуализации звуков

Музыкальный звук никогда не бывает простым, обладающим лишь одной основной частотой – таким, как сигнал проверки времени.

Музыкальный звук всегда сложен, построен из целого набора колебаний различной частоты простейшей волнообразной (синусоидальной) формы. Кроме основного тона, определяющего высоту звука, в нем обязательно присутствуют добавочные призвуки – обертоны. Вот от того, как много звуковой энергии падает на долю различных обертонов, и зависит окраска звука – тембр. У рояля распределение энергии по звуковому спектру одно, у скрипки – другое, у трубы – третье.

Существует приложение, которое интерпретирует любую музыку в картинку, чтобы любой человек, даже слабослышащий, мог насладиться музыкой. В основе работы приложения лежит алгоритм преобразования Фурье, позволяющий разбить любую функцию на ряд синусоид и косинусоид разной амплитуды и длины волны, в сумме дающие ту же функцию. Но фактом является то, что классический алгоритм преобразования Фурье хоть и точный, но крайне медленный и для преобразования звука в световой профиль в реальном времени необходим невероятно быстрый компьютер. Поэтому в данном приложении использован не такой точный, но намного более быстрый алгоритм быстрого преобразования Фурье или БПФ.

2.3. Принцип работы быстрого преобразования Фурье

Любую временную функцию (например, звуковое колебание), при помощи ряда Фурье, можно разложить на набор синусных и косинусных функций с разной амплитудой и частотой, в сумме дающие начальную функцию (колебание). И в теории это отлично работает с любой временной функцией, и ответ получается бесконечной точности. Но, как известно, компьютеры не могут хранить и оперировать бесконечным количеством чисел, поэтому любой сигнал сохраняется в компьютере в виде набора целых чисел с определённой частотой дискретизации. И для разложения на частоты такого дискретизированного сигнала отлично подходит дискретное преобразование Фурье или ДПФ. Его принцип схож с принципом ряда Фурье, за исключением того, что ответ получается не бесконечно большим, а таким же дискретизированным, как и входные данные, причём алгоритм ДПФ сводится к перемножению массивов чисел. Но выяснилась одна особенность ДПФ: вместо того, чтобы перемножать весь набор входных чисел, можно разделить этот набор на два, перемножить их и определённым образом соединить ответы. В свою очередь эти наборы можно разделить на ещё меньшие наборы, и продолжать разделение до тех пор, пока поровну делить уже не получится. Это и есть принцип работы БПФ: выполнять ДПФ на малые наборы чисел и соединять результаты. Причём наибольшая скорость работы алгоритма БПФ достигается, если длина входного набора чисел (дискретизированного сигнала) равна степени двойки, т. к. при делении на меньшие наборы всё сводится к перемножению лишь двух чисел.

2.4. Принцип работы приложения для визуализации звуков

При запуске приложения на экране появится небольшое диалоговое окно, в котором можно будет выбрать настройки для визуализатора. На данный момент доступны выбор устройства ввода (микрофон, микшер), выбор вида графика (зеркальный/не зеркальный, нотный или частотный вид), а также количество кадров в секунду (чем выше количество кадров, тем меньше точность вычислений, т. к. она зависит только от измеряемого промежутка времени). При нажатии на кнопку “Запустить визуализатор”, на экране появится второе окно, в котором отображается результат работы программы с заданными настройками в реальном времени.

Рисунок 2.4.1 – Диалоговое окно при запуске приложения

В качестве примера приведу результат работы программы в нотном режиме при включении на компьютере записи мужского баса, женского сопрано, а также результат работы программы уже в режиме показа по частотам при чтении звукового микшера и включении на компьютере всем известной песни группы Queen «We are the champions»

Визуализация мужского баса

Визуализация женского коларатурного сопрано

Песня «We are the champions»

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Киматика / [Электронный ресурс] // Википедия: [сайт]. — URL: https://ru.wikipedia.org/wiki/Киматика (дата обращения: 30.08.2022).

2. Розенберг, Л. Д. Обзор методов визуализации ультразвуковых полей [Текст] / Л. Д. Розенберг // Акустический журнал. — 1955. — № 1,2. — С. 99-109.

3. Миллер, Э., Хилл, К., Бэмбер, Дж. Применение звука в медицине: Физические основы [Текст] / Э. Миллер, К. Хилл, Дж. Бэмбер. —Москва: Мир, 1989 — 568 c.

4. Грегуш, П. Звуковидение [Текст] / П. Грегуш — Москва: Мир, 1982 — 232 c.

5. Алдошина И., Приттс Р. Музыкальная акустика [Текст] / И. Алдошина, Р. Приттс. —Санкт-Петербург: Композитор, 2006 — 720 c.

6. Фланаган Дж. Л. Анализ, синтез и восприятие речи [Текст] / Дж. Л. Фланаган — Москва: Связь, 1968 — 396 c.

7. Fundamentals of vision inferring the retinal anatomy and visual capacities of extinct / Fundamentals of vision inferring the retinal anatomy and visual capacities of extinct [Электронныйресурс] // Palaeontologia electronica : [сайт]. — URL: https://palaeo-electronica.org/2000_1/retinal/vision.htm (датаобращения: 11.09.2022).

Код для цитирования: Скопировать