XV Международная студенческая научная конференция Студенческий научный форум - 2023

Дополненной реальностью (Augmented Reality, AR) считается интеграция цифровой информации в виде изображений, компьютерной графики, текста, видео, аудио и т.д. и объектов действительного (физического) мира в режиме реального времени [2].

AR-технология уже достаточно давно используется в производстве фильмов и на телевидении – так называемая «компьютерная графика» является одним из вариантов создания дополненной реальности.

Технология виртуальной реальности (Virtual Reality, VR)– это комплексная технология, позволяющая погрузить человека в иммерсивный виртуальный мир при использовании специализированных устройств (шлемов виртуальной реальности). Виртуальная реальность обеспечивает полное погружение в компьютерную среду, окружающую пользователя и реагирующую на его действия естественным образом.

Существует принципиальная разница между VR и AR технологиями. Виртуальная реальность заменяет собой реальный мир и погружает человека в компьютерную симуляцию, а дополненная реальность добавляет в физический мир цифровые объекты [5].

В 1968 г. компьютерный специалист и адъюнкт-профессор Гарварда А. Сазерленд и студент Б. Спрауллом сделали изобретение, получившее название «Дамоклов меч». Это была первая система дополненной реальности на основе головного дисплея. Очки крепились к потолку, в них транслировалась картинка с компьютера [1].

Первый прототип AR-системы был представлен корпорацией Boeing в начале 1990-х гг., данная система была создана для помощи сотрудникам в настройке электромонтажного инструмента. Первое медицинское AR-приложение было применено Д. Лумисом в 1993 г. в формате AR-системы на основе GPS для помощи в передвижении пациентов с утратой зрения. В 1996 г. группа исследователей под руководством Г. Фукса продемонстрировала клинические преимущества дополненной реальности с помощью разработанной системы, которая накладывала медицинские ультразвуковые изображения на реальные объекты для обучения проведению биопсии [8].

В 1997 г. Р. Т. Азума опубликовал исследование различных способов использования дополненной реальности в медицине, производстве, науке, промышленности и развлечениях [9].

Дополненная реальность «расширяет» реальный мир виртуальными объектами. Это, например, маски в Snapchat, или игра Pokemon Go. Качество технологии в значительной степени зависит от машинного обучения и компьютерного зрения, а не от аппаратного обеспечения.

Сфера применения технологии AR достаточно широка. Однако в первую очередь можно выделить следующие из них: (1) компьютерные игры и индустрия развлечений, (2) образование, (3) медицина, (4) проектирование и дизайн.

Людям с ограниченными возможностями AR может помочь лучше понимать окружающий мир. Например, для слабослышащих людей AR-устройство визуализирует звуковую информацию или переводит ее в текстовый формат.

В некоторые книги для детей и подростков добавляют QR-коды, чтобы ребенок мог посмотреть, как на самом деле выглядит то, про что он только что прочитал, и разглядеть этот объект со всех сторон [5].

Технологии дополненной реальности являются эффективным инструмент для создания обучающих приложений для студентов-медиков.

Это позволяет студентам-медикам, например, практиковаться в проведении различного рода хирургических операций на тренажере. В качестве примера можно привести систему BoneSim [10], позволяющую имитировать операции на костной ткани.

Перспективным для применения в медицинском образовании является использование дополненной реальности совместно с технологиями 3D-изображений и 3D-печати органов, костей и проведения на них операций с целью обучения или исследования, что может являться альтернативой тренажерам виртуальной реальности.

Интерактивная хирургическая платформа дополненной реальности компании EchoPixel (США) помогает врачам идентифицировать интересующую их анатомию и позволяет формировать детальные медицинские изображения в режиме реального времени. Платформа дополненной реальности EchoPIxel True 3D использует широкий спектр наборов данных для получения анатомически правильных, специфичных для конкретного пациента 3D-изображений. Компания EchoPixel стала международно известной благодаря формированию суперточных 3D-изображений толстой кишки, помогающих хирургам планировать операции и формировать аналитику в режиме реального времени [6]. Эта же платформа может быть использована для обучения студентов-медиков.

Компания Medical Augmented Intelligence создает образовательные AR/VR-инструменты для врачей и студентов-медиков. Приложение «Карта тела» помогает студентам тщательно изучать детализированную модель человеческого тела, а также повышать знания о различных системах организма и практиковать свои хирургические навыки [11].

Комбинацию виртуальной реальности (VR) и дополненной реальности (AR) называют смешанной реальностью (MR), в которой объекты виртуального мира органично встраиваются в физически существующий мир, составляя единое целое и образуя новую реальность [4].

Применение смешанной реальности в системе медицинского образования позволяет обучать будущих врачей проведению, например, хирургических операций, в том числе под дистанционным руководством. «Обучающиеся могут видеть операционное поле глазами опытного хирурга, следить за его взглядом и движениями рук, инструментов и другими действиями, приобретая таким образом профессиональные компетенции» [7].

Данные технологии могут быть успешно использованы в разных областях медицины: хирургии и кардиологии, стоматологии и офтальмологии, при лечении когнитивных расстройств, фобий и т.д.[3].

Важно, что технологии виртуальной, дополненной и смешанной реальности начинают внедрять в систему медицинского образования.

В то же время, необходимо отметить, что они не заменят существующих методов обучения, а могут служить их дополнением, помогающим студентам и преподавателям высших медицинских образовательных заведений формировать цифровые и профессиональные компетенции.

Список источников

1. Дополненная реальность: с чего все началось Дополненная реальность: с чего всё начиналось - ARNext.ru — Всё о дополненной и виртуальной реальности

2. Дорожная карта развития «сквозной» цифровой технологии «Технологии виртуальной и дополненной реальности» https://digital.gov.ru/uploaded/files/07102019vrar.pdf

3. Николаев, В. А. Опыт и перспективы использования технологий виртуальной, дополненной и смешанной реальности в условиях цифровой трансформации системы здравоохранения / В. А. Николаев, А. А. Николаев // Медицинские технологии. Оценка и выбор. – 2020. – № 2(40). – С. 35-42. Просмотр статьи (mediasphera.ru)

4. Смолин А.А., Жданов Д.Д., Потемин И.С., Меженин А.В., Богатырев В.А. Системы виртуальной, дополненной и смешанной реальности. Санкт-Петербург: Университет ИТМО; 2018. 59 с. 2321.pdf (ifmo.ru)

5. Что такое дополненная реальность AR – что такое дополненная реальность, устройство системы augmented reality, типы и применение AR – Москва и область (tele2.ru)

6. EchoPixel: официальный сайт EchoPixel, Inc. (echopixeltech.com)

7. Gao Y, Tan K, Sun J, Jiang T, Zou XW. Application of Mixed Reality Technology in Visualization of Medical Operations. Chinese Medical Sciences Journal. 2019;34(2):103-109. https://doi.org/10.24920/003564

8. Monsky W., James R., Seslar S. Virtual and Augmented Reality Applications in Medicine and Surgery – The Fantastic Voyage is here // Anatomy & Physiology: Current Research, 2019, Vol. 9 Iss. 1 No: 313 Virtual and Augmented Reality Applications in Medicine and Surgery-The Fantastic Voyage is here | Semantic Scholar

9. Ronald T. Azuma A Survey of Augmented Reality // In Presence: Teleoperators and Virtual Environments. – 1997. – № 4. – P. 355–385.

10. Visuohaptic Simulation of Bone Surgery for Training and Evaluation / Dan Morris, Christopher Sewell, Federico Barbagli // IEEE Computer Graphics and Applications. – 2006. – Vol. 26, № 6. – P. 48–57

11. VR anatomy. The platform for everyone VR Anatomy - MAI

Код для цитирования: Скопировать