XII Международная студенческая научная конференция Студенческий научный форум - 2020

Введение

Метод одновременной локализации и построения карты (SLAM от англ. simultaneous localization and mapping) и 3D-реконструкция становятся все более популярными темами исследований. Двумя основными причинами являются их использование в робототехнике, в частности для навигации беспилотным летательным аппаратам (БПЛА) [10, 8, 1], и приложениями дополненной и виртуальной реальности, продвигающиеся на массовый рынок.

Одно из основных преимуществ монокулярного SLAM - и одновременно одна из самых больших проблем - связана с присущей ему неоднозначностью масштаба: масштаб мира не может наблюдаться и с течением времени смещается, являясь одним из основных источников ошибок. Преимущество заключается в том, что можно программно переключаться между средами разного масштаба, такими как среда в помещении и крупномасштабная среда вне помещений. С другой стороны, датчики расстояния, такие как дальномеры или стереокамеры, имеют ограниченный диапазон, в котором они могут обеспечивать надежные измерения и, следовательно, не обеспечивают полноценную работу алгоритмов в разных условиях

Основная часть

1. Обзор методов SLAM

Фундаментальная идея, лежащая в основе подходов на основе признаков (как на основе фильтрации [15, 19], так и на основе ключевых кадров [15]), состоит в том, чтобы разделить общую проблему - оценку геометрической информации по изображениям - на два последовательных этапа: во-первых, набор функций наблюдения извлекаются из изображения, во-вторых, положение камеры и геометрия сцены вычисляются как функция наблюдений на основе их изменения.

Такое разделение упрощает общую проблему определения расстояния до точки, но оно имеет важное ограничение: может использоваться только информация, соответствующая типу объекта. В частности, при использовании ключевых точек информация, содержащаяся в прямых или изогнутых краях, которые составляют большую часть изображения, отбрасывается. В прошлом было предпринято несколько подходов для исправления этой проблемы путем включения обработки изогнутых ребер объекта [16, 6] или даже отдельной обработки каждого участка изображения [5]. Тем не менее, поскольку оценка многомерного пространства признаков очень сложная, эти методы редко используются на практике. Для получения плотной карты глубины, предполагаемые позы камеры могут быть использованы для последующего восстановления плотных карт с использованием многовидового стерео [2].

Методы визуальной одометрии позволяют обойти это ограничение, оптимизируя геометрию непосредственно по интенсивности изображения, что позволяет использовать всю информацию на изображении [7, 11]. В дополнение к более высокой точности и надежности, особенно в средах с небольшим количеством ключевых точек, это обеспечивает существенно больше информации о геометрии среды, что может быть очень полезным для приложений робототехники или дополненной реальности.

Хотя прямое выравнивание изображения хорошо известно для RGB-D или стереодатчиков [14, 4, 25], только недавно были предложены монокулярные алгоритмы прямой визуальной одометрии [24, 20, 21] точные и полностью плотные карты глубины однако данные алгоритмы, требуют вычислительных затрат и требуют наличия современного графического процессора для работы в режиме реального времени. В работе Engel, J., Sturm, J., Cremers, D. был предложен алгоритм полуплотной глубокой фильтрации [9, 12], который значительно снижает вычислительную сложность, позволяя работать в режиме реального времени на процессоре и даже на современном смартфоне [22]. Алгоритм, сочетая прямое отслеживание с ключевыми точками, [10, 13] достигает высокой частоты кадров даже на встроенных платформах. Однако все эти подходы являются чисто визуальными одометриями, они только локально отслеживают движение камеры и не создают согласованной глобальной карты окружающей среды, включая замыкания петель.

2. Монокулярный LSD-SLAM

В данной работе будет использоваться предлагаем метод крупномасштабного прямого монокулярного SLAM (Large Scale Direct SLAM (LSD-SLAM)), который не только локально отслеживает движение камеры, но и позволяет создавать согласованные, масштабные карты окружающей среды (см. Рис. 1 и 2). В этом методе используется прямое выравнивание изображений в сочетании с фильтрацией оценок полуплотных карт глубины, как это было первоначально предложено в [9]. Глобальная карта представлена ​​в виде графа позы, состоящего из ключевых кадров в виде вершин с трехмерным сходством, преобразующихся в края, элегантно включающих изменяющийся масштаб среды и позволяющих обнаруживать и корректировать накопленный дрейф. Метод работает в режиме реального времени [22].

Рис. 1 LSD-SLAM

На рисунке 1 в верхней части представлено облако всех ключевых кадров, сгенерированное в режиме реального времени, в нижней части представлены кадры, получаемые с камеры, а также кадры с наложенной на них картой глубины.

Алгоритм включает в себя три основных модуля: tracking, depth map estimation и map optimization. Схема модулей показана на рисунке 2.

Рис. 2. Визуальное представление трех основных компонентов LSD SLAM

Модуль tracking непрерывно отслеживает новые изображения с камеры и определяет перемещение камеры. Для оценки перемещения вычисляется преобразование подобия между предыдущим и новым кадрами. В отличие от ORB SLAM, основанном на сопоставлении ключевых точек, в LSD SLAM для расчета преобразования используется минимизация фотометрической ошибки.

Модуль depth map estimation сравнивает новый кадр с текущим, а затем уточняет или полностью заменяет текущий кадр. Для сравнения используется взвешенная сумма относительного расстояния от нового кадра до текущего и углов поворота между ними. Если вычисленная сумма больше заданного порога — текущий кадр заменяется новым.

Модуль map optimization выполняет оптимизацию карты. Оптимизация позволяет предотвратить накопление ошибок в отслеживании местоположения и поддерживает точность построения карты окружающей среды. Оптимизация выполняется библиотекой g2o [3] непрерывно в отдельном потоке.

Для хранения карты окружающей среды используется граф. Каждый узел графа хранит изображение, и соответствующую ему обратную карту глубины. Узлы соединяются ребрами, которые содержат найденное преобразование подобия между двумя изображениями.

Для начала работы системы LSD-SLAM достаточно инициализировать первый ключевой кадр со случайной картой глубины и большой дисперсией. При достаточном перемещении поступательной камеры в первые секунды алгоритм «фиксируется» в определенной конфигурации, и после нескольких ключевых кадров, сделанных с разных углов, сходится к правильной конфигурации глубины.

Как только новый кадр выбран в качестве ключевого кадра, его карта глубины инициализируется путем проецирования в него точек из предыдущего ключевого кадра с последующим удалением выбросов [9]. После этого карта глубины масштабируется так, чтобы иметь среднюю обратную глубину. После этого, он заменяет предыдущий ключевой кадр и используется для отслеживания последующих новых кадров.

Получаемые кадры, которые не становятся ключевыми кадрами, используются для уточнения текущего ключевого кадра: большое количество сравнений получаемых кадров, одной области позволяет получить более точные данные карты глубины, тем самым улучшая ее и потенциально добавляя новые пиксели - это делается с использованием подхода фильтрации [9].

Монокулярный SLAM - в отличие от RGB-D или Stereo-SLAM - по своей сути амбивалентен по шкале, то есть абсолютный масштаб мира не наблюдается. На длинных траекториях это приводит к дрейфу масштаба, который является одним из основных источников ошибок [23]. Кроме того, все расстояния определяются только в масштабе, что приводит к неправильному определению отклонения выбросов на основе пороговых значений. LSD-SLAM решает эту проблему, используя внутреннюю корреляцию между глубиной сцены и точностью отслеживания: карта глубины каждого созданного ключевого кадра масштабируется так, что средняя обратная глубина равна единице. В свою очередь, ребра между ключевыми кадрами оцениваются как элементы матрицы перемещения и вращения в пространстве, элегантно включающие в себя разницу масштабирования между ключевыми кадрами, и, в частности, позволяя явное обнаружение

3. Разрабатываемая модель

Для разработки автоматизированной системы БПЛА, которая будет способна выполнять автоматический полет из точки «А» в точку «Б» с изменением траектории движения БПЛА в зависимости от препятствий возникающих на маршруте движения БПЛА, используется метод LSD-SLAM, применение данного метода позволит строить достаточно точные карты местности, по которым будут определяться объекты, которые находятся в непосредственной близости от траектории движения БПЛА.

Основываясь на полученной карте местности происходит проверка столкновений и корректировка траектории, с применением библиотек FCL (Flexible Collision Library) и OMPL (Open Motion Planning Library). После обновления карты запускается проверка столкновения траектории с препятствиями, в случае обнаружения столкновений сегмент траектории пересчитывается планировщиком.

Изначально на вход системы задается траектория движения БПЛА. В начальный момент это набор GPS-координат, и маршрут движения БПЛА задается в виде прямых отрезков, соединяющих заданные координаты. Во время выполнения полета, происходит локализация в пространстве и построение карты. Произведя локализацию в пространстве, рассчитывается текущее положение БПЛА в пространстве и данные значения передаются в автопилот, основанном на ПИД-регуляторе, который должен иметь ограничение на скорость вращения вокруг оси yaw. На полученную, во время полета, карту накладывается маршрут полета БПЛА, который проверяется на столкновения с препятствиями, если такие препятствия появляются, то происходит перерасчет траектории полета БПЛА, до того момента, пока не будет найдена траектория, которая соответствует безопасному полету и данная траектория передается в автопилот БПЛА.

Заключение

В данной статье был разобран метод SLAM, разобран принцип работы монокулярного SLAM, были рассмотрены работы, которые показывают широкое применение методов подобного типа, рассмотрен алгоритм работы LSD SLAM, выявлены преимущества данного метода, а также разобраны недостатки данного метода. Была разработанная модель, которая позволяет осуществлять полет БПЛА по заданному заранее маршруту с изменением траектории движения в зависимости от препятствий, появляющихся на маршруте движения.

Литература

Achtelik, M., Weiss, S., Siegwart, R.: Onboard IMU and monocular vision based control for MAVs in unknown in- and outdoor environments. In: Intl. Conf. on Robotics and Automation (ICRA) (2018)

Akbarzadeh, A., m. Frahm, J., Mordohai, P., Engels, C., Gallup, D., Merrell, P., Phelps, M., Sinha, S., Talton, B., Wang, L., Yang, Q., Stewenius, H., Yang, R., Welch, G., Towles, H., Nistr, D., Pollefeys, M.: Towards urban 3d reconstruction from video. In: in 3DPVT. pp. 1–8 (2018)

Benhimane, S., Malis, E.: Real-time image-based tracking of planes using efficient second-order minimization (2017)

Comport, A., Malis, E., Rives, P.: Accurate quadri-focal tracking for robust 3d visual odometry. In: Intl. Conf. on Robotics and Automation (ICRA) (2007)

Concha, A., Civera, J.: Using superpixels in monocular SLAM. In: Intl. Conf. on Robotics and Automation (ICRA) (2014)

Eade, E., Drummond, T.: Edge landmarks in monocular slam. In: British Machine Vision Conf. (2006)

Endres, F., Hess, J., Engelhard, N., Sturm, J., Cremers, D., Burgard, W.: An evaluation of the RGB-D slam system. In: Intl. Conf. on Robotics and Automation (ICRA) (2012)

Engel, J., Sturm, J., Cremers, D.: Camera-based navigation of a low-cost quadrocopter. In: Intl. Conf. on Intelligent Robot Systems (IROS) (2012)

Engel, J., Sturm, J., Cremers, D.: Semi-dense visual odometry for a monocular camera. In: Intl. Conf. on Computer Vision (ICCV) (2013)

Forster, C., Pizzoli, M., Scaramuzza, D.: SVO: Fast semi-direct monocular visual odometry. In: Intl. Conf. on Robotics and Automation (ICRA) (2014)

Glover, A., Maddern, W., Warren, M., Stephanie, R., Milford, M., Wyeth, G.:OpenFABMAP: an open source toolbox for appearance-based loop closure detection. In: Intl. Conf. on Robotics and Automation (ICRA). pp. 4730–4735 (2012)

Handa, A., Newcombe, R., Angeli, A., Davison, A.: Real-time camera tracking: When is high frame-rate best? In: European Conference on Computer Vision(ECCV) (2012)

Horn, B.: Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America (1987)

Kerl, C., Sturm, J., Cremers, D.: Dense visual SLAM for RGB-D cameras. In:Intl. Conf. on Intelligent Robot Systems (IROS) (2013)

Klein, G., Murray, D.: Parallel tracking and mapping for small AR workspaces. In:Intl. Symp. on Mixed and Augmented Reality (ISMAR) (2007)

Klein, G., Murray, D.: Improving the agility of keyframe-based SLAM. In: European Conference on Computer Vision (ECCV) (2008)

Klose, S., Heise, P., Knoll, A.: Efficient compositional approaches for real-time robust direct visual odometry from RGB-D data. In: Intl. Conf. on Intelligent Robot Systems (IROS) (2013)

Kümmerle, R., Grisetti, G., Strasdat, H., Konolige, K., Burgard, W.: g2o: A general framework for graph optimization. In: Intl. Conf. on Robotics and Automation (ICRA) (2011)

Li, M., Mourikis, A.: High-precision, consistent EKF-based visual-inertial odometry. International Journal of Robotics Research 32, 690–711 (2013)

Newcombe, R., Lovegrove, S., Davison, A.: DTAM: Dense tracking and mapping in real-time. In: Intl. Conf. on Computer Vision (ICCV) (2011)

Pizzoli, M., Forster, C., Scaramuzza, D.: REMODE: Probabilistic, monocular dense reconstruction in real time. In: Intl. Conf. on Robotics and Automation (ICRA) (2014)

Schöps, T., Engel, J., Cremers, D.: Semi-dense visual odometry for AR on a smartphone. In: Intl. Symp. on Mixed and Augmented Reality (ISMAR) (2014)

Strasdat, H., Montiel, J., Davison, A.: Scale drift-aware large scale monocular slam. In: Robotics: Science and Systems (RSS) (2010)

Stühmer, J., Gumhold, S., Cremers, D.: Real-time dense geometry from a handheld camera. In: Pattern Recognition (DAGM) (2010)

Sturm, J., Engelhard, N., Endres, F., Burgard, W., Cremers, D.: A benchmark for the evaluation of RGB-D SLAM systems. In: Intl. Conf. on Intelligent Robot Systems (IROS) (2012)

Код для цитирования: Скопировать