Зайцев А.К.
АВТОНОМНОЕ УПРАВЛЕНИЕ ТРАНСПОРТНЫМ СРЕДСТВОМ С ИСПОЛЬЗОВАНИЕМ LIDAR *
Аннотация:
для автономного вождения в реальном времени необходимо осуществлять две основные задачи: восприятие окружающей среды в режиме реального времени и планирование движения. До сих пор не было четкого понимания того, как ошибка восприятия может отрицательно повлиять на результаты планирования движения, хотя множество исследований направлены на оптимизацию этих процессов по отдельности. В данном исследовании была разработана система моделирования, основанная на лидаре и планировании движения, для автономного вождения в режиме реального времени. Лидарная система восприятия, основанная на данных датчиков симулятора CARLA с добавлением шума, позволяет обнаруживать и отслеживать все автомобили в окружении и предоставлять точную информацию об их ориентации и скорости
Ключевые слова:
автономное вождение, беспилотное транспортное средство, LiDAR, локальное планирование, нейронные сети, компьютерное зрение
DOI 10.24412/2712-8849-2023-663-873-888
УДК 004
Зайцев А.К.
студент
Тюменский индустриальный университет
(г. Тюмень, Россия)
АВТОНОМНОЕ УПРАВЛЕНИЕ ТРАНСПОРТНЫМ
СРЕДСТВОМ С ИСПОЛЬЗОВАНИЕМ LIDAR
Аннотация: для автономного вождения в реальном времени необходимо осуществлять две основные задачи: восприятие окружающей среды в режиме реального времени и планирование движения. До сих пор не было четкого понимания того, как ошибка восприятия может отрицательно повлиять на результаты планирования движения, хотя множество исследований направлены на оптимизацию этих процессов по отдельности. В данном исследовании была разработана система моделирования, основанная на лидаре и планировании движения, для автономного вождения в режиме реального времени. Лидарная система восприятия, основанная на данных датчиков симулятора CARLA с добавлением шума, позволяет обнаруживать и отслеживать все автомобили в окружении и предоставлять точную информацию об их ориентации и скорости. Для уменьшения нагрузки на связь между модулем восприятия и планировщиком движения было введено новое представление, связанное с коллизиями. Новый алгоритм проверки столкновений осуществляется с использованием проверки пересечения линий, что позволяет получить более эффективный результат на больших расстояниях по сравнению с традиционным методом определения занятости сетки.
Проведена оценка совместной системы моделирования в CARLA для сценариев городского вождения. Эксперименты показали, что автоматизированная система управления работает на частоте 25 Гц, что соответствует требованиям реального времени. Лидарная система восприятия обладает высокой точностью в пределах 20 метров при оценке с использованием наземных данных. Планирование движения приводит к постоянному соблюдению безопасной дистанции при тестировании в сценариях вождения CARLA urban.
Ключевые слова: автономное вождение, беспилотное транспортное средство, LiDAR, локальное планирование, нейронные сети, компьютерное зрение.
Введение
Системы восприятия и планирования движения требуют высокой точности и вычислительной эффективности, чтобы работать в режиме реального времени. Модуль восприятия обрабатывает данные датчиков и передает результаты в планировщик движения. Существующие метрики используются для оценки эффективности прогнозирования. Тем не менее, необходимо узнать, как улучшение восприятия приводит к улучшению производительности автономного вождения.
При планировании маршрута важно проверять на столкновения, однако методы с использованием ограничивающих кругов на карте имеют недостатки, такие как дорогостоящее картографирование и не учет других измерений. Существующие работы оценивают каждый модуль автоматизированной системы вождения независимо, что может приводить к неожиданному поведению при их объединении. Для обеспечения соответствия строгим требованиям реального времени, модули восприятия и планирования движения должны взаимодействовать и координироваться должным образом. В предлагаемой структуре интегрируются восприятие и планирование движения, используя методы кластеризации облаков точек и динамических наблюдений для оценки положения и скорости автомобиля. Новое представление с привязкой к столкновениям снижает затраты на связь между модулем восприятия и планировщиком. Эксперименты в режиме реального времени подтверждают эффективность интегрированного подхода.
Отслеживание по обнаружению - популярный метод для решения задачи многообъектного отслеживания (MOT). В этом разделе мы обобщаем необучаемые алгоритмы обнаружения и слежения на основе лидаров.
Понижающая дискретизация вокселей - один из самых популярных способов предварительной обработки облака точек лидара[1]. Метод сохраняет пространственное распределение точек при одновременном уменьшении размера точки. Сегментация поверхности - еще один важный шаг в предварительной обработке. Такие методы, как евклидова кластеризация, DBSCAN и глубинная кластеризация, могут выборочно применяться для лидарных данных [2], [3]. Затем кандидаты обрабатываются классификатором для присвоения семантических меток объектам. Благодаря недавним работам [4] [5], машине опорных векторов (SVM), случайному лесу (RF) и простому методу, основанному на правилах, можно эффективно классифицировать кластеры облаков точек.
Отслеживание - это шаг, на котором обнаруженные объекты отслеживаются и идентифицируются как уникальные образцы с использованием последовательности исторической информации. Расширенный фильтр Калмана (EKF) и фильтр Калмана без запаха (UKF) – обычно используемые нелинейные подходы к фильтрации, причем UKF превосходит EKF в прогнозировании тяжелых нелинейных случаев [6]. В исследованиях слежения за транспортными средствами на основе лидара обычно использовался глобальный поиск ближайшего соседа (GNN) и объединенный ассоциативный фильтр распределения вероятностей (JPDAF). JPDAF превосходит GNN в сложных случаях, когда множественные измерения очень близки [7].
Существуют различные методы проверки на столкновение. Зиглер и Стиллер [8] представили метод быстрой проверки столкновений, в котором они разложили форму транспортного средства на несколько дисков, а затем преобразовали диски в прямоугольную форму, чтобы они вписывались в сетчатую карту. Чжан и др. [9] предложили гибридное планирование траектории, где они оценивали зазор между следами транспортного средства на карте-сетке, который вычислялся на основе расстояния между точкой пути и препятствием в каждом конкретном направлении. Методы, основанные на потенциальном поле, вычисляют эллипс вокруг каждого объекта, где эллипс окружает достижимую позицию на нескольких будущих временных шагах, обеспеченных текущей скоростью и ускорением объекта. Филипп и Геринг [10] предложили контрольную границу восьмиугольника столкновения, которая облегчает вычисление вероятности состояния столкновения и вероятности события столкновения, что упростило ограничивающий прямоугольник двух возможных сталкивающихся транспортных средств до точки и восьмиугольника, где вершина восьмиугольника была вычислена на основе гауссовского распределения состояний препятствия.
На рис. 1 показана наша система восприятия и управления. Модуль восприятия принимает преобразованные сообщения датчика CARLA в качестве входных данных. Он генерирует абстракции среды, которые позволяют модулю принятия решений в локальном планировщике генерировать точки маршрута, согласно полученных данных от глобального планировщика. Модуль формирования траектории сначала запрашивает окружающие препятствия у модуля восприятия и выполняет проверку на столкновение. Впоследствии он выводит траекторию без столкновений в планировщик скорости для оценки скорости и модуль принятия решений для проверки замыкания цикла. Затем целевая позиция и скорость передаются на контроллер для генерации управляющего сигнала. Наконец, выходные данные управления отправляются в CARLA для управления движением транспортного средства.
Рис. 1. Иллюстрация системы управления
На основе данного описания представлена структура предлагаемой системы со всеми модулями и связями между ними (рис. 2).
Рис. 2. Структура системы управления
В этом разделе мы сначала представим предлагаемый модуль лидарного восприятия, затем мы вводим модуль планирования движения, который включает в себя алгоритм проверки от столкновений. Мы предполагаем, что скорость и угловая скорость автомобиля получены с помощью установленных в автомобиле датчиков, глобальные путевые точки рассчитаны удаленным сервером, а не транспортным средством. Далее мы предполагаем, что транспортное средство определяет свое глобальное местоположение с помощью GPS, и его оценка местоположения более точна, чем разрешение путевых точек.
Являясь интерфейсом высокопроизводительной лидарной системы восприятия в режиме реального времени, предварительная обработка применяется для устранения шума и обеспечения вычислительно эффективных облаков точек для последующей обработки. Временная сложность алгоритмов облака точек во многом зависит от количества точек. Стандартный кадр лидара с 64 каналами обычно состоит примерно из 20 000 - 30 000 точек. Чтобы сфокусироваться на потенциально движущихся объектах вблизи транспортного средства, на этапе предварительной обработки выделяются сегменты интересующей области с центром в начале координат. Затем применяется воксельный метод понижающей выборки, чтобы уменьшить негативное влияние выбросов на последующие процессы сегментации и классификации.
Далее следует использовать технологию подбора плоскости RANSAC для разделения потенциальных транспортных средств-кандидатов и наземной плоскости. Хотя этот итеративный алгоритм RANSAC не особенно экономичен, но удаление наземной плоскости уменьшает количество точек и значительно ускоряет последующую обработку. Обнаружение объектов основанно на кластеризации облаков точек. Мы применяем метод DBSCAN для кластеризации точек на основе их пространственного распределения. Настраивая параметр плотности, DBSCAN извлекает кластеры с плотностью в определенном диапазоне, а другие, разреженно распределенные точки помечаются как шум.
Отслеживание нескольких транспортных средств подобно задаче отслеживания нескольких объектов. Решение этой задачи состоит из двух ключевых компонентов: предиктора поведения объекта и структуры ассоциации данных. Для предиктора мы использовали UKF, а для ассоциатора данных - GNN. При поступлении новых последовательностей кандидатов, ассоциатор данных вычисляет корреляцию между объектами и прогнозирует список отслеживания. Список отслеживания обновляется на основе матрицы оценок и политики управления списками. Фильтр Калмана каждого объекта обновляется с помощью информации об объекте обнаружения, чтобы прогнозировать его местоположение и скорость для следующего состояния.
Оценка скорости объектов с движущегося транспортного средства значительно сложнее, чем оценка по стационарным наблюдениям. Это связано с тем, что текущие координаты наблюдения подвергаются как вращению, так и перемещению в трехмерном пространстве по отношению к их предыдущему наблюдению. Следовательно, начальным шагом в обновлении состояний является корректировка предыдущих состояний наблюдения с использованием измерения скорости и угла наклона автомобиля, описываемых следующими уравнениями:
(1)
(2)
(3)
(4)
где θ ⊆ [π, −π) - ориентация автомобиля в координатах карты, ∆t - разница во времени между каждым кадром. Для каждого кадра мы записали местоположение обнаруженных транспортных средств, после чего мы можем точно оценить скорости и ориентацию машин.
Прежде чем применять результаты восприятия для проверки столкновений, нам сначала нужно преобразовать наши путевые точки, полученные из глобального планировщика маршрутов. Мы рассматриваем траекторию, начинающуюся с начала координат кадра, где начало координат установлено в центре автомобиля. Координаты кадра сопоставляются с помощью правила правой руки, а положительное направление x устанавливается в соответствии с ориентацией автомобиля. Учитывая систему координат автомобиля, мы можем отобразить эти путевые точки с помощью матрицы преобразования:
(5)
где θego ⊆ [π, −π) - ориентация эго-автомобиля в рамке карты, а p - положение автомобиля на карте. Таким образом, мы можем получить ряд путевых точек:
(6)
где m - минимальное расстояние для восприятия, рассчитанное как безопасный тормозной путь:
(7)
где µ - коэффициент трения, g - это ускорение свободного падения. Учитывая безопасный тормозной путь, мы можем рассчитать количество преобразованных путевых точек в каждом цикле с помощью:
(8)
где - это заданное расстояние между двумя путевыми точками, коэффициент для дополнительного буфера безопасности. Как только мы получим преобразованные путевые точки, нам нужно использовать их для расчета плавной траектории. Реализуем B-сплайн для генерации 2-градусных кривых Безье, в которых положения x и y путевых точек рассматриваются отдельно, а осью отсчета является евклидово расстояние перемещения.
(9)
Далее наш планировщик движения выполняет проверку столкновений вдоль траектории. В нашем проекте мы проверяем пересечение между нашей траекторией и рамками, ограничивающими автомобиль. Наш алгоритм более эффективен в вычислительном отношении, чем проверка на столкновение пузырьков. Более того, упрощенное представление препятствий может быть получено непосредственно из лидарного восприятия. Наконец, проверка пересечения линий в большей степени используется при представлении движения обнаруженного объекта, представив траекторию транспортного средства, расширив передние ограничивающие точки, которые могут быть вычислены с использованием его скорости и ориентации:
(10)
где - ориентация транспортного средства в кадре, - текущая скорость транспортного средства, а - расчетное время прохождения транспортного средства.
Добавив увеличенное расстояние к граничным точкам, мы можем получить расширенную ограничивающую рамку, сгенерировав ограничивающие линии вокруг транспортного средства с помощью ограничивающих координат:
(11)
Рис. 3. Алгоритмы проверки от столкновения
Далее мы сортируем V-границу вместе с информацией о каждом транспортном средстве, которая также показана в строках с первой по шестую алгоритма 1, на рис. 3. Затем мы выполняем проверку пересечения вдоль траектории, которая вводится в седьмой строке алгоритма 1 и подробно описана в алгоритме 2. В конечном итоге, после проверки столкновения, мы получаем расстояние, скорость и ориентацию транспортного средства, лежащего на нашей траектории. Генерируется новая траектория, свободная от столкновений.
После получения траектории, свободной от столкновений, и информации о занятом транспортном средстве нам необходимо определить скорость автомобиля для следующих трех случаев:
(12)
это случай, когда перед автомобилем нед препятсвий, – когда перед автомобилем есть препядствие и – когда алгоритм находит перед автомобилем ведущее транспортное средство. Где - заданная скорость для замедления автомобиля, – скорость ведущего транспортного средства, – расстояние между ведущим транспортным средством и автомобилем, а w - пропорциональный вес, применяемый к разнице расстояний.
Как только предпочтительная скорость вычислена, мы привязываем скорость и отправляем ее контроллеру.
(17)
где максимальная достижимая скорость на следующем контрольном временном шаге достижения рассчитывается с помощью
(18)
где – ограничение скорости на дороге, а – начальная скорость запуска.
Сначала инициализируем симулятор CARLA и мост CARLA ROS, который обрабатывает соединение между нашей системой и CARLA [11], [12]. Выбран Town10 и Town01 в качестве имитационных карт в CARLA с 50 транспортными средствами без пешеходов. Мы установили 50 мс в качестве временного шага нашего моделирования. Глобальные путевые точки были сгенерированы CARLA с разрешением 2 м. Для оптимизации траектории мы повторно произвели выборку траектории с шагом ts в 0,5 м в качестве фиксированного расстояния перемещения. Для планирования скорости мы устанавливаем параметры µ = 0,35, amax = 2,5 м/с2. Мы используем ПИД-контроллер CARLA по умолчанию, который уже настроен на автомобиль Tesla Model 3. Предлагаемый метод реализован на Python, где модуль lidar реализуется библиотекой Open3d без ускорения GPU. Все эксперименты проводились на настольном компьютере с процессором AMD 7600X (4,7 ГГц).
Настройка диапазона восприятия в 20 метров адаптирована в соответствии с максимальной скоростью и минимальным тормозным путем. Наш оптимизированный алгоритм определения L-образной формы обладает очень высокой точностью оценки ориентации объекта, погрешность оценки составляет всего 2-3 градуса. Погрешность оценки скорости также составляет менее 0,6 м/с. Когда система восприятия работает на частоте 20 Гц, каждый временной шаг составляет 0,05 секунды, и ошибка скорости, возможно, вызвана шумом лидарных измерений.
Чтобы оценить производительность системы, объединив модуль лидарного восприятия с планировщиком движения, мы провели те же симуляции с наземным измерением достоверности и записали расстояние следования и общее время выполнения. Общее время, затрачиваемое на каждый шаг, увеличивается всего примерно на 6 мс по сравнению со временем, затрачиваемым на получение достоверной информации о земле, благодаря асинхронному дизайну для каждого запущенного узла в рамках восприятия.
Таблица 1. Затраты времени на каждый шаг
|
|
Town01 GT |
Town10 GT |
Town01 LIDAR |
Town10 LIDAR |
||||
|
Время |
Avg (с) |
Max. (с) |
Avg (с) |
Max. (с) |
Avg (с) |
Max. (с) |
Avg (с) |
Max. (с) |
|
Обработка с LIDAR |
/ |
/ |
/ |
/ |
0.041 |
0.101 |
0.034 |
0.090 |
|
Генерирование пути |
0.009 |
0.045 |
0.012 |
0.053 |
0.009 |
0.027 |
0.011 |
0.024 |
|
Планировщик скорости |
0.001 |
0.006 |
0.002 |
0.03 |
0.001 |
0.008 |
0.001 |
0.003 |
|
Локальный планировщик |
0.044 |
0.120 |
0.028 |
0.076 |
0.050 |
0.143 |
0.031 |
0.092 |
Таблица времени выполнения (табл 1.) показывает, что обработка лидарного восприятия имеет очевидное замедление по сравнению с Town10 по Town01. Результат обусловлен особенностями здания и окружающей среды, но благодаря консервативному подходу к разработке политики система восприятия может достичь движение без столкновений в ходе 40-минутных симуляций.
Рис. 5. Сравнение работы на данных с наземных данных и с LIDAR
Чтобы проверить эффективность нашего планировщика движения, мы позволили автомобилю поработать со случайными глобальными путевыми, используя информацию о динамических объектах с наземных данных, предоставленную CARLA. Мы записали расстояние между транспортным средством и обнаруженным передним транспортным. В верхней части рис. 5 показан один пример системы с наземной достоверной информацией. А внизу рис. 5 показан один случай с лидарным восприятием. Сравнивая два сценария, мы видим, что обе системы сохраняли относительную дистанцию по мере увеличения скорости. Но оценка скорости, полученная от модуля восприятия лидара, содержала больше шума, чем достоверная информация с CARLA, что приводило к отклонениям в соблюдении дистанции.
Заключение
В данной статье рассмотрена модуль лидарного восприятия и локального планирования для системы автономного управления транспортным средством. Улучшен алгоритм обнаружения L-образной формы и упрощен конвейер восприятия. Затем представлен новый алгоритм проверки на столкновение, который делает представление препятствий более мягкими и повышает эффективность проверки на столкновение на большом расстоянии. Оценили производительность системы, используя CARLA simulator. Результаты моделирования с использованием данных наземного транспортного средства truth показывают, что наша система с лидарным восприятием может работать в режиме реального времени со средней частотой 20 Гц. В радиусе 20 метров система восприятия выдает точные координаты транспортного средства с коэффициентом запоминания выше 0,83 и mIOU выше 0,62. Основываясь на динамической оценке скорости, средняя ошибка ориентации не превышает 3,08 градусов, а средняя ошибка оценки скорости составляет менее 0,59 м/с.
СПИСОК ЛИТЕРАТУРЫ:
Агафонов А.А., Юмаганов А.С. Сравнение методов детектирования трехмерных объектов в задаче автономного вождения транспортных средств // Информационные технологии и нанотехнологии(ИТНТ-2020) / Самара, 2020. – С. 277 –284
Сяоюй В. Сплошное автономное вождение на основе компьютерного зрения и конволюционных нейронных сетей // Современная наука: Актуальные проблемы теории и практики/ ООО Научные технологии, 2022. – Вып. 3 – С. 59 – 65
Zhang, W. Xiao, B. Coifman, and J. P. Mills, “Vehicle tracking and speed estimation from roadside lidar,” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 13, p. 5597–5608, 2020, conference Name: IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing.
Старобыховская А.А., Лашманов О.Ю., Коротаев В.В. Алгоритм повышения пространственной плотности лидарного облака точек для решения задач автономного вождения автомобиля // Известия высших учебных заведений. Приборостроение, 2021. – Вып. 7 – С. 559 – 566
Arya Senna Abdul Rachman, “3d-lidar multi object tracking for autonomous driving: multi-target detection and tracking under urban road uncertainties,” 2017.
Stanford Artificial Intelligence Laboratory et al., “Robotic operating system.” [Online]. Available: https://www.ros.org
Номер журнала Вестник науки №6 (63) том 1
Ссылка для цитирования:
Зайцев А.К. АВТОНОМНОЕ УПРАВЛЕНИЕ ТРАНСПОРТНЫМ СРЕДСТВОМ С ИСПОЛЬЗОВАНИЕМ LIDAR // Вестник науки №6 (63) том 1. С. 873 - 888. 2023 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/8692 (дата обращения: 19.05.2024 г.)
Вестник науки СМИ ЭЛ № ФС 77 - 84401 © 2023. 16+