Слияние датчиков и интерполяция для маркировки данных лидарного 3D облака точек

Опубликовано: 09/01/2021 Время на прочтение: 4 минут

Главная > Технологии > Слияние датчиков и интерполяция для маркировки данных лидарного 3D облака точек

Компоненты автономной системы транспортного средства

Слияние Сенсоров

Компьютерное зрение-это отрасль компьютерной науки, которая использует камеру или комбинацию камер для обработки 2D-визуальных данных. Это позволяет компьютерам идентифицировать автомобили, грузовики, велосипедистов, пешеходов, дороги, разметку полос движения, светофоры, здания, горизонт. Данные камеры имеют 2D-характер, и они не обеспечивают расстояние до объекта. Хотя фокусное расстояние и апертура датчика камеры могут быть использованы для аппроксимации глубины объекта, это не будет точным, потому что существует внутренняя потеря информации, когда 3D-сцена захватывается датчиком камеры на 2D-плоскость.

Радиолокационные технологии используются в таких местах, как управление воздушным движением, для обнаружения летающих объектов. Радар может быть использован для оценки местоположения и скорости объекта. Он не может быть использован для классификации объекта как автомобиль, человек, сигнал светофора или здание, потому что он имеет низкую точность. Лидар-это аппаратное обеспечение, которое использует лазерную технологию для оценки положения и скорости объектов в окружающей среде. Лидар способен генерировать облако точек до 2 миллионов точек в секунду. Благодаря более высокой точности лидар можно использовать для измерения формы и контура объекта.

В то время как данные RGB с камеры не содержат информации о глубине, данные облака точек, генерируемые лидаром, не содержат текстурной и цветовой информации, присутствующей в данных RGB. Например, в данных облака точек контур пешехода на расстоянии 20 футов может представлять собой сгусток точек, которые могут быть идентифицированы как несколько различных объектов, как показано в рендеринге облака точек ниже. С другой стороны, теневая низкокачественная частичная визуальная информация дает намек на то, что объект-это человек, как показано на изображении с камеры ниже.

Человек рядом с грузовиком не легко идентифицируется в облаке точекчеловек легко идентифицируется с помощью визуальной информации

Когда выполняется слияние визуальных данных и данных облака точек, результатом является модель восприятия окружающей среды, которая сохраняет как визуальные особенности, так и точные 3D-позиции. В дополнение к точности, он помогает обеспечить дублирование в случае отказа датчика.

Слияние камеры датчик данных и лазерное сканирование облако точек данных включает в себя 2D в 3D и 3D в 2D в картографической проекции.

3Д в 2Д проекции

Настройка Оборудования

Мы начнем с самого полного набора данных с открытым исходным кодом, доступного Motional: nuscenes dataset. Он включает в себя шесть камер, три спереди и три сзади. Частота захвата составляет 12 Гц. Разрешение составляет 1600х900. Кодировка изображения составляет один байт на пиксель в формате jpeg. Данные камеры генерируются со скоростью 1,7 Мбит / с на отснятый материал камеры. Один лидар расположен на крыше автомобиля. Частота захвата для лидара составляет 20 Гц. Он имеет 32 канала (луча). Его вертикальное поле зрения составляет от -30 градусов до +10 градусов. Его дальность действия составляет 100 метров. Его точность составляет 2 см. Он может собирать до 1,4 миллиона очков в секунду. Его выходной формат-сжатый. pcd. Выходная скорость лидара составляет 26,7 Мбит / с (20 байт*1400000).

Настройка камер (6), лидара (1) и иду