RU2656711C2 - Способ и система обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика - Google Patents
Способ и система обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика Download PDFInfo
- Publication number
- RU2656711C2 RU2656711C2 RU2016145126A RU2016145126A RU2656711C2 RU 2656711 C2 RU2656711 C2 RU 2656711C2 RU 2016145126 A RU2016145126 A RU 2016145126A RU 2016145126 A RU2016145126 A RU 2016145126A RU 2656711 C2 RU2656711 C2 RU 2656711C2
- Authority
- RU
- Russia
- Prior art keywords
- points
- moving
- moving object
- frames
- cloud
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000006073 displacement reaction Methods 0.000 claims abstract description 15
- 238000013179 statistical model Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к обнаружению и сопровождению движущихся объектов на основе данных трехмерного датчика. Техническим результатом является повышение точности обнаружения движущихся объектов. В способе получают последовательность кадров в реальном времени от трехмерного датчика; выделяют на полученной последовательности кадров движущиеся точки; формируют кластер движущихся точек; преобразуют каждый кластер в облако точек движущегося объекта на текущем кадре; совмещают облака точек одних и тех же движущихся объектов на текущем и предыдущем кадрах последовательности кадров; формируют накопленное облако точек движущегося объекта посредством совмещения облака точек, движущегося объекта текущего кадра и накопленного облака точек; выполняют выбраковку точек из сформированного облака точек; формируют статистическую модель движущегося объекта, на основании накопленного облака точек, движущегося объекта; определяют координаты, скорость и размеры движущегося объекта по сформированной статистической модели движущегося объекта и полученного смещения движущихся объектов. 2 н. и 5 з.п. ф-лы, 9 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
[0001] Данное техническое решение относится, в общем, к вычислительным системам и способам, а в частности к системам и способам информационного обеспечения автономных и автоматизированных подвижных объектов.
УРОВЕНЬ ТЕХНИКИ
[0002] В настоящее время технические решения по детектированию и сопровождению движущихся объектов базируются на видеокамерах, фиксирующих некий искусственный паттерн.
[0003] Из уровня техники известен патент № US 20110026008 A1 «Lidar Measurement Device with Target Tracking and Method for Use of Same», патентообладатель: Gammenthaler Robert S, опубликовано: 03.02.2011.
[0004] В данном решении получают трехмерное изображение от лазерного сканера для наблюдения автомобильного трафика. Изобретение акцентируется на детекции движущихся автомобилей, при этом основным результатом работы изобретения является получение планарной скорости движения определяемого объекта. Недостатком исходя из изложенного подхода растрирования и способа оценки смежных по времени растровых изображений является низкая точность определения скорости объекта, движущегося с малой скоростью (сравнимой со скоростью пешехода).
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0005] Данное техническое решение направлено на устранение недостатков, свойственных решениям, известным из уровня техники.
[0006] Технической задачей, решаемой в данном техническом решении, является обеспечение качества обнаружения и сопровождения подвижных объектов. Указанное качество измеряется вероятностью ошибок первого и второго рода (ложных срабатываний и пропуска события соответственно), а так же, повышением качества сопровождения объекта, которое сводится к уменьшению числа потерь слежения и обеспечению высокой точности определения характеристик объекта (координаты, скорости его движения и его размер).
[0007] Первая проблема обусловлена тем, что при движении подвижного объекта, например, робота, точки, соответствующие неподвижным объектам инфраструктуры, движутся, причем, это движение не сводится к планарному движению робота.
[0008] Вторая проблема заключается в том, что объект может иметь нечеткую отражающую поверхность сложной формы, и при больших расстояниях трехмерный датчик фиксирует его как малое количество точек. Это создает неоднозначность в определении перемещения объекта за время между двумя последовательными лазер-сканами трехмерного датчика.
[0009] В данном техническом решении предложен способ, позволяющий надежно обнаруживать движущиеся объекты, и определять их характеристики с требуемой точностью, а также совмещать облака точек объекта, накопленные за всю историю наблюдения и восстанавливать форму отражающей поверхности объекта.
[00010] Техническим результатом, достигаемым при решении указанной задачи, является повышение точности обнаружения движущихся объектов и повышение надежности их сопровождения.
[00011] Для планарного сканера кругового обзора установленного на складском роботе-погрузчике были получены следующие результаты. Для последовательности, состоящей из 16771 кадров, на которой вручную было отмечено 7467 событий присутствия подвижной складской техники была получена вероятность не обнаружения 1.3% и вероятность ложного обнаружения 2.1%, что значительно меньше, чем в уровне техники. Примеры сцены показаны на Фиг. 6.
[00012] Указанный технический результат достигается благодаря способу обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика, в котором получают последовательность кадров в реальном времени от трехмерного датчика, установленного на подвижном объекте; выделяют на полученной последовательности кадров движущиеся точки посредством применения статического критерия гладкости движения; формируют по меньшей мере один кластер движущихся точек, который соответствует движущемуся объекту; преобразуют каждый кластер, сформированный на предыдущем шаге в облако точек движущегося объекта на текущем кадре; совмещают облака точек одних и тех же движущихся объектов на текущем и предыдущем кадрах последовательности кадров, полученной от трехмерного датчика, тем самым получая смещение движущихся объектов; формируют накопленное облако точек по меньшей мере одного движущегося объекта посредством совмещения облака точек движущегося объекта текущего кадра и накопленного облака точек, полученного на предыдущем шаге; формируют статистическую модель по меньшей мере одного движущегося объекта на основании накопленного облака точек по меньшей мере одного движущегося объекта, сформированного на предыдущем шаге; определяют координаты, скорость и размеры движущегося объекта по сформированной на предыдущем шаге статистической модели по меньшей мере одного движущегося объекта и полученного смещения движущихся объектов.
[00013] В некоторых вариантах осуществления трехмерным датчиком является времяпролетный датчик или трехмерная камера или стереокамера или триангуляционный сканер или лазерная сканирующая система или их совокупность в различных сочетаниях.
[00014] В некоторых вариантах осуществления при получении последовательности кадров осуществляют компенсацию движения датчика посредством переноса координат в глобальную систему координат.
[00015] В некоторых вариантах осуществления при выделении на полученной последовательности кадров движущихся точек используют критерий видимости.
[00016] В некоторых вариантах осуществления при формировании кластеров движущихся точек, рекурсивно добавляют все движущиеся точки, расстояния от которых до ближайшей точки каждого кластера меньше некоторого порога.
[00017] В некоторых вариантах осуществления совмещают облака точек одних и тех же движущихся объектов на текущем и предыдущем кадрах посредством корреляции.
[00018] В некоторых вариантах осуществления при формировании статистической модели объекта выполняют удаление точек из облака точек.
[00019] Также указанный технический результат достигается благодаря системе обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика, которая содержит по меньшей мере один трехмерный датчик, установленный на подвижном объекте и выполненный с возможностью формирования последовательности кадров в реальном времени; по меньшей мере один компонент обработки; память для хранения инструкций, выполняемых посредством компонента обработки, причем компонент обработки выполнен с возможностью выполнения шагов, описанных в п. 1 способа.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[00020] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей, на которых:
[00021] На Фиг. 1 показана блок-схема осуществления способа обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика;
[00022] На Фиг. 2 блок-схема осуществления выделения движущихся точек на последовательности кадров;
[00023] На Фиг. 3 показана блок-схема осуществления преобразования каждого кластера в облако точек движущегося объекта;
[00024] На Фиг. 4 показан пример совмещения облака точек движущегося объекта текущего кадра и накопленного облака точек;
[00025] На Фиг. 5 показан пример осуществления системы обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика;
[00026] На Фиг. 6 показаны примеры сцен планарного сканера кругового обзора, установленного на складском роботе-погрузчике;
[00027] На Фиг. 7 показан пример двух кадров с облаками точек в локальной и глобальной системе координат;
[00028] На Фиг. 8 показан пример двух кадров с облаками точек в локальной и глобальной системах координат с пунктирными окрестностями точек;
[00029] На Фиг. 9 показан пример объединения полученных движущихся точек в кластеры.
ПОДРОБНОЕ РАСКРЫТИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ
[00030] Ниже будут описаны понятия и определения, необходимые для подробного раскрытия осуществляемого технического решения.
[00031] Техническое решение может быть реализовано в виде распределенной компьютерной системы.
[00032] В данном решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
[00033] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
[00034] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические носители (CD, DVD и т.п.).
[00035] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
[00036] Подвижный объект - автономно перемещающий технический объект. К таким подвижным объектам могут относиться транспортные тележки, транспортировщики паллет, погрузочная техника различных кинематических схем, оснащенные различными силовыми агрегатами, беспилотные летательные аппараты самолетного, вертолетного или многороторного типа, легковые и грузовые автомобили на различных типах шасси, трактора, подвижная сельскохозяйственная техника, специальная техника на гусеничном или колесно-гусеничном шасси, суда на воздушной подушке, железнодорожный или трамвайный транспорт.
[00037] Статистический критерий - строгое математическое правило, по которому принимается или отвергается та или иная статистическая гипотеза с известным уровнем значимости. Построение критерия представляет собой выбор подходящей функции от результатов наблюдений (ряда эмпирически полученных значений признака), которая служит для выявления меры расхождения между эмпирическими значениями и гипотетическими.
[00038] Облако точек - набор вершин в трехмерной системе координат. Эти вершины, как правило, определяются координатами X, Y и Z и, как правило, предназначены для представления внешней поверхности объекта.
[00039] Фиг. 1 представляет собой блок-схему, показывающую способ обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика, который содержит следующие шаги.
[00040] Шаг 101: получают последовательность кадров в реальном времени от трехмерного датчика, установленного на подвижном объекте.
[00041] В качестве трехмерного датчика могут использоваться времяпролетные датчики, трехмерные камеры, стереокамеры, триангуляционные сканеры, лазерные сканирующие системы, например лидары и т.д., не ограничиваясь.
[00042] Трехмерный датчик может в процессе работы перемещаться в пространстве (например, датчик может быть установлен на автомобиле, движущемся по ровному горизонтальному дорожному полотну). В этом случае для осуществления технического решения необходимо компенсировать движение датчика, которое может осуществляться, например, посредством переноса координат в глобальную систему координат (неподвижную и фиксированную на протяжении цикла непрерывной работы настоящей системы).
[00043] Шаг 102: выделяют на полученной последовательности кадров движущиеся точки посредством применения статического критерия гладкости движения.
[00044] На Фиг. 2 показана блок-схема осуществления выделения на последовательности кадров движущихся точек.
[00045] Перед выделением движущихся точек, полученные кадры обрабатывают посредством выделения облаков точек каждого кадра вышеуказанной последовательности.
[00046] Определение точек как движущихся выполняется посредством статического критерия гладкости движения. В некоторых вариантах осуществления дополнительно может использоваться критерий видимости (или наблюдаемости) точек. Статический критерий гладкости движения состоит в статистической оценке облаков точек на смежных по времени кадрах полученной последовательности кадров и определения набора элементарных смещений точек по заданному заранее порогу. Для компенсации недостатка потенциально ограниченного угла обзора трехмерного датчика, а также учета эффекта затенения может использоваться критерий видимости точек. Критерий видимости статистически оценивает вероятность наблюдаемости окрестности данной точки на предыдущих кадрах, и определяет вероятность наблюдения точки в окрестности на следующих кадрах. При использовании данного критерия уже на основе этих двух вероятностей выполняется классификация точки (движущаяся/неподвижная) по критерию видимости. Критерий видимости в целом является более слабым статистическим классификатором, и, поэтому, может применяться только для пополнения уже полученных наборов движущихся точек по статическому критерию гладкости.
[00047] Шаг 103: формируют по меньшей мере один кластер движущихся точек, который соответствует движущемуся объекту.
[00048] После выделения всех движущихся точек выполняется их кластеризация в соответствии с принадлежностью точек к различным движущимся объектам. Начиная с произвольной движущейся точки к кластеру, рекурсивно добавляются все движущиеся точки, расстояния от которых до ближайшей точки кластера меньше некоторого порога. Точка, ранее не помеченная как движущаяся, добавляется к существующему кластеру при условии, что она находится на расстоянии меньшем порогового от точки кластера и классифицирована как движущаяся по статическому критерию гладкости и критерию видимости. Кластеры формируются последовательно и, по построению, не могут пересекаться. Т.е. в первый кластер рекурсивно добавляются все точки расположенные не далее, чем L от любой точки кластера. Соответственно, когда построение первого кластера закончено и начато построение второго кластера, не существует не помеченных точек, которые могут быть отнесены к первому кластеру.
[00049] Шаг 104: преобразуют каждый кластер, сформированный на предыдущем шаге в облако точек движущегося объекта на текущем кадре.
[00050] На Фиг. 3 показана блок-схема осуществления преобразования каждого кластера в облако точек движущегося объекта.
[00051] Шаг 105: совмещают облака точек одних и тех же движущихся объектов на текущем и предыдущем кадрах последовательности кадров, полученной от трехмерного датчика, тем самым получая смещение движущихся объектов.
[00052] Первым шагом слежения за подвижным объектом является грубое совмещение облаков точек объекта соответствующих текущему и предыдущему кадрам соответственно по всем кадрам последовательности. Совмещение осуществляется посредством корреляции. Для этого облака точек объектов переводятся в растровое представление (изображение). Изображение точек объекта предыдущего кадра расширяется на s пикселей в каждую сторону нулями. Смещение объекта между соседними кадрами определяется как ar gmax. Где Sx=-s:s, Sy=-s:s - смещения по X и Y; X - изображение объекта на предыдущем кадре, Y - изображение объекта на текущем кадре; S=k*(Sx,Sy) - искомый вектор смещения; k - коэффициент масштабирования выбранный для растеризации изображения.
Перемещение может измеряться в сантиметрах, дециметрах или метрах, не ограничиваясь. После грубого определения вектора перемещения объекта, точки, лежащие в окрестности заранее определенного движущегося объекта, добавляются к облаку точек данного объекта. Величина допустимой окрестности может задаваться заранее. Например, величина допустимой окрестности может быть множеством окружностей радиусом 0.05 м с центрами, соответствующими точкам из облака точек объекта. Это позволяет существенно сократить число точек объекта ошибочно помеченных как неподвижные. На Фиг. 4 показано облако точек объекта (черные круговые маркеры) полученное на стадии кластеризации, и облако точек объекта с добавленными к нему точками (серые круговые маркеры).
[00053] Шаг 106: формируют накопленное облако точек по меньшей мере одного движущегося объекта посредством совмещения облака точек движущегося объекта текущего кадра и накопленного облака точек, полученного на предыдущем шаге.
[00054] Накопленное облако точек движущегося объекта, соответствующее текущему кадру, совмещается с моделью объекта или так называемым накопленным облаком точек (Фиг. 4). Данное совмещение позволяет существенно повысить точность первоначальной оценки перемещения, поскольку в нем используется больше точек текущего кадра и модель объекта с данными, полученными за всю предыдущую историю наблюдения объекта. С учетом полученной оценки перемещения, облако точек объекта, соответствующее текущему кадру, добавляется к ранее накопленному облаку точек объекта.
[00055] Шаг 107: формируют статистическую модель по меньшей мере одного движущегося объекта на основании накопленного облака точек по меньшей мере одного движущегося объекта, сформированного на предыдущем шаге.
[00056] Статистическая модель является моделью распределения точек объекта как двумерной случайной величины (x, y), так и трехмерной (x, y, z). В данном техническом решении может использоваться модель распределения в виде набора гауссиан (GMM, Gaussian Mixture Model). Но может быть также применена другая статистическая модель, достаточно точно описывающая распределение точек, не ограничиваясь.
[00057] В некоторых вариантах осуществления выполняют выбраковку (или удаление) некоторых точек из сформированного облака точек, которое используется для предотвращения размывания объекта за счет случайных выбросов (больших смещений точек) и за счет неточного совмещения облаков. Выбраковку могут осуществлять по порогу расстояния до существующих точек накопленного облака точек объекта. Возможен также вариант выбраковки по порогу значения вероятности в данной точке Р'(x, y), где P'() есть статистическая модель объекта, т.е. приближенное распределение точек.
[00058] Накопленное облако точек кластеризуется, например, посредством алгоритма K-means, для построения статистической модели объекта. Это позволяет более компактно описать объект и ускорить выполнение операций с моделью объекта (по сравнению с операциями со всеми точками облака, накопленного за всю историю наблюдения объекта).
[00059] Шаг 108: определяют координаты, скорость и размеры движущегося объекта по сформированной на предыдущем шаге статистической модели по меньшей мере одного движущегося объекта и полученного смещения движущихся объектов.
[00060] Скорость определяется путем временной фильтрации временной последовательности «мгновенных скоростей». Мгновенная скорость на текущем кадре определяется как оценка перемещения объекта (вектор) между текущем и предыдущим кадром, деленная на время съемки между кадрами. Размеры и форма объекта определяются размерами и формой накопленного облака точек. Координаты объекта определяются суперпозицией аффинных преобразований (смещений) объекта с момента его обнаружения. Точка облака, относительно которой вычисляются координаты и перемещения, может быть выбрана произвольно в момент обнаружения объекта. В данном техническом решении используется центр облака точек объекта на момент его обнаружения. В процессе слежения эта точка сохраняет свое положение относительно объекта, но может перестать быть его центром. Т.е. если в момент обнаружения был виден передний край машины, то отслеживаются координаты середины переднего края машины.
[00061] Фиг 5 представляет собой блок-схему, показывающую систему обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика, которая содержит:
[00062] В некоторых вариантах осуществления, система 500 может быть мобильным телефоном, компьютером, устройством для обмена сообщениями, планшетом и персональным цифровым помощником и т.д.
[00063] Ссылаясь на Фигуру 5, система 500 может включать один или более следующих компонент: компонент 502 обработки, трехмерный датчик 503, память 504, компонент 506 питания, компонент 508 мультимедиа, интерфейс 512 ввода/вывода (I/О), сенсорный компонент 514, компонент 516 передачи данных.
[00064] В некоторых вариантах, компонент 502 обработки в основном управляет всеми операциями системы 500, например, дисплеем, передачей данных, работой видеокамеры и операцией записи. Компонент 502 обработки может включать в себя один или более процессоров 518, реализующих инструкции для завершения всех или части шагов из указанных выше способов. Кроме того, компонент 902 обработки может включать в себя один или более модулей для удобного процесса взаимодействия между компонентом 502 обработки и другими компонентами. Например, компонент 502 обработки может включать в себя мультимедийный модуль для удобного облегченного взаимодействия между компонентом 508 мультимедиа и компонентом 502 обработки.
[00065] В качестве трехмерного датчика 503 может использоваться любая известная из уровня техники технология получения и обработки информации об удаленных объектах с помощью активных и пассивных оптических систем, использующих явления отражения света и его рассеяния в прозрачных и полупрозрачных средах. Например, это может быть времяпролетный датчик, триангуляционный сканер, лазерная сканирующая система, лидар, датчик глубины, стереокамера.
[00066] Память 504 выполнена с возможностью хранения различных типов данных для поддержки работы системы 500. Примеры таких данных включают в себя инструкции из любого приложения или способа, изображения, видео, и т.д. Память 504 может быть реализована в виде любого типа энергозависимого запоминающего устройства, энергонезависимого запоминающего устройства или их комбинации, например, Статического Оперативного Запоминающего Устройства (СОЗУ), Электрически Стираемого Программируемого Постоянного Запоминающего Устройства (ЭСППЗУ), Стираемого Программируемого Постоянного Запоминающего Устройства (СППЗУ), Программируемого Постоянного Запоминающего Устройства (ППЗУ), Постоянного Запоминающего Устройства (ПЗУ), магнитной памяти, флэш-памяти, магнитного или оптического диска.
[00067] В некоторых вариантах, компонент 506 питания обеспечивает электричеством различные компоненты системы 500. Компонент 506 питания может включать систему управления электропитанием, один или более источник питания, и другие узлы для генерации, управления и распределения электроэнергии к системе 500.
[00068] В некоторых вариантах, мультимедийный компонент 508 включает в себя экран, обеспечивающий выходной интерфейс между системой 500 и пользователем. В некоторых вариантах осуществления, экран может быть жидкокристаллическим дисплеем (ЖКД) или сенсорной панелью (СП). Если экран включает в себя сенсорную панель, экран может быть реализован в виде сенсорного экрана для приема входного сигнала от пользователя. Сенсорная панель включает один или более сенсорных датчиков в смысле жестов, прикосновения и скольжения сенсорной панели. Сенсорный датчик может не только чувствовать прикосновение или жест перелистывания, но и определять длительность времени и давления, связанных с режимом работы прикосновения и скольжения.
[00069] Интерфейс 512 ввода/вывода обеспечивает интерфейс между компонентом 502 обработки и периферийным интерфейсным модулем.
[00070] Сенсорный компонент 514 содержит один или более сенсоров и выполнен с возможностью обеспечения различных аспектов оценки состояния системы 500. Например, сенсорный компонент 514 может обнаружить состояния вкл/выкл системы 500, относительное расположение компонентов, например, дисплея и кнопочной панели прибора 500, изменение положения системы 500 или одного компонента системы 500, наличие или отсутствие контакта между пользователем и системой 500, а также ориентацию или ускорение/замедление и изменение температуры системы 500. Сенсорный компонент 514 содержит бесконтактный датчик, выполненный с возможностью обнаружения присутствия объекта, находящегося поблизости, когда нет физического контакта. Сенсорный компонент 514 содержит оптический датчик (например, КМОП или ПЗС-датчик изображения) выполненный с возможностью использования в визуализации приложения. В некоторых вариантах сенсорный компонент 514 содержит датчик ускорения, гироскоп, магнитный датчик, датчик давления или датчик температуры.
[00071] Коммуникационный компонент 516 выполнен с возможностью облегчения проводной или беспроводной связи между системой 500 и другими устройствами. Система 500 может получить доступ к беспроводной сети на основе стандарта связи, таких как WiFi, 2G или 3G, или их комбинации. В одном примерном варианте компонент 516 передачи данных получает широковещательный сигнал или трансляцию, связанную с ними информацию из внешней широковещательной системы управления через широковещательный канал. В одном варианте осуществления компонент 516 передачи данных содержит модуль коммуникации ближнего поля (NFC), чтобы облегчить ближнюю связь. Например, модуль NFC может быть основан на технологии радиочастотной идентификации (RFID), технологии ассоциации передачи данных в инфракрасном диапазоне (IrDA), сверхширокополосной (UWB) технологии, Bluetooth (ВТ) технологии и других технологиях.
[00072] В примерном варианте осуществления, память 504 включает инструкции, которые выполняются процессором 518 системы 500 для реализации описанных выше способов измерения расстояния до удаленных объектов. Например, энергонезависимым компьютерно-читаемым носителем может быть ПЗУ, оперативное запоминающее устройство (ОЗУ), компакт-диск, магнитная лента, дискеты, оптические устройства хранения данных и тому подобное.
[00073] Специалист в данной области техники может легко понять другие варианты изобретения из рассмотренного описания. Эта заявка предназначена для того, чтобы покрыть любые варианты использования или применения следующих общих принципов изобретения, и включая такие отклонения от настоящего изобретения, которые появляются в пределах известной или обычной практики в уровне техники. Предполагается, что описание рассматривается только как примерное, с сущностью и объемом настоящего изобретения, обозначенными формулой изобретения.
[00074] Следует принимать во внимание, что настоящее изобретение не ограничивается точными конструкциями, которые были описаны выше и проиллюстрированы на прилагаемых чертежах, и что различные модификации и изменения могут быть сделаны без отхода от области его применения. Предполагается, что объем изобретения ограничен только прилагаемой формулой.
ПРИМЕРЫ РЕАЛИЗАЦИИ ТЕХНИЧЕСКОГО РЕШЕНИЯ
[00075] Лазерный сканер установлен на автономном складском паллетном погрузчике. Планарный лазерный сканер подключен к вычислительному устройству, установленному на автономном складском паллетном погрузчике. Автономный складской паллетный погрузчик, на котором установлен лазерный сканер, двигается по складу и в зоне видимости планарного лазерного сканера оказывается другое транспортное средство. Вычислительное средство получает два последовательных пакета данных от лазерного сканера по каналу передачи данных RS422, преобразует их в два кадра данных соответственно. Кадр данных в настоящем случае содержит облако точек в системе координат лазерного сканера с меткой времени. Облако точек первого кадра переводится в глобальную систему координат через известные глобальные координаты робота (от системы навигации), как это описано ниже. На Фиг. 7 проиллюстрированы два кадра данных. Глобальная координатная система обозначена заглавными буквами OXY на обоих кадрах. Локальная система координат лазерного сканера обозначена Lxy на первом кадре и L'xy на втором кадре. Одно деление (одна клетка) на Фиг. 7 соответствует одному метру в масштабе. Локальные системы координат отличаются только линейным положением L=[2 12]T, L'=[3 11]T. Угол ориентации локальной системы координат лазерного сканера в обоих случаях составляет 45 градусов или 0.7583 радиана. Таким образом, в поле зрения лазерного сканера в первом и во втором случае попало пять точек. Две точки В являются точками неподвижной сцены (столбом, стеллажом и т.п.), в то же время все три точки А каждого случая соответствуют движущемуся складскому транспорту, который должен быть обнаружен. Причем как видно из Фиг. 7, транспортное средство движется криволинейно. В локальной системе координат на первом кадре получили следующие координаты точек:
A1L=[8.55 5.77]T
A2L=[8.55 2.96]T
A3L=[11.384 2.96]T
B1L=[3.6 3.6]T
B2L=[5 2.26]T
На втором кадре:
Как известно, совмещение двух координатных систем происходит путем вращения и перемещения. Таким образом, каждую точку PL умножают на матрицу RL поворота на 45 градусов и прибавляют координаты центра локальной системы координат L в глобальной системе координат. Т.е. в общем случае:
Pk=RLPL+L
В частном случае для точки А1 получают:
Аналогичным образом подставляя вместо A1L=[8.55 5.77]T актуальные координаты точек получают координаты всех точек первого кадра в глобальной системе координат OXY:
A1=[12.13001175 10.03000051]T
A2=[10.14445591 8.04444467]T
A3=[12.14273967 6.04333248]T
B1=[7.09116882 12]T
B2=[7.13500944 10.06394163]T
Пример расчета глобальных координат точки для второго кадра:
Аналогично для остальных точек второго кадра получают глобальные координаты:
[00076] Первое облако точек и второе облако точек сравниваются, после чего выделяются движущиеся точки по критерию гладкости движения. В приведенном примере это означает следующее. Необходимо определить смещение точек на втором кадре относительно точек на первом кадре. Для этого переносят точки первого кадра на второй кадр и определяют имеющиеся точки в окрестности по заданному пороговому значению. Эти окрестности изображены на Фиг. 8 пунктирными окружностями, которые взаимно идентичны на обоих кадрах. По наличию смещения определяют движущиеся точки, т.е.:
И если значение ΔP больше некоторого заранее заданного порогового значения, например в 15 см, значит, точка сдвинулась, например
Аналогично для точки В2 ΔB2=0.12. Таким образом, полученные смещения в 11 см и 12 см для точек В1 и В2 соответственно меньше 15 см, поэтому они являются неподвижными. Аналогично для точек А имеем:
ΔA1=0.54
ΔA2=0.75
ΔA3=0.52
Как видно для точек А, смещение составляет больше полуметра, что много больше заданного порога в 15 см, значит все точки А на втором кадре движутся. Затем объединяют полученные точки в кластеры и рассчитывают центроиды для данного примера (центроид - точка пересечения медиан в треугольнике). Результат показан на Фиг. 9. Координаты центроидов и будут искомыми координатами движущегося объекта, а изменение координат по времени между кадрами и будет искомыми скоростями.
Claims (20)
1. Способ обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика, включающий следующие шаги:
- получают последовательность кадров в реальном времени от трехмерного датчика, установленного на подвижном объекте;
- выделяют на полученной последовательности кадров движущиеся точки посредством применения статического критерия гладкости и критерия видимости движения;
- формируют, по меньшей мере, один кластер движущихся точек, который соответствует движущемуся объекту, следующим образом:
начиная с произвольной движущейся точки к кластеру, рекурсивно добавляют все движущиеся точки, расстояния от которых до ближайшей точки кластера меньше заданного порога, при этом точка, ранее не помеченная как движущаяся, добавляется к существующему кластеру при условии, что она находится на расстоянии, меньшем порогового от точки кластера и классифицирована как движущаяся по статическому критерию гладкости и критерию видимости;
- преобразуют каждый кластер, сформированный на предыдущем шаге, в облако точек движущегося объекта на текущем кадре;
- совмещают облака точек одних и тех же движущихся объектов на текущем и предыдущем кадрах последовательности кадров, полученной от трехмерного датчика, тем самым получая смещение движущихся объектов;
- формируют накопленное облако точек, по меньшей мере, одного движущегося объекта посредством совмещения облака точек движущегося объекта текущего кадра и накопленного облака точек, полученного на предыдущем шаге;
- выполняют выбраковку точек из сформированного облака точек;
- формируют статистическую модель, по меньшей мере, одного движущегося объекта на основании накопленного облака точек, по меньшей мере, одного движущегося объекта, сформированного на предыдущем шаге;
- определяют координаты, скорость и размеры движущегося объекта по сформированной на предыдущем шаге статистической модели, по меньшей мере, одного движущегося объекта и полученного смещения движущихся объектов.
2. Способ по п. 1, характеризующийся тем, что трехмерным датчиком является времяпролетный датчик, или трехмерная камера, или стереокамера, или триангуляционный сканер, или лазерная сканирующая система.
3. Способ по п. 1, характеризующийся тем, что при получении последовательности кадров осуществляют компенсацию движения датчика посредством переноса координат в глобальную систему координат.
4. Способ по п. 1, характеризующийся тем, что совмещают облака точек одних и тех же движущихся объектов на текущем и предыдущем кадрах посредством корреляции.
5. Способ по п. 1, характеризующийся тем, что выбраковку выполняют по порогу расстояния до существующих точек накопленного облака точек объекта.
6. Способ по п. 1, характеризующийся тем, что выбраковку выполняют по порогу значения вероятности в данной точке.
7. Система обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика, содержащая:
- по меньшей мере один трехмерный датчик, установленный на подвижном объекте и выполненный с возможностью формирования последовательности кадров в реальном времени;
- по меньшей мере один компонент обработки;
- память для хранения инструкций, выполняемых посредством компонента обработки, причем компонент обработки выполнен с возможностью выполнения шагов, описанных в п. 1 способа.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016145126A RU2656711C2 (ru) | 2016-11-17 | 2016-11-17 | Способ и система обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016145126A RU2656711C2 (ru) | 2016-11-17 | 2016-11-17 | Способ и система обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2016145126A3 RU2016145126A3 (ru) | 2018-05-17 |
| RU2016145126A RU2016145126A (ru) | 2018-05-17 |
| RU2656711C2 true RU2656711C2 (ru) | 2018-06-06 |
Family
ID=62152039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016145126A RU2656711C2 (ru) | 2016-11-17 | 2016-11-17 | Способ и система обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2656711C2 (ru) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2744012C1 (ru) * | 2019-12-24 | 2021-03-02 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для автоматизированного определения присутствия объектов |
| WO2021211120A1 (en) * | 2020-04-16 | 2021-10-21 | Hewlett-Packard Development Company, L.P. | Location-based tasks |
| RU2763215C2 (ru) * | 2020-04-10 | 2021-12-28 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы формирования обучающих данных для нейронной сети |
| RU2764708C1 (ru) * | 2020-01-20 | 2022-01-19 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для обработки данных лидарных датчиков |
| RU2775822C1 (ru) * | 2020-01-20 | 2022-07-11 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для обработки данных лидарных датчиков |
| US11860315B2 (en) | 2020-01-20 | 2024-01-02 | Direct Cursus Technology L.L.C | Methods and systems for processing LIDAR sensor data |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112285733B (zh) * | 2020-10-21 | 2023-09-26 | 中核勘察设计研究有限公司 | 一种城乡规划核实测绘数据处理方法 |
| CN112669373B (zh) * | 2020-12-24 | 2023-12-05 | 北京亮道智能汽车技术有限公司 | 一种自动化标注方法、装置、电子设备及存储介质 |
| CN113589274B (zh) * | 2021-06-24 | 2023-10-13 | 森思泰克河北科技有限公司 | 脚踢信号识别方法、装置及终端 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2382416C2 (ru) * | 2008-03-20 | 2010-02-20 | Общество с ограниченной ответственностью "Системы передовых технологий " (ООО "Системы передовых технологий") | Способ определения скорости движения и координат транспортных средств с последующей их идентификацией и автоматической регистрацией нарушений правил дорожного движения и устройство для его осуществления |
| US8948501B1 (en) * | 2009-12-22 | 2015-02-03 | Hrl Laboratories, Llc | Three-dimensional (3D) object detection and multi-agent behavior recognition using 3D motion data |
| US20150288947A1 (en) * | 2014-04-03 | 2015-10-08 | Airbus Ds Gmbh | Position and location detection of objects |
-
2016
- 2016-11-17 RU RU2016145126A patent/RU2656711C2/ru active IP Right Revival
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2382416C2 (ru) * | 2008-03-20 | 2010-02-20 | Общество с ограниченной ответственностью "Системы передовых технологий " (ООО "Системы передовых технологий") | Способ определения скорости движения и координат транспортных средств с последующей их идентификацией и автоматической регистрацией нарушений правил дорожного движения и устройство для его осуществления |
| US8948501B1 (en) * | 2009-12-22 | 2015-02-03 | Hrl Laboratories, Llc | Three-dimensional (3D) object detection and multi-agent behavior recognition using 3D motion data |
| US20150288947A1 (en) * | 2014-04-03 | 2015-10-08 | Airbus Ds Gmbh | Position and location detection of objects |
Non-Patent Citations (1)
| Title |
|---|
| Zhang F. et al., "Vehicle detection Based on LiDAR and Camera Fusion", 2014 IEEE 17th International Conference on Intelligent transportation Systems (ITSC), October 8-11, 2014, Quindao, China. * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2744012C1 (ru) * | 2019-12-24 | 2021-03-02 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для автоматизированного определения присутствия объектов |
| US11574483B2 (en) | 2019-12-24 | 2023-02-07 | Yandex Self Driving Group Llc | Methods and systems for computer-based determining of presence of objects |
| RU2764708C1 (ru) * | 2020-01-20 | 2022-01-19 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для обработки данных лидарных датчиков |
| RU2775822C1 (ru) * | 2020-01-20 | 2022-07-11 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для обработки данных лидарных датчиков |
| US11860281B2 (en) | 2020-01-20 | 2024-01-02 | Direct Cursus Technology L.L.C | Methods and systems for filtering data points when merging LIDAR sensor datasets |
| US11860315B2 (en) | 2020-01-20 | 2024-01-02 | Direct Cursus Technology L.L.C | Methods and systems for processing LIDAR sensor data |
| RU2763215C2 (ru) * | 2020-04-10 | 2021-12-28 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы формирования обучающих данных для нейронной сети |
| WO2021211120A1 (en) * | 2020-04-16 | 2021-10-21 | Hewlett-Packard Development Company, L.P. | Location-based tasks |
| RU2821377C1 (ru) * | 2023-05-29 | 2024-06-21 | Федеральное государственное автономное образовательное учреждение высшего образования "Уральский федеральный университет имени первого Президента России Б.Н. Ельцина" | Способ отслеживания объектов на видео |
| RU2811363C1 (ru) * | 2023-10-03 | 2024-01-11 | Общество С Ограниченной Ответственностью "Психо Технолоджи" | Система калибровки набора камер для задач оптического трекинга объектов в пространстве |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2016145126A3 (ru) | 2018-05-17 |
| RU2016145126A (ru) | 2018-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2656711C2 (ru) | Способ и система обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика | |
| US20200409372A1 (en) | Data fusion method and related device | |
| US20240203139A1 (en) | Systems and methods for depth map sampling | |
| CN111615703B (zh) | 传感器数据分割 | |
| CN110807350B (zh) | 用于面向扫描匹配的视觉slam的系统和方法 | |
| US10496104B1 (en) | Positional awareness with quadocular sensor in autonomous platforms | |
| US9661470B1 (en) | Methods and systems for locating an actor within an environment | |
| CN108475058B (zh) | 估计对象接触时间的系统和方法、计算机可读介质 | |
| CN110163904A (zh) | 对象标注方法、移动控制方法、装置、设备及存储介质 | |
| KR102151815B1 (ko) | 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 | |
| US11568654B2 (en) | Object recognition method and object recognition device performing the same | |
| CN102741887A (zh) | 深度相机兼容性 | |
| Benedek et al. | Positioning and perception in LIDAR point clouds | |
| US11092690B1 (en) | Predicting lidar data using machine learning | |
| CN116088503B (zh) | 动态障碍物检测方法和机器人 | |
| US11460855B1 (en) | Systems and methods for sensor calibration | |
| Arora et al. | Static map generation from 3D LiDAR point clouds exploiting ground segmentation | |
| CN114528941A (zh) | 传感器数据融合方法、装置、电子设备及存储介质 | |
| WO2024001596A1 (zh) | 机器人运动控制方法以及装置 | |
| US11341663B2 (en) | Method, system and apparatus for detecting support structure obstructions | |
| CN113450459A (zh) | 目标物的三维模型构建方法及装置 | |
| CN111912418A (zh) | 删除移动载体不可行驶区域内障碍物的方法、装置及介质 | |
| Cai et al. | 3D vehicle detection based on LiDAR and camera fusion | |
| WO2022083529A1 (zh) | 一种数据处理方法及装置 | |
| Ponto et al. | Opportunities for utilizing consumer grade 3D capture tools for insurance documentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20191118 |
|
| NF4A | Reinstatement of patent |
Effective date: 20210608 |