WO2022025784A1 - Передача и обработка данных в системе лидар-видеокамера - Google Patents

Передача и обработка данных в системе лидар-видеокамера Download PDF

Info

Publication number
WO2022025784A1
WO2022025784A1 PCT/RU2020/000388 RU2020000388W WO2022025784A1 WO 2022025784 A1 WO2022025784 A1 WO 2022025784A1 RU 2020000388 W RU2020000388 W RU 2020000388W WO 2022025784 A1 WO2022025784 A1 WO 2022025784A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
lidar
group
field
data
Prior art date
Application number
PCT/RU2020/000388
Other languages
English (en)
French (fr)
Inventor
Сергей Александрович ПОЛУШКИН
Сергей Юрьевич СЕДЫХ
Original Assignee
Общество с ограниченной ответственностью "Смартсенсор"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Смартсенсор" filed Critical Общество с ограниченной ответственностью "Смартсенсор"
Priority to PCT/RU2020/000388 priority Critical patent/WO2022025784A1/ru
Publication of WO2022025784A1 publication Critical patent/WO2022025784A1/ru

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array

Definitions

  • the technical solution relates to the field of optoelectronic target detection systems for vehicles.
  • the prior art presents a large number of documents in the direction of detection and recognition systems based on the fusion of a video camera and LIDAR.
  • the closest analogue is the solution of HYUNDAI MOTOR CO LTD and KIA MOTORS CORP in US patent application N ° 2020117917 "Apparatus and Method for Distinguishing False Target in Vehicle and Vehicle Including the Same", published on April 16, 2020.
  • the document describes a decoy recognition device that includes an image matching module that matches the coordinates of two-dimensional and three-dimensional images from LIDAR and a video camera.
  • the system also includes a target matching module that establishes a correspondence between the target and its image and coordinates.
  • the system includes an ROI extractor that selects a target associated with a matched target image and extracts the selected ROI.
  • a determination module that classifies whether the target in the selected and extracted area is false.
  • the objective of the invention is to increase the efficiency and speed of the LIDAR-camera system by reducing the amount of information read and analyzed from the LID AR A and/or from the video camera.
  • the technical result consists in a method for reading and analyzing information from a video camera matrix, as well as in the ability to determine the spatial velocity of an object of interest and in the architecture of the video camera matrix.
  • a method for transmitting data in a system containing LIDAR, a video camera with a matrix, which have the same maximum field of view, as well as a data analysis unit and a control unit that includes two modes of operation of the matrix.
  • a group of non-adjacent pixels is read from the matrix
  • a group of adjacent pixels is read, which are responsible for a certain area of space in the field of view.
  • the method can be implemented in such a way that the main mode of operation is the first one, and if the data analysis unit receives a signal from LIDAR that an object of interest is in a certain area of the field of view, the control unit switches the matrix operation mode to the second one so that the system starts transmitting video object without increasing the amount of data transmitted from the matrix to the data analysis unit.
  • the control unit rebuilds the LIDAR scanning field to a region of space displayed by a group of adjacent pixels so that each adjacent pixel of the group corresponds to a LIDAR scanning pulse.
  • the control unit in order to increase the efficiency of the system, can turn off LIDAR during the period of time when the second mode of the matrix is activated.
  • the method can be implemented in such a way that the main mode of operation is LIDAR scanning of the maximum field of view, while the data analysis unit analyzes only data from LIDAR, and in the event an object of interest appears in the field of view, it determines the coordinates of the object in the field of view, after which the control unit translates the matrix to the operating mode, which provides reading information from a group of adjacent pixels corresponding to the calculated coordinates of the object, and rebuilds the LIDAR scanning field to a region of space displayed by a group of adjacent pixels.
  • the method can be implemented in such a way that, depending on the external signal, the control unit switches the matrix to an operating mode that provides reading information from a group of pixels, and the control unit also changes the LIDAR scanning mode in such a way that each read pixel of the matrix corresponds to a LIDAR scanning pulse.
  • the method can be implemented in such a way that the main mode of operation is reading a group of non-adjacent pixels from the matrix, while the data analysis unit analyzes data only from the matrix and, if an object of interest is detected in the field of view, calculates its coordinates, after which the control unit switches to reading a group of adjacent pixels of the matrix corresponding to the calculated coordinates of the object, and switches LIDAR to the scanning mode of the area of the field of view displayed by this group of adjacent pixels so that each adjacent pixel of the group corresponds to a LIDAR scanning pulse.
  • a matrix for a video camera with a hardware architecture that allows you to read individual pixels using the random access method due to the fact that ADCs are introduced into the data reading circuit of the matrix pixels in an amount equal to the maximum required number of simultaneously read pixels in a group, as well as a pixel multiplexing system is provided that connects selected arbitrary pixels to the ADC.
  • a system that includes a LIDAR rigidly interconnected on a common basis and a video camera with a common maximum field of view, as well as a data analysis unit and a control unit, characterized in that a matrix is used that provides the ability to read only a group of pixels.
  • FIG. 1 shows a block diagram of the LIDAR-camera system and introduced the following designations, pos. 1 - LIDAR, pos. 2 - video camera, pos. 3 - camera matrix, pos. 4 - data analysis block, pos. 5 - control unit, pos. 6 - maximum field of view of the camera and LIDAR, pos. 7 - object of interest.
  • FIG. 2 shows the mode of operation of the camera, in which a group of non-adjacent pixels is read, shaded in black pos. 8, and at the same time the object of interest pos. 7 hits the pixel pos. 9.
  • FIG. 3 shows the mode of operation of the camera, in which a group of adjacent pixels is read, shaded in black pos. 10, in which the object of interest pos. 7.
  • Random access to matrix pixels is a reading method in which address access to matrix pixels is possible, bypassing the need to sequentially enumerate all.
  • the system for implementing the invention is shown in Fig. 1 in the form of blocks and contains LIDAR (1), video camera (2), camera matrix (3), data analysis unit (4), control unit (5).
  • LIDAR (1) the maximum field of view (6) of the camera (2) and LIDAR (1) are the same.
  • One of the important qualities of the system is the ability to work with a large field of view. But at the same time, to detect and analyze relatively small objects of interest that occupy a small part of the field, for example, a cyclist pos. 7, a large resolution of the camera and LIDAR matrix is required, which significantly increases the amount of transmitted data and overloads the data analysis unit. As a result, the efficiency of the entire system is reduced.
  • the matrix can have two modes of operation, shown in Fig. 2 and FIG. 3.
  • FIG. 2 shows the first mode of operation, in which non-adjacent pixels (8) shaded in black are read. This results in a reduced resolution image, which significantly reduces the amount of transmitted data and the load on the data analysis unit.
  • information about the position of the object in the field of view comes from LIDAR and pixel 9.
  • the data analysis unit calculates the coordinates of the object (as well as, for example, the lateral velocity), and on the basis of this switches the matrix to the second mode of operation (Fig. 3), in which only the group of adjacent pixels 10 is read, in which the object of interest 7 is located
  • the spatial resolution is significantly increased, but at the same time, the amount of transmitted data and the load on the data analysis unit remain practically unchanged.
  • the data analysis unit can quickly and efficiently classify an object of interest and, for example, in the case of using the system in a car, prevent an accident.
  • the invention can be implemented in various ways.
  • the control unit switches the matrix operation mode to the second one so that the system starts transmitting high-resolution video of the object without increasing the amount of data transmitted from the matrix to the analysis unit data.
  • control unit can either rebuild the LIDAR scanning field to a new area of the field of view, to which the matrix is switched, or turn off LIDAR for the period of operation of the matrix in the second mode.
  • LIDAR scanning of the maximum field of view with the matrix turned off can be chosen as the main mode of the system operation.
  • the data analysis unit is loaded only with the information flow from LIDAR. If an object of interest appears in the field of view, the data analysis unit determines the coordinates of the object in the field of view, after which the control unit reads information from a group of adjacent matrix pixels corresponding to the calculated object coordinates.
  • control unit when, depending on the external control signal, the control unit will ensure the reading of a group of matrix pixels and adjust the LIDAR scanning field to the specified group in such a way in such a way that each readable pixel of the matrix corresponds to a LIDAR scanning pulse.
  • the invention can be implemented in such a way that the main mode of operation is reading a group of non-adjacent pixels from the matrix with the LIDAR turned off.
  • the data analysis unit receives only information from the specified group of pixels without a signal from LIDAR. Based on recognition algorithms, a picture from a group of non-adjacent pixels is analyzed, and if an object of interest is detected in the field of view, it calculates its coordinates, after which the control unit switches to reading a group of adjacent pixels of the matrix corresponding to the calculated coordinates of the object, and turns on the LID AR in such a way that its the scan area corresponds to a group of adjacent matrix pixels.
  • the data analysis unit receives data on the speed of the approach-removal of the object from the LIDAR and data on the speed in the plane perpendicular to the direction of the LIDAR scanning pulse by comparing changes in the position of the object on the matrix. Knowing the velocity components of the object from the VLIDAR and from the VCMOS matrix, the data analysis unit can calculate the spatial velocity v as
  • V yI V UDAR + V CMOS
  • the invention may be based on the use of a matrix with a special hardware architecture. Unlike existing analogs, which usually use only one ADC, which works sequentially with each pixel through a multiplexer, the proposed architecture uses several ADCs that can simultaneously connect to several pixels through a multiplexer. To maximize system performance, the number of ADCs can be equal to the number of pixels in a group.
  • the system for implementing the methods listed above must include a LIDAR and a video camera with a common maximum field of view, rigidly connected to each other on a common basis, as well as a data analysis unit and a control unit.
  • the matrix of the video camera should provide the ability to read only the selected group of pixels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Изобретение относится к области оптико-электронных систем обнаружения целей для транспортных средств. Система содержит ЛИДАР и видеокамеру с матрицей, у которых совпадает максимальное поле зрения, а также блок анализа данных и блок управления, который обеспечивает два режима работы матрицы. В первом режиме с матрицы считывается группа несмежных пикселей, а во втором идет считывание только группы смежных пикселей, отвечающих за определенную область пространства в поле зрения. Пространственная скорость объекта рассчитывается на основе данных с ЛИДАРа о скорости приближения-удаления объекта, а также на основе данных о скорости в плоскости, перпендикулярной направлению сканирующего импульса ЛИДАРа за счет сравнения изменения положения объекта на матрице. Матрица для видеокамеры позволяет считывать отдельные пиксели методом произвольного доступа за счет того, что в цепи считывания данных пикселей матрицы вводятся АЦП в количестве, равном максимально необходимому числу одновременно считываемых пикселей в группе, а также предусмотрена система мультиплексирования пикселей, обеспечивающая подключение выбранных произвольных пикселей к АЦП.

Description

СПОСОБ И УСТРОЙСТВО ДЛЯ ЭФФЕКТИВНОЙ ПЕРЕДАЧИ И ОБРАБОТКИ ДАННЫХ В СИСТЕМЕ ЛИДАР-ВИДЕОКАМЕРА
Область техники
Техническое решение относится к области оптико-электронных систем обнаружения целей для транспортных средств.
Уровень техники
В уровне технике представлено большое количество документов по направлению систем детектирования и распознавания, основанных на слиянии видеокамеры и ЛИДАРа.
Например, в заявке на патент США ХЬ2019130601 компании INTEL CORP «Technologies for fusing data from multiple sensors to improve object detection, identification, and localization», опубликованной 2 Мая 2019 представлена общая концепция использования систем с различными датчиками, включая ЛИДАР и камеру, для увеличения вероятности детектировать окружающие систему (например, автомобиль или дрон) объекты.
В патенте США ЛЬ 10503174 «Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor» от 10 декабря 2019 года компании STRADVISION INC предложен способ повышения эффективности работы системы, включающей ЛИДАР и камеру за счет использования обучаемой нейронной сети.
Наиболее близким аналогом можно назвать решение компаний HYUNDAI MOTOR СО LTD и KIA MOTORS CORP в заявке на патент США N°2020117917 «Apparatus and Method for Distinguishing False Target in Vehicle and Vehicle Including the Same», опубликованной 16 апреля 2020 года. В документе описано устройство распознавания ложных целей, которое включает в себя модуль сопоставления изображений, который устанавливает соответствие координат двухмерного и трехмерного изображений от ЛИДАРа и видеокамеры. Также в систему входит модуль согласования цели, который устанавливает соответствие между целью и её изображением и координатами. Кроме этого, система содержит модуль извлечения интересующей области, который выбирает цель, привязанную к согласованному изображению цели, и извлекает выбранную область интереса. И, наконец, модуль определения, классифицирующий, является ли цель в выделенной и извлеченной области ложной.
Основным недостатком указанных аналогов является ограниченное быстродействие из-за необходимости передавать, обрабатывать и анализировать большие потоки информации от камеры и ЛИДАРов высокого разрешения. Техническая задача и технический результат
Задачей изобретения является повышение эффективности и быстродействия работы системы ЛИДАР-камера за счет снижения считываемого и анализируемого объема информации с ЛИД АР А и/или с видеокамеры.
Технический результат заключается в способе считывания и анализа информации с матрицы видеокамеры, а также в возможности определять пространственную скорость объекта интереса и в архитектуре матрицы видеокамеры.
Решение
Для решения поставленной задачи предлагается способ передачи данных в системе, содержащей ЛИДАР, видеокамеру с матрицей, у которых совпадает максимальное поле зрения, а также блок анализа данных и блок управления, который включает два режима работы матрицы. В первом режиме с матрицы считывается группа несмежных пикселей, а во втором идет считывание только группы смежных пикселей, отвечающих за определенную область пространства в поле зрения.
Здесь и далее подразумевается, что между каждым пикселем матрицы установлено точное соответствие с пространственными координатами участка поля, в которое направляется сканирующий импульс ЛИДАРа.
Способ может быть реализован таким образом, что основным режимом работы является первый, и в случае получения блоком анализа данных от ЛИДАРа сигнала о нахождении объекта интереса в определенной области поля зрения, блок управления переключает режим работы матрицы во второй таким образом, что система начинает передавать видео объекта без увеличения объема передаваемых данных от матрицы к блоку анализа данных. При переключении режима работы матрицы возможна реализация способа, при которой блок управления перестраивает поле сканирования ЛИДАРа на область пространства, отображаемую группой смежных пикселей так, что каждому смежному пикселю группы соответствует сканирующий импульс ЛИДАРа. При этом блок управления для повышения эффективности работы системы может отключать ЛИДАР в период времени, когда активирован второй режим работы матрицы.
Способ может быть реализован таким образом, что основным режимом работы является сканирование ЛИДАРом максимального поля зрения, при это блок анализа данных анализирует только данные от ЛИДАРа, и в случае появления объекта интереса в поле зрения определяет координаты объекта в поле зрения, после чего блок управления переводит матрицу в режим работы, обеспечивающий считывание информации с группы смежных пикселей, соответствующих вычисленным координатам объекта, и перестраивает поле сканирования ЛИДАРа на область пространства, отображаемую группой смежных пикселей.
Способ может быть реализован таким образом, что в зависимости от внешнего сигнала блок управления переводит матрицу в режим работы, обеспечивающий считывание информации с группы пикселей, а также блок управления изменяет режим сканирования ЛИДАРа таким образом, что каждому считываемому пикселю матрицы соответствует сканирующий импульс ЛИДАРа.
Способ может быть реализован таким образом, что основным режимом работы является считывание с матрицы группы несмежных пикселей, при этом блок анализа данных анализирует данные только с матрицы и, в случае выявления объекта интереса в поле зрения, вычисляет его координаты, после чего блок управления переключается на считывание группы смежных пикселей матрицы, соответствующих вычисленным координатам объекта, и переводит ЛИДАР в режим сканирования области поля зрения, отображаемой данной группой смежных пикселей так, что каждому смежному пикселю группы соответствует сканирующий импульс ЛИДАРа.
При реализации вышеперечисленных способов работы системы существует возможность определить пространственную скорость объекта интереса, которая рассчитывается на основе данных с ЛИДАРа о скорости приближения-удаления объекта, а также на основе данных о скорости в плоскости, перпендикулярной направлению сканирующего импульса ЛИДАРа, за счет сравнения изменения положения объекта на последовательных кадрах с матрицы.
Для реализации указанных выше способов можно использовать матрицу для видеокамеры с аппаратной архитектурой, которая позволяет считывать отдельные пиксели методом произвольного доступа за счет того, что в цепи считывания данных пикселей матрицы вводятся АЦП в количестве, равном максимально необходимому числу одновременно считываемых пикселей в группе, а также предусмотрена система мультиплексирования пикселей, обеспечивающая подключение выбранных произвольных пикселей к АЦП.
Для реализации указанных выше способов можно использовать систему, включающую жестко связанные между собой на общем основании ЛИДАР и видеокамеру с общим максимальным полем зрением, а также блок анализа данных и блок управления, отличающуюся тем, что используется матрица, обеспечивающая возможность считывания только группы пикселей.
Описание чертежей На фиг. 1 представлена блок-схема системы ЛИДАР-камера и введены следующие обозначения, поз. 1 - ЛИДАР, поз. 2 - видеокамера, поз. 3 - матрица камеры, поз. 4 - блок анализа данных, поз. 5 - блок управления, поз. 6 - максимальное поле зрения камеры и ЛИДАРа, поз. 7 - объект интереса.
На фиг. 2 представлен режим работы камеры, при котором считывается группа несмежных пикселей, заштрихованных черным цветом поз. 8, и при этом объект интереса поз. 7 попадает на пиксель поз. 9.
На фиг. 3 представлен режим работы камеры, при котором считывается группа смежных пикселей, заштрихованных черным цветом поз. 10, в которой находится объект интереса поз. 7.
Детальное описание решения
В описании принята следующая терминология и допущения.
Произвольный доступ к пикселям матрицы - способ считывания, при котором возможно адресное обращение к пикселям матрицы, минуя необходимость последовательного перебора всех.
Везде в описании подразумевается, что между каждым пикселем матрицы установлено точное соответствие с пространственными координатами участка поля, в которое направляется сканирующий импульс ЛИДАРа, например, на основе предварительно составленных калибровочных таблиц или формул.
Везде в описании подразумевается, что у ЛИДАРа и видеокамеры совпадает максимальное поле зрения.
Система для реализации изобретения изображена на фиг. 1 в виде блоков и содержит ЛИДАР (1), видеокамера (2), матрица камеры (3), блок анализа данных (4), блок управления (5). Как было указано выше, максимальное поле зрения (6) камеры (2) и ЛИДАРа (1) совпадает. Одним из важных качеств системы является возможность работы с большим полем зрения. Но при этом, для обнаружения и анализа относительно небольших объектов интереса, которые занимают небольшую часть поля, например велосипедист поз. 7, необходимо большое разрешение матрицы камеры и ЛИДАРа, что существенно увеличивает объем передаваемых данных и перегружает блок анализа данных. В результате снижается эффективность работы всей системы.
Для решения поставленной задачи предлагается способ передачи данных в системе, содержащей ЛИДАР, видео камеру с матрицей, блок анализа данных и блок управления, который основан на считывании только части пикселей матрицы. Так матрица может иметь два режима работы, изображенные на фиг. 2 и фиг. 3. На фиг. 2 представлен первый режим работы, при котором идет считывание несмежных пикселей (8) заштрихованных черным цветом. Получается изображение пониженного разрешения, что существенно снижает объем передаваемых данных и нагрузку на блок анализа данных. В случае попадания объекта интереса 7 в поле зрения 6 от ЛИДАРа и пикселя 9 приходит информация о положении объекта в поле зрения. Далее блок анализа данных рассчитывает координаты объекта (а также, например, и поперечную скорость), и на основе этого переключает матрицу во второй режим работы (фиг. 3), при котором идет считывание только группы смежных пикселей 10, в которой находится объект интереса 7. Таким образом, пространственное разрешение существенно повышается, но при этом объем передаваемых данных и нагрузка на блок анализа данных практически не меняется.
Далее, на основе картинки высокого разрешения ограниченной области поля зрения блок анализа данных может быстро и эффективно классифицировать объект интереса и, например, в случае использовании системы в автомобиле предотвратить аварию.
Изобретение может быть реализовано разными способами.
Например, в качестве основного режима работы матрицы можно выбрать первый. И в случае получения блоком анализа данных от ЛИДАРа сигнала о нахождении объекта интереса в определенной области поля зрения, блок управления переключает режим работы матрицы во второй таким образом, что система начинает передавать видео объекта в высоком разрешении без увеличения объема передаваемых данных от матрицы к блоку анализа данных.
При этом блок управления может либо перестроить поле сканирования ЛИДАРа на новую область поля зрения, на которую переключена матрица, либо отключить ЛИДАР на период работы матрицы во втором режиме.
Или в качестве основного режима работы системы может быть выбрано сканирование ЛИДАРом максимального поля зрения с выключенной матрицей. При этом блок анализа данных загружен только потоком информации от ЛИДАРа. В случае появления объекта интереса в поле зрения блок анализа данных определяет координаты объекта в поле зрения, после чего блок управления обеспечивает считывание информации с группы смежных пикселей матрицы, соответствующих вычисленным координатам объекта.
Можно реализовать изобретение и для более общего случая, когда в зависимости от внешнего управляющего сигнала блок управления обеспечит считывание группы пикселей матрицы и подстроит поле сканирования ЛИДАРа под указанную группу таким образом, что каждому считываемому пикселю матрицы соответствует сканирующий импульс ЛИДАРа.
Изобретение может быть реализовано таким образом, что основным режимом работы является считывание с матрицы группы несмежных пикселей при выключенном ЛИДАРе. При этом в блок анализа данных поступает только информация с указанной группы пикселей без сигнала от ЛИДАРа. На основе алгоритмов распознавания картинка с группы несмежных пикселей анализируется, и в случае выявления объекта интереса в поле зрения вычисляет его координаты, после чего блок управления переключается на считывание группы смежных пикселей матрицы, соответствующих вычисленным координатам объекта, и включает ЛИД АР таким образом, что его область сканирования соответствует группе смежных пикселей матрицы.
Во всех указанных выше случаях может быть реализовано вычисление пространственной скорости объекта интереса. Для этого блок анализа данных получает данные о скорости приближения-удаления объекта с ЛИДАРа и данные о скорости в плоскости, перпендикулярной направлению сканирующего импульса ЛИДАРа за счет сравнения изменения положений объекта на матрице. Зная компоненты скорости объекта от ЛИДАРа VLIDAR и от матрицы VCMOS блок анализа данных может вычислить пространственную скорость v как
V = yIVUDAR + VCMOS ·
Изобретение может быть основано на использовании матрицы со специальной аппаратной архитектурой. В отличие от существующих аналогов, в которых, как правило, используется только один АЦП, работающий последовательно с каждым пикселем через мультиплексор, в предлагаемой архитектуре используется несколько АЦП, которые через мультиплексор могут одновременно подключаться к нескольким пикселям. Для максимального увеличения быстродействия системы количество АЦП может быть равно количеству пикселей в группе.
Наконец, система для реализации перечисленных выше способов должна включать жестко связанные между собой на общем основании ЛИДАР и видеокамеру с общим максимальным полем зрением, а также блок анализа данных и блок управления. При этом матрица видеокамеры должна обеспечивать возможность считывания только выбранной группы пикселей.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ передачи данных в системе, содержащей ЛИДАР, видеокамеру с матрицей, у которых совпадает максимальное поле зрения, а также блок анализа данных и блок управления, отличающийся тем, что между каждым пикселем матрицы установлено точное соответствие с пространственными координатами участка поля, в которое направляется сканирующий импульс ЛИДАРа, и система имеет два режима работы, первый, при котором с матрицы считывается группа несмежных пикселей, и второй, при котором идет считывание только группы смежных пикселей, отвечающих за определенную область пространства в поле зрения.
2. Способ по п. 1, отличающийся тем, что основным режимом работы является первый, и в случае получения блоком анализа данных от ЛИДАРа сигнала о нахождении объекта интереса в определенной области поля зрения, блок управления переключает режим работы матрицы во второй таким образом, что система начинает передавать видео объекта без увеличения объема передаваемых данных от матрицы к блоку анализа данных.
3. Способ по п. 2, отличающийся тем, что при переключении режима работы матрицы блок управления перестраивает поле сканирования ЛИДАРа на область пространства, отображаемую группой смежных пикселей, при этом каждому смежному пикселю группы соответствует сканирующий импульс ЛИДАРа.
4. Способ по п. 1, отличающийся тем, что при переключении режима работы матрицы, блок управления отключает ЛИДАР.
5. Способ передачи данных в системе, содержащей ЛИДАР, видеокамеру с матрицей, у которых совпадает максимальное поле зрения, а также блок анализа данных и блок управления, отличающийся тем, что между каждым пикселем матрицы установлено точное соответствие с пространственными координатами участка поля, в которое направляется сканирующий импульс ЛИДАРа, и основным режимом работы является сканирование ЛИДАРом максимального поля зрения, при это блок анализа данных анализирует только данные от ЛИДАРа и в случае появления объекта интереса в поле зрения определяет координаты объекта в поле зрения, после чего блок управления переводит матрицу в режим работы, обеспечивающий считывание информации с группы смежных пикселей, соответствующих вычисленным координатам объекта, и перестраивает поле сканирования ЛИДАРа на область пространства, отображаемую группой смежных пикселей.
6. Способ передачи данных в системе, содержащей ЛИДАР, видеокамеру с матрицей, у которых совпадает максимальное поле зрения, а также блок анализа данных и блок управления, отличающийся тем, что между каждым пикселем матрицы установлено точное соответствие с пространственными координатами участка поля, в которое направляется сканирующий импульс ЛИДАРа, и в зависимости от внешнего сигнала блок управления переводит матрицу в режим работы, обеспечивающий считывание информации с группы пикселей, а также блок управления изменяет режим сканирования ЛИДАРа таким образом, что каждому считываемому пикселю матрицы соответствует сканирующий импульс ЛИДАРа.
7. Способ передачи данных в системе, содержащей ЛИДАР, видеокамеру с матрицей, у которых совпадает максимальное поле зрения, а также блок анализа данных и блок управления, отличающийся тем, что основным режимом работы является считывание с матрицы группы несмежных пикселей, при этом блок анализа данных анализирует данные только с матрицы и в случае выявления объекта интереса в поле зрения вычисляет его координаты, после чего блок управления переключается на считывание группы смежных пикселей матрицы, соответствующих вычисленным координатам объекта, и переводит ЛИДАР в режим сканирования области поля зрения, отображаемой группой смежных пикселей так, что каждому смежному пикселю группы соответствует сканирующий импульс ЛИДАРа.
8. Способ по пп. 2, 3, 5, 7 отличающийся тем, что блок анализа данных вычисляет скорость объекта в пространстве на основе данных с ЛИДАРа о скорости приближения-удаления объекта, а также на основе данных о скорости в плоскости, перпендикулярной направлению сканирующего импульса ЛИДАРа за счет сравнения изменения положения объекта на матрице.
9. Матрица для видеокамеры с аппаратной архитектурой, отличающейся тем, что позволяет считывать отдельные пиксели методом произвольного доступа за счет того, что в цепи считывания данных пикселей матрицы вводятся АЦП в количестве, равном максимально необходимому числу одновременно считываемых пикселей в группе, а также предусмотрена система мультиплексирования пикселей, обеспечивающая подключение выбранных произвольных пикселей к АЦП.
10. Система, включающая жестко связанные между собой на общем основании ЛИДАР и видео камеру с общим максимальным полем зрением, а также блок анализа данных и блок управления, отличающаяся тем, что включает матрицу по п. 9, обеспечивающую возможность считывания только группы пикселей.
PCT/RU2020/000388 2020-07-28 2020-07-28 Передача и обработка данных в системе лидар-видеокамера WO2022025784A1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/RU2020/000388 WO2022025784A1 (ru) 2020-07-28 2020-07-28 Передача и обработка данных в системе лидар-видеокамера

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2020/000388 WO2022025784A1 (ru) 2020-07-28 2020-07-28 Передача и обработка данных в системе лидар-видеокамера

Publications (1)

Publication Number Publication Date
WO2022025784A1 true WO2022025784A1 (ru) 2022-02-03

Family

ID=80036629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2020/000388 WO2022025784A1 (ru) 2020-07-28 2020-07-28 Передача и обработка данных в системе лидар-видеокамера

Country Status (1)

Country Link
WO (1) WO2022025784A1 (ru)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020145607A1 (en) * 1996-04-24 2002-10-10 Jerry Dimsdale Integrated system for quickly and accurately imaging and modeling three-dimensional objects
US20140247382A1 (en) * 2011-10-06 2014-09-04 Isis Innovation Limited Random Access Addressing on Active Pixel Image Sensor
RU2562391C1 (ru) * 2014-02-25 2015-09-10 Акционерное общество "Швабе Технологическая лаборатория" (АО "Швабе - Технологическая лаборатория") Способ и устройство оптической локации
WO2019122922A1 (en) * 2017-12-22 2019-06-27 Sportlight Technology Ltd Object tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020145607A1 (en) * 1996-04-24 2002-10-10 Jerry Dimsdale Integrated system for quickly and accurately imaging and modeling three-dimensional objects
US20140247382A1 (en) * 2011-10-06 2014-09-04 Isis Innovation Limited Random Access Addressing on Active Pixel Image Sensor
RU2562391C1 (ru) * 2014-02-25 2015-09-10 Акционерное общество "Швабе Технологическая лаборатория" (АО "Швабе - Технологическая лаборатория") Способ и устройство оптической локации
WO2019122922A1 (en) * 2017-12-22 2019-06-27 Sportlight Technology Ltd Object tracking

Similar Documents

Publication Publication Date Title
US9965719B2 (en) Subcategory-aware convolutional neural networks for object detection
US10783382B2 (en) Systems and methods for buffer-free lane detection
CN109740590B (zh) 基于目标跟踪辅助的roi精确提取方法及系统
US10691969B2 (en) Asynchronous object ROI detection in video mode
CN102510448B (zh) 多处理器嵌入式图像采集和处理方法和装置
CN110114807B (zh) 用于探测位于停车场内的突起对象的方法和系统
US20180239972A1 (en) Vehicle vision system with enhanced traffic sign recognition
EP3213257B1 (en) Image processing system
US10789502B2 (en) Extraneous-matter detecting apparatus and extraneous-matter detecting method
US20180208201A1 (en) System and method for a full lane change aid system with augmented reality technology
US20070274402A1 (en) Application of short term and long term background scene dynamics in motion detection
WO2007005688A1 (en) Monolithic image perception device and method
US7809164B2 (en) Methods and systems for identifying events for a vehicle
CN102509255B (zh) 高速图像采集和处理方法和装置
JP2021077350A (ja) 対象物のための対象物分類を生成するための方法および装置
WO2008053433A2 (en) Hand gesture recognition by scanning line-wise hand images and by extracting contour extreme points
US20100246975A1 (en) Method and apparatus for determining if imaging object is still
Teutsch et al. Detection and classification of moving objects from UAVs with optical sensors
JP3917252B2 (ja) 車両のナンバプレート認識装置および車両のナンバプレート認識方法
US7529404B2 (en) Digital video filter and image processing
WO2022025784A1 (ru) Передача и обработка данных в системе лидар-видеокамера
JP4088182B2 (ja) 画像情報処理システム
JP2009147479A (ja) 監視カメラおよび監視カメラシステム
Smith et al. Identification and tracking of maritime objects in near-infrared image sequences for collision avoidance
EP1993060A1 (en) Device for object detection in an image, and method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20946987

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27/06/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20946987

Country of ref document: EP

Kind code of ref document: A1