KR20190095592A - Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera - Google Patents

Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Download PDF

Info

Publication number
KR20190095592A
KR20190095592A KR1020180008322A KR20180008322A KR20190095592A KR 20190095592 A KR20190095592 A KR 20190095592A KR 1020180008322 A KR1020180008322 A KR 1020180008322A KR 20180008322 A KR20180008322 A KR 20180008322A KR 20190095592 A KR20190095592 A KR 20190095592A
Authority
KR
South Korea
Prior art keywords
data
candidate group
lidar
camera
object candidate
Prior art date
Application number
KR1020180008322A
Other languages
Korean (ko)
Other versions
KR102109941B1 (en
Inventor
박태형
권순섭
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020180008322A priority Critical patent/KR102109941B1/en
Publication of KR20190095592A publication Critical patent/KR20190095592A/en
Application granted granted Critical
Publication of KR102109941B1 publication Critical patent/KR102109941B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G01S17/936—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G01S17/023—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0031—Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
    • G06T3/06—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B60W2550/10—

Abstract

Disclosed are a method for detecting an object using a LiDAR sensor and a camera, and an apparatus therefor. Provided are the method for detecting an object using a LiDAR sensor and a camera, which detects an object candidate group through the ground removal and clustering processing in LiDAR data obtained from the LiDAR sensor, and projects the object candidate group on an image region photographed by the camera, and then generates a bounding box to detect an object of interest in an extracted object candidate group image, and the apparatus therefor.

Description

라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치{Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera}Object detection method using lidar sensor and camera and apparatus therefor {Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera}

본 발명의 실시예는 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치에 관한 것이다. An embodiment of the present invention relates to a method for detecting an object using a lidar sensor and a camera, and an apparatus therefor.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the embodiments of the present invention and do not constitute a prior art.

자율주행 자동차란 운전자가 자동차의 주행을 조작하는 것이 아닌 자동차 자체적으로 주행을 제어하여 목적지까지 이동하는 자동차를 말한다. 자율주행 자동차의 구동을 위해서는 운전자를 대신해 주변 환경을 감시하기 위한 다양한 종류의 센서가 필요로 하며, 이를 이용하여 사람, 장애물, 주변 차량 등을 검출하는 것은 매우 중요한 작업 중 하나이다. An autonomous vehicle refers to a vehicle that moves to a destination by controlling the driving of the vehicle itself, rather than the driver manipulating the driving of the vehicle. In order to drive an autonomous car, various types of sensors are required to monitor the environment for the driver, and detection of people, obstacles, and surrounding vehicles using one of these tasks is a very important task.

최근 자율주행 자동차와 관련된 연구에서는 사람이나 차량을 인식하기 위해 다양한 센서(예: 라이다, 카메라, 레이더, 초음파센서 등)를 융합하는 방식을 사용한다. 특히, 차량을 인식하는 성능을 극대화시키기 위하여 다양한 센서 중 라이다 센서와 카메라를 융합하는 방식이 많이 사용되고 있다. Recently, research on autonomous vehicles uses a method of fusing various sensors (eg, lidar, camera, radar, ultrasonic sensors, etc.) to recognize a person or a vehicle. In particular, among the various sensors, a method of fusing a lidar sensor and a camera is widely used to maximize a vehicle recognition performance.

라이다 센서는 레이저를 물체에 비춤으로써 물체까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지할 수 있는 기술이다. 라이다 센서는 획득 가능한 거리정보의 범위가 약 100 m로 넓으며, 거리정보의 정확도가 약 ± 3 cm로, 스테레오 카메라, 초음파 센서 등의 다른 거리 센서에 비해 높아 자율주행 자동차에 많이 사용된다. The lidar sensor is a technology that can detect the distance to the object, direction, speed, temperature, material distribution and concentration characteristics by shining the laser on the object. The range of distance information that can be obtained is wide as about 100 m, and the accuracy of distance information is about ± 3 cm, which is widely used in autonomous vehicles because it is higher than other distance sensors such as stereo cameras and ultrasonic sensors.

라이다 센서의 특징은 거리정보를 이용하여 정확하다. 하지만, 먼 거리를 센싱하는 경우에는 밀도가 낮아 정확성이 떨어질 수 있다. The characteristics of the lidar sensor are accurate using distance information. However, when sensing long distances, the density may be low and the accuracy may be reduced.

한편, 카메라는 사람의 눈과 비슷한 컬러정보가 들어 있어 차량 인식 기술에서 많이 사용한다. 카메라의 단점으로는 거리정보를 파악할 수 없다는 점이 있다. On the other hand, since the camera contains color information similar to the human eye, it is widely used in vehicle recognition technology. The disadvantage of the camera is that it cannot determine distance information.

[표 1]에서는 라이다 센서와 카메라의 특징을 기재한다.Table 1 describes the characteristics of the LiDAR sensor and the camera.

Figure pat00001
Figure pat00001

일반적으로 라이다 센서와 카메라를 융합하여 차량을 검출하는 알고리즘은 두 가지 경우로 나눌 수 있다. 첫 번째는 센서의 특성을 이용하여 차량을 검출하는 방법이다. 도 1의 (a)를 참고하면, 첫 번째 방법은 카메라를 이용하여 차량을 먼저 검출하고, 라이다 센서의 거리정보를 이용하여 거리정보를 포함하는 차량을 검출한다. 한편, 첫 번째 방법은 영상의 전체 범위에서 차량을 우선적으로 검출해야 하기 때문에 처리속도나 정확도가 떨어지는 문제점이 있다. In general, the algorithm for detecting a vehicle by fusing a lidar sensor and a camera can be divided into two cases. The first method is to detect the vehicle using the characteristics of the sensor. Referring to FIG. 1A, the first method first detects a vehicle using a camera, and detects a vehicle including distance information by using distance information of a lidar sensor. On the other hand, the first method has a problem that the processing speed or accuracy is lowered because the vehicle must be detected first in the entire range of the image.

두 번째는 딥러닝 기술을 이용해서 차량을 검출하는 방법이다. 도 1의 (b)를 참고하면, 두 번째 방법은 3D 형태인 라이다 데이터를 2D 영상으로 변환하고, 변환된 2D 이미지 데이터와 카메라 데이터를 함께 딥러닝 알고리즘 처리하여 차량을 검출한다. 한편, 두 번째 방법은 고채널 라이다 센서를 이용하는 경우에는 유용하나, 저채널 라이다에서는 라이다 데이터가 부족하기 때문에 성능이 저하되는 문제점이 있다. 이에 따라, 본 발명에서는 저채널 라이다 센서와 카메라를 이용하여 차량을 검출하는 방법을 제안한다. The second method is to detect a vehicle using deep learning technology. Referring to (b) of FIG. 1, the second method converts LiDAR data having a 3D form into a 2D image, and detects a vehicle by processing the deep learning algorithm together with the converted 2D image data and camera data. On the other hand, the second method is useful in the case of using a high-channel lidar sensor, but in the low-channel lidar there is a problem that the performance is degraded because of lack of lidar data. Accordingly, the present invention proposes a method for detecting a vehicle using a low channel lidar sensor and a camera.

본 발명의 실시예는 라이다 센서로부터 획득한 라이다 데이터에서 지면 제거 및 클러스터링 처리를 통해 객체 후보군을 검출하고, 카메라로 촬영된 이미지 영역에 객체 후보군을 투영한 후 바운딩 박스(Bounding Box)를 생성하여 추출된 객체 후보군 영상 내에서 관심객체를 검출하는 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치를 제공하는 데 주된 목적이 있다.An embodiment of the present invention detects the object candidate group through the ground removal and clustering process from the lidar data obtained from the lidar sensor, projects the object candidate group on the image area photographed by the camera and generates a bounding box The object of the present invention is to provide a method and an apparatus for detecting an object using a LiDAR sensor and a camera for detecting an object of interest in an extracted object candidate group image.

본 발명의 실시예의 일 측면에 의하면, 라이다 센서로부터 라이다 데이터를 획득하고, 라이다 데이터에서 지면 데이터를 제거하여 객체 후보군을 검출하는 라이다 데이터 처리부; 상기 객체 후보군의 데이터를 카메라로 촬영된 이미지 영역에 투영하여 객체 후보군 영상을 추출하는 영상 투영 처리부; 및 상기 객체 후보군 영상 내에서 관심객체를 검출하는 객체 검출 처리부를 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치를 제공한다.According to an aspect of an embodiment of the present invention, a lidar data processing unit for obtaining a lidar data from the lidar sensor, and removes the ground data from the lidar data to detect the object candidate group; An image projection processor configured to extract data of the object candidate group by projecting data of the object candidate group onto an image area photographed by a camera; And an object detection processor configured to detect an object of interest in the object candidate group image.

또한, 본 발명의 실시예의 다른 측면에 의하면, 라이다 센서 및 카메라를 이용하여 객체를 검출하는 방법에 있어서, 상기 라이다 센서로부터 라이다 데이터를 획득하고, 라이다 데이터에서 지면 데이터를 제거하여 객체 후보군을 검출하는 라이다 데이터 처리과정; 상기 객체 후보군의 데이터를 상기 카메라로 촬영된 이미지 영역에 투영하고, 바운딩 박스(Bounding Box)를 생성하여 객체 후보군 영상을 추출하는 영상 투영 처리과정; 및 상기 객체 후보군 영상 내에서 관심객체를 검출하는 객체 검출 처리과정을 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출방법을 제공한다.According to another aspect of an embodiment of the present invention, in a method for detecting an object using a lidar sensor and a camera, the lidar data is obtained from the lidar sensor, and the ground data is removed from the lidar data. Lidar data processing for detecting candidate groups; An image projection process of projecting data of the object candidate group onto an image area photographed by the camera, generating a bounding box, and extracting an object candidate group image; And an object detection process of detecting an object of interest in the object candidate group image.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 라이다 데이터를 카메라의 화각(FOV)에 맞게 변환하여 관심객체를 검출함에 따라 처리하는 데이터 수를 감소시킬 수 있고, 빠른 차량 검출이 가능한 효과가 있다. As described above, according to the exemplary embodiment of the present invention, the lidar data may be converted according to the camera's field of view (FOV) to reduce the number of data to be processed as the object of interest is detected, and the effect of enabling rapid vehicle detection may be have.

또한, 본 발명의 실시예에 의하면, 딥러닝 알고리즘을 사용하지 않고 빠른 객체 검출이 가능하며, 고채널 또는 저채널의 구별 없이 모든 라이다 센서에 적용할 수 있는 효과가 있다. In addition, according to an embodiment of the present invention, it is possible to quickly detect an object without using a deep learning algorithm, and there is an effect that can be applied to all lidar sensors without distinguishing a high channel or a low channel.

또한, 본 발명의 실시예에 의하면, 자율 주행뿐만 아니라 라이다 센서와 카메라가 달린 일반 차량에서도 주변 차량을 검출 가능한 효과가 있다. In addition, according to the embodiment of the present invention, not only autonomous driving but also a general vehicle equipped with a lidar sensor and a camera can detect the surrounding vehicles.

도 1은 일반적으로 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 객체 검출 시스템을 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 저채널 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 순서도이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 라이다 데이터의 처리 동작을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따른 영상 투영 처리 동작을 설명하기 위한 예시도이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 객체 검출 처리 동작을 설명하기 위한 예시도이다. FIG. 1 is a diagram for describing a method of detecting an object by fusing a lidar sensor and a camera.
2 is a block diagram schematically illustrating an object detection system according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a method of detecting an object by fusing a low channel lidar sensor and a camera according to an exemplary embodiment of the present invention.
4A and 4B are exemplary diagrams for describing an operation of processing LiDAR data according to an exemplary embodiment of the present invention.
5 is an exemplary diagram for describing an image projection processing operation according to an embodiment of the present invention.
6A and 6B are exemplary diagrams for describing an object detection processing operation according to an embodiment of the present invention.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어, '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings. In describing the present invention, The terms 'unit' and 'module' refer to a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.

본 실시예는 자율주행 자동차에 배치되는 적어도 하나의 라이다(LiDAR: Light Detection and Ranging) 센서 및 카메라를 융합하는 방식에 대해 기재하고 있으나 이는 일 실시예에 따른 것으로서, 라이다 데이터 및 영상을 융합하여 객체를 검출하는 다양한 분야에 적용될 수 있다. The present embodiment describes a method of fusing at least one LiDAR (Light Detection and Ranging) sensor and a camera, which is disposed in an autonomous vehicle, but this is in accordance with an embodiment. It can be applied to various fields for detecting an object.

도 2는 본 발명의 실시예에 따른 객체 검출 시스템을 개략적으로 나타낸 블록 구성도이다.2 is a block diagram schematically illustrating an object detection system according to an exemplary embodiment of the present invention.

본 실시예에 따른 객체 검출 시스템(200)은 라이다 센서(210), 카메라(220) 및 객체 검출장치(230)를 포함한다. 도 2의 객체 검출 시스템(200)은 일 실시예에 따른 것으로서, 도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 객체 검출 시스템(200)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. The object detecting system 200 according to the present exemplary embodiment includes a lidar sensor 210, a camera 220, and an object detecting apparatus 230. The object detection system 200 of FIG. 2 is in accordance with one embodiment, and not all of the blocks shown in FIG. 2 are required components. In another embodiment, some blocks included in the object detection system 200 may be added or changed. Or may be deleted.

라이다 센서(210)는 차량의 일측에 장착되며, 차량의 주변(전방)을 향하여 레이저를 발사한다. 라이다 센서(210)에 의해 발사된 레이저는 산란되거나 반사되어 차량으로 되돌아올 수 있다. The lidar sensor 210 is mounted on one side of the vehicle and emits a laser toward the periphery (front) of the vehicle. The laser emitted by the lidar sensor 210 may be scattered or reflected back to the vehicle.

라이다 센서(210)는 레이저를 이용하여 측정한 거리정보(Distance Information)를 3D 공간에서 점들의 집합(Point의 Set) 형태로 나타내며, 이러한 거리정보를 포함하는 라이다 데이터를 객체 검출장치(230)로 전달한다. 예를 들어, 라이다 센서(210)는 레이저가 되돌아오는 시간, 강도, 주파수의 변화, 편광 상태의 변화를 기초로, 차량의 주변에 위치하는 타겟의 물리적 특성에 대한 정보를 획득할 수 있다. The lidar sensor 210 represents distance information measured using a laser in the form of a set of points in a 3D space, and the lidar data including the distance information is detected by the object detecting apparatus 230. To pass). For example, the lidar sensor 210 may obtain information about physical characteristics of a target located near the vehicle based on a time, intensity, frequency change, and polarization state of the laser return.

라이다 센서(210)는 차량의 배치 위치에 따라 복수 개가 설치되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 라이다 센서(210)는 복수의 저해상도 라이다 센서를 이용하여 고해상도 라이다 센서를 이용한 것과 같은 결과물을 도출할 수 있다. 라이다 센서(210)는 일정 각도(Angle)마다 주변의 물체(장애물)까지의 거리(Distance)를 측정한다. 여기서, 일정 각도는 축(Axis)에 따라 수평각 해상도 및 수직각 해상도(horizontal/vertical angular resolution)로 구분된다. It is preferable that a plurality of lidar sensors 210 are installed according to the arrangement position of the vehicle, but are not necessarily limited thereto. The lidar sensor 210 may derive the same result as using the high resolution lidar sensor using a plurality of low resolution lidar sensors. The lidar sensor 210 measures a distance to a nearby object (obstacle) at a certain angle. Here, the predetermined angle is classified into a horizontal angle resolution and a horizontal / vertical angular resolution according to an axis.

카메라(220)는 차량의 일측에 장착되며, 차량의 주변환경(전방)을 촬영한 영상을 생성하고, 생성된 영상을 객체 검출장치(230)로 전달하는 동작을 수행한다. 여기서, 영상은 복수의 이미지를 포함하고, 각각의 이미지에는 사람의 눈과 비슷한 컬러정보가 포함되어 있는 2D 형태의 이미지 데이터를 의미한다. 카메라(220)는 차량 주변의 영상에 대한 이미지를 생성할 수 있다면 다양한 형태의 영상 촬영장치로 구현될 수 있다. The camera 220 is mounted on one side of the vehicle, generates an image of the surrounding environment (front) of the vehicle, and transmits the generated image to the object detecting apparatus 230. In this case, the image includes a plurality of images, each of which means image data in a 2D form that includes color information similar to a human eye. If the camera 220 can generate an image of an image around the vehicle, the camera 220 may be implemented by various types of image capturing apparatuses.

객체 검출장치(230)는 라이다 센서(210) 및 카메라(220)와 연동하여 객체(예: 차량)을 검출하는 장치로서, 객체 검출장치(230)는 저채널의 라이다 센서(210) 및 카메라(220)를 사용하여 소정의 거리에 있는 전방의 차량을 검출한다. 구체적으로, 객체 검출장치(230)는 라이다 센서(210)로부터 획득한 포인트 클라우드 데이터를 클러스터링을 통해 지면 제거를 수행하고, 객체가 있을 것으로 추정되는 영역을 객체 후보군으로 검출한다. 이후, 객체 검출장치(230)는 검출된 객체 후보군을 카메라(220)로 촬영한 이미지 영역에 투영시켜 바운딩 박스(Bounding Box)를 생성하고, 바운딩 박스에서 특징을 추출하여 차량 또는 비차량으로 판별한다. The object detecting apparatus 230 is an apparatus for detecting an object (eg, a vehicle) in cooperation with the lidar sensor 210 and the camera 220. The object detecting apparatus 230 is a low channel lidar sensor 210 and The camera 220 is used to detect a vehicle in front of the predetermined distance. In detail, the object detecting apparatus 230 performs ground removal on the point cloud data obtained from the lidar sensor 210 through clustering, and detects an area in which the object is expected to be an object candidate group. Subsequently, the object detecting apparatus 230 generates a bounding box by projecting the detected object candidate group onto the image area photographed by the camera 220, and extracts a feature from the bounding box to determine a vehicle or a non-vehicle. .

본 실시예에 따른 객체 검출장치(230)는 라이다 데이터 처리부(232), 영상 투영 처리부(234) 및 객체 검출 처리부(236)를 포함한다. The object detecting apparatus 230 according to the present exemplary embodiment includes a lidar data processor 232, an image projection processor 234, and an object detection processor 236.

본 실시예에 따른 라이다 데이터 처리부(232)는 라이다 센서(210)로부터 획득한 라이다 데이터를 가공 처리하여 객체 후보군을 검출한다. 구체적으로, 라이다 데이터 처리부(232)는 라이다 데이터에서 지면에 해당하는 지면 데이터를 제거하고, 나머지 데이터를 클러스터링(Clustering) 처리하여 객체 후보군을 검출한다. 여기서, 라이다 데이터는 라이다 센서(210)가 구비된 차량 전방의 높이와 관련된 수직 해상도 범위의 데이터를 의미한다.The lidar data processor 232 according to the present exemplary embodiment processes the lidar data obtained from the lidar sensor 210 to detect an object candidate group. In detail, the lidar data processor 232 removes ground data corresponding to the ground from the lidar data, and clusters the remaining data to detect the object candidate group. Here, the lidar data refers to data of a vertical resolution range related to the height of the front of the vehicle provided with the lidar sensor 210.

라이다 데이터 처리부(232)는 라이다 센서(210)의 설치 위치에 따라 수신되는 라이다 데이터는 상이하지만, 라이다 데이터에는 기본적으로 지면으로 반사된 지면 데이터가 포함된다. 따라서, 라이다 데이터 처리부(232)는 라이다 데이터에서 지면 데이터를 제거하는 동작을 반드시 수행해야만 한다. Lidar data processing unit 232 is different depending on the installation position of the lidar sensor 210, the lidar data is different, the lidar data basically includes the ground data reflected to the ground. Accordingly, the lidar data processor 232 must perform an operation of removing ground data from the lidar data.

예를 들어, 라이다 데이터 처리부(232)는 멀티스케일의 Operator를 정의하고 라이다 데이터의 포인트 클라우드로부터 표면을 검출하고, 소정의 반경을 선정하여 일정 구역 내에 있는 포인트들을 하나의 클러스터로 그룹화한다. 이후, 라이다 데이터 처리부(232)는 적어도 두 개의 반경을 통해 포인트 클라우드의 위치 차이에 따라 생성된 노말 벡터의 차를 이용하여 지면 데이터를 제거한다. 만약, 라이다 데이터 처리부(232)는 노말 벡터의 차이가 없는 구역이 존재하는 경우, 해당 영역을 지면으로 판단하여 제거할 수 있다. 라이다 데이터 처리부(232)에서 지면을 제거하는 동작은 도 4a에서 구체적으로 설명하도록 한다. For example, the lidar data processor 232 defines a multi-scale operator, detects a surface from a point cloud of lidar data, selects a predetermined radius, and groups the points within a predetermined area into a cluster. Thereafter, the lidar data processor 232 removes the ground data by using a difference between normal vectors generated according to the position difference of the point cloud through at least two radii. If there is an area where there is no difference between the normal vectors, the lidar data processor 232 may determine the area as the ground and remove the area. An operation of removing the ground by the lidar data processor 232 will be described in detail with reference to FIG. 4A.

라이다 데이터 처리부(232)는 지면 데이터가 제거된 라이다 데이터를 클러스터링(Clustering) 처리하여 객체 후보군을 검출한다. 여기서, 클러스터링 처리는 각 객체 별 거리가 떨어져 있을 것을 고려하여 유클리디안 거리를 이용한 클터스터링 방식을 적용할 수 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 라이다 데이터 처리부(232)는 유클리디안 거리를 이용한 클러스터링을 적용하여 세그멘테이션(Segmentation)을 수행하고, 세그멘테이션된 라이다 데이터를 객체 후보군으로 형성한다. The lidar data processor 232 detects the object candidate group by clustering the lidar data from which the ground data is removed. Here, the clustering process may be applied to the clustering method using the Euclidean distance in consideration of the distance of each object, but is not necessarily limited thereto. For example, the lidar data processor 232 performs segmentation by applying clustering using Euclidean distance, and forms segmented lidar data as an object candidate group.

라이다 데이터 처리부(232)는 지면 제거 및 클러스터링을 처리할 때, 라이다 센서(210)의 수평 방향의 데이터를 카메라의 화각(FOV: Field of View)만큼만 적용하여 처리한다. The lidar data processor 232 applies the horizontal data of the lidar sensor 210 only by a field of view (FOV) of the camera when processing the ground removal and clustering.

라이다 데이터 처리부(232)는 클러스터의 모든 결과를 객체 후보군으로 형성할 수 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 클러스터링 처리하는 과정에서 클러스터의 수가 너무 많으면 소정의 기준에 따라 일부 클러스터를 제거하여 객체 후보군에서 탈락시키고, 나머지 클러스터를 객체 후보군으로 형성할 수 있다. The lidar data processor 232 may form all the results of the cluster as an object candidate group, but is not limited thereto. For example, if the number of clusters is too large in the clustering process, some clusters may be removed from the object candidate group according to a predetermined criterion, and the remaining clusters may be formed as the object candidate group.

영상 투영 처리부(234)는 객체 후보군 데이터를 카메라(220)로 촬영한 영상에 투영하는 과정이다. 객체 후보군 데이터는 3D 데이터이고 이미지 데이터는 2D 데이터이며, 영상 투영 처리부(234)는 객체 후보군 데이터를 이미지 데이터에 투영시키기 위해 [수학식 1]을 적용한다. The image projection processor 234 is a process of projecting the object candidate group data onto the image photographed by the camera 220. The object candidate group data is 3D data and the image data is 2D data, and the image projection processor 234 applies Equation 1 to project the object candidate group data onto the image data.

Figure pat00002
Figure pat00002

여기서 Ip는 이미지 내의 픽셀 좌표, Lp는 라이다 데이터의 포인트 좌표를 의미한다. 또한, K는 카메라(220) 내부 파라미터로 3 × 3 행렬이고, R은 라이다 센서(210)와 카메라(220)의 회전 관계 행렬, t는 위치 관계 벡터를 의미한다. 마지막으로 s는 [수학식 1]을 보정하기 위한 기 설정된 소정의 상수를 의미한다. Where I p is the pixel coordinate in the image and L p is the point coordinate of the LiDAR data. In addition, K is a 3 × 3 matrix as an internal parameter of the camera 220, R is a rotation relationship matrix between the lidar sensor 210 and the camera 220, and t is a positional relationship vector. Finally, s denotes a predetermined constant for correcting [Equation 1].

라이다 데이터 처리부(232)의 클러스터링 과정에서 카메라(220)의 화각(FOV: Field of View)보다 더 넓게 클러스터 범위가 설정된 경우, 영상 투영 처리부(234)는 객체 후보군 데이터를 이미지 영역에 투영하는 과정에서 객체 후보군 데이터를 조정할 수 있다. 예를 들어, 영상 투영 처리부(234)는 영상 투영 시 이미지 영역의 크기 밖으로 나가거나 과도하게 겹쳐있는 클러스터가 존재하는 경우 해당 클러스터를 제거할 수 있다. When the cluster range is set to be wider than the field of view (FOV) of the camera 220 in the clustering process of the lidar data processor 232, the image projection processor 234 projects the object candidate group data onto the image area. You can adjust the object candidate data in the. For example, the image projection processing unit 234 may remove the cluster when there is a cluster that is out of the size of the image area or excessively overlapped when the image is projected.

객체 후보군 데이터의 데이터 수가 기 설정된 임계값 이하인 경우, 영상 투영 처리부(234)는 영상 투영 처리 후 객체 후보군 데이터를 이용하여 차량을 검출하기 어렵다. 이에 따라, 영상 투영 처리부(234)는 객체 후보군 데이터를 카메라(220) 이미지에 투영한 후 바운딩 박스(Bounding Box)를 생성한다. 영상 투영 처리부(234)는 [수학식 2] 내지 [수학식 5]를 이용하여 높이의 최소값(xn_min) 및 최대값(xn_max), 너비의 최소값(yn_min) 및 최대값(yn_max)을 산출하여 바운딩 박스를 생성한다. When the number of data of the object candidate group data is less than or equal to a preset threshold, the image projection processor 234 may not detect the vehicle using the object candidate group data after the image projection process. Accordingly, the image projection processor 234 projects the object candidate group data onto the camera 220 image and then generates a bounding box. The image projection processor 234 may use the following equations (2) to (5) to determine the minimum and maximum values of the height (x n _ min) and the maximum value (x n _ max), the minimum value of the width (y n _min) and the maximum value ( calculating a y n _max) to generate a bounding box.

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

Figure pat00005
Figure pat00005

Figure pat00006
Figure pat00006

[수학식 2] 내지 [수학식 5]에서, N은 객체 후보군의 개수, I는 객체 후보군 데이터에 들어있는 포인트의 수를 의미하고, xni, yni는 n 번째 객체 후보군의 i 번째 포인트의 x, y 값을 의미한다. 또한, α, β는 이미지에서 바운딩 박스를 만들기 위한 상수를 의미한다. In Equations 2 to 5, N denotes the number of object candidate groups, I denotes the number of points contained in the object candidate group data, and x ni , y ni denote the i-th point of the n-th object candidate group. It means x and y values. Also, α and β mean constants for making a bounding box in an image.

영상 투영 처리부(234)는 카메라(220)의 이미지에 객체 후보군 데이터를 투영시켜, 바운딩 박스를 갖는 객체 후보군 영상을 생성한다. 도 5의 (a) 및 (b)에 도시된 바와 같이, 영상 투영 처리부(234)는 객체 후보군 데이터를 카메라(220)로 촬영한 영상에 투영하여 바운딩 박스를 생성한다. The image projection processor 234 projects object candidate group data onto an image of the camera 220 to generate an object candidate group image having a bounding box. As shown in FIGS. 5A and 5B, the image projection processor 234 generates a bounding box by projecting object candidate group data onto an image captured by the camera 220.

객체 검출 처리부(236)는 객체 후보군 영상에서 최종적으로 관심객체(차량)를 검출하는 동작을 수행한다. 객체 검출 처리부(236)는 클러스터 과정, 영상 투영 과정에서 객체 후보군들이 제거되고, 남은 객체 후보군에 대해 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, HOG(Histograms of Oriented Gradients) 기법 등의 객체 검출 알고리즘을 적용하여 관심객체 검출한다. The object detection processor 236 finally detects an object of interest (vehicle) from the object candidate group image. The object detection processing unit 236 removes the object candidate groups in the cluster process and the image projection process, and identifies the remaining object candidate groups using a neural network, a support vector machine (SVM) technique, and AdaBoost using a Haar-like feature. The object of interest is detected by applying an object detection algorithm such as the identification method and the histograms of oriented gradients (HOG).

객체 검출 처리부(236)는 객체 후보군 영상을 모두 동일한 크기로 변환하고, 변환된 객체 후보군 영상에서 특징 벡터를 생성한다. 이후, 객체 검출 처리부(236)는 특징 벡터의 사이즈를 동일하게 맞추기 위하여 객체 후보군 영상의 크기 변환한다. 객체 검출 처리부(236)는 HOG(Histogram of Oriented Gradient) 방식을 이용하여 특징 벡터를 생성하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 예를 들어, 객체 검출 처리부(236)는 객체 후보군 영상을 일정 크기로 분할하고 각 셀마다 픽셀들의 방향에 대한 히스토그램으로 나타내고, 엣지의 방향 정보를 이용하여 사람, 자동차와 같이 고유의 독특한 윤곽선 정보를 갖는 관심객체를 식별할 수 있다. The object detection processor 236 converts all of the object candidate group images to the same size, and generates a feature vector from the converted object candidate group images. Thereafter, the object detection processor 236 converts the size of the object candidate group image in order to equalize the size of the feature vector. The object detection processor 236 preferably generates a feature vector using a histogram of oriented gradient (HOG) method, but is not necessarily limited thereto. For example, the object detection processor 236 divides the object candidate group image into a predetermined size and displays a histogram of the directions of the pixels for each cell, and uses unique edge information such as a person and a car, using edge direction information. Identify objects of interest

객체 검출 처리부(236)는 생성된 특징 벡터를 차량 판별 알고리즘에 적용하여 최종적으로 차량을 검출하여 검출 결과정보를 생성한다. 객체 검출 처리부(236)는 SVM(Support Vector Machine)을 사용하여 차량 여부를 판별할 수 있으나 반드시 이에 한정되는 것은 아니다. The object detection processor 236 applies the generated feature vector to the vehicle discrimination algorithm to finally detect the vehicle to generate detection result information. The object detection processor 236 may determine whether the vehicle is using a support vector machine (SVM), but is not limited thereto.

객체 검출 처리부(236)는 생성된 특징 벡터를 기반으로 차량에 해당하는 관심객체인지 비차량인지 여부를 판별할 수 있다. 예를 들어, 객체 검출 처리부(236)는 차량에 대한 특징 벡터에 대한 클래스가 지정된 데이터 집합을 기준으로 특징 벡터가 차량에 해당하는지 여부를 분류하여 관심객체를 검출할 수 있다. 관심객체의 검출 결과는 도 6b에 도시되어 있다. The object detection processor 236 may determine whether the object of interest corresponds to the vehicle or the non-vehicle based on the generated feature vector. For example, the object detection processor 236 may classify whether the feature vector corresponds to the vehicle based on a data set in which the class of the feature vector for the vehicle is designated, and detect the object of interest. The detection result of the object of interest is shown in FIG. 6B.

도 3은 본 발명의 실시예에 따른 저채널 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 순서도이다. 3 is a flowchart illustrating a method of detecting an object by fusing a low channel lidar sensor and a camera according to an exemplary embodiment of the present invention.

객체 검출장치(230)는 라이다 센서(210)를 이용하여 측정된 라이다 데이터를 획득한다(S310). 여기서, 라이다 데이터는 라이다 센서(210)가 구비된 차량 전방의 높이와 관련된 수직 해상도 범위의 데이터를 의미하며, 예컨대, 차량의 전방에 대한 포인트 클라우드 데이터를 의미한다. The object detecting apparatus 230 obtains the measured lidar data using the lidar sensor 210 (S310). Here, the lidar data refers to data of a vertical resolution range related to the height of the front of the vehicle equipped with the lidar sensor 210, for example, point cloud data of the front of the vehicle.

객체 검출장치(230)는 라이다 데이터에서 지면 관련 데이터를 제거하고(S320), 클러스커링 처리를 통해 객체 후보군을 검출한다(S330). 예를 들어, 객체 검출장치(230)는 일정구역 내에 있는 포인트들을 하나의 클러스터로 그룹화하고, 상기 클러스터 내의 적어도 두 개의 반경을 통해 포인트 클라우드의 위치 차이에 따라 생성된 노말 벡터의 차를 이용하여 상기 지면 데이터를 제거한다. 또한, 객체 검출장치(230)는 유클리디안 거리(Euclidean Distance)를 이용한 클러스터링을 적용하여 세그멘테이션(Segmentation)을 수행하고, 세그멘테이션된 라이다 데이터를 객체 후보군으로 검출한다. The object detecting apparatus 230 removes the ground-related data from the lidar data (S320), and detects the object candidate group through the clustering process (S330). For example, the object detecting apparatus 230 groups the points in a certain area into one cluster and uses the difference of the normal vector generated according to the position difference of the point cloud through at least two radii within the cluster. Remove ground data. In addition, the object detecting apparatus 230 performs segmentation by applying clustering using an Euclidean distance, and detects segmented lidar data as an object candidate group.

객체 검출장치(230)는 객체 후보군을 카메라(220)로 촬영한 이미지 영역에 투영한다(S340). 객체 검출장치(230)는 객체 후보군의 3D 데이터를 2D 이미지 영역에 투영한다.The object detecting apparatus 230 projects the object candidate group on the image area photographed by the camera 220 (S340). The object detecting apparatus 230 projects 3D data of the object candidate group in the 2D image area.

객체 검출장치(230)는 객체 후보군을 이미지 영역에 투영하면서 바운딩 박스를 생성하고(S350), 바운딩 박스에 근거하여 객체 후보군 영상을 검출한다.The object detecting apparatus 230 generates a bounding box while projecting the object candidate group on the image area (S350), and detects the object candidate group image based on the bounding box.

객체 검출장치(230)는 객체 후보군의 개수, 객체 후보군의 데이터에 들어있는 포인트의 수를 기반으로 높이의 최소값(xn_min) 및 최대값(xn_max), 너비의 최소값(yn_min) 및 최대값(yn_max)을 산출하여 바운딩 박스를 생성할 수 있다. The object detecting apparatus 230 based on the number of object candidate groups, the number of points in the data of the object candidate groups, the minimum value (x n _ min) and the maximum value (x n _ max) of the height, and the minimum value of the width (y n _ min) And the maximum value y n _ max to calculate the bounding box.

객체 검출장치(230)는 바운딩 박스에 대한 특징 벡터를 추출하고(S360), 특징 벡터를 기반으로 차량 여부를 판별하여 검출 결과정보 생성한다(S370). 객체 검출장치(230)는 복수의 객체 후보군 영상의 크기를 동일하게 변환하고, 객체 후보군 영상 각각의 특징정보를 추출하여 관심객체 여부를 판별할 수 있다. 객체 검출장치(230)는 HOG(Histogram of Oriented Gradient) 방식을 이용하여 특징정보를 추출하고, SVM(Support Vector Machine) 방식을 이용하여 관심객체 여부를 판별하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. The object detecting apparatus 230 extracts a feature vector for the bounding box (S360), determines whether the vehicle is based on the feature vector, and generates detection result information (S370). The object detecting apparatus 230 may determine the object of interest by converting the sizes of the plurality of object candidate group images to the same and extracting feature information of each of the object candidate group images. The object detecting apparatus 230 may extract feature information using a histogram of oriented gradient (HOG) method and determine whether an object of interest is using a support vector machine (SVM) method, but is not limited thereto.

도 4a 및 도 4b는 본 발명의 실시예에 따른 라이다 데이터의 처리 동작을 설명하기 위한 예시도이다. 4A and 4B are exemplary diagrams for describing an operation of processing LiDAR data according to an exemplary embodiment of the present invention.

도 4a를 참고하면, 객체 검출장치(230)는 일정 영역 내의 라이다 데이터(포인트 클라우드)에서 소정의 한 점을 기준으로 적어도 두 개의 반경을 도출하고, 두 개의 반경을 기초로 산출된 노말 벡터(Normal Vector)의 차를 이용하여 지면 데이터를 제거한다. Referring to FIG. 4A, the object detecting apparatus 230 derives at least two radii based on a predetermined point from LiDAR data (point cloud) in a certain area, and calculates a normal vector (based on the two radii). Ground data is removed using the difference of Normal Vector).

예를 들어, 객체 검출장치(230)는 소정의 한 점을 중심으로 제1 반경(rs) 및 제2 반경(rl)을 설정한다. 여기서, 제1 반경은 소정의 두 점을 기반으로 형성된 Small Radius를 의미하고, 제2 반경은 다른 소정의 두 점을 기반으로 형성된 Large Radius를 의미한다. 즉, 제1 반경은 제2 반경보다 작은 크기의 반경(rs < rl)인 것이 바람직하다. For example, the object detecting apparatus 230 sets a first radius r s and a second radius r l around a predetermined point. Here, the first radius means Small Radius formed based on two predetermined points, and the second radius means Large Radius formed based on two other predetermined points. That is, the first radius is preferably a radius r s <r l of a size smaller than the second radius.

객체 검출장치(230)는 제1 반경 및 제2 반경 각각의 반경 내에 포함된 라이다 데이터를 이용하여 두 개의 노말 벡터(Normal Vector) 제1 노말 벡터(ns) 및 제2 노말 벡터(nl)를 산출하고, 제1 노말 벡터 및 제2 노말 벡터의 차이값(Δn)을 이용하여 지면에 대한 지면 데이터를 제거한다. The object detecting apparatus 230 may use two normal vectors, a first normal vector n s , and a second normal vector n l using LiDAR data included in each radius of each of the first radius and the second radius. ), the calculated and, using the first normal vector and the difference value of the second normal vector (Δ n) removing the ground data relative to the ground.

도 4a의 (a)는 제1 반경(rs) 및 제1 노말 벡터(ns)를 나타내고, 도 4a의 (b)는 제2 반경(rl) 및 제2 노말 벡터(nl)를 나타낸다. 도 4a의 (c)는 제1 노말 벡터 및 제2 노말 벡터의 차이값(Δn)을 나타낸다. 4A shows a first radius r s and a first normal vector n s , and FIG. 4A shows a second radius r l and a second normal vector n l . Indicates. Of Figure 4a (c) illustrates a first normal vector and the difference value of the second normal vector (Δ n).

객체 검출장치(230)는 노말 벡터 간의 차이가 없는 구역이 존재하는 경우, 해당 영역은 지면으로 간주하여 제거한다. If there is an area where there is no difference between normal vectors, the object detecting apparatus 230 removes the corresponding area as the ground.

도 4b의 (a)는 객체 검출장치(230)에서 클러스터링을 통해 객체 후보군을 검출하는 동작을 나타낸다. 또한, 도 4b의 (b)는 좌측 영상에서 지면 제거 및 클러스터링 처리하여 우측 영상과 같이 객체 후보군이 검출된 결과영상을 도시한다. 4B illustrates an operation of detecting an object candidate group through clustering in the object detecting apparatus 230. In addition, FIG. 4B (b) illustrates a result image in which object candidate groups are detected as in the right image by performing ground removal and clustering on the left image.

도 6a 및 도 6b는 본 발명의 실시예에 따른 객체 검출 처리 동작을 설명하기 위한 예시도이다.6A and 6B are exemplary diagrams for describing an object detection processing operation according to an embodiment of the present invention.

도 6a는 객체 검출장치(230)의 객체 검출 처리부(236)에 대한 차량검출 알고리즘을 나타낸다. 여기서, 차량검출 알고리즘은 객체 후보군 영상에서 최종적으로 관심객체 즉, 차량을 검출하는 알고리즘을 의미한다 6A illustrates a vehicle detection algorithm for the object detection processor 236 of the object detection apparatus 230. Here, the vehicle detection algorithm refers to an algorithm for finally detecting an object of interest, ie, a vehicle, in the image of the object candidate group.

본 실시예에 따른 객체 검출 처리부(236)는 복수의 객체 후보군 영상을 모두 동일한 크기로 변환시키고, 동일한 크기가 된 객체 후보군 영상에 대해 HOG(Histogram of Oriented Gradient) 방식을 적용하여 특징을 추출하고, 추출된 특징에 따라 특징 벡터를 생성한다. 여기서, 객체 후보군 영상의 크기를 변환하는 동작은 특징 벡터의 사이즈를 동일하게 맞추기 위하여 수행된다. 이후, 객체 검출 처리부(236)는 생성된 특징 벡터를 차량 판별 알고리즘 예컨대, SVM(Support Vector Machine) 방식을 이용하여 최종적으로 주변 차량을 검출한다. The object detection processor 236 according to the present embodiment converts the plurality of object candidate group images to the same size, extracts a feature by applying a histogram of oriented gradient (HOG) method to the object candidate group image having the same size, A feature vector is generated according to the extracted feature. Here, the operation of converting the size of the object candidate group image is performed to equally size the feature vectors. Subsequently, the object detection processor 236 finally detects the neighboring vehicles using the generated feature vector using a vehicle discrimination algorithm, for example, a support vector machine (SVM) method.

도 6b의 (a) 및 (b)는 바운딩 박스가 생성된 좌측 영상에서 전술한 객체 검출 처리부(236)의 객체 검출 동작을 적용하여 우측 영상과 같이 관심 객체를 검출한 결과를 도시한다. 6B and 6B illustrate a result of detecting an object of interest like the right image by applying the object detection operation of the object detection processor 236 described above to the left image in which the bounding box is generated.

이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the embodiments of the present invention, and those skilled in the art to which the embodiments of the present invention pertain various modifications without departing from the essential characteristics of the embodiments of the present invention. Modifications may be possible. Therefore, the embodiments of the present invention are not intended to limit the technical spirit of the embodiments of the present invention, but to describe, and the scope of the technical spirit of the embodiments of the present invention is not limited by these embodiments. The protection scope of the embodiments of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the embodiments of the present invention.

200: 객체 검출 시스템 210: 라이다 센서
220: 카메라 230: 객체 검출장치
232: 라이다 데이터 처리부 234: 영상 투영 처리부
236: 객체 검출 처리부200: object detection system 210: lidar sensor
220: camera 230: object detection device
232: Lidar data processing unit 234: Image projection processing unit
236: object detection processing unit

Claims (8)

라이다 센서로부터 라이다 데이터를 획득하고, 라이다 데이터에서 지면 데이터를 제거하여 객체 후보군을 검출하는 라이다 데이터 처리부;
상기 객체 후보군의 데이터를 카메라로 촬영된 이미지 영역에 투영하여 객체 후보군 영상을 추출하는 영상 투영 처리부; 및
상기 객체 후보군 영상 내에서 관심객체를 검출하는 객체 검출 처리부
를 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.A lidar data processor configured to obtain lidar data from the lidar sensor and to remove ground data from the lidar data to detect an object candidate group;
An image projection processor configured to extract data of the object candidate group by projecting data of the object candidate group onto an image area photographed by a camera; And
An object detection processor detecting an object of interest in the object candidate group image
Object detection apparatus using a lidar sensor and a camera comprising a. 제1항에 있어서,
상기 라이다 데이터 처리부는,
일정구역 내에 있는 포인트들을 하나의 클러스터로 그룹화하고, 상기 클러스터 내의 적어도 두 개의 반경을 통해 포인트 클라우드의 위치 차이에 따라 생성된 노말 벡터의 차를 이용하여 상기 지면 데이터를 제거하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 1,
The lidar data processing unit,
Grouping points in a region into a cluster and removing the ground data by using a difference of normal vectors generated according to a position difference of a point cloud through at least two radii within the cluster. Object detection device using a sensor and a camera. 제1항에 있어서,
상기 라이다 데이터 처리부는,
유클리디안 거리(Euclidean Distance)를 이용한 클러스터링을 적용하여 세그멘테이션(Segmentation)을 수행하고, 세그멘테이션된 라이다 데이터를 상기 객체 후보군으로 검출하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 1,
The lidar data processing unit,
An object detection apparatus using a lidar sensor and a camera, characterized in that segmentation is performed by applying clustering using an Euclidean distance, and segmented lidar data is detected as the object candidate group. 제1항에 있어서,
상기 영상 투영 처리부는,
상기 라이다 데이터의 포인트 좌표, 상기 이미지 영역의 픽셀 좌표, 화전 관계 및 위치 관계 벡터 중 적어도 하나의 변수를 이용하여 상기 객체 후보군의 3D 데이터를 상기 이미지 영역에 투영하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 1,
The image projection processing unit,
A rider sensor for projecting 3D data of the object candidate group to the image region by using at least one variable among the point coordinates of the lidar data, the pixel coordinates of the image region, a currency relationship, and a positional relationship vector; Object detection device using a camera. 제1항에 있어서,
상기 영상 투영 처리부는,
상기 객체 후보군의 데이터를 기반으로 바운딩 박스(Bounding Box)를 생성하여 상기 객체 후보군 영상을 추출하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 1,
The image projection processing unit,
An object detecting apparatus using a lidar sensor and a camera, wherein a bounding box is generated based on data of the object candidate group to extract the object candidate group image. 제5항에 있어서,
상기 영상 투영 처리부는,
상기 객체 후보군의 개수, 상기 객체 후보군의 데이터에 들어있는 포인트의 수를 기반으로 높이의 최소값(xn_min) 및 최대값(xn_max), 너비의 최소값(yn_min) 및 최대값(yn_max)을 산출하여 상기 바운딩 박스를 생성하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 5,
The image projection processing unit,
The minimum value (x n _ min) and the maximum value (x n _ max) of the height, the minimum value (y n _ min) and the maximum value (y) based on the number of object candidate groups and the number of points in the data of the object candidate group. and n_max) to generate the bounding box. 제1항에 있어서,
상기 객체 검출 처리부는,
복수의 상기 객체 후보군 영상의 크기를 동일하게 변환하고, 상기 객체 후보군 영상 각각의 특징정보를 추출하여 상기 관심객체 여부를 판별하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 1,
The object detection processing unit,
And converting the sizes of the plurality of object candidate group images to be the same, and extracting feature information of each of the object candidate group images to determine whether the object of interest is a lidar sensor and a camera. 라이다 센서 및 카메라를 이용하여 객체를 검출하는 방법에 있어서,
상기 라이다 센서로부터 라이다 데이터를 획득하고, 라이다 데이터에서 지면 데이터를 제거하여 객체 후보군을 검출하는 라이다 데이터 처리과정;
상기 객체 후보군의 데이터를 상기 카메라로 촬영된 이미지 영역에 투영하고, 바운딩 박스(Bounding Box)를 생성하여 객체 후보군 영상을 추출하는 영상 투영 처리과정; 및
상기 객체 후보군 영상 내에서 관심객체를 검출하는 객체 검출 처리과정
을 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출방법.In a method for detecting an object using a lidar sensor and a camera,
A lidar data processing step of acquiring lidar data from the lidar sensor and detecting object candidate groups by removing ground data from the lidar data;
An image projection process of projecting data of the object candidate group onto an image area photographed by the camera, generating a bounding box, and extracting an object candidate group image; And
An object detection process of detecting an object of interest in the object candidate group image
Object detection method using a lidar sensor and a camera comprising a.
KR1020180008322A 2018-01-23 2018-01-23 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera KR102109941B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180008322A KR102109941B1 (en) 2018-01-23 2018-01-23 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180008322A KR102109941B1 (en) 2018-01-23 2018-01-23 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera

Publications (2)

Publication Number Publication Date
KR20190095592A true KR20190095592A (en) 2019-08-16
KR102109941B1 KR102109941B1 (en) 2020-05-12

Family

ID=67806566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180008322A KR102109941B1 (en) 2018-01-23 2018-01-23 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera

Country Status (1)

Country Link
KR (1) KR102109941B1 (en)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108326B1 (en) * 2019-12-19 2020-05-12 주식회사 세오 Artificial intelligence object identification method and system based on radar signal and camera image information identifying object
KR20200114114A (en) * 2019-03-27 2020-10-07 서울대학교산학협력단 Distance measurement device
KR102224106B1 (en) * 2019-11-25 2021-03-08 한국교통대학교산학협력단 Object detection system
KR102225387B1 (en) * 2020-07-14 2021-03-09 주식회사 사라다 Apparatus and method for monitoring images capable of deterrmining traveling status of vehicle based on lidar data
KR20210026412A (en) * 2019-08-30 2021-03-10 순천향대학교 산학협력단 Method for Real-time Object Detection Based on Lidar Sensor and Camera Using CNN
KR102227649B1 (en) * 2019-11-28 2021-03-15 한국전자기술연구원 Device and Method for verifying function of Automatic Driving
KR20210037955A (en) 2019-09-30 2021-04-07 인포뱅크 주식회사 Apparatus and method for tracking moving objects
WO2021090990A1 (en) * 2019-11-07 2021-05-14 네이버랩스 주식회사 Method for detecting reflectivity information of deep learning-based virtual environment point cloud data, and electronic device performing same
KR20210066572A (en) * 2019-11-28 2021-06-07 슈어소프트테크주식회사 Electronic device for combining image data and sensing data, and data combining method of the electronic device
KR20210093130A (en) * 2020-01-17 2021-07-27 한국전자통신연구원 System and method for fusion recognition using active stick filter
KR20210098594A (en) * 2020-01-31 2021-08-11 경북대학교 산학협력단 Device for acquriing vehicle position information and controlling mmthod thereof
KR20210111052A (en) * 2020-03-02 2021-09-10 건국대학교 산학협력단 Apparatus and method for classficating point cloud using semantic image
KR102310790B1 (en) * 2020-10-28 2021-10-07 연세대학교 산학협력단 Apparatus And Method For Correcting Errors Of Detected Objects Based On Point Cloud
KR102310612B1 (en) * 2021-06-17 2021-10-13 주식회사 인피닉 Method for predicting object of 2D image using object information of point group of a lidar, and computer program recorded on record-medium for executing method therefor
KR102310609B1 (en) * 2021-05-14 2021-10-13 주식회사 인피닉 Method for preprocessing 2D image using 3D data, and computer program recorded on record-medium for executing method therefor
KR102313944B1 (en) * 2021-05-14 2021-10-18 주식회사 인피닉 Method for tracking object crossing the boundary of the angle of view, and computer program recorded on record-medium for executing method therefor
KR102343051B1 (en) * 2021-06-17 2021-12-24 주식회사 인피닉 adjusting method of bounding box of camera image from point group of lidar, and computer program recorded on record-medium for executing method thereof
WO2021261680A1 (en) * 2020-06-26 2021-12-30 주식회사 에스오에스랩 Sensor data sharing and utilizing method
KR102348294B1 (en) * 2020-08-24 2022-01-12 한국철도기술연구원 self-driving vehicle control system using cognitive learning data and control method
KR102363691B1 (en) * 2021-05-07 2022-02-17 (주)뉴빌리티 Velocity estimation method of object for autonomous driving and apparatus
WO2022059955A1 (en) * 2020-09-15 2022-03-24 (주)스마트레이더시스템 Posture determination system based on radar point clouds
WO2022066547A1 (en) * 2020-09-24 2022-03-31 Argo Al, LLC Methods and systems for labeling lidar point cloud data
US11335012B2 (en) 2020-10-21 2022-05-17 Samsung Electronics Co., Ltd. Object tracking method and apparatus
KR20220071999A (en) 2020-11-23 2022-06-02 한국전자통신연구원 Apparatus for recogning object of automated driving system using error removal based on object classification and method using the same
KR20220102381A (en) 2021-01-13 2022-07-20 주식회사 트위니 Method and apparatus for object recognition using 2-d lidar
KR20230036243A (en) * 2021-09-07 2023-03-14 충북대학교 산학협력단 Real-time 3D object detection and tracking system using visual and LiDAR
KR20230089772A (en) * 2021-12-14 2023-06-21 주식회사 유니트론텍 System and method for controlling autonomous driving vehicle based on multiple sensor data
WO2023149781A1 (en) * 2022-02-07 2023-08-10 엘지전자 주식회사 Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data
US11790555B2 (en) 2020-01-17 2023-10-17 Electronics And Telecommunications Research Institute System and method for fusion recognition using active stick filter

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070036405A (en) * 2005-09-29 2007-04-03 에프엠전자(주) Sensing system in a traveling railway vehicle for sensing a human body or an obstacle on a railway track
KR20090021724A (en) * 2007-08-28 2009-03-04 주식회사 만도 Apparatus for discriminating forward objects of vehicle by using camera and laser scanner
KR20100111543A (en) * 2009-04-07 2010-10-15 주식회사 만도 Method and apparatus for recognizing vehicle
JP2012221456A (en) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc Object identification device and program
KR101491314B1 (en) * 2013-09-10 2015-02-06 현대자동차주식회사 Apparatus and Method for Recognizing of Obstacle using Laser Scanner
KR20160047863A (en) * 2014-10-23 2016-05-03 현대모비스 주식회사 Object detecting apparatus, and method for operating the same
KR20160077684A (en) * 2014-12-24 2016-07-04 한국항공우주연구원 Apparatus and method for tracking object
KR101715211B1 (en) * 2016-11-03 2017-03-13 한국건설기술연구원 Apparatus and method for detecting status of surface of road by using image and laser
KR20170126740A (en) * 2016-05-10 2017-11-20 서울대학교산학협력단 Apparatus and method for detecting object

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070036405A (en) * 2005-09-29 2007-04-03 에프엠전자(주) Sensing system in a traveling railway vehicle for sensing a human body or an obstacle on a railway track
KR20090021724A (en) * 2007-08-28 2009-03-04 주식회사 만도 Apparatus for discriminating forward objects of vehicle by using camera and laser scanner
KR20100111543A (en) * 2009-04-07 2010-10-15 주식회사 만도 Method and apparatus for recognizing vehicle
JP2012221456A (en) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc Object identification device and program
KR101491314B1 (en) * 2013-09-10 2015-02-06 현대자동차주식회사 Apparatus and Method for Recognizing of Obstacle using Laser Scanner
KR20160047863A (en) * 2014-10-23 2016-05-03 현대모비스 주식회사 Object detecting apparatus, and method for operating the same
KR20160077684A (en) * 2014-12-24 2016-07-04 한국항공우주연구원 Apparatus and method for tracking object
KR20170126740A (en) * 2016-05-10 2017-11-20 서울대학교산학협력단 Apparatus and method for detecting object
KR101715211B1 (en) * 2016-11-03 2017-03-13 한국건설기술연구원 Apparatus and method for detecting status of surface of road by using image and laser

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200114114A (en) * 2019-03-27 2020-10-07 서울대학교산학협력단 Distance measurement device
KR20210026412A (en) * 2019-08-30 2021-03-10 순천향대학교 산학협력단 Method for Real-time Object Detection Based on Lidar Sensor and Camera Using CNN
KR20210037955A (en) 2019-09-30 2021-04-07 인포뱅크 주식회사 Apparatus and method for tracking moving objects
WO2021090990A1 (en) * 2019-11-07 2021-05-14 네이버랩스 주식회사 Method for detecting reflectivity information of deep learning-based virtual environment point cloud data, and electronic device performing same
KR20210055178A (en) * 2019-11-07 2021-05-17 네이버랩스 주식회사 Method for determining intensity information of point cloud data on virtual environment based on deep learning and electronic device for executing the same
KR102224106B1 (en) * 2019-11-25 2021-03-08 한국교통대학교산학협력단 Object detection system
KR102227649B1 (en) * 2019-11-28 2021-03-15 한국전자기술연구원 Device and Method for verifying function of Automatic Driving
KR20210066572A (en) * 2019-11-28 2021-06-07 슈어소프트테크주식회사 Electronic device for combining image data and sensing data, and data combining method of the electronic device
KR102108326B1 (en) * 2019-12-19 2020-05-12 주식회사 세오 Artificial intelligence object identification method and system based on radar signal and camera image information identifying object
US11790555B2 (en) 2020-01-17 2023-10-17 Electronics And Telecommunications Research Institute System and method for fusion recognition using active stick filter
KR20210093130A (en) * 2020-01-17 2021-07-27 한국전자통신연구원 System and method for fusion recognition using active stick filter
KR20210098594A (en) * 2020-01-31 2021-08-11 경북대학교 산학협력단 Device for acquriing vehicle position information and controlling mmthod thereof
KR20210111052A (en) * 2020-03-02 2021-09-10 건국대학교 산학협력단 Apparatus and method for classficating point cloud using semantic image
US11878711B2 (en) 2020-06-26 2024-01-23 Sos Lab Co., Ltd. Method of sharing and using sensor data
US11858493B2 (en) 2020-06-26 2024-01-02 Sos Lab Co., Ltd. Method of sharing and using sensor data
WO2021261680A1 (en) * 2020-06-26 2021-12-30 주식회사 에스오에스랩 Sensor data sharing and utilizing method
KR102225387B1 (en) * 2020-07-14 2021-03-09 주식회사 사라다 Apparatus and method for monitoring images capable of deterrmining traveling status of vehicle based on lidar data
KR102348294B1 (en) * 2020-08-24 2022-01-12 한국철도기술연구원 self-driving vehicle control system using cognitive learning data and control method
WO2022059955A1 (en) * 2020-09-15 2022-03-24 (주)스마트레이더시스템 Posture determination system based on radar point clouds
US11756317B2 (en) 2020-09-24 2023-09-12 Argo AI, LLC Methods and systems for labeling lidar point cloud data
CN116420096A (en) * 2020-09-24 2023-07-11 埃尔构人工智能有限责任公司 Method and system for marking LIDAR point cloud data
WO2022066547A1 (en) * 2020-09-24 2022-03-31 Argo Al, LLC Methods and systems for labeling lidar point cloud data
US11335012B2 (en) 2020-10-21 2022-05-17 Samsung Electronics Co., Ltd. Object tracking method and apparatus
KR102310790B1 (en) * 2020-10-28 2021-10-07 연세대학교 산학협력단 Apparatus And Method For Correcting Errors Of Detected Objects Based On Point Cloud
KR20220071999A (en) 2020-11-23 2022-06-02 한국전자통신연구원 Apparatus for recogning object of automated driving system using error removal based on object classification and method using the same
US11507783B2 (en) 2020-11-23 2022-11-22 Electronics And Telecommunications Research Institute Apparatus for recognizing object of automated driving system using error removal based on object classification and method using the same
KR20220102381A (en) 2021-01-13 2022-07-20 주식회사 트위니 Method and apparatus for object recognition using 2-d lidar
KR102363691B1 (en) * 2021-05-07 2022-02-17 (주)뉴빌리티 Velocity estimation method of object for autonomous driving and apparatus
KR102313944B1 (en) * 2021-05-14 2021-10-18 주식회사 인피닉 Method for tracking object crossing the boundary of the angle of view, and computer program recorded on record-medium for executing method therefor
KR102310609B1 (en) * 2021-05-14 2021-10-13 주식회사 인피닉 Method for preprocessing 2D image using 3D data, and computer program recorded on record-medium for executing method therefor
KR102343051B1 (en) * 2021-06-17 2021-12-24 주식회사 인피닉 adjusting method of bounding box of camera image from point group of lidar, and computer program recorded on record-medium for executing method thereof
KR102310612B1 (en) * 2021-06-17 2021-10-13 주식회사 인피닉 Method for predicting object of 2D image using object information of point group of a lidar, and computer program recorded on record-medium for executing method therefor
KR20230036243A (en) * 2021-09-07 2023-03-14 충북대학교 산학협력단 Real-time 3D object detection and tracking system using visual and LiDAR
KR20230089772A (en) * 2021-12-14 2023-06-21 주식회사 유니트론텍 System and method for controlling autonomous driving vehicle based on multiple sensor data
WO2023149781A1 (en) * 2022-02-07 2023-08-10 엘지전자 주식회사 Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data

Also Published As

Publication number Publication date
KR102109941B1 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
KR102109941B1 (en) Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
US10522039B2 (en) Pedestrian recognition apparatus and method
JP5822255B2 (en) Object identification device and program
US10442438B2 (en) Method and apparatus for detecting and assessing road reflections
EP2246806B1 (en) Vision method and system for automatically detecting objects in front of a motor vehicle
JP5922257B2 (en) Vehicle periphery monitoring device
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
US10885351B2 (en) Image processing apparatus to estimate a plurality of road surfaces
JP6972797B2 (en) Information processing device, image pickup device, device control system, mobile body, information processing method, and program
JP6705497B2 (en) Image processing device, imaging device, mobile device control system, image processing method, program, and mobile device
JP6021689B2 (en) Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program
Ponsa et al. On-board image-based vehicle detection and tracking
JP2017207874A (en) Image processing apparatus, imaging apparatus, moving body device control system, image processing method, and program
JP2019191991A (en) Object information estimating apparatus estimating direction of object using point group, program therefor, and method thereof
US9064156B2 (en) Pattern discriminating apparatus
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
CN112733678A (en) Ranging method, ranging device, computer equipment and storage medium
KR102188164B1 (en) Method of Road Recognition using 3D Data
JP6972798B2 (en) Information processing device, image pickup device, device control system, mobile body, information processing method, and program
WO2022004495A1 (en) Obstacle detection device and obstacle detection method
JP2015001966A (en) Object detection device
JP6114572B2 (en) Object area estimation method, object area estimation apparatus, object detection apparatus including the object area, and vehicle.
EP3327696B1 (en) Information processing apparatus, imaging device, device control system, mobile body, information processing method, and program
JP6812701B2 (en) Image processing equipment, mobile device control system, image processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant