KR20170116305A - Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors - Google Patents

Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors Download PDF

Info

Publication number
KR20170116305A
KR20170116305A KR1020160043626A KR20160043626A KR20170116305A KR 20170116305 A KR20170116305 A KR 20170116305A KR 1020160043626 A KR1020160043626 A KR 1020160043626A KR 20160043626 A KR20160043626 A KR 20160043626A KR 20170116305 A KR20170116305 A KR 20170116305A
Authority
KR
South Korea
Prior art keywords
obstacle
sensor
information
lidar
recognition
Prior art date
Application number
KR1020160043626A
Other languages
Korean (ko)
Inventor
나기인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160043626A priority Critical patent/KR20170116305A/en
Publication of KR20170116305A publication Critical patent/KR20170116305A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Abstract

본 발명은 자유 주행 기술에 관한 것으로서, 상세하게는 차량 주변에 존재하는 장애물들의 정보를 통합 인식하는 장치에 관한 것이다. 본 발명의 일 실시 예에 따르면, 코파일럿 차량 주변의 장애물을 감지하여 센서 데이터를 생성하는 복수의 센서 모듈, 상기 복수의 센서 모듈 각각에 대응하며, 상기 복수의 센서 모듈 각각이 생성한 상기 센서 데이터로부터 장애물 정보를 생성하되, 상기 장애물 정보는 상기 센서 데이터의 입력시간에 연관되는, 복수의 센서 기반 장애물 인식 모듈, 및 상기 센서 데이터의 입력시간에 기초하여 상기 장애물의 융합 당시의 위치를 추정하고, 추정 결과에 기초하여 상기 복수의 센서 기반 장애물 인식 모듈이 생성한 상기 장애물 정보를 융합하는 장애물 인식 융합 모듈을 포함하는 코파일럿 차량을 위한 이종 다중 센서의 추적정보 융합기반 주변 장애물 인식 장치가 제공된다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a free running technology, and more particularly, to an apparatus for integrally recognizing information of obstacles existing in the vicinity of a vehicle. According to an embodiment of the present invention, there is provided a vehicle navigation system including a plurality of sensor modules for detecting obstacles around a co-pilot vehicle to generate sensor data, a plurality of sensors corresponding to the plurality of sensor modules, Based obstacle recognition module for generating obstacle information from the obstacle information, the obstacle information being related to the input time of the sensor data, and estimating a position at the time of convergence of the obstacle based on the input time of the sensor data, And an obstacle recognition fusion module for fusing the obstacle information generated by the plurality of sensor-based obstacle recognition modules on the basis of the estimation result. The apparatus for recognizing a peripheral obstacle based on tracking information fusion of a heterogeneous sensor for a co-pilot vehicle is provided.

Description

코파일럿 차량을 위한 이종 다중 센서의 추적정보 융합기반 주변 장애물 인식 장치{Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors}Field of the Invention [0001] The present invention relates to an object recognition device for co-pilot vehicle based on tracking information from different multiple sensors,

본 발명은 자유 주행 기술에 관한 것으로서, 상세하게는 차량 주변에 존재하는 장애물들의 정보를 통합 인식하는 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a free running technology, and more particularly, to an apparatus for integrally recognizing information of obstacles existing in the vicinity of a vehicle.

자율 주행 기술은 구글, 벤츠, 테슬라 등 최고의 기업들이 앞다투어 기술을 개발하고 있는 분야로써, 각 기업들이 상용화가 그리 멀지 않았다고 발표하고 있을 정도로 높은 수준에 이르고 있다. 하지만, 차량의 주행환경에는 불확실성이 높기 때문에, 자율 주행중인 차량이 모든 상황을 인식하는 것은 불가능하다. 특히, 차량 주변에 존재하는 다양한 객체의 정보(속도, 위치, 분류 등)를 인식하는 기능은 안전과 직결되기 때문에 자율 주행을 위해서 필수적이다. 하지만 주행 상황에 대한 불확실성이 상당히 높아 강인한 인식이 어렵다. 따라서 자율 주행을 위해 많은 기업과 연구소, 학교들은 주변 주행 환경인식, 특히 장애물 인식의 성능을 높이기 위해 많은 연구를 하고 있다. 또한, 이러한 주변 장애물 인식은 각 자율주행시스템의 특성을 반영하여 센서의 종류, 구조, 구현 등에 차이가 발생하며 인식 정보의 출력 형태도 차이가 있어 시스템에 강하게 연관되어 있다고 할 수 있다. Autonomous driving technology is one of the best companies such as Google, Mercedes Benz, and Tesla developing technologies, and each company has reached a level where commercialization is not far off. However, since the uncertainty is high in the driving environment of the vehicle, it is impossible for the vehicle under autonomous driving to recognize all the situations. Especially, the function of recognizing information (speed, position, classification, etc.) of various objects existing around the vehicle is essential for autonomous driving because it is directly connected with safety. However, uncertainty about the driving situation is so high that strong recognition is difficult. Therefore, many companies, research institutes, and schools are doing much research to improve the performance of perimeter driving environment, especially obstacle recognition, for autonomous driving. In addition, the recognition of the surrounding obstacles reflects the characteristics of each autonomous navigation system, so that the types, structures, and implementations of the sensors are different, and the output forms of the recognition information are also different.

종래의 주변 장애물 인식은 단일 카메라의 영상정보를 기반으로 ADAS(Advanced Driver Assistance System)을 위해 개발되어 왔다. 하지만, 단일 영상을 통한 객체 인식은 빛, 날씨와 같은 환경의 영향을 많이 받으며 거리에 대한 정보의 부재로 장애물의 위치와 속도를 정확하게 추정할 수 없다. 그렇기 때문에 자율주행에 직접적으로 단일 카메라 영상 정보만을 사용하는 것은 부적합하다. 이를 보완하기 위해서 LiDAR와 Radar와 같은 거리 센서들을 통해 자율 주행 차량 주변의 장애물들을 인식할 수 있다. 하지만, 단일 거리 센서만을 통해서 장애물을 인식하면, 고속도로, 일반도시환경 등과 같은 다양한 주행 환경에 맞는 인식 영역을 확보하기 어렵다. 또한 radar와 2D LiDAR의 경우, 인식 속도가 빠른 반면에 데이터가 부족해 정확한 인식 정보를 추출하기 어렵다. 한편, 3D LiDAR의 경우, 데이터의 밀도는 높지만 센서 데이터의 입력이 느려 고속으로 주행하는 장애물을 인식하기 어렵다. 그리고 자율 주행을 위해 단일 센서로 차량 주변의 모든 영역에 존재하는 장애물의 정보를 인식하는 것은 불가능 하다. Conventional peripheral obstacle recognition has been developed for ADAS (Advanced Driver Assistance System) based on image information of a single camera. However, object recognition through a single image is very influenced by environment such as light and weather, and the position and speed of the obstacle can not be accurately estimated due to the lack of information on the distance. Therefore, it is inappropriate to use only single camera image information directly for autonomous driving. In order to compensate for this, distance sensors such as LiDAR and Radar can recognize obstacles around autonomous vehicles. However, if the obstacle is recognized only through the single distance sensor, it is difficult to secure a recognition area suitable for various driving environments such as a highway and a general urban environment. Also, in the case of radar and 2D LiDAR, it is difficult to extract accurate recognition information due to lack of data, while recognition rate is fast. On the other hand, in the case of 3D LiDAR, although data density is high, input of sensor data is slow and it is difficult to recognize an obstacle traveling at high speed. And it is impossible to recognize the information of obstacles existing in all areas around the vehicle with a single sensor for autonomous driving.

종래의 센서 융합기반 장애물 인식의 경우, 센서별로 인식된 객제 정보를 통합하지 않고 독립적으로 활용하거나, 센서 데이터 수준에서 융합하여 인식하는 방식을 주로 사용해왔다. 센서 별로 인식된 객체를 독립적으로 활용하는 경우, 자율 주행 시스템은 단일 장애물에 대해 중복된 다수의 정보를 입력받게 되므로 정확한 환경인식이 어렵다. 그리고 센서별로 다른 특성의 정보들을 통합하지 않았기 때문에 단일 객체에 대한 정확하고 자세한 정보를 얻을 수 없다. 반면에, 센서 데이터 수준에서 융합하는 경우, 각 센서들은 각각 데이터 형식이 다르므로 각기 다른 방식의 장애물 인식 방법이 효율적이지만 단일한 추적 방법으로 장애물을 인식하기 때문에 추적성능이 떨어지게 된다. 또한 장애물 인식모듈들은 특정 주행시스템하고만 연동될 수 있도록 개발되어 있기 때문에 코파일럿을 위한 특화된 장애물 인식 모듈의 개발이 필요하다. In the case of conventional sensor fusion based obstacle recognition, it has been mainly used as a method to independently utilize object information per sensor, or to recognize it by fusion at sensor data level. In the case of using the objects recognized per sensor independently, it is difficult to recognize the accurate environment because the autonomous navigation system receives a lot of redundant information about a single obstacle. And since we did not integrate information of different characteristics per sensor, accurate and detailed information about single object can not be obtained. On the other hand, when fusion is performed at the sensor data level, each sensor has different data formats, so that different methods of recognizing obstacles are effective, but tracking performance is deteriorated because a single tracking method recognizes obstacles. Also, since the obstacle recognition modules are developed to be interlocked only with a specific traveling system, it is necessary to develop a specialized obstacle recognition module for co-pilots.

본 발명은 전술한 종래기술의 문제점을 해결하기 위하여, 코파일럿 차량을 위해 도로환경에 관계없이 자율 주행이 가능한 영역을 인식할 수 있는 다중 센서 구조와 센서에 따라 특화된 추적모듈의 결과를 융합하여 주변의 장애물을 강인하게 추적하는 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the problems of the conventional art described above, and it is an object of the present invention to provide a multi-sensor structure capable of recognizing an autonomous region for a co- The present invention provides a method for robustly tracking an obstacle of a vehicle.

본 발명은 이종의 다중 센서를 장착한 코파일럿 차량이 다양한 도로 환경에서 자율 주행을 하기 위해 센서 종류별로 개발된 추적 모듈에서 인식된 장애물 정보들을 융합하여 차량 주변에 존재하는 장애물들의 정보를 통합 인식하는 기술에 관한 것이다. 즉, 본 발명의 실시예에 따른 장애물 인식 모듈은 코파일럿 차량 시스템이 자율주행 기능을 수행하기 위해 다양한 환경에서 장애물을 인식할 수 있는 센서 구조와 Camera, Radar, 2D LiDAR, 3D LiDAR 등과 같은 각각의 센서에 특화된 인식 모듈에서 인식된 결과를 융합하여 하나의 통합된 장애물 인식 정보를 출력할 수 있는 모듈을 포함할 수 있다.In the present invention, a co-pilot vehicle equipped with a plurality of heterogeneous sensors integrates obstacle information recognized in a tracking module developed for each sensor type to autonomously travel in various road environments, Technology. That is, the obstacle recognition module according to the embodiment of the present invention includes a co- In order to realize the autonomous driving function, the vehicle system can integrate the sensor structure that recognizes the obstacles in various environments and the recognition result specific to each sensor such as the camera, the Radar, the 2D LiDAR, and the 3D LiDAR, And a module capable of outputting the obstacle recognition information.

본 발명의 일 실시 예에 따르면, 코파일럿 차량 주변의 장애물을 감지하여 센서 데이터를 생성하는 복수의 센서 모듈, 상기 복수의 센서 모듈 각각에 대응하며, 상기 복수의 센서 모듈 각각이 생성한 상기 센서 데이터로부터 장애물 정보를 생성하되, 상기 장애물 정보는 상기 센서 데이터의 입력시간에 연관되는, 복수의 센서 기반 장애물 인식 모듈, 및 상기 센서 데이터의 입력시간에 기초하여 상기 장애물의 융합 당시의 위치를 추정하고, 추정 결과에 기초하여 상기 복수의 센서 기반 장애물 인식 모듈이 생성한 상기 장애물 정보를 융합하는 장애물 인식 융합 모듈을 포함하는 코파일럿 차량을 위한 이종 다중 센서의 추적정보 융합기반 주변 장애물 인식 장치가 제공된다.According to an embodiment of the present invention, there is provided a vehicle navigation system including a plurality of sensor modules for detecting obstacles around a co-pilot vehicle to generate sensor data, a plurality of sensors corresponding to the plurality of sensor modules, Based obstacle recognition module for generating obstacle information from the obstacle information, the obstacle information being related to the input time of the sensor data, and estimating a position at the time of convergence of the obstacle based on the input time of the sensor data, And an obstacle recognition fusion module for fusing the obstacle information generated by the plurality of sensor-based obstacle recognition modules on the basis of the estimation result. The apparatus for recognizing a peripheral obstacle based on tracking information fusion of a heterogeneous sensor for a co-pilot vehicle is provided.

여기서, 센서 모듈은, RADAR, 3D LiDAR, 2D LiDAR, 카메라 중 하나이며, 각 센서 모듈의 인식 영역은 상이할 수 있다. 또한, 센서 모듈이 센서 데이터를 생성하는 시간 주기는 상이할 수 있다. Here, the sensor module is one of RADAR, 3D LiDAR, 2D LiDAR, and camera, and the recognition area of each sensor module may be different. In addition, the time period in which the sensor module generates the sensor data may be different.

여기서, 센서 기반 장애물 인식 모듈은, RADAR 기반 장애물 인식 모듈, 2D LiDAR 기반 위한 장애물 인식 모듈, 3D LiDAR 기반 장애물 인식 모듈, 카메라 기반 장애물 인식 모듈 중 하나일 수 있다.Here, the sensor-based obstacle recognition module may be one of a RADAR-based obstacle recognition module, a 2D LiDAR-based obstacle recognition module, a 3D LiDAR-based obstacle recognition module, and a camera-based obstacle recognition module.

본 발명의 실시예에 따르면, 주행속도에 상관없이 이종 다중 센서를 통해 각각 인식된 결과들을 융합하여 차량 주변에 존재하는 하나의 장애물에 대해 하나의 객체 인식 정보(형태, 분류, 위치, 속도 등)를 코파일럿 차량의 자율 주행을 위해 출력할 수 있다.According to the embodiment of the present invention, one object recognition information (type, classification, position, speed, etc.) is generated for one obstacle existing around the vehicle by merging the recognized results through the heterogeneous sensors regardless of the traveling speed, Can be output for autonomous running of the co-pilot vehicle.

이하에서, 본 발명은 첨부된 도면에 도시된 실시 예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시 예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다.
도 1은 코파일럿 차량을 위한 이종 다중 센서가 설치된 상태를 예시적으로 나타낸 도면이다.
도 2는 도 1에 도시된 이종 다중 센서에 의한 인식 범위를 예시적으로 나타낸 도면이다.
도 3은 이종 다중 센서의 출력 정보를 융합하는 장애물 인식 모듈을 예시적으로 나타낸 도면이다. Hereinafter, the present invention will be described with reference to the embodiments shown in the accompanying drawings. For the sake of clarity, throughout the accompanying drawings, like elements have been assigned the same reference numerals. It is to be understood that the present invention is not limited to the embodiments illustrated in the accompanying drawings, but may be embodied in many other specific forms without departing from the spirit or essential characteristics thereof.
1 is a diagram illustrating a state in which a heterogeneous sensor for a co-pilot vehicle is installed.
FIG. 2 is a diagram exemplifying the recognition range by the heterogeneous multi-sensor shown in FIG. 1. FIG.
3 is a diagram illustrating an example of an obstacle recognition module for fusing output information of a heterogeneous sensor.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

도 1은 코파일럿 차량을 위한 이종 다중 센서가 설치된 상태를 예시적으로 나타낸 도면이고, 도 2는 도 1에 도시된 이종 다중 센서에 의한 인식 범위를 예시적으로 나타낸 도면이다.FIG. 1 is a view illustrating a state in which a heterogeneous multi-sensor for a co-pilot vehicle is installed, and FIG. 2 is a view exemplarily showing a recognition range by the heterogeneous multi-sensor shown in FIG.

코파일럿 차량이 다양한 환경에서 속도에 관계없이 주행하기 위해서 다양한 센서를 조합하고 적합한 위치에 장착해야 한다. 도 1 및 도 2를 참조하면, 코파일럿 차량에 설치된 이종 다중 센서는, RADAR(100), 3D LiDAR(110), 2D LiDAR(120), 카메라(130)를 포함할 수 있다. 본 발명의 실시예에 따른 장애물 인식 모듈은 RADAR(100), 3D LiDAR(110), 2D LiDAR(120), 카메라(130)가 출력한 센서 데이터로부터 생성된 장애물 정보를 입력 받아 차량 주변의 장애물을 인식할 수 있다. In order to travel in a variety of environments, regardless of speed, the co-pilot vehicle must be equipped with a variety of sensors in a suitable position. Referring to FIGS. 1 and 2, the heterogeneous multiple sensor installed in the co-pilot vehicle may include a RADAR 100, a 3D LiDAR 110, a 2D LiDAR 120, and a camera 130. The obstacle recognition module according to the embodiment of the present invention receives the obstacle information generated from the sensor data outputted from the RADAR 100, the 3D LiDAR 110, the 2D LiDAR 120 and the camera 130, Can be recognized.

Radar(100)는 원거리 장애물의 인식에 적합하다. Radar(100)는 코파일럿 차량의 전방과 후방에 설치된다. 코파일럿 차량이 시속 100km의 속도로 고속도로를 주행하기 위해서 TTC(Time To Collision: 충돌시간)와 제동거리를 고려하여야 한다. 따라서, 코파일럿 차량의 전방과 후방에 약 150m의 인식영역이 확보되어야 하므로, 인식거리가 긴 Radar(100)가 전방과 후방에 장착된다.The radar 100 is suitable for recognition of a distant obstacle. The radar 100 is installed in front of and behind the co-pilot vehicle. In order for the co-pilot to drive the highway at a speed of 100 km / h, the time to collision (TTC) and the braking distance must be considered. Therefore, since a recognition area of about 150 m is secured in front of and behind the co-pilot vehicle, a radar 100 having a long recognition distance is mounted at the front and rear.

3D LiDAR(110)는 근접 장애물의 3차원 형태를 정확하게 인식하고 근거리 장애물 분류에 적합하며, 2D LiDAR(120)는 근접 장애물의 2차원 상의 형태를 고속으로 인식하기에 적합하다. 3D LiDAR(110)는 코파일럿 차량의 상부에 설치되며, 2개의 2D LiDAR(120)는 코파일럿 차량의 전방 좌우측에 설치되며, 2개의 2D LiDAR(120)는 코파일럿 차량의 후방 좌우측에 설치된다. 주변 50m정도이내의 장애물의 3차원 형태, 위치, 속도, 분류를 정확하게 인식하기 위해서 360도 회전형 3D LiDAR(110)는 코파일럿 차량의 상부에 설치된다. 한편, 코파일럿 차량 주변 50m이내 장애물의 2차원 형태와 위치, 속도를 빠르게 인식하기 위해서 4개의 2D LiDAR(120)가 코파일럿 차량의 주변에 설치된다. 3D LiDAR(110)는 100ms의 센서 입력주기를 가지며 2D LiDAR(120)는 20ms의 센서 입력주기를 가진다. 따라서, 3D LiDAR(110)와 2D LiDAR(120)의 인식 영역이 동일하더라도 자율 주행을 위한 빠른 대처를 위해서는 2D LiDAR(120)를 통한 장애물 인식이 추가적으로 필요하다. 또한 3D LiDAR(110)는 도 2에 도시된 바와 같이 코파일럿 차량의 상부에 설치되므로 차량의 근접영역에 사각지대가 발생한다. 이를 보완하기 위해서도 2D LiDAR(120)를 통한 장애물 인식이 필수적이다.The 3D LiDAR (110) correctly recognizes the three-dimensional shape of the obstacle and is suitable for local obstacle classification, and the 2D LiDAR (120) is suitable for recognizing the two-dimensional shape of the obstacle at high speed. The 3D LiDAR 110 is installed on the upper part of the co-pilot vehicle, the two 2D LiDARs 120 are installed on the front left and right sides of the co-pilot vehicle, and the two 2D LiDARs 120 are installed on the rear left and right sides of the co- . In order to accurately recognize the three-dimensional shape, position, speed, and classification of obstacles within a distance of about 50 m, a 360-degree rotating 3D LiDAR (110) is installed on the top of the co-pilot vehicle. On the other hand, four 2D LiDARs (120) are installed around the co-pilot vehicle to quickly recognize the two-dimensional shape, position and speed of the obstacle within 50 meters around the co-pilot vehicle. The 3D LiDAR 110 has a sensor input period of 100 ms and the 2D LiDAR 120 has a sensor input period of 20 ms. Therefore, even if the 3D LiDAR 110 and the 2D LiDAR 120 are the same, recognition of an obstacle through the 2D LiDAR 120 is further required for quick response for autonomous driving. Also, since the 3D LiDAR 110 is installed on the upper portion of the co-pilot vehicle as shown in FIG. 2, a blind spot is generated in the vicinity of the vehicle. In order to compensate for this, recognition of obstacles through 2D LiDAR (120) is essential.

카메라(130)는 색상 정보를 포함하고 데이터 밀도가 높아 객체 분류에 적합하다. 카메라(130)는 차량의 전면유리 하부에 설치되며, 지정된 객체에 대한 인식을 수행하며 정확한 위치를 인식하기는 어렵지만 RADAR(100), 3D LiDAR(110), 2D LiDAR(120)의 장애물 인식의 정보와 성능을 높이기 위해서 필요하다. 차량의 전방 인식은 안전과 직접적으로 연결되어 있으므로 정면에 카메라(130)를 설치함으로써, 다른 센서들과 조합하여 인식 성능을 향상 시킬 수 있다. The camera 130 includes color information and has a high data density, which makes it suitable for object classification. The camera 130 is installed under the windshield of the vehicle and recognizes the designated object and it is difficult to recognize the exact position. However, the information of the obstacle recognition of the RADAR 100, the 3D LiDAR 110, and the 2D LiDAR 120 And to improve performance. Since the forward recognition of the vehicle is directly connected to the safety, the camera 130 can be installed on the front surface, so that the recognition performance can be improved by combining with the other sensors.

도 3은 이종 다중 센서의 출력 정보를 융합하는 장애물 인식 모듈을 예시적으로 나타낸 도면이다.3 is a diagram illustrating an example of an obstacle recognition module for fusing output information of a heterogeneous sensor.

이종 다중 센서를 동시에 사용해 주변 장애물을 인식하기 때문에 장착된 모든 센서는 하나의 축을 기준으로 센서 데이터를 출력해야 한다. 따라서 데이터가 많고 장착된 모든 종류의 센서와 인식 영역을 공유하는 3D LiDAR를 기준으로 모든 이종 다중 센서가 생성하는 센서 데이터가 보정되어 출력된다. Since the sensor recognizes surrounding obstacles by using multiple heterogeneous sensors simultaneously, all mounted sensors must output sensor data based on one axis. Therefore, sensor data generated by all kinds of heterogeneous sensors based on 3D LiDAR, which shares the recognition area with all kinds of sensors installed with a lot of data, is calibrated and outputted.

도 3을 참조하면, 본 발명의 실시예에 따른 장애물 인식 모듈은 RADAR 기반 장애물 인식 모듈(200), 2D LiDAR 기반 위한 장애물 인식 모듈(210), 3D LiDAR 기반 장애물 인식 모듈(220), 카메라 기반 장애물 인식 모듈(230), 및 장애물 인식 데이터 융합 모듈(240)을 포함한다. 3, an obstacle recognition module according to an embodiment of the present invention includes a RADAR-based obstacle recognition module 200, a 2D LiDAR-based obstacle recognition module 210, a 3D LiDAR-based obstacle recognition module 220, A recognition module 230, and an obstacle recognition data fusion module 240.

RADAR 기반 장애물 인식 모듈(200)은 차량의 전후면에 설치된 RADAR(100)가 출력한 센서 데이터로부터 원거리 장애물 정보를 생성하여 출력한다. The RADAR-based obstacle recognition module 200 generates and outputs the remote obstacle information from the sensor data output by the RADAR 100 installed on the front and rear sides of the vehicle.

2D LiDAR 기반 장애물 인식 모듈(210)은 코파일럿 차량 주변에 설치된 4 개의 2D LiDAR(120)이 출력한 센서 데이터로부터 근거리 2차원 장애물 정보를 생성하여 출력한다. 4 개의 2D LiDAR(120)이 출력하는 4개의 센서 데이터는 하나의 좌표를 기준으로 정렬되어 하나의 데이터 구조를 갖게 된다. 2D LiDAR 기반 장애물 인식 모듈(210)은 융합된 데이터에서 추출한 장애물을 위치 기반의 추적 필터(JPDAF: Joint Probability Data Association Filter)로 추적하여 장애물의 위치와 형태, 속도를 근거리 2차원 장애물 정보로서 출력한다. The 2D LiDAR-based obstacle recognition module 210 generates near two-dimensional obstacle information from the sensor data output from the four 2D LiDARs 120 installed around the co-pilot vehicle, and outputs the two-dimensional obstacle information. The four sensor data output by the four 2D LiDARs 120 are arranged on the basis of one coordinate and have one data structure. The 2D LiDAR-based obstacle recognition module 210 tracks the obstacles extracted from the fused data to a Joint Probability Data Association Filter (JPDAF), and outputs the position, shape, and speed of the obstacle as near two-dimensional obstacle information .

3D LiDAR 기반 장애물 인식 모듈(220)은 3D LiDAR(110)가 생성한 점군데이터를 거리영상(Range Image)으로 구축하여 장애물을 검출한다. 예를 들어, 3D LiDAR 기반 장애물 인식 모듈(220)은 점군 매칭(ICP: Iterative Closest Points)과 추적 필터(JPDAF)를 융합하여 장애물의 형태, 위치, 속도를 근거리 3차원 장애물 정보로서 출력한다.The 3D LiDAR-based obstacle recognition module 220 constructs the point cloud data generated by the 3D LiDAR 110 as a range image to detect an obstacle. For example, the 3D LiDAR-based obstacle recognition module 220 fuses the Iterative Closest Points (ICP) and the tracking filter (JPDAF) and outputs the shape, position, and speed of the obstacle as near 3D obstacle information.

카메라 기반 장애물 인식 모듈(230)은 카메라(130)가 생성한 영상에서 객체 기반으로 장애물을 추출한다. 미리 정해진 객체에 대해 수집된 데이터 셋으로 학습된 카메라 기반 장애물 인식 모듈(200)은 코파일럿 차량의 전방에 존재하는 해당 장애물의 영상 내의 위치를 포함하는 장애물 분류 정보를 출력한다. The camera-based obstacle recognition module 230 extracts an obstacle based on the object from the image generated by the camera 130. The camera-based obstacle recognition module 200, which has been learned with the data set collected for the predetermined object, outputs the obstacle classification information including the position in the image of the obstacle present in front of the co-pilot vehicle.

장애물 인식 융합 모듈(240)은 원거리 장애물 정보, 근거리 2차원 장애물 정보, 근거리 3차원 장애물 정보, 및 장애물 분류 정보를 융합하여 하나의 장애물 정보로 통합한다. 예를 들어, 장애물 인식 융합 모듈(240)은 RADAR 기반 장애물 인식 모듈(200), 2D LiDAR 기반 위한 장애물 인식 모듈(210), 3D LiDAR 기반 장애물 인식 모듈(220), 카메라 기반 장애물 인식 모듈(230)에서 각각 출력된 장애물 정보를 입력 받아 이종 센서 추적 정보간 유사성을 마할라노비스 거리 기반의 데이터 연관(Data Association)방법을 통해 위치, 속도, 형태의 기준으로 비교하고 연관시켜 하나의 통합 장애물 정보를 생성한다. The obstacle recognition fusion module 240 fuses the distant obstacle information, the near two-dimensional obstacle information, the near three-dimensional obstacle information, and the obstacle classification information into one obstacle information. For example, the obstacle recognition fusion module 240 may include a RADAR based obstacle recognition module 200, a 2D LiDAR based obstacle recognition module 210, a 3D LiDAR based obstacle recognition module 220, a camera based obstacle recognition module 230, And the similarity between the heterogeneous sensor tracking information is compared with the reference of position, speed, and type through the data association method based on the Mahalanobis distance to generate a single integrated obstacle information do.

여기서, 이종 다중 센서를 사용하는데 있어 센서별로 생성된 장애물 정보를 동기화할 수 있다. RADAR 기반 장애물 인식 모듈(200), 2D LiDAR 기반 위한 장애물 인식 모듈(210), 3D LiDAR 기반 장애물 인식 모듈(220), 카메라 기반 장애물 인식 모듈(230)은 장애물을 인식하는데 사용한 센서 데이터의 입력시간을 장애물 정보에 연관시킨다. 센서 데이터의 입력시간을 이용하여 해당 장애물의 융합 당시의 위치를 추정할 수 있어서, 장애물 인식 융합 모듈(240)은 이종 다중 센서 별로 다른 시점에서 인식된 결과를 동일 시점에서 융합할 수 있게 된다. 또한 장애물 인식 융합 모듈(240)에서 영상 데이터와 3D LiDAR 데이터를 통한 장애물 정보는 해당 위치에서 융합된 장애물 데이터를 서로 통합하여 분류의 성능을 향상한다.Here, when using heterogeneous sensors, it is possible to synchronize the obstacle information generated for each sensor. The 2D LiDAR-based obstacle recognition module 210, the 3D LiDAR-based obstacle recognition module 220, and the camera-based obstacle recognition module 230 may be configured to detect the input time of the sensor data used for recognizing the obstacle Associate with obstacle information. The position of the obstacle at the time of fusion can be estimated using the input time of the sensor data so that the obstacle recognition fusion module 240 can fuse the recognized result at different points of time at the same time. In addition, the obstacle recognition fusion module 240 enhances the classification performance by integrating the obstacle data fused at the corresponding positions with the image data and the 3D LiDAR data.

그리고 장애물 인식 융합 모듈(240)은 통합된 장애물 정보를 기반으로 해당 장애물을, 예를 들어, 차량, 보행자, 자전거 등과 같이 정해진 종류로 분류한다. The obstacle recognition fusion module 240 classifies the obstacle into predetermined types such as a vehicle, a pedestrian, and a bicycle based on the integrated obstacle information.

또한, 장애물 인식 융합 모듈(240)은 획득된 정보(방향, 점군, 분류)를 이용해 장애물의 형태를 직육면체로 단순화해서 표현한다. 단순화가 불가능한 장애물의 경우는 Convex Hull 방법을 통해 장애물을 포함할 수 있는 최소의 다각형으로 단순화 한다. Also, the obstacle recognition fusion module 240 simplifies the shape of the obstacle to a rectangular parallelepiped by using the obtained information (direction, point group, classification). In the case of obstacles that can not be simplified, Convex Hull simplifies to the smallest polygon that can contain obstacles.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .

Claims (1)

코파일럿 차량 주변의 장애물을 감지하여 센서 데이터를 생성하는 복수의 센서 모듈;
상기 복수의 센서 모듈 각각에 대응하며, 상기 복수의 센서 모듈 각각이 생성한 상기 센서 데이터로부터 장애물 정보를 생성하되, 상기 장애물 정보는 상기 센서 데이터의 입력시간에 연관되는, 복수의 센서 기반 장애물 인식 모듈; 및
상기 센서 데이터의 입력시간에 기초하여 상기 장애물의 융합 당시의 위치를 추정하고, 추정 결과에 기초하여 상기 복수의 센서 기반 장애물 인식 모듈이 생성한 상기 장애물 정보를 융합하는 장애물 인식 융합 모듈을 포함하는 코파일럿 차량을 위한 이종 다중 센서의 추적정보 융합기반 주변 장애물 인식 장치.A plurality of sensor modules for detecting obstacles around the co-pilot vehicle and generating sensor data;
Based obstacle recognition module, which corresponds to each of the plurality of sensor modules, generates obstacle information from the sensor data generated by each of the plurality of sensor modules, and the obstacle information is related to an input time of the sensor data, ; And
Based obstacle recognition module for estimating a position of the obstacle at the time of fusion based on the input time of the sensor data and fusing the obstacle information generated by the plurality of sensor- A Peripheral Obstacle Recognition Device Based on Tracking Information Fusion of Heterogeneous Multi - Sensor for Pilot Vehicle.
KR1020160043626A 2016-04-08 2016-04-08 Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors KR20170116305A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160043626A KR20170116305A (en) 2016-04-08 2016-04-08 Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160043626A KR20170116305A (en) 2016-04-08 2016-04-08 Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors

Publications (1)

Publication Number Publication Date
KR20170116305A true KR20170116305A (en) 2017-10-19

Family

ID=60298215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160043626A KR20170116305A (en) 2016-04-08 2016-04-08 Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors

Country Status (1)

Country Link
KR (1) KR20170116305A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190111631A (en) 2018-03-23 2019-10-02 단국대학교 산학협력단 System and Method for Processing Multi type Sensor Signal Based on Multi modal Deep Learning
WO2020168742A1 (en) * 2019-02-20 2020-08-27 苏州风图智能科技有限公司 Method and device for vehicle body positioning
CN111797915A (en) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 Target detection method, target detection device, electronic equipment and computer-readable storage medium
KR20220102381A (en) 2021-01-13 2022-07-20 주식회사 트위니 Method and apparatus for object recognition using 2-d lidar
KR102510733B1 (en) * 2022-08-10 2023-03-16 주식회사 에이모 Method and apparatus of selecting learning target image frame from an image
EP4174799A1 (en) * 2021-10-26 2023-05-03 Zenseact AB Ads perception system perceived free-space verification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099906A (en) * 2000-09-22 2002-04-05 Mazda Motor Corp Object-recognizing device
JP2007310741A (en) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd Solid object recognition device
KR100961932B1 (en) * 2010-01-29 2010-06-10 진주산업대학교 산학협력단 Safety driving radar mapping system for a vehicle
KR20140078436A (en) * 2012-12-17 2014-06-25 현대자동차주식회사 Sensor fusion system and method thereof
KR20140098598A (en) * 2013-01-31 2014-08-08 한국전자통신연구원 Obstacle detecting apparatus and method for adaptation to vehicle velocity
KR101480651B1 (en) * 2013-12-09 2015-01-09 현대자동차주식회사 Method for Object Processing and Vehicle supporting the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099906A (en) * 2000-09-22 2002-04-05 Mazda Motor Corp Object-recognizing device
JP2007310741A (en) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd Solid object recognition device
KR100961932B1 (en) * 2010-01-29 2010-06-10 진주산업대학교 산학협력단 Safety driving radar mapping system for a vehicle
KR20140078436A (en) * 2012-12-17 2014-06-25 현대자동차주식회사 Sensor fusion system and method thereof
KR20140098598A (en) * 2013-01-31 2014-08-08 한국전자통신연구원 Obstacle detecting apparatus and method for adaptation to vehicle velocity
KR101480651B1 (en) * 2013-12-09 2015-01-09 현대자동차주식회사 Method for Object Processing and Vehicle supporting the same

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190111631A (en) 2018-03-23 2019-10-02 단국대학교 산학협력단 System and Method for Processing Multi type Sensor Signal Based on Multi modal Deep Learning
US11307064B2 (en) 2018-03-23 2022-04-19 Industry-Academic Cooperation Foundation, Dankook University Apparatus and method for processing multi-type sensor signal on the basis of multi-modal deep learning
WO2020168742A1 (en) * 2019-02-20 2020-08-27 苏州风图智能科技有限公司 Method and device for vehicle body positioning
CN111797915A (en) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 Target detection method, target detection device, electronic equipment and computer-readable storage medium
KR20220102381A (en) 2021-01-13 2022-07-20 주식회사 트위니 Method and apparatus for object recognition using 2-d lidar
EP4174799A1 (en) * 2021-10-26 2023-05-03 Zenseact AB Ads perception system perceived free-space verification
KR102510733B1 (en) * 2022-08-10 2023-03-16 주식회사 에이모 Method and apparatus of selecting learning target image frame from an image

Similar Documents

Publication Publication Date Title
EP3447528B1 (en) Automated driving system that merges heterogenous sensor data
US11636362B1 (en) Predicting trajectory intersection by another road user
KR20170116305A (en) Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors
Cho et al. A multi-sensor fusion system for moving object detection and tracking in urban driving environments
US11288890B2 (en) Vehicular driving assist system
US9884623B2 (en) Method for image-based vehicle localization
EP3678113B1 (en) Travel control method and travel control device for driving-assist vehicle
KR20210126072A (en) Estimating object properties using visual image data
US10664974B2 (en) System and method for object detection using edge characteristics
KR20170118501A (en) Driving path planning apparatus and method for autonomous vehicles
KR102635265B1 (en) Apparatus and method for around view monitoring using lidar
CN112149460A (en) Obstacle detection method and device
KR20190126024A (en) Traffic Accident Handling Device and Traffic Accident Handling Method
CN212220188U (en) Underground parking garage fuses positioning system
US20220366175A1 (en) Long-range object detection, localization, tracking and classification for autonomous vehicles
Na et al. RoadPlot-DATMO: Moving object tracking and track fusion system using multiple sensors
Kohlhaas et al. Towards driving autonomously: Autonomous cruise control in urban environments
JP2020197506A (en) Object detector for vehicles
US20170259813A1 (en) Method for avoiding a rear-end collision between a first vehicle and a second vehicle and control unit
WO2017056724A1 (en) Periphery recognition device
Iqbal Obstacle detection and track detection in autonomous cars
KR20210116856A (en) Driving control system of unmanned vehicle using stereo camera and LIDAR
JP6441558B2 (en) Object position determination device
KR20230031344A (en) System and Method for Detecting Obstacles in Area Surrounding Vehicle
KR20220144917A (en) Apparatus for assisting driving vehicle and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application