KR20190001668A - Method, apparatus and system for recognizing driving environment of vehicle - Google Patents

Method, apparatus and system for recognizing driving environment of vehicle Download PDF

Info

Publication number
KR20190001668A
KR20190001668A KR1020170081540A KR20170081540A KR20190001668A KR 20190001668 A KR20190001668 A KR 20190001668A KR 1020170081540 A KR1020170081540 A KR 1020170081540A KR 20170081540 A KR20170081540 A KR 20170081540A KR 20190001668 A KR20190001668 A KR 20190001668A
Authority
KR
South Korea
Prior art keywords
classifier
vehicle
area
learning
free space
Prior art date
Application number
KR1020170081540A
Other languages
Korean (ko)
Other versions
KR102399130B9 (en
KR102399130B1 (en
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020170081540A priority Critical patent/KR102399130B1/en
Publication of KR20190001668A publication Critical patent/KR20190001668A/en
Application granted granted Critical
Publication of KR102399130B1 publication Critical patent/KR102399130B1/en
Publication of KR102399130B9 publication Critical patent/KR102399130B9/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S17/936—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/62—Laser

Abstract

The present invention relates to an apparatus, a method and a system for recognizing a travel environment of a vehicle. The apparatus comprises: a 3D spatial model generating unit generating a 3D spatial model for surrounding environment of a first vehicle by using the 3D spatial data obtained by a laser sensor module, wherein the 3D spatial data is cloud data of a point having 3D spatial coordinates; an area classifying unit classifying a free space area and an object existence area on the generated 3D spatial model; a database (DB) generating unit generating a classifier learning image DB by predicting the free space area classified by the area classifying unit from image information acquired by an image sensor module; and a classifier learning unit performing learning on a classifier by using the generated classifier learning image DB in order to classify the free space area and the object existence area from the image information acquired by the image sensor module. The present invention removes recognition errors, thereby accurately recognizing a free space area.

Description

차량의 주행 환경 인식 장치, 방법 및 시스템{METHOD, APPARATUS AND SYSTEM FOR RECOGNIZING DRIVING ENVIRONMENT OF VEHICLE}Technical Field [0001] The present invention relates to an apparatus, a method, and a system for recognizing a traveling environment of a vehicle,

본 발명은 차량의 주행 환경 인식 장치, 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 차량의 주행 환경 상의 자유 공간 영역을 인식하기 위한 차량의 주행 환경 인식 장치, 방법 및 시스템에 관한 것이다.The present invention relates to an apparatus, a method and a system for recognizing a traveling environment of a vehicle, and more particularly, to an apparatus, a method, and a system for recognizing a traveling environment of a vehicle for recognizing a free space area on the traveling environment of the vehicle.

최근, 자율 주행 차량에 대한 제어 기술이 급격히 발달함과 동시에 자율 주행 차량의 안전성에 대한 문제가 대두되고 있다. 자율 주행 차량이 상용화되기 위해서는 어떠한 돌발적인 환경에서도 안전하게 주행할 수 있어야 하며, 이를 위해서는 자율 주행 차량이 주행하는 주행 영역, 즉 주행이 가능한 자유 공간 영역(Free Space), 및 장애물 등으로 인해 주행이 불가능한 물체 존재 영역에 대한 정확한 인식이 전제되어야 한다.In recent years, control technology for autonomous vehicles has been rapidly developed, and there has been a problem of safety of autonomous vehicles. In order to commercialize autonomous vehicles, it is necessary to be able to run safely in any unexpected environment. For this purpose, it is necessary to make the autonomous driving vehicle to be able to run safely in a running area where the autonomous driving vehicle travels, Accurate recognition of the object presence area should be assumed.

종래, 자율 주행 차량의 주행 가능 영역을 인식하기 위한 자유 공간 탐지 기술로서 광선 추적(ray tracing)을 응용한 복셀 횡단(voxel traversal) 방식을 이용하여 자유 공간 영역을 인식하는 방법, 차량의 전방을 촬영하여 영상의 색상 정보에 따라 주행 가능 영역을 추정하는 방법, 및 스테레오 영상의 변이 지도를 이용하여 주행 가능 영역을 추정하는 방법 등이 사용되어 왔다.Conventionally, as a free space detection technique for recognizing a travelable area of an autonomous vehicle, there is a method of recognizing a free space area using a voxel traversal method using ray tracing, A method of estimating a travelable area according to color information of an image, and a method of estimating a travelable area using a variation map of a stereo image have been used.

그러나, 복셀 횡단 방식은 실제 자유 공간이 아닌 영역을 자유 공간 영역으로 잘못 탐지할 확률이 크며, 복셀의 단위 크기가 작고 3차원 거리 탐지 센서의 방위 해상도가 낮을수록 단위 데이터 프레임당 탐지 가능한 자유 공간 영역이 한정되는 문제가 있다. 또한, 영상의 색상 정보에 따라 주행 가능 영역을 추정하는 방법은 조명의 변화나 그림자의 영향을 많이 받아 주행 가능 영역을 제대로 추정하지 못하는 문제점이 존재하며, 스테레오 영상의 변이 지도를 이용한 방법은 스테레오 매칭 오류로 인해 텍스쳐 정보가 적은 지역의 주행 가능 영역은 추정하기 어렵다는 문제점이 존재한다.However, the voxel traversal method has a high probability of erroneously detecting an area that is not a real free space as a free space area, and as the unit size of a voxel is small and the azimuth resolution of a three-dimensional distance detection sensor is low, There is this limited problem. In addition, there is a problem that the method of estimating the travelable area according to the color information of the image is difficult to correctly estimate the travelable area due to a change of illumination or a lot of shadows, and the method using the mutual map of the stereo image is a stereo matching There is a problem that it is difficult to estimate the travelable area in the area where the texture information is small due to the error.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2013-0108988호(2013. 04. 09 공개)에 개시되어 있다.The background art of the present invention is disclosed in Korean Patent Laid-Open Publication No. 10-2013-0108988 (published on Mar. 04, 09, 2013).

본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 종래의 자유 공간 영역 인식 기술에 존재하였던 인식 오류를 제거하여 자유 공간 영역을 보다 정확하게 인식하고, 카메라와 같은 저가의 센서만으로 자유 공간 영역을 효과적으로 인식할 수 있는 차량의 주행 환경 인식 장치, 방법 및 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide a method and apparatus for recognizing a free space region more accurately by eliminating a recognition error, The present invention also provides an apparatus, method, and system for recognizing a traveling environment of a vehicle that can effectively recognize a free space area using only a low-cost sensor.

본 발명의 일 측면에 따른 차량의 주행 환경 인식 장치는, 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 제1 차량의 주변 환경에 대한 3차원 공간 모델을 생성하는 3차원 공간 모델 생성부로서, 상기 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터인, 3차원 공간 모델 생성부, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 영역 구분부, 영상 센서 모듈에 의해 획득된 영상 정보에서 상기 영역 구분부에 의해 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 DB 생성부, 및 상기 생성된 분류기 학습용 영상 DB를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 분류기 학습부를 포함하는 것을 특징으로 한다.A third aspect of the present invention is a device for recognizing a driving environment of a vehicle, comprising: a three-dimensional space model generation unit for generating a three-dimensional space model for the environment of a first vehicle using three- Wherein the three-dimensional spatial data includes a three-dimensional spatial model generating unit, which is cloud data of a point having three-dimensional spatial coordinates, an area dividing unit for classifying the free space area and the object existence area on the generated three- A DB generator for generating a classifier learning image database (DataBase) by predicting a free space area separated by the area classifier from the image information acquired by the sensor module, In the image information obtained by the sensor module, the classifier for classifying the free space area and the object existence area is learned It characterized in that it comprises the classifier learning unit.

본 발명에 있어 상기 영역 구분부는, 상기 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 상기 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성한 후, 상기 생성된 클러스터를 물체 존재 영역으로 결정하여 상기 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 것을 특징으로 한다.In the present invention, the region dividing unit may determine a plane corresponding to the ground in the three-dimensional space model, generate a cluster of three-dimensional spatial data existing on the determined plane, And distinguishes the free space region and the object existing region on the three-dimensional spatial model.

본 발명에 있어 상기 DB 생성부는, 상기 영상 센서 모듈의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 상기 3차원 공간 모델의 3차원 공간좌표를 상기 영상 센서 모듈의 3차원 좌표로 변환함으로써 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역을 예측하는 것을 특징으로 한다.In the present invention, the DB generator converts the three-dimensional spatial coordinates of the three-dimensional spatial model into three-dimensional coordinates of the image sensor module using the rotation matrix, the movement matrix and the inner parameter matrix of the image sensor module, And the free space region is predicted from the image information acquired by the sensor module.

본 발명에 있어 상기 분류기 학습부는, 상기 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 상기 분류기에 대한 학습을 수행하는 것을 특징으로 한다.In the present invention, the classifier learning unit performs learning on the classifier by applying a Deep Learning method to the classifier learning image DB.

본 발명은 상기 제1 차량의 현재 위치를 측위하는 측위부를 더 포함하고, 상기 분류기 학습부는, 상기 측위부로부터 상기 제1 차량의 현재 위치를 전달받아 상기 제1 차량이 주행하는 지역별 또는 도로별로 상기 분류기에 대한 학습을 수행하는 것을 특징으로 한다.The present invention further includes a positioning unit for positioning a current position of the first vehicle, wherein the classifier learning unit receives the current position of the first vehicle from the positioning unit, And performs learning on the classifier.

본 발명은 상기 분류기 학습부에 의해 학습이 완료된 분류기를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 영역 인식부를 더 포함하는 것을 특징으로 한다.The present invention is characterized by further comprising an area recognition unit for recognizing a free space area and an object existence area in the image information acquired by the image sensor module using the classifier that has been learned by the classifier learning unit.

본 발명에 있어 상기 영상 센서 모듈은 상기 제1 차량에 탑재되는 제1 영상 센서 및 제2 차량에 탑재되는 제2 영상 센서를 포함하고, 상기 영역 인식부는, 상기 제2 차량에 탑재되어 상기 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 것을 특징으로 한다.In the present invention, the image sensor module may include a first image sensor mounted on the first vehicle and a second image sensor mounted on the second vehicle, and the area recognizing unit may include a second image sensor mounted on the second vehicle, And recognizes the free space area and the object existence area in the image information acquired by the image sensor.

본 발명은 상기 제2 차량에 탑재되며, 상기 영역 인식부에 의해 인식된 자유 공간 영역 및 물체 존재 영역을 상기 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 상기 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 주행 제어부를 더 포함하는 것을 특징으로 한다.The present invention is characterized in that the second vehicle is mounted on the second vehicle, and the free space area and the object existence area recognized by the area recognition unit are converted into three-dimensional space coordinates of the three-dimensional spatial data, Further comprising a driving controller for performing one or more of ADAS (Advanced Driver Assistance System) control and autonomous driving control.

본 발명에 있어 상기 레이저 센서 모듈은 라이다(LiDAR: Light Detection And Ranging Sensor) 센서를 포함하고, 상기 영상 센서 모듈은 카메라 센서를 포함하는 것을 특징으로 한다.In the present invention, the laser sensor module includes a LiDAR (Light Detection And Ranging Sensor) sensor, and the image sensor module includes a camera sensor.

본 발명의 일 측면에 따른 차량의 주행 환경 인식 방법은, 제1 제어부가, 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 제1 차량의 주변 환경에 대한 3차원 공간 모델을 생성하는 단계로서, 상기 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터인, 단계, 상기 제1 제어부가, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 단계, 상기 제1 제어부가, 영상 센서 모듈에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 단계, 및 분류기 학습부가, 상기 생성된 분류기 학습용 영상 DB를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 단계를 포함하는 것을 특징으로 한다.A method for recognizing a traveling environment of a vehicle according to an aspect of the present invention includes the steps of generating a three-dimensional spatial model for the environment of the first vehicle using the three-dimensional spatial data acquired by the laser sensor module Wherein the three-dimensional spatial data is cloud data of a point having three-dimensional spatial coordinates, the first control section distinguishing the free space region and the object existence region on the generated three-dimensional spatial model, 1 control unit generates a classifier learning image database (DataBase) by predicting the separated free space area from the image information acquired by the image sensor module, and the classifier learning unit generates a classifier learning image database by using the generated classifier learning image DB Learning is performed on the classifier for classifying the free space area and the object existence area in the image information acquired by the image sensor module Is characterized in that it comprises a step.

본 발명의 일 측면에 따른 차량의 주행 환경 인식 시스템은, 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성하고, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하며, 제1 영상 센서에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 제1 제어부, 상기 제1 제어부로부터 상기 분류기 학습용 영상 DB를 전달받아 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 서버, 및 상기 서버로부터 전달받은 학습이 완료된 분류기를 이용하여 상기 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 제2 제어부를 포함하는 것을 특징으로 한다.A traveling environment recognition system for a vehicle according to an aspect of the present invention generates a three-dimensional spatial model for a surrounding environment of a vehicle using three-dimensional spatial data acquired by a laser sensor module, A first control unit for classifying the free space area and the object existing area on the first image sensor and generating an image DB for classifier learning by predicting the separated free space area from the image information acquired by the first image sensor, And a classifier for classifying the free space region and the object existence region in the image information acquired by the second image sensor, and a classifier The free space region and the object existence region are denoted by < RTI ID = 0.0 > Article characterized in that it comprises a second control unit for.

본 발명의 일 측면에 따르면, 본 발명은 소정의 3차원 센싱 장비를 통해 획득한 3차원 공간 데이터를 기반으로 자유 공간 영역을 인식하기 위한 분류기를 학습하여 자유 공간 영역을 인식함으로써 그 인식 정확도를 향상시킬 수 있고, 학습이 완료된 분류기를 카메라와 같은 저가의 센서만이 장착된 차량에 적용하여 자유 공간 영역을 인식함으로써 자율 주행 제어를 구현하기 위한 비용을 저감시킬 수 있다.According to an aspect of the present invention, a classifier for recognizing a free space area based on three-dimensional spatial data acquired through a predetermined 3D sensing device is learned to recognize a free space area, thereby improving its recognition accuracy And the learned classifier can be applied to a vehicle equipped with only a low-cost sensor such as a camera to recognize the free space area, thereby reducing the cost for implementing the autonomous driving control.

도 1은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치를 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 3차원 공간 모델을 설명하기 위한 예시도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영상 센서 모듈에 의해 획득된 영상 정보에서 영역 구분부에 의해 구분된 자유 공간 영역을 예측하는 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 딥 러닝(Deep Learning) 방식을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영역 인식부가 제2 차량에 탑재되는 실시예를 설명하기 위한 블록구성도이다.
도 7은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 분류기 학습부가 외부 서버로 구현될 수 있는 실시예를 설명하기 위한 블록구성도이다.
도 8은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 시스템을 설명하기 위한 블록구성도이다.1 is a block diagram for explaining a traveling environment recognition apparatus for a vehicle according to an embodiment of the present invention.
FIG. 2 is an exemplary diagram for explaining a three-dimensional space model in a traveling environment recognition apparatus for a vehicle according to an embodiment of the present invention.
FIGS. 3 and 4 are diagrams for explaining a process of predicting a free space area divided by an area dividing unit in the image information obtained by the image sensor module in the traveling environment recognition apparatus of the vehicle according to the embodiment of the present invention. .
FIG. 5 is an exemplary diagram illustrating a Deep Learning method in a driving environment recognition apparatus for a vehicle according to an embodiment of the present invention. Referring to FIG.
6 is a block diagram for explaining an embodiment in which an area recognition unit is mounted on a second vehicle in a traveling environment recognition apparatus for a vehicle according to an embodiment of the present invention.
7 is a block diagram for explaining an embodiment in which a classifier learning unit can be implemented as an external server in a traveling environment recognition apparatus for a vehicle according to an embodiment of the present invention.
8 is a flowchart illustrating a method of recognizing a driving environment of a vehicle according to an embodiment of the present invention.
9 is a block diagram for explaining a travel environment recognition system for a vehicle according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 주행 환경 인식 장치, 방법 및 시스템의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of an apparatus, a method, and a system for recognizing a traveling environment of a vehicle according to the present invention will be described with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치를 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 3차원 공간 모델을 설명하기 위한 예시도이며, 도 3 및 도 4는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영상 센서 모듈에 의해 획득된 영상 정보에서 영역 구분부에 의해 구분된 자유 공간 영역을 예측하는 과정을 설명하기 위한 예시도이고, 도 5는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 딥 러닝(Deep Learning) 방식을 설명하기 위한 예시도이며, 도 6은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영역 인식부가 제2 차량에 탑재되는 실시예를 설명하기 위한 블록구성도이고, 도 7은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 분류기 학습부가 외부 서버로 구현될 수 있는 실시예를 설명하기 위한 블록구성도이다.FIG. 1 is a block diagram for explaining a traveling environment recognition apparatus for a vehicle according to an embodiment of the present invention. FIG. 2 is a diagram for explaining a three-dimensional space model in a traveling environment recognition apparatus for a vehicle according to an embodiment of the present invention. FIGS. 3 and 4 are diagrams for explaining a method for predicting a free space area divided by an area dividing unit in the image information obtained by the image sensor module in the traveling environment recognizing apparatus of the vehicle according to the embodiment of the present invention FIG. 5 is a diagram illustrating an example of a Deep Learning method in a driving environment recognition apparatus for a vehicle according to an embodiment of the present invention. FIG. FIG. 7 is a block diagram for explaining an embodiment in which the area recognition unit is mounted on the second vehicle in the travel environment recognizing apparatus of the example according to the example. FIG. FIG. 8 is a block diagram illustrating an embodiment in which a classifier learning unit can be implemented as an external server in an electronic device.

도 1을 참조하면, 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치는 레이저 센서 모듈(110), 영상 센서 모듈(120), 3차원 공간 모델 생성부(140), 영역 구분부(150), DB 생성부(160), 분류기 학습부(170) 및 영역 인식부(180)를 포함할 수 있다.1, an apparatus for recognizing travel environment of a vehicle according to an embodiment of the present invention includes a laser sensor module 110, an image sensor module 120, a three-dimensional spatial model generation unit 140, an area classification unit 150 A DB generating unit 160, a classifier learning unit 170, and an area recognizing unit 180.

레이저 센서 모듈(110)은 차량에 탑재되어 주행 환경에 대한 3차원 공간 데이터를 획득할 수 있다. 구체적으로, 레이저 센서 모듈(110)은 다수의 레이저 포인트를 주변에 발사하고, 주변 객체로부터 반사되어 돌아오는 시간 및 강도에 근거하여 대상체까지의 거리 및 형상을 측정함으로써 3차원 공간 데이터를 취득할 수 있다. 3차원 공간 데이터는 3차원 공간좌표(3차원 월드좌표)를 갖는 레이저 포인트의 클라우드 데이터를 의미하며, 후술할 것과 같이 3차원 공간 모델 생성부(140)에 의해 주변 환경에 대한 3차원 공간 모델이 생성되는데 사용될 수 있다. 레이저 센서 모듈(110)은 레이저 포인트 클라우드 데이터를 취득하기 위해 라이다 센서(LiDAR: Light Detection And Ranging Sensor)를 포함할 수 있다.The laser sensor module 110 is mounted on the vehicle and can acquire three-dimensional spatial data on the driving environment. Specifically, the laser sensor module 110 can acquire three-dimensional spatial data by emitting a plurality of laser points to the surroundings and measuring the distance and shape to the object based on the time and intensity reflected from the surrounding object have. The three-dimensional spatial data refers to cloud data of laser points having three-dimensional spatial coordinates (three-dimensional world coordinates), and the three-dimensional spatial model for the surrounding environment is generated by the three- Can be used to generate. The laser sensor module 110 may include a Light Detection And Ranging Sensor (LiDAR) to acquire laser point cloud data.

영상 센서 모듈(120)은 차량에 탑재되어 주행 환경에 대한 영상 정보를 획득할 수 있다. 영상 센서 모듈(120)은 제1 차량(1)에 탑재되는 제1 영상 센서(121) 및 제2 차량(2)에 탑재되는 제2 영상 센서(122)를 포함할 수 있으며, 구체적인 설명은 후술한다. 영상 센서 모듈(120)은 차량의 주행 환경에 대한 영상 정보를 획득하기 위해 카메라 센서를 포함할 수 있다.The image sensor module 120 may be mounted on the vehicle to acquire image information on the driving environment. The image sensor module 120 may include a first image sensor 121 mounted on the first vehicle 1 and a second image sensor 122 mounted on the second vehicle 2. For a detailed description, do. The image sensor module 120 may include a camera sensor to acquire image information on the driving environment of the vehicle.

라이다 센서로 구현될 수 있는 레이저 센서 모듈(110)을 이용하면 풍부한 3차원 공간 데이터를 획득할 수 있으며, 획득된 3차원 공간 데이터에 소정의 컴퓨터 비전 기술을 적용하면 자유 공간 영역 및 물체 존재 영역을 구분할 수 있다. 다만, 라이다 센서는 비교적 고가이기 때문에 상용화의 곤란성이 수반된다.Dimensional spatial data can be obtained by using the laser sensor module 110 which can be realized by the LIDAR sensor. When a predetermined computer vision technique is applied to the obtained three-dimensional spatial data, the free space area and the object existence area . However, since the Lidar sensor is relatively expensive, it is difficult to commercialize it.

상기한 문제점을 해결하기 위한 본 실시예의 특징을 개괄적으로 설명하면, 우선 레이저 센서 모듈(110) 및 영상 센서 모듈(120)이 탑재된 차량(제1 차량(1))이 주행하는 과정에서 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성하고 자유 공간 영역 및 물체 존재 영역을 구분하는 과정이 수행된다. 그리고, 영상 센서 모듈(120)에 의해 획득된 영상에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB를 생성하는 과정이 수행된다. 이후, 분류기 학습용 영상 DB를 이용하여 분류기에 대한 학습이 수행된다. 분류기는 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 소정의 알고리즘을 의미한다. 분류기에 대한 학습이 완료되면, 학습이 완료된 분류기를 통해 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하는 과정이 수행된다.First, in the process of traveling the vehicle (the first vehicle 1) on which the laser sensor module 110 and the image sensor module 120 are mounted, the characteristics of the laser sensor A three-dimensional spatial model for the surrounding environment of the vehicle is generated using the three-dimensional spatial data obtained by the module 110, and a process of distinguishing the free space area and the object existence area is performed. Then, a process of generating the classifier learning image DB by predicting the separated free space region from the image acquired by the image sensor module 120 is performed. Then, learning is performed on the classifier using the classifier learning image DB. The classifier means a predetermined algorithm for distinguishing the free space area and the object existence area from the image information acquired by the image sensor module 120. [ When the learning of the classifier is completed, a process of distinguishing the free space area and the object existence area from the image information acquired by the image sensor module 120 through the classifier on which the learning is completed is performed.

즉, 본 실시예는 라이다 센서(레이저 센서 모듈(110)) 및 카메라 센서(영상 센서 모듈(120))를 이용하여 분류기에 대한 학습을 진행하고, 학습이 완료된 분류기 및 카메라 센서만을 이용하여 차량의 주행 환경의 자유 공간 영역을 인식함으로써, 차량의 센서로 상용화된 저가의 카메라 센서만으로 자유 공간 영역을 인식할 수 있다.That is, in the present embodiment, learning is performed on the classifier using the Lada sensor (laser sensor module 110) and the camera sensor (image sensor module 120) The free space area can be recognized only by a low cost camera sensor that is commercialized as a vehicle sensor by recognizing the free space area of the traveling environment of the vehicle.

이하에서는 본 실시예의 구성 및 각 구성의 기능을 구체적으로 설명한다.Hereinafter, the configuration of the present embodiment and the functions of the respective configurations will be described in detail.

3차원 공간 모델 생성부(140)는 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성할 수 있다. 3차원 공간 데이터는 전술한 것과 같이 3차원 공간좌표를 갖는 포인트의 클라우드 데이터를 의미한다. 3차원 공간 모델 생성부(140)는 3차원 공간 데이터에 주지의 컴퓨터 비전 기술을 적용하여 3차원 공간 모델을 생성할 수 있다. 도 2는 3차원 공간 모델 생성부(140)에 의해 생성된 3차원 공간 모델의 예시를 도시하고 있다.The three-dimensional space model generation unit 140 can generate a three-dimensional spatial model of the surrounding environment of the vehicle using the three-dimensional spatial data obtained by the laser sensor module 110. [ The three-dimensional spatial data means cloud data of a point having three-dimensional spatial coordinates as described above. The three-dimensional spatial model generation unit 140 may generate a three-dimensional spatial model by applying a well-known computer vision technique to the three-dimensional spatial data. FIG. 2 shows an example of a three-dimensional space model generated by the three-dimensional space model generation unit 140. FIG.

영역 구분부(150)는 3차원 공간 모델 생성부(140)에 의해 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분할 수 있다. 영역 구분부(150)는 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 결정된 평면 위에 존재하는 물체를 검출하는 방식을 이용하여 자유 공간 영역 및 물체 존재 영역을 구분할 수 있다.The region dividing unit 150 can distinguish the free space region and the object existing region on the three-dimensional spatial model generated by the three-dimensional spatial model generating unit 140. [ The region dividing unit 150 can determine a plane corresponding to the ground in the three-dimensional space model and distinguish the free space region and the object existence region using a method of detecting an object existing on the determined plane.

보다 구체적으로, 영역 구분부(150)는 3차원 공간 모델 생성부(140)로부터 입력받은 3차원 공간 모델에 대하여 3차원 평면의 방정식을 적용하여 3차원 공간 모델에서 지면에 해당하는 평면을 결정할 수 있다. 그리고, 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성하여, 생성된 클러스터를 물체 존재 영역으로 결정할 수 있다. 상기 클러스터는 하나 이상이 생성될 수 있으며, 이에 따라 영역 구분부(150)는 3차원 공간 모델에서 각 클러스터를 물체 존재 영역으로 결정하고 나머지 영역을 자유 공간 영역으로 결정함으로써 자유 공간 영역 및 물체 존재 영역을 구분할 수 있다.More specifically, the region dividing unit 150 can determine a plane corresponding to the ground in the three-dimensional space model by applying an equation of a three-dimensional plane to the three-dimensional spatial model input from the three-dimensional spatial model generating unit 140 have. Then, a cluster of three-dimensional spatial data existing on the determined plane can be generated, and the generated cluster can be determined as an object existing region. One or more of the clusters may be generated, so that the region dividing unit 150 determines each cluster as an object existing region in the three-dimensional space model and determines the remaining region as a free space region, .

DB 생성부(160)는 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 영역 구분부(150)에 의해 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성할 수 있다.The DB generating unit 160 may generate a classifier learning image database (DataBase) by predicting the free space region separated by the region classifying unit 150 from the image information acquired by the image sensor module 120. [

구체적으로, 본 실시예는 카메라 센서로 구현될 수 있는 영상 센서 모듈(120)에 의해 획득된 영상 정보에 학습 완료된 분류기를 적용하여 자유 공간 영역을 인식하는 것에 특징이 있으며, 따라서 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역이 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 어느 영역에 해당하는지 결정하는 것이 중요하다. 이것은 3차원 공간 모델의 3차원 공간좌표, 및 영상 센서 모듈(120)에 의해 획득된 영상 정보의 3차원 좌표 간의 변환 관계로부터 구할 수 있다.Specifically, the present embodiment is characterized by recognizing a free space area by applying a learned classifier to image information obtained by an image sensor module 120, which can be implemented by a camera sensor, It is important to determine in which area the free space area and the object presence area correspond to the image information acquired by the image sensor module 120. [ This can be obtained from the conversion relationship between the three-dimensional spatial coordinates of the three-dimensional spatial model and the three-dimensional coordinates of the image information obtained by the image sensor module 120.

DB 생성부(160)의 동작을 도 3 및 4를 참조하여 구체적으로 설명하면, 도 3에 도시된 것과 같이 레이저 센서 모듈(110) 및 영상 센서 모듈(120)이 동일한 영역을 센싱하고 있을 때, 임의의 3개 포인트에 대한 각 센서 모듈 간 대응 관계를 알게 되면, 레이저 센서 모듈(110) 및 영상 센서 모듈(120) 간의 3차원 좌표 변환 관계를 구할 수 있다. 3차원 좌표 변환 관계는 영상 센서 모듈(120)의 회전 행렬(R), 이동 행렬(t) 및 내부 파라미터 행렬(K)로 나타낼 수 있으며, 레이저 센서 모듈(110) 및 영상 센서 모듈(120)의 장착 위치가 변경되지 않는 한 세 개의 행렬값은 동일하게 유지된다.3 and 4, when the laser sensor module 110 and the image sensor module 120 are sensing the same area as shown in FIG. 3, Once the corresponding relationship between the sensor modules is known for any three points, the three-dimensional coordinate conversion relationship between the laser sensor module 110 and the image sensor module 120 can be obtained. The three-dimensional coordinate transformation relationship can be represented by a rotation matrix R, a movement matrix t and an internal parameter matrix K of the image sensor module 120, The three matrix values remain the same unless the mounting position is changed.

따라서, 레이저 센서 모듈(110) 및 영상 센서 모듈(120) 간 사전에 한 번 수행되는 캘리브레이션을 토대로 영상 센서 모듈(120)의 회전 행렬(R), 이동 행렬(t) 및 내부 파라미터 행렬(K)이 DB 생성부(160)에 미리 설정될 수 있으며, 이를 기반으로 DB 생성부(160)는 도 4에 도시된 것과 같이 영상 센서 모듈(120)의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 3차원 공간 모델의 3차원 공간좌표(M)를 영상 센서 모듈(120)의 3차원 좌표로 변환함으로써 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역을 예측할 수 있다. 자유 공간 영역이 예측되면, DB 생성부(160)는 예측된 자유 공간 영역이 표시된 영상 정보를 분류기 학습용 영상 DB로서 생성하여 분류기 학습부(170)로 전달할 수 있다.Accordingly, the rotation matrix R, the movement matrix t, and the internal parameter matrix K of the image sensor module 120 are calculated based on the calibration performed once beforehand between the laser sensor module 110 and the image sensor module 120. [ The DB generating unit 160 may generate a DB using the rotation matrix, the movement matrix, and the internal parameter matrix of the image sensor module 120 as shown in FIG. 4, The free space region can be predicted from the image information acquired by the image sensor module 120 by converting the three-dimensional spatial coordinates (M) of the three-dimensional spatial model into three-dimensional coordinates of the image sensor module 120. If the free space region is predicted, the DB generating unit 160 may generate the video information indicating the predicted free space region as the classifier learning image DB, and may transmit the generated image information to the classifier learning unit 170.

분류기 학습부(170)는 DB 생성부(160)에 의해 생성된 분류기 학습용 영상 DB를 이용하여 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행할 수 있다. 분류기는 전술한 것과 같이 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 소정의 알고리즘을 의미한다.The classifier learning unit 170 classifies the free space region and the object existence region in the image information acquired by the image sensor module 120 using the classifier learning image DB generated by the DB generation unit 160 Learning can be performed. The classifier means a predetermined algorithm for distinguishing the free space region and the object existence region from the image information obtained by the image sensor module 120 as described above.

본 실시예에서 분류기 학습부(170)는 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 분류기에 대한 학습을 수행할 수 있다. 딥 러닝 방식은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 광의의 관점에서는 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 표현될 수 있다.In the present embodiment, the classifier learning unit 170 can perform learning on the classifier by applying a Deep Learning method to the classifier learning image DB. Deep learning is a set of machine learning algorithms that try to achieve a high level of abstraction (a task that summarizes core content or functions in large amounts of data or complex data) through a combination of several nonlinear transformation techniques. And can be expressed as a field of machine learning that teaches computers to human minds in the broad sense.

분류기 학습부(170)는 DB 생성부(160)로부터 입력받은 분류기 학습용 영상 DB 상에서 구분된 자유 공간 영역 및 물체 존재 영역에 대하여 도 5에 도시된 것과 같이 다수의 뉴런을 통해 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 학습을 진행할 수 있다. 각 뉴런(input layer, hidden layer)마다 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 파라미터 값이 결정되며, 최종 단계의 뉴런(output layer)에서는 자유 공간 영역인지 여부를 최종적으로 결정하게 된다.The classifier learning unit 170 classifies the free space region and the object existence region, which are separated from the classifier learning image DB input from the DB generating unit 160, into a free space region and an object existence region through a plurality of neurons Learning can be performed to distinguish regions. For each input layer (hidden layer), parameter values for distinguishing the free space region and the object existence region are determined, and finally, the final layer determines whether or not it is a free space region in the output layer.

한편, 본 실시예에 따른 차량의 주행 환경 인식 장치는 차량의 현재 위치를 측위하는 측위부(130)를 더 포함할 수 있다. 이에 따라 분류기 학습부(170)는 측위부(130)로부터 차량의 현재 위치를 전달받아 차량이 주행하는 지역별 또는 도로별로 분류기에 대한 학습을 수행할 수도 있다. 이에 따라 분류기에 대한 학습을 진행하기 위해 요구되는 분류기 학습용 영상 DB의 양을 저감시킬 수 있으며, 해당 지역 또는 도로에 최적화된 분류기를 확보할 수 있다. 한편, 측위부(130)는 차량의 현재 위치를 측위하기 위해 GPS(Global Positioning System), GNSS(Global Navigation Satellite System), INS(Inertial Navigation System) 및 GNSS/INS 통합 센서 중 하나 이상을 포함할 수 있다.Meanwhile, the traveling environment recognition apparatus of the vehicle according to the present embodiment may further include a positioning unit 130 for positioning the current position of the vehicle. Accordingly, the classifier learning unit 170 may receive the current position of the vehicle from the positioning unit 130, and may perform learning on the classifier by region or road where the vehicle travels. Accordingly, it is possible to reduce the amount of the image database for classifier learning required for the learning of the classifier, and to secure a classifier optimized for the region or the road. On the other hand, the positioning unit 130 may include at least one of a Global Positioning System (GPS), a Global Navigation Satellite System (GNSS), an Inertial Navigation System (INS) and a GNSS / INS integrated sensor have.

영역 인식부(180)는 분류기 학습부(170)에 의해 학습이 완료된 분류기를 이용하여 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하여 인식할 수 있다. 이때, 영역 인식부(180)는 실시예에 따라 도 1에 도시된 것과 같이 제1 차량(1)에 탑재될 수 있고, 도 6에 도시된 것과 같이 제1 차량(1)과 구분되는 제2 차량(2)에 탑재될 수도 있다.The area recognition unit 180 can recognize the free space area and the object existence area in the image information acquired by the image sensor module 120 by using the classifier that has been learned by the classifier learning unit 170. [ At this time, the area recognizing unit 180 may be mounted on the first vehicle 1 as shown in Fig. 1 according to the embodiment, and may be mounted on the second vehicle 1, Or may be mounted on the vehicle 2.

도 1에 도시된 것과 같이 영역 인식부(180)가 제1 차량(1)에 탑재되는 실시예에 있어서, 제1 차량(1)은 레이저 센서 모듈(110) 및 영상 센서 모듈(120)이 모두 탑재되어 있으므로, 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 기반으로 3차원 공간 모델 생성부(140) 및 영역 구분부(150)를 통해 자유 공간 영역 및 물체 존재 영역을 구분할 수도 있고, 영상 센서 모듈(120)에 의해 획득된 영상 정보 및 학습이 완료된 분류기를 기반으로 영역 인식부(180)를 통해 자유 공간 영역 및 물체 존재 영역을 구분할 수도 있다.1, in the embodiment where the area recognizing unit 180 is mounted on the first vehicle 1, the first vehicle 1 is configured such that both the laser sensor module 110 and the image sensor module 120 are both It is possible to distinguish the free space region and the object existence region through the three-dimensional spatial model generation unit 140 and the region division unit 150 based on the three-dimensional spatial data obtained by the laser sensor module 110 The free space region and the object existence region may be classified through the region recognition unit 180 based on the image information obtained by the image sensor module 120 and the classifier having completed the learning.

또한, 도 6에 도시된 것과 같이 본 실시예의 영역 인식부(180)는 레이저 센서 모듈(110)은 탑재되어 있지 않고 영상 센서 모듈(120)만 탑재되어 있는 제2 차량(2)에 탑재될 수도 있다. 그리고, 본 실시예의 영상 센서 모듈(120)은 제1 차량(1)에 탑재되는 제1 영상 센서(121) 및 제2 차량(2)에 탑재되는 제2 영상 센서(122)를 포함할 수 있다. 이에 따라 제2 차량(2)에 탑재되는 영역 인식부(180)는 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하여 인식할 수도 있다.6, the area recognition unit 180 of the present embodiment may be mounted on the second vehicle 2 on which the laser sensor module 110 is not mounted and only the image sensor module 120 is mounted have. The image sensor module 120 of the present embodiment may include a first image sensor 121 mounted on the first vehicle 1 and a second image sensor 122 mounted on the second vehicle 2 . Accordingly, the area recognizing unit 180 mounted on the second vehicle 2 can distinguish the free space area and the object existing area from the image information acquired by the second image sensor 122. FIG.

즉, 제2 차량(2)에 탑재된 영역 인식부(180)는 제1 차량(1)에 탑재된 분류기 학습부(170)로부터 학습이 완료된 분류기를 유무선 통신을 통해 전송받고, 전송받은 분류기를 제2 차량(2)의 제2 영상 센서(122)에 의해 획득된 영상 정보에 적용함으로써 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하여 인식할 수도 있다. 즉, 레이저 센서 모듈(110) 및 영상 센서 모듈(120)이 모두 탑재된 제1 차량(1)의 분류기 학습부(170)에 의해 학습된 분류기는 영상 센서 모듈(120)만이 탑재된 제2 차량(2)의 영역 인식부(180)로 전송되어 공유됨으로써 영상 센서 모듈(120)만을 통해 자유 공간 영역과 물체 존재 영역을 구분하여 인식하도록 할 수 있다.That is, the area recognition unit 180 mounted on the second vehicle 2 receives the classifier that has been learned from the classifier learning unit 170 mounted on the first vehicle 1 via wired / wireless communication, By applying the present invention to the image information obtained by the second image sensor 122 of the second vehicle 2, it is possible to distinguish the free space area and the object existence area from the image information acquired by the second image sensor 122 have. That is, the classifier learned by the classifier learning unit 170 of the first vehicle 1, on which both the laser sensor module 110 and the image sensor module 120 are mounted, And is shared and transmitted to the area recognition unit 180 of the image sensor module 2 so that the free space area and the object presence area can be distinguished and recognized through only the image sensor module 120. [

또한, 본 실시예는 제2 차량(2)에 탑재되며, 영역 인식부(180)에 의해 인식된 자유 공간 영역 및 물체 존재 영역을 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 주행 제어부(180)를 더 포함할 수도 있다.In this embodiment, the free space area and the object existence area, which are mounted on the second vehicle 2 and recognized by the area recognition unit 180, are converted into three-dimensional spatial coordinates of the three-dimensional spatial data, (ADAS) control and autonomous driving control using the 3D spatial coordinates of the vehicle.

한편, 분류기 학습부(170)는 실시예에 따라 제1 차량(1)에 탑재될 수도 있고 도 7에 도시된 것과 같이 외부 서버(170)로 구현될 수도 있다. 즉, 분류기 학습부(170)에 의해 수행되는 딥 러닝 방식을 이용한 학습 과정에는 방대한 양의 분류기 학습용 영상 DB가 요구되기 때문에, 분류기 학습부(170)를 제1 차량(1)의 외부에 설치된 서버(170)로 구현하여 그 학습 과정 상의 로드(Load)를 저감시킬 수 있다. 이러한 실시예에서 서버(170)는 도 7에 도시된 것과 같이 제1 차량(1)에 탑재된 DB 생성부(160)로부터 분류기 학습용 영상 DB를 무선 통신을 통해 전송받아 딥 러닝 방식을 이용하여 분류기에 대한 학습을 진행하고, 분류기 학습이 완료되면 학습이 완료된 분류기를 제2 차량(2)에 탑재된 영역 인식부(180)로 전송하는 역할을 수행할 수 있다.On the other hand, the classifier learning unit 170 may be implemented in the external server 170 as shown in FIG. 7, or may be mounted in the first vehicle 1 according to the embodiment. That is, since a tremendous amount of classifier learning image DB is required in the learning process using the deep learning method performed by the classifier learning unit 170, the classifier learning unit 170 is installed in the server It is possible to reduce the load on the learning process. In this embodiment, the server 170 receives the classifier learning image DB from the DB generator 160 mounted on the first vehicle 1 through wireless communication as shown in FIG. 7, And when the classifier learning is completed, the classifier that has completed the learning can be transferred to the area recognizing unit 180 mounted on the second vehicle 2.

이상에서는 제1 차량(1)에 탑재되는 3차원 공간 모델 생성부(140), 영역 구분부(150), DB 생성부(160)(및 분류기 학습부(170))를 분리된 구성으로 설명하였으나, 실시예에 따라서는 하나의 제어유닛(예: 제1 제어부)으로 통합된 구성으로 구현될 수도 있다. 그리고 제2 차량(2)에 탑재되는 영역 인식부(180) 및 주행 제어부(180)를 분리된 구성으로 설명하였으나, 실시예에 따라서는 하나의 제어유닛(제2 제어부)으로 통합된 구성으로 구현될 수도 있다. In the above description, the three-dimensional space model generation unit 140, the area classification unit 150, the DB generation unit 160 (and the classifier learning unit 170) mounted on the first vehicle 1 are described as being separated from each other , But may be implemented as a single integrated control unit (e.g., a first control unit), depending on the embodiment. Although the region recognition unit 180 and the travel control unit 180 mounted on the second vehicle 2 are described as separate components, according to the embodiment, they may be integrated into one control unit (second control unit) .

도 8은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 방법을 설명하기 위한 흐름도이다. 이하에서는 제1 제어부(10)는 제1 차량(1)에 탑재되고, 제2 제어부(20)는 제2 차량(2)에 탑재되는 실시예로서 설명하지만, 전술한 것과 같이 제1 및 제2 제어부(20)가 동일한 제1 차량(1)에 탑재되는 실시예로 구현될 수도 있다.8 is a flowchart illustrating a method of recognizing a driving environment of a vehicle according to an embodiment of the present invention. Hereinafter, the first control unit 10 is mounted on the first vehicle 1 and the second control unit 20 is mounted on the second vehicle 2. However, as described above, the first and second The control unit 20 may be embodied as an embodiment mounted on the same first vehicle 1. [

도 8을 참조하여 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 방법을 설명하면, 먼저 제1 제어부(10)는 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성한다(S100). 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터를 의미한다.Referring to FIG. 8, a method of recognizing a traveling environment of a vehicle according to an embodiment of the present invention will be described. First, the first control unit 10 calculates the traveling environment of the vehicle by using the three-dimensional spatial data acquired by the laser sensor module 110 A three-dimensional spatial model for the surrounding environment is generated (S100). The three-dimensional spatial data means cloud data of points having three-dimensional spatial coordinates.

이어서, 제1 제어부(10)는 S100 단계에서 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분한다(S200).Then, the first controller 10 distinguishes the free space area and the object existence area on the three-dimensional space model generated in step S100 (S200).

이때, 제1 제어부(10)는 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성한 후, 생성된 클러스터를 물체 존재 영역으로 결정하여 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분한다.At this time, the first controller 10 determines a plane corresponding to the ground in the three-dimensional space model, creates a cluster of three-dimensional spatial data existing on the determined plane, We distinguish the free space region and the object existence region on the dimensional space model.

이어서, 제1 제어부(10)는 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 S200 단계에서 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성한다(S300).In operation S300, the first controller 10 generates an image DB for a classifier learning by predicting the free space region separated in operation S200 from the image information acquired by the image sensor module 120. [

이때, 제1 제어부(10)는 영상 센서 모듈(120)의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 3차원 공간 모델의 3차원 공간좌표를 영상 센서 모듈(120)의 3차원 좌표로 변환함으로써 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역을 예측한다.At this time, the first controller 10 converts the three-dimensional spatial coordinates of the three-dimensional spatial model into three-dimensional coordinates of the image sensor module 120 using the rotation matrix, the movement matrix and the inner parameter matrix of the image sensor module 120 Thereby estimating a free space area from the image information acquired by the image sensor module 120. [

이어서, 분류기 학습부(170)는 제1 제어부(10)에 의해 생성된 분류기 학습용 영상 DB를 이용하여 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행한다(S400).The classifier learning unit 170 classifies the free space region and the object existence region in the image information acquired by the image sensor module 120 using the classifier learning image DB generated by the first control unit 10 Learning is performed on the classifier (S400).

이때, 분류기 학습부(170)는 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 분류기에 대한 학습을 수행한다.At this time, the classifier learning unit 170 applies a Deep Learning method to the classifier learning image DB to perform learning on the classifier.

또한, S400 단계에서 분류기 학습부(170)는 분류기에 대한 학습을 차량이 주행하는 지역별 또는 도로별로 수행할 수도 있다.Also, in step S400, the classifier learning unit 170 may perform learning of the classifier by region or road by which the vehicle travels.

이어서, 제2 제어부(20)는 분류기 학습부(170)에 의해 학습이 완료된 분류기를 이용하여 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하여 인식한다(S500). 영상 센서 모듈(120)은 제1 차량(1)에 탑재되는 제1 영상 센서(121) 및 제2 차량(2)에 탑재되는 제2 영상 센서(122)를 포함할 수 있으며, 이에 따라 제2 제어부(20)는 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식할 수 있다.Next, the second controller 20 recognizes the free space area and the object existence area in the image information acquired by the image sensor module 120 by using the classifier that has been learned by the classifier learning unit 170 S500). The image sensor module 120 may include a first image sensor 121 mounted on the first vehicle 1 and a second image sensor 122 mounted on the second vehicle 2, The control unit 20 can recognize the free space area and the object existence area in the image information acquired by the second image sensor 122. [

이어서, 제2 제어부(20)는 S500 단계에서 인식된 자유 공간 영역 및 물체 존재 영역을 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행한다(S600).Then, the second controller 20 converts the free space area and the object existence area recognized in step S500 into three-dimensional spatial coordinates of the three-dimensional spatial data, and uses ADAS (Advanced Driver Assistance System ) Control and autonomous drive control (S600).

도 9는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 시스템을 설명하기 위한 블록구성도이다.9 is a block diagram for explaining a travel environment recognition system for a vehicle according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 시스템은 제1 제어부(10), 서버(170) 및 제2 제어부(20)를 포함할 수 있다.Referring to FIG. 9, the running environment recognition system for a vehicle according to an embodiment of the present invention may include a first control unit 10, a server 170, and a second control unit 20.

제1 제어부(10)는 제1 차량(1)에 탑재될 수 있으며, 제1 차량(1)은 레이저 센서 모듈(110) 및 영상 센서 모듈(120)(제1 영상 센서(121))이 모두 탑재된 차량일 수 있다. 제1 제어부(10)는 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성하고, 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하며, 제1 영상 센서(121)에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성할 수 있다. 제1 영상 센서(121)는 카메라 센서로 구현되어 제1 차량(1)에 탑재될 수 있다.The first control unit 10 may be mounted on the first vehicle 1 and the first vehicle 1 may be mounted on both the laser sensor module 110 and the image sensor module 120 (the first image sensor 121) It may be a mounted vehicle. The first control unit 10 generates a three-dimensional spatial model of the surrounding environment of the vehicle using the three-dimensional spatial data obtained by the laser sensor module 110, And can generate a classifier learning image database (DataBase) by predicting the separated free space area from the image information acquired by the first image sensor 121. [ The first image sensor 121 may be implemented as a camera sensor and mounted on the first vehicle 1.

서버(170)는 제1 제어부(10)로부터 분류기 학습용 영상 DB를 전달받아 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행할 수 있다.The server 170 receives the classifier learning image DB from the first controller 10 and performs learning on the classifier for classifying the free space region and the object existence region in the image information acquired by the second image sensor 122 can do.

제2 제어부(20)는 제2 차량(2)에 탑재될 수 있으며, 제2 차량(2)은 레이저 센서 모듈(110)은 탑재되지 않고 영상 센서 모듈(120)(제2 영상 센서(122))만이 탑재된 차량일 수 있다. 제2 제어부(20)는 서버(170)로부터 전달받은 학습이 완료된 분류기를 전달받아 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식할 수 있다. 제2 영상 센서(122)는 카메라 센서로 구현되어 제2 차량(2)에 탑재될 수 있다.The second control unit 20 can be mounted on the second vehicle 2. The second vehicle 2 can be mounted on the image sensor module 120 (the second image sensor 122) without being mounted on the laser sensor module 110, ) May be mounted on the vehicle. The second control unit 20 can receive the classifier that has received learning from the server 170 and recognize the free space area and the object existence area in the image information acquired by the second image sensor 122. [ The second image sensor 122 may be implemented as a camera sensor and mounted on the second vehicle 2.

또한, 제2 제어부(20)는 인식된 자유 공간 영역 및 물체 존재 영역을 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행할 수 있다.Also, the second controller 20 converts the recognized free space area and the object existence area into three-dimensional space coordinates of three-dimensional spatial data, and performs ADAS (Advanced Driver Assistance System) control using the converted three- Autonomous drive control, and autonomous drive control.

한편 도 9에는 하나의 제2 차량(2)만을 도시하였으나, 서버(170)에 의해 학습되는 분류기는 복수의 제2 차량(2)의 각각의 제2 제어부(20)로 전송될 수 있다.9 shows only one second vehicle 2, the classifier learned by the server 170 may be transmitted to each second control unit 20 of the plurality of second vehicles 2. [

이와 같이 본 실시예는 소정의 3차원 센싱 장비를 통해 획득한 3차원 공간 데이터를 기반으로 자유 공간 영역을 인식하기 위한 분류기를 학습하여 자유 공간 영역을 인식함으로써 그 인식 정확도를 향상시킬 수 있고, 학습이 완료된 분류기를 카메라와 같은 저가의 센서만이 장착된 차량에 적용하여 자유 공간 영역을 인식함으로써 자율 주행 제어를 구현하기 위한 비용을 저감시킬 수 있다.As described above, the present embodiment can improve the recognition accuracy by recognizing the free space region by learning the classifier for recognizing the free space region based on the three-dimensional spatial data acquired through the predetermined three-dimensional sensing equipment, The completed classifier can be applied to a vehicle equipped with only a low-cost sensor such as a camera to recognize the free space area, thereby reducing the cost for implementing the autonomous driving control.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, I will understand. Accordingly, the true scope of the present invention should be determined by the following claims.

1: 제1 차량
2: 제2 차량
10: 제1 제어부
20: 제2 제어부
110: 레이저 센서 모듈
120: 영상 센서 모듈
121: 제1 영상 센서
122: 제2 영상 센서
130: 측위부
140: 3차원 공간 모델 생성부
150: 영역 구분부
160: DB 생성부
170: 분류기 학습부, 서버
180: 영역 인식부
190: 주행 제어부1: first vehicle
2: second vehicle
10:
20:
110: Laser sensor module
120: Image sensor module
121: first image sensor
122: second image sensor
130:
140: a three-dimensional spatial model generation unit
150:
160: DB generating unit
170: classifier learning unit, server
180: area recognition unit
190:

Claims (21)

레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 제1 차량의 주변 환경에 대한 3차원 공간 모델을 생성하는 3차원 공간 모델 생성부로서, 상기 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터인, 3차원 공간 모델 생성부;
상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 영역 구분부;
영상 센서 모듈에 의해 획득된 영상 정보에서 상기 영역 구분부에 의해 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 DB 생성부; 및
상기 생성된 분류기 학습용 영상 DB를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 분류기 학습부;
를 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
A three-dimensional spatial model generating unit for generating a three-dimensional spatial model for the surrounding environment of the first vehicle using the three-dimensional spatial data obtained by the laser sensor module, wherein the three- A three-dimensional space model generating unit, which is cloud data of the three-dimensional space model generating unit;
An area dividing unit for dividing a free space area and an object existing area on the generated three-dimensional spatial model;
A DB generator for generating a classifier learning image database (DataBase) by predicting a free space area separated by the area classifier from the image information acquired by the image sensor module; And
A classifier learning unit for learning a classifier for classifying a free space region and an object existence region in the image information acquired by the image sensor module using the generated classifier learning image DB;
And a vehicle speed sensor for detecting the vehicle speed.
제1항에 있어서,
상기 영역 구분부는, 상기 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 상기 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성한 후, 상기 생성된 클러스터를 물체 존재 영역으로 결정하여 상기 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
The method according to claim 1,
The region dividing unit determines a plane corresponding to the ground in the three-dimensional space model, creates clusters of three-dimensional spatial data existing on the determined plane, determines the generated clusters as object existence regions, Wherein the free space region and the object existence region on the 3D space model are distinguished from each other.
제1항에 있어서,
상기 DB 생성부는, 상기 영상 센서 모듈의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 상기 3차원 공간 모델의 3차원 공간좌표를 상기 영상 센서 모듈의 3차원 좌표로 변환함으로써 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역을 예측하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
The method according to claim 1,
Wherein the DB generation unit converts the three-dimensional spatial coordinates of the three-dimensional spatial model into three-dimensional coordinates of the image sensor module using the rotation matrix, the movement matrix and the inner parameter matrix of the image sensor module, And estimates a free space area in the obtained image information.
제1항에 있어서,
상기 분류기 학습부는, 상기 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 상기 분류기에 대한 학습을 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
The method according to claim 1,
Wherein the classifier learning unit performs learning on the classifier by applying a Deep Learning method to the classifier learning image DB.
제4항에 있어서,
상기 제1 차량의 현재 위치를 측위하는 측위부;를 더 포함하고,
상기 분류기 학습부는, 상기 측위부로부터 상기 제1 차량의 현재 위치를 전달받아 상기 제1 차량이 주행하는 지역별 또는 도로별로 상기 분류기에 대한 학습을 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
5. The method of claim 4,
And a positioning unit for positioning the current position of the first vehicle,
Wherein the classifier learning unit receives learning of the current position of the first vehicle from the positioning unit and performs learning on the classifier by region or road on which the first vehicle travels.
제1항에 있어서,
상기 분류기 학습부에 의해 학습이 완료된 분류기를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 영역 인식부;를 더 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
The method according to claim 1,
And an area recognition unit for recognizing a free space area and an object existence area in the image information acquired by the image sensor module using the classifier whose learning has been completed by the classifier learning unit. Recognition device.
제6항에 있어서,
상기 영상 센서 모듈은 상기 제1 차량에 탑재되는 제1 영상 센서 및 제2 차량에 탑재되는 제2 영상 센서를 포함하고,
상기 영역 인식부는, 상기 제2 차량에 탑재되어 상기 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
The method according to claim 6,
Wherein the image sensor module includes a first image sensor mounted on the first vehicle and a second image sensor mounted on the second vehicle,
Wherein the area recognition unit recognizes a free space area and an object existence area in the image information mounted on the second vehicle and acquired by the second image sensor.
제7항에 있어서,
상기 제2 차량에 탑재되며, 상기 영역 인식부에 의해 인식된 자유 공간 영역 및 물체 존재 영역을 상기 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 상기 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 주행 제어부;를 더 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
8. The method of claim 7,
Dimensional spatial coordinate of the three-dimensional spatial data, and converting the free space area and the object existence area recognized by the area recognition unit into three-dimensional spatial coordinates of the three-dimensional spatial data, An Advanced Driver Assistance System (hereinafter referred to as " Advanced Driver Assistance System ") control and an autonomous driving control.
제1항에 있어서,
상기 레이저 센서 모듈은 라이다(LiDAR: Light Detection And Ranging Sensor) 센서를 포함하고, 상기 영상 센서 모듈은 카메라 센서를 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
The method according to claim 1,
Wherein the laser sensor module includes a LiDAR (Light Detection And Ranging Sensor) sensor, and the image sensor module includes a camera sensor.
제1 제어부가, 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 제1 차량의 주변 환경에 대한 3차원 공간 모델을 생성하는 단계로서, 상기 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터인, 단계;
상기 제1 제어부가, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 단계;
상기 제1 제어부가, 영상 센서 모듈에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 단계; 및
분류기 학습부가, 상기 생성된 분류기 학습용 영상 DB를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 단계;
를 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
Wherein the first control unit generates a three-dimensional spatial model of the environment of the first vehicle using the three-dimensional spatial data obtained by the laser sensor module, the three-dimensional spatial data including a point having three- Is cloud data of;
The first control unit distinguishing the free space area and the object existence area on the generated three-dimensional space model;
The first controller generates an image database (DataBase) for classifier learning by predicting the separated free space area from the image information acquired by the image sensor module; And
The classifier learning unit performing learning on a classifier for classifying the free space region and the object existence region in the image information acquired by the image sensor module using the generated classifier learning image DB;
And determining whether or not the vehicle is traveling.
제10항에 있어서,
상기 구분하는 단계에서, 상기 제1 제어부는,
상기 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 상기 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성한 후, 상기 생성된 클러스터를 물체 존재 영역으로 결정하여 상기 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
11. The method of claim 10,
In the distinguishing step,
Determining a plane corresponding to the ground in the three-dimensional space model, generating clusters of three-dimensional spatial data existing on the determined plane, determining the generated clusters as object existence regions, A space region, and an object existing region.
제10에 있어서,
상기 분류기 학습용 영상 DB를 생성하는 단계에서, 상기 제1 제어부는,
상기 영상 센서 모듈의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 상기 3차원 공간 모델의 3차원 공간좌표를 상기 영상 센서 모듈의 3차원 좌표로 변환함으로써 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역을 예측하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
The method according to claim 10,
In the step of generating the classifier learning image DB,
Dimensional spatial coordinate of the three-dimensional spatial model into three-dimensional coordinates of the image sensor module using the rotation matrix, the movement matrix and the internal parameter matrix of the image sensor module, And estimating a free space area of the vehicle.
제10항에 있어서,
상기 분류기에 대한 학습을 수행하는 단계에서, 상기 분류기 학습부는,
상기 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 상기 분류기에 대한 학습을 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
11. The method of claim 10,
In the step of performing learning on the classifier,
Wherein learning is performed on the classifier by applying a Deep Learning method to the classifier learning image DB.
제13항에 있어서,
상기 분류기에 대한 학습을 수행하는 단계에서, 상기 분류기 학습부는,
상기 분류기에 대한 학습을 상기 제1 차량이 주행하는 지역별 또는 도로별로 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
14. The method of claim 13,
In the step of performing learning on the classifier,
Wherein the learning of the classifier is performed for each region or road where the first vehicle travels.
제10항에 있어서,
제2 제어부가, 상기 분류기 학습부에 의해 학습이 완료된 분류기를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 단계;를 더 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
11. The method of claim 10,
And the second control unit recognizing the free space area and the object existence area in the image information acquired by the image sensor module using the classifier whose learning has been completed by the classifier learning unit A method of recognizing a traveling environment of a vehicle.
제15항에 있어서,
상기 영상 센서 모듈은 상기 제1 차량에 탑재되는 제1 영상 센서 및 제2 차량에 탑재되는 제2 영상 센서를 포함하고,
상기 인식하는 단계에서, 상기 제2 제어부는,
상기 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
16. The method of claim 15,
Wherein the image sensor module includes a first image sensor mounted on the first vehicle and a second image sensor mounted on the second vehicle,
In the recognizing step, the second control unit,
And recognizing the free space area and the object existence area in the image information acquired by the second image sensor.
제16항에 있어서,
상기 제2 제어부가, 상기 인식된 자유 공간 영역 및 물체 존재 영역을 상기 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 상기 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
17. The method of claim 16,
The second control unit converts the recognized free space area and the object existence area into three-dimensional space coordinates of the three-dimensional spatial data, and performs ADAS (Advanced Driver Assistance System) control using the converted three- And performing at least one of autonomous drive control and autonomous drive control.
제10항에 있어서,
상기 레이저 센서 모듈은 라이다(LiDAR: Light Detection And Ranging Sensor) 센서를 포함하고, 상기 영상 센서 모듈은 카메라 센서를 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
11. The method of claim 10,
Wherein the laser sensor module includes a LiDAR (Light Detection And Ranging Sensor) sensor, and the image sensor module includes a camera sensor.
레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성하고, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하며, 제1 영상 센서에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 제1 제어부;
상기 제1 제어부로부터 상기 분류기 학습용 영상 DB를 전달받아 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 서버; 및
상기 서버로부터 전달받은 학습이 완료된 분류기를 이용하여 상기 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 제2 제어부;
를 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 시스템.
Dimensional spatial model of the vehicle's surrounding environment using the three-dimensional spatial data acquired by the laser sensor module, distinguishes the free space region and the object existence region on the generated three-dimensional spatial model, A first controller for generating an image database (DataBase) for classifier learning by predicting the separated free space region from the image information acquired by the sensor;
A server which receives the classifier learning image DB from the first controller and learns a classifier for classifying the free space region and the object existence region in the image information acquired by the second image sensor; And
A second controller for recognizing a free space area and an object existence area in the image information acquired by the second image sensor using the classifier that has received learning from the server;
And a vehicle speed sensor for detecting the vehicle speed.
제19항에 있어서,
상기 제1 제어부, 상기 레이저 센서 모듈 및 상기 제1 영상 센서는 제1 차량에 탑재되고, 상기 제2 제어부 및 상기 제2 영상 센서는 상기 제1 차량과 구분되는 제2 차량에 탑재되는 것을 특징으로 하는 차량의 주행 환경 인식 시스템.
20. The method of claim 19,
Wherein the first control unit, the laser sensor module, and the first image sensor are mounted on a first vehicle, and the second control unit and the second image sensor are mounted on a second vehicle different from the first vehicle The recognition of the traveling environment of the vehicle.
제19항에 있어서,
상기 제2 제어부는, 상기 인식된 자유 공간 영역 및 물체 존재 영역을 상기 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 상기 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 시스템.20. The method of claim 19,
Wherein the second control unit converts the recognized free space area and the object existence area into three-dimensional space coordinates of the three-dimensional spatial data, and performs ADAS (Advanced Driver Assistance System) control using the converted three- And an autonomous drive control of the vehicle.
KR1020170081540A 2017-06-28 2017-06-28 Method, apparatus and system for recognizing driving environment of vehicle KR102399130B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170081540A KR102399130B1 (en) 2017-06-28 2017-06-28 Method, apparatus and system for recognizing driving environment of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170081540A KR102399130B1 (en) 2017-06-28 2017-06-28 Method, apparatus and system for recognizing driving environment of vehicle

Publications (3)

Publication Number Publication Date
KR20190001668A true KR20190001668A (en) 2019-01-07
KR102399130B1 KR102399130B1 (en) 2022-05-18
KR102399130B9 KR102399130B9 (en) 2023-05-11

Family

ID=65016910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170081540A KR102399130B1 (en) 2017-06-28 2017-06-28 Method, apparatus and system for recognizing driving environment of vehicle

Country Status (1)

Country Link
KR (1) KR102399130B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200096410A (en) * 2019-01-30 2020-08-12 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 Feature Extraction based on Deep Learning for LIDAR Position Estimation of Autonomous Vehicles
KR20200096724A (en) * 2019-01-30 2020-08-13 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 Real-time map generation system for autonomous vehicles
KR20200096725A (en) * 2019-01-30 2020-08-13 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 Map generation system based on RGB point cloud for autonomous vehicles
KR20200126141A (en) * 2019-04-29 2020-11-06 충북대학교 산학협력단 System and method for multiple object detection using multi-LiDAR
KR20210043518A (en) * 2020-06-28 2021-04-21 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 High-precision mapping method and device
WO2021090990A1 (en) * 2019-11-07 2021-05-14 네이버랩스 주식회사 Method for detecting reflectivity information of deep learning-based virtual environment point cloud data, and electronic device performing same
KR20210057943A (en) * 2019-11-13 2021-05-24 주식회사 라이드플럭스 Method, apparatus and computer program for conducting automatic driving data labeling
KR20210128183A (en) 2020-04-16 2021-10-26 장종환 Image processing method and device providing dedicated image for artificial intelligence and artificial intelligence apparatus using the same
KR20230033551A (en) * 2021-08-27 2023-03-08 모셔널 에이디 엘엘씨 Navigation with drivable area detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008224249A (en) * 2007-03-08 2008-09-25 Kenwood Corp Present location positioning device and method
KR20160047863A (en) * 2014-10-23 2016-05-03 현대모비스 주식회사 Object detecting apparatus, and method for operating the same
KR20160125803A (en) * 2015-04-22 2016-11-01 국방과학연구소 Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest
KR20170065220A (en) * 2015-12-03 2017-06-13 공정호 How to loop video and radar detector detectors to the value of the classification machine learning to improve the accuracy of vehicle types

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008224249A (en) * 2007-03-08 2008-09-25 Kenwood Corp Present location positioning device and method
KR20160047863A (en) * 2014-10-23 2016-05-03 현대모비스 주식회사 Object detecting apparatus, and method for operating the same
KR20160125803A (en) * 2015-04-22 2016-11-01 국방과학연구소 Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest
KR20170065220A (en) * 2015-12-03 2017-06-13 공정호 How to loop video and radar detector detectors to the value of the classification machine learning to improve the accuracy of vehicle types

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200096410A (en) * 2019-01-30 2020-08-12 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 Feature Extraction based on Deep Learning for LIDAR Position Estimation of Autonomous Vehicles
KR20200096724A (en) * 2019-01-30 2020-08-13 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 Real-time map generation system for autonomous vehicles
KR20200096725A (en) * 2019-01-30 2020-08-13 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 Map generation system based on RGB point cloud for autonomous vehicles
US11465642B2 (en) 2019-01-30 2022-10-11 Baidu Usa Llc Real-time map generation system for autonomous vehicles
KR20200126141A (en) * 2019-04-29 2020-11-06 충북대학교 산학협력단 System and method for multiple object detection using multi-LiDAR
WO2021090990A1 (en) * 2019-11-07 2021-05-14 네이버랩스 주식회사 Method for detecting reflectivity information of deep learning-based virtual environment point cloud data, and electronic device performing same
KR20210055178A (en) * 2019-11-07 2021-05-17 네이버랩스 주식회사 Method for determining intensity information of point cloud data on virtual environment based on deep learning and electronic device for executing the same
KR20210057943A (en) * 2019-11-13 2021-05-24 주식회사 라이드플럭스 Method, apparatus and computer program for conducting automatic driving data labeling
KR20210128183A (en) 2020-04-16 2021-10-26 장종환 Image processing method and device providing dedicated image for artificial intelligence and artificial intelligence apparatus using the same
KR20210043518A (en) * 2020-06-28 2021-04-21 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 High-precision mapping method and device
US11668831B2 (en) 2020-06-28 2023-06-06 Beijing Baidu Netcom Science Technology Co., Ltd. High-precision mapping method and device
KR20230033551A (en) * 2021-08-27 2023-03-08 모셔널 에이디 엘엘씨 Navigation with drivable area detection

Also Published As

Publication number Publication date
KR102399130B9 (en) 2023-05-11
KR102399130B1 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
US10949684B2 (en) Vehicle image verification
KR102399130B1 (en) Method, apparatus and system for recognizing driving environment of vehicle
JP7351293B2 (en) Signal processing device, signal processing method, program, and mobile object
US20210364320A1 (en) Vehicle localization
US10035508B2 (en) Device for signalling objects to a navigation module of a vehicle equipped with this device
JP7259749B2 (en) Information processing device, information processing method, program, and moving body
US11648939B2 (en) Collision monitoring using system data
US20220194412A1 (en) Validating Vehicle Sensor Calibration
US11299169B2 (en) Vehicle neural network training
CN110936959B (en) On-line diagnosis and prediction of vehicle perception system
US11657572B2 (en) Systems and methods for map generation based on ray-casting and semantic class images
CN116830164A (en) LiDAR decorrelated object detection system and method
US20230237783A1 (en) Sensor fusion
WO2021193103A1 (en) Information processing device, information processing method, and program
CN116724248A (en) System and method for generating a modeless cuboid
CN114730521A (en) Collision monitoring using statistical models
WO2020132943A1 (en) A corner negotiation method for autonomous driving vehicles without map and localization
US11645364B2 (en) Systems and methods for object detection using stereovision information
US20230084623A1 (en) Attentional sampling for long range detection in autonomous vehicles
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation
US20230186638A1 (en) Device for determining a topography of a vehicle environment, vehicle and method
EP4141482A1 (en) Systems and methods for validating camera calibration in real-time
US20230267640A1 (en) Pose estimation
TW202248963A (en) Compound eyes system, the vehicle using the compound eyes systme and the image processing method for the compound eyes system
CN116229703A (en) Method, system and storage medium for detecting traffic signals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]