KR102399130B1 - 차량의 주행 환경 인식 장치, 방법 및 시스템 - Google Patents
차량의 주행 환경 인식 장치, 방법 및 시스템 Download PDFInfo
- Publication number
- KR102399130B1 KR102399130B1 KR1020170081540A KR20170081540A KR102399130B1 KR 102399130 B1 KR102399130 B1 KR 102399130B1 KR 1020170081540 A KR1020170081540 A KR 1020170081540A KR 20170081540 A KR20170081540 A KR 20170081540A KR 102399130 B1 KR102399130 B1 KR 102399130B1
- Authority
- KR
- South Korea
- Prior art keywords
- region
- vehicle
- classifier
- image
- sensor module
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/42—
-
- B60W2420/52—
-
- B60W2420/62—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 차량의 주행 환경 인식 장치, 방법 및 시스템에 관한 것으로서, 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 제1 차량의 주변 환경에 대한 3차원 공간 모델을 생성하는 3차원 공간 모델 생성부로서, 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터인, 3차원 공간 모델 생성부, 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 영역 구분부, 영상 센서 모듈에 의해 획득된 영상 정보에서 영역 구분부에 의해 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 DB 생성부, 및 생성된 분류기 학습용 영상 DB를 이용하여 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 분류기 학습부를 포함하는 것을 특징으로 한다.
Description
본 발명은 차량의 주행 환경 인식 장치, 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 차량의 주행 환경 상의 자유 공간 영역을 인식하기 위한 차량의 주행 환경 인식 장치, 방법 및 시스템에 관한 것이다.
최근, 자율 주행 차량에 대한 제어 기술이 급격히 발달함과 동시에 자율 주행 차량의 안전성에 대한 문제가 대두되고 있다. 자율 주행 차량이 상용화되기 위해서는 어떠한 돌발적인 환경에서도 안전하게 주행할 수 있어야 하며, 이를 위해서는 자율 주행 차량이 주행하는 주행 영역, 즉 주행이 가능한 자유 공간 영역(Free Space), 및 장애물 등으로 인해 주행이 불가능한 물체 존재 영역에 대한 정확한 인식이 전제되어야 한다.
종래, 자율 주행 차량의 주행 가능 영역을 인식하기 위한 자유 공간 탐지 기술로서 광선 추적(ray tracing)을 응용한 복셀 횡단(voxel traversal) 방식을 이용하여 자유 공간 영역을 인식하는 방법, 차량의 전방을 촬영하여 영상의 색상 정보에 따라 주행 가능 영역을 추정하는 방법, 및 스테레오 영상의 변이 지도를 이용하여 주행 가능 영역을 추정하는 방법 등이 사용되어 왔다.
그러나, 복셀 횡단 방식은 실제 자유 공간이 아닌 영역을 자유 공간 영역으로 잘못 탐지할 확률이 크며, 복셀의 단위 크기가 작고 3차원 거리 탐지 센서의 방위 해상도가 낮을수록 단위 데이터 프레임당 탐지 가능한 자유 공간 영역이 한정되는 문제가 있다. 또한, 영상의 색상 정보에 따라 주행 가능 영역을 추정하는 방법은 조명의 변화나 그림자의 영향을 많이 받아 주행 가능 영역을 제대로 추정하지 못하는 문제점이 존재하며, 스테레오 영상의 변이 지도를 이용한 방법은 스테레오 매칭 오류로 인해 텍스쳐 정보가 적은 지역의 주행 가능 영역은 추정하기 어렵다는 문제점이 존재한다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2013-0108988호(2013. 04. 09 공개)에 개시되어 있다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 종래의 자유 공간 영역 인식 기술에 존재하였던 인식 오류를 제거하여 자유 공간 영역을 보다 정확하게 인식하고, 카메라와 같은 저가의 센서만으로 자유 공간 영역을 효과적으로 인식할 수 있는 차량의 주행 환경 인식 장치, 방법 및 시스템을 제공하는 것이다.
본 발명의 일 측면에 따른 차량의 주행 환경 인식 장치는, 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 제1 차량의 주변 환경에 대한 3차원 공간 모델을 생성하는 3차원 공간 모델 생성부로서, 상기 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터인, 3차원 공간 모델 생성부, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 영역 구분부, 영상 센서 모듈에 의해 획득된 영상 정보에서 상기 영역 구분부에 의해 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 DB 생성부, 및 상기 생성된 분류기 학습용 영상 DB를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 분류기 학습부를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 영역 구분부는, 상기 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 상기 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성한 후, 상기 생성된 클러스터를 물체 존재 영역으로 결정하여 상기 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 것을 특징으로 한다.
본 발명에 있어 상기 DB 생성부는, 상기 영상 센서 모듈의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 상기 3차원 공간 모델의 3차원 공간좌표를 상기 영상 센서 모듈의 3차원 좌표로 변환함으로써 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역을 예측하는 것을 특징으로 한다.
본 발명에 있어 상기 분류기 학습부는, 상기 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 상기 분류기에 대한 학습을 수행하는 것을 특징으로 한다.
본 발명은 상기 제1 차량의 현재 위치를 측위하는 측위부를 더 포함하고, 상기 분류기 학습부는, 상기 측위부로부터 상기 제1 차량의 현재 위치를 전달받아 상기 제1 차량이 주행하는 지역별 또는 도로별로 상기 분류기에 대한 학습을 수행하는 것을 특징으로 한다.
본 발명은 상기 분류기 학습부에 의해 학습이 완료된 분류기를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 영역 인식부를 더 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 영상 센서 모듈은 상기 제1 차량에 탑재되는 제1 영상 센서 및 제2 차량에 탑재되는 제2 영상 센서를 포함하고, 상기 영역 인식부는, 상기 제2 차량에 탑재되어 상기 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 것을 특징으로 한다.
본 발명은 상기 제2 차량에 탑재되며, 상기 영역 인식부에 의해 인식된 자유 공간 영역 및 물체 존재 영역을 상기 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 상기 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 주행 제어부를 더 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 레이저 센서 모듈은 라이다(LiDAR: Light Detection And Ranging Sensor) 센서를 포함하고, 상기 영상 센서 모듈은 카메라 센서를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 차량의 주행 환경 인식 방법은, 제1 제어부가, 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 제1 차량의 주변 환경에 대한 3차원 공간 모델을 생성하는 단계로서, 상기 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터인, 단계, 상기 제1 제어부가, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 단계, 상기 제1 제어부가, 영상 센서 모듈에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 단계, 및 분류기 학습부가, 상기 생성된 분류기 학습용 영상 DB를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 차량의 주행 환경 인식 시스템은, 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성하고, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하며, 제1 영상 센서에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 제1 제어부, 상기 제1 제어부로부터 상기 분류기 학습용 영상 DB를 전달받아 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 서버, 및 상기 서버로부터 전달받은 학습이 완료된 분류기를 이용하여 상기 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 제2 제어부를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 소정의 3차원 센싱 장비를 통해 획득한 3차원 공간 데이터를 기반으로 자유 공간 영역을 인식하기 위한 분류기를 학습하여 자유 공간 영역을 인식함으로써 그 인식 정확도를 향상시킬 수 있고, 학습이 완료된 분류기를 카메라와 같은 저가의 센서만이 장착된 차량에 적용하여 자유 공간 영역을 인식함으로써 자율 주행 제어를 구현하기 위한 비용을 저감시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치를 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 3차원 공간 모델을 설명하기 위한 예시도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영상 센서 모듈에 의해 획득된 영상 정보에서 영역 구분부에 의해 구분된 자유 공간 영역을 예측하는 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 딥 러닝(Deep Learning) 방식을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영역 인식부가 제2 차량에 탑재되는 실시예를 설명하기 위한 블록구성도이다.
도 7은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 분류기 학습부가 외부 서버로 구현될 수 있는 실시예를 설명하기 위한 블록구성도이다.
도 8은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 시스템을 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 3차원 공간 모델을 설명하기 위한 예시도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영상 센서 모듈에 의해 획득된 영상 정보에서 영역 구분부에 의해 구분된 자유 공간 영역을 예측하는 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 딥 러닝(Deep Learning) 방식을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영역 인식부가 제2 차량에 탑재되는 실시예를 설명하기 위한 블록구성도이다.
도 7은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 분류기 학습부가 외부 서버로 구현될 수 있는 실시예를 설명하기 위한 블록구성도이다.
도 8은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 시스템을 설명하기 위한 블록구성도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 주행 환경 인식 장치, 방법 및 시스템의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치를 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 3차원 공간 모델을 설명하기 위한 예시도이며, 도 3 및 도 4는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영상 센서 모듈에 의해 획득된 영상 정보에서 영역 구분부에 의해 구분된 자유 공간 영역을 예측하는 과정을 설명하기 위한 예시도이고, 도 5는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 딥 러닝(Deep Learning) 방식을 설명하기 위한 예시도이며, 도 6은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 영역 인식부가 제2 차량에 탑재되는 실시예를 설명하기 위한 블록구성도이고, 도 7은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치에서 분류기 학습부가 외부 서버로 구현될 수 있는 실시예를 설명하기 위한 블록구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 장치는 레이저 센서 모듈(110), 영상 센서 모듈(120), 3차원 공간 모델 생성부(140), 영역 구분부(150), DB 생성부(160), 분류기 학습부(170) 및 영역 인식부(180)를 포함할 수 있다.
레이저 센서 모듈(110)은 차량에 탑재되어 주행 환경에 대한 3차원 공간 데이터를 획득할 수 있다. 구체적으로, 레이저 센서 모듈(110)은 다수의 레이저 포인트를 주변에 발사하고, 주변 객체로부터 반사되어 돌아오는 시간 및 강도에 근거하여 대상체까지의 거리 및 형상을 측정함으로써 3차원 공간 데이터를 취득할 수 있다. 3차원 공간 데이터는 3차원 공간좌표(3차원 월드좌표)를 갖는 레이저 포인트의 클라우드 데이터를 의미하며, 후술할 것과 같이 3차원 공간 모델 생성부(140)에 의해 주변 환경에 대한 3차원 공간 모델이 생성되는데 사용될 수 있다. 레이저 센서 모듈(110)은 레이저 포인트 클라우드 데이터를 취득하기 위해 라이다 센서(LiDAR: Light Detection And Ranging Sensor)를 포함할 수 있다.
영상 센서 모듈(120)은 차량에 탑재되어 주행 환경에 대한 영상 정보를 획득할 수 있다. 영상 센서 모듈(120)은 제1 차량(1)에 탑재되는 제1 영상 센서(121) 및 제2 차량(2)에 탑재되는 제2 영상 센서(122)를 포함할 수 있으며, 구체적인 설명은 후술한다. 영상 센서 모듈(120)은 차량의 주행 환경에 대한 영상 정보를 획득하기 위해 카메라 센서를 포함할 수 있다.
라이다 센서로 구현될 수 있는 레이저 센서 모듈(110)을 이용하면 풍부한 3차원 공간 데이터를 획득할 수 있으며, 획득된 3차원 공간 데이터에 소정의 컴퓨터 비전 기술을 적용하면 자유 공간 영역 및 물체 존재 영역을 구분할 수 있다. 다만, 라이다 센서는 비교적 고가이기 때문에 상용화의 곤란성이 수반된다.
상기한 문제점을 해결하기 위한 본 실시예의 특징을 개괄적으로 설명하면, 우선 레이저 센서 모듈(110) 및 영상 센서 모듈(120)이 탑재된 차량(제1 차량(1))이 주행하는 과정에서 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성하고 자유 공간 영역 및 물체 존재 영역을 구분하는 과정이 수행된다. 그리고, 영상 센서 모듈(120)에 의해 획득된 영상에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB를 생성하는 과정이 수행된다. 이후, 분류기 학습용 영상 DB를 이용하여 분류기에 대한 학습이 수행된다. 분류기는 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 소정의 알고리즘을 의미한다. 분류기에 대한 학습이 완료되면, 학습이 완료된 분류기를 통해 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하는 과정이 수행된다.
즉, 본 실시예는 라이다 센서(레이저 센서 모듈(110)) 및 카메라 센서(영상 센서 모듈(120))를 이용하여 분류기에 대한 학습을 진행하고, 학습이 완료된 분류기 및 카메라 센서만을 이용하여 차량의 주행 환경의 자유 공간 영역을 인식함으로써, 차량의 센서로 상용화된 저가의 카메라 센서만으로 자유 공간 영역을 인식할 수 있다.
이하에서는 본 실시예의 구성 및 각 구성의 기능을 구체적으로 설명한다.
3차원 공간 모델 생성부(140)는 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성할 수 있다. 3차원 공간 데이터는 전술한 것과 같이 3차원 공간좌표를 갖는 포인트의 클라우드 데이터를 의미한다. 3차원 공간 모델 생성부(140)는 3차원 공간 데이터에 주지의 컴퓨터 비전 기술을 적용하여 3차원 공간 모델을 생성할 수 있다. 도 2는 3차원 공간 모델 생성부(140)에 의해 생성된 3차원 공간 모델의 예시를 도시하고 있다.
영역 구분부(150)는 3차원 공간 모델 생성부(140)에 의해 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분할 수 있다. 영역 구분부(150)는 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 결정된 평면 위에 존재하는 물체를 검출하는 방식을 이용하여 자유 공간 영역 및 물체 존재 영역을 구분할 수 있다.
보다 구체적으로, 영역 구분부(150)는 3차원 공간 모델 생성부(140)로부터 입력받은 3차원 공간 모델에 대하여 3차원 평면의 방정식을 적용하여 3차원 공간 모델에서 지면에 해당하는 평면을 결정할 수 있다. 그리고, 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성하여, 생성된 클러스터를 물체 존재 영역으로 결정할 수 있다. 상기 클러스터는 하나 이상이 생성될 수 있으며, 이에 따라 영역 구분부(150)는 3차원 공간 모델에서 각 클러스터를 물체 존재 영역으로 결정하고 나머지 영역을 자유 공간 영역으로 결정함으로써 자유 공간 영역 및 물체 존재 영역을 구분할 수 있다.
DB 생성부(160)는 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 영역 구분부(150)에 의해 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성할 수 있다.
구체적으로, 본 실시예는 카메라 센서로 구현될 수 있는 영상 센서 모듈(120)에 의해 획득된 영상 정보에 학습 완료된 분류기를 적용하여 자유 공간 영역을 인식하는 것에 특징이 있으며, 따라서 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역이 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 어느 영역에 해당하는지 결정하는 것이 중요하다. 이것은 3차원 공간 모델의 3차원 공간좌표, 및 영상 센서 모듈(120)에 의해 획득된 영상 정보의 3차원 좌표 간의 변환 관계로부터 구할 수 있다.
DB 생성부(160)의 동작을 도 3 및 4를 참조하여 구체적으로 설명하면, 도 3에 도시된 것과 같이 레이저 센서 모듈(110) 및 영상 센서 모듈(120)이 동일한 영역을 센싱하고 있을 때, 임의의 3개 포인트에 대한 각 센서 모듈 간 대응 관계를 알게 되면, 레이저 센서 모듈(110) 및 영상 센서 모듈(120) 간의 3차원 좌표 변환 관계를 구할 수 있다. 3차원 좌표 변환 관계는 영상 센서 모듈(120)의 회전 행렬(R), 이동 행렬(t) 및 내부 파라미터 행렬(K)로 나타낼 수 있으며, 레이저 센서 모듈(110) 및 영상 센서 모듈(120)의 장착 위치가 변경되지 않는 한 세 개의 행렬값은 동일하게 유지된다.
따라서, 레이저 센서 모듈(110) 및 영상 센서 모듈(120) 간 사전에 한 번 수행되는 캘리브레이션을 토대로 영상 센서 모듈(120)의 회전 행렬(R), 이동 행렬(t) 및 내부 파라미터 행렬(K)이 DB 생성부(160)에 미리 설정될 수 있으며, 이를 기반으로 DB 생성부(160)는 도 4에 도시된 것과 같이 영상 센서 모듈(120)의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 3차원 공간 모델의 3차원 공간좌표(M)를 영상 센서 모듈(120)의 3차원 좌표로 변환함으로써 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역을 예측할 수 있다. 자유 공간 영역이 예측되면, DB 생성부(160)는 예측된 자유 공간 영역이 표시된 영상 정보를 분류기 학습용 영상 DB로서 생성하여 분류기 학습부(170)로 전달할 수 있다.
분류기 학습부(170)는 DB 생성부(160)에 의해 생성된 분류기 학습용 영상 DB를 이용하여 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행할 수 있다. 분류기는 전술한 것과 같이 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 소정의 알고리즘을 의미한다.
본 실시예에서 분류기 학습부(170)는 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 분류기에 대한 학습을 수행할 수 있다. 딥 러닝 방식은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 광의의 관점에서는 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 표현될 수 있다.
분류기 학습부(170)는 DB 생성부(160)로부터 입력받은 분류기 학습용 영상 DB 상에서 구분된 자유 공간 영역 및 물체 존재 영역에 대하여 도 5에 도시된 것과 같이 다수의 뉴런을 통해 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 학습을 진행할 수 있다. 각 뉴런(input layer, hidden layer)마다 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 파라미터 값이 결정되며, 최종 단계의 뉴런(output layer)에서는 자유 공간 영역인지 여부를 최종적으로 결정하게 된다.
한편, 본 실시예에 따른 차량의 주행 환경 인식 장치는 차량의 현재 위치를 측위하는 측위부(130)를 더 포함할 수 있다. 이에 따라 분류기 학습부(170)는 측위부(130)로부터 차량의 현재 위치를 전달받아 차량이 주행하는 지역별 또는 도로별로 분류기에 대한 학습을 수행할 수도 있다. 이에 따라 분류기에 대한 학습을 진행하기 위해 요구되는 분류기 학습용 영상 DB의 양을 저감시킬 수 있으며, 해당 지역 또는 도로에 최적화된 분류기를 확보할 수 있다. 한편, 측위부(130)는 차량의 현재 위치를 측위하기 위해 GPS(Global Positioning System), GNSS(Global Navigation Satellite System), INS(Inertial Navigation System) 및 GNSS/INS 통합 센서 중 하나 이상을 포함할 수 있다.
영역 인식부(180)는 분류기 학습부(170)에 의해 학습이 완료된 분류기를 이용하여 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하여 인식할 수 있다. 이때, 영역 인식부(180)는 실시예에 따라 도 1에 도시된 것과 같이 제1 차량(1)에 탑재될 수 있고, 도 6에 도시된 것과 같이 제1 차량(1)과 구분되는 제2 차량(2)에 탑재될 수도 있다.
도 1에 도시된 것과 같이 영역 인식부(180)가 제1 차량(1)에 탑재되는 실시예에 있어서, 제1 차량(1)은 레이저 센서 모듈(110) 및 영상 센서 모듈(120)이 모두 탑재되어 있으므로, 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 기반으로 3차원 공간 모델 생성부(140) 및 영역 구분부(150)를 통해 자유 공간 영역 및 물체 존재 영역을 구분할 수도 있고, 영상 센서 모듈(120)에 의해 획득된 영상 정보 및 학습이 완료된 분류기를 기반으로 영역 인식부(180)를 통해 자유 공간 영역 및 물체 존재 영역을 구분할 수도 있다.
또한, 도 6에 도시된 것과 같이 본 실시예의 영역 인식부(180)는 레이저 센서 모듈(110)은 탑재되어 있지 않고 영상 센서 모듈(120)만 탑재되어 있는 제2 차량(2)에 탑재될 수도 있다. 그리고, 본 실시예의 영상 센서 모듈(120)은 제1 차량(1)에 탑재되는 제1 영상 센서(121) 및 제2 차량(2)에 탑재되는 제2 영상 센서(122)를 포함할 수 있다. 이에 따라 제2 차량(2)에 탑재되는 영역 인식부(180)는 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하여 인식할 수도 있다.
즉, 제2 차량(2)에 탑재된 영역 인식부(180)는 제1 차량(1)에 탑재된 분류기 학습부(170)로부터 학습이 완료된 분류기를 유무선 통신을 통해 전송받고, 전송받은 분류기를 제2 차량(2)의 제2 영상 센서(122)에 의해 획득된 영상 정보에 적용함으로써 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하여 인식할 수도 있다. 즉, 레이저 센서 모듈(110) 및 영상 센서 모듈(120)이 모두 탑재된 제1 차량(1)의 분류기 학습부(170)에 의해 학습된 분류기는 영상 센서 모듈(120)만이 탑재된 제2 차량(2)의 영역 인식부(180)로 전송되어 공유됨으로써 영상 센서 모듈(120)만을 통해 자유 공간 영역과 물체 존재 영역을 구분하여 인식하도록 할 수 있다.
또한, 본 실시예는 제2 차량(2)에 탑재되며, 영역 인식부(180)에 의해 인식된 자유 공간 영역 및 물체 존재 영역을 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 주행 제어부(180)를 더 포함할 수도 있다.
한편, 분류기 학습부(170)는 실시예에 따라 제1 차량(1)에 탑재될 수도 있고 도 7에 도시된 것과 같이 외부 서버(170)로 구현될 수도 있다. 즉, 분류기 학습부(170)에 의해 수행되는 딥 러닝 방식을 이용한 학습 과정에는 방대한 양의 분류기 학습용 영상 DB가 요구되기 때문에, 분류기 학습부(170)를 제1 차량(1)의 외부에 설치된 서버(170)로 구현하여 그 학습 과정 상의 로드(Load)를 저감시킬 수 있다. 이러한 실시예에서 서버(170)는 도 7에 도시된 것과 같이 제1 차량(1)에 탑재된 DB 생성부(160)로부터 분류기 학습용 영상 DB를 무선 통신을 통해 전송받아 딥 러닝 방식을 이용하여 분류기에 대한 학습을 진행하고, 분류기 학습이 완료되면 학습이 완료된 분류기를 제2 차량(2)에 탑재된 영역 인식부(180)로 전송하는 역할을 수행할 수 있다.
이상에서는 제1 차량(1)에 탑재되는 3차원 공간 모델 생성부(140), 영역 구분부(150), DB 생성부(160)(및 분류기 학습부(170))를 분리된 구성으로 설명하였으나, 실시예에 따라서는 하나의 제어유닛(예: 제1 제어부)으로 통합된 구성으로 구현될 수도 있다. 그리고 제2 차량(2)에 탑재되는 영역 인식부(180) 및 주행 제어부(180)를 분리된 구성으로 설명하였으나, 실시예에 따라서는 하나의 제어유닛(제2 제어부)으로 통합된 구성으로 구현될 수도 있다.
도 8은 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 방법을 설명하기 위한 흐름도이다. 이하에서는 제1 제어부(10)는 제1 차량(1)에 탑재되고, 제2 제어부(20)는 제2 차량(2)에 탑재되는 실시예로서 설명하지만, 전술한 것과 같이 제1 및 제2 제어부(20)가 동일한 제1 차량(1)에 탑재되는 실시예로 구현될 수도 있다.
도 8을 참조하여 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 방법을 설명하면, 먼저 제1 제어부(10)는 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성한다(S100). 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터를 의미한다.
이어서, 제1 제어부(10)는 S100 단계에서 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분한다(S200).
이때, 제1 제어부(10)는 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성한 후, 생성된 클러스터를 물체 존재 영역으로 결정하여 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분한다.
이어서, 제1 제어부(10)는 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 S200 단계에서 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성한다(S300).
이때, 제1 제어부(10)는 영상 센서 모듈(120)의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 3차원 공간 모델의 3차원 공간좌표를 영상 센서 모듈(120)의 3차원 좌표로 변환함으로써 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역을 예측한다.
이어서, 분류기 학습부(170)는 제1 제어부(10)에 의해 생성된 분류기 학습용 영상 DB를 이용하여 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행한다(S400).
이때, 분류기 학습부(170)는 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 분류기에 대한 학습을 수행한다.
또한, S400 단계에서 분류기 학습부(170)는 분류기에 대한 학습을 차량이 주행하는 지역별 또는 도로별로 수행할 수도 있다.
이어서, 제2 제어부(20)는 분류기 학습부(170)에 의해 학습이 완료된 분류기를 이용하여 영상 센서 모듈(120)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하여 인식한다(S500). 영상 센서 모듈(120)은 제1 차량(1)에 탑재되는 제1 영상 센서(121) 및 제2 차량(2)에 탑재되는 제2 영상 센서(122)를 포함할 수 있으며, 이에 따라 제2 제어부(20)는 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식할 수 있다.
이어서, 제2 제어부(20)는 S500 단계에서 인식된 자유 공간 영역 및 물체 존재 영역을 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행한다(S600).
도 9는 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 시스템을 설명하기 위한 블록구성도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 차량의 주행 환경 인식 시스템은 제1 제어부(10), 서버(170) 및 제2 제어부(20)를 포함할 수 있다.
제1 제어부(10)는 제1 차량(1)에 탑재될 수 있으며, 제1 차량(1)은 레이저 센서 모듈(110) 및 영상 센서 모듈(120)(제1 영상 센서(121))이 모두 탑재된 차량일 수 있다. 제1 제어부(10)는 레이저 센서 모듈(110)에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성하고, 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하며, 제1 영상 센서(121)에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성할 수 있다. 제1 영상 센서(121)는 카메라 센서로 구현되어 제1 차량(1)에 탑재될 수 있다.
서버(170)는 제1 제어부(10)로부터 분류기 학습용 영상 DB를 전달받아 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행할 수 있다.
제2 제어부(20)는 제2 차량(2)에 탑재될 수 있으며, 제2 차량(2)은 레이저 센서 모듈(110)은 탑재되지 않고 영상 센서 모듈(120)(제2 영상 센서(122))만이 탑재된 차량일 수 있다. 제2 제어부(20)는 서버(170)로부터 전달받은 학습이 완료된 분류기를 전달받아 제2 영상 센서(122)에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식할 수 있다. 제2 영상 센서(122)는 카메라 센서로 구현되어 제2 차량(2)에 탑재될 수 있다.
또한, 제2 제어부(20)는 인식된 자유 공간 영역 및 물체 존재 영역을 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행할 수 있다.
한편 도 9에는 하나의 제2 차량(2)만을 도시하였으나, 서버(170)에 의해 학습되는 분류기는 복수의 제2 차량(2)의 각각의 제2 제어부(20)로 전송될 수 있다.
이와 같이 본 실시예는 소정의 3차원 센싱 장비를 통해 획득한 3차원 공간 데이터를 기반으로 자유 공간 영역을 인식하기 위한 분류기를 학습하여 자유 공간 영역을 인식함으로써 그 인식 정확도를 향상시킬 수 있고, 학습이 완료된 분류기를 카메라와 같은 저가의 센서만이 장착된 차량에 적용하여 자유 공간 영역을 인식함으로써 자율 주행 제어를 구현하기 위한 비용을 저감시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
1: 제1 차량
2: 제2 차량
10: 제1 제어부
20: 제2 제어부
110: 레이저 센서 모듈
120: 영상 센서 모듈
121: 제1 영상 센서
122: 제2 영상 센서
130: 측위부
140: 3차원 공간 모델 생성부
150: 영역 구분부
160: DB 생성부
170: 분류기 학습부, 서버
180: 영역 인식부
190: 주행 제어부
2: 제2 차량
10: 제1 제어부
20: 제2 제어부
110: 레이저 센서 모듈
120: 영상 센서 모듈
121: 제1 영상 센서
122: 제2 영상 센서
130: 측위부
140: 3차원 공간 모델 생성부
150: 영역 구분부
160: DB 생성부
170: 분류기 학습부, 서버
180: 영역 인식부
190: 주행 제어부
Claims (21)
- 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 제1 차량의 주변 환경에 대한 3차원 공간 모델을 생성하는 3차원 공간 모델 생성부로서, 상기 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터인, 3차원 공간 모델 생성부;
상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 영역 구분부;
영상 센서 모듈에 의해 획득된 영상 정보에서 상기 영역 구분부에 의해 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 DB 생성부; 및
상기 생성된 분류기 학습용 영상 DB를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 분류기 학습부;
를 포함하고,
상기 분류기 학습부에 의해 학습이 완료된 분류기를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 영역 인식부;를 더 포함하고,
상기 영상 센서 모듈은 상기 제1 차량에 탑재되는 제1 영상 센서 및 제2 차량에 탑재되는 제2 영상 센서를 포함하고,
상기 영역 인식부는, 상기 제2 차량에 탑재되어 상기 제2 영상 센서에 의해 획득된 영상 정보만으로부터 자유 공간 영역 및 물체 존재 영역을 인식하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
- 제1항에 있어서,
상기 영역 구분부는, 상기 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 상기 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성한 후, 상기 생성된 클러스터를 물체 존재 영역으로 결정하여 상기 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
- 제1항에 있어서,
상기 DB 생성부는, 상기 영상 센서 모듈의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 상기 3차원 공간 모델의 3차원 공간좌표를 상기 영상 센서 모듈의 3차원 좌표로 변환함으로써 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역을 예측하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
- 제1항에 있어서,
상기 분류기 학습부는, 상기 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 상기 분류기에 대한 학습을 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
- 제4항에 있어서,
상기 제1 차량의 현재 위치를 측위하는 측위부;를 더 포함하고,
상기 분류기 학습부는, 상기 측위부로부터 상기 제1 차량의 현재 위치를 전달받아 상기 제1 차량이 주행하는 지역별 또는 도로별로 상기 분류기에 대한 학습을 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
- 삭제
- 삭제
- 제1항에 있어서,
상기 제2 차량에 탑재되며, 상기 영역 인식부에 의해 인식된 자유 공간 영역 및 물체 존재 영역을 상기 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 상기 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 주행 제어부;를 더 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
- 제1항에 있어서,
상기 레이저 센서 모듈은 라이다(LiDAR: Light Detection And Ranging Sensor) 센서를 포함하고, 상기 영상 센서 모듈은 카메라 센서를 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 장치.
- 제1 차량에 탑재된 제1 제어부가, 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 제1 차량의 주변 환경에 대한 3차원 공간 모델을 생성하는 단계로서, 상기 3차원 공간 데이터는 3차원 공간좌표를 갖는 포인트의 클라우드 데이터인, 단계;
상기 제1 제어부가, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 단계;
상기 제1 제어부가, 영상 센서 모듈에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 단계; 및
분류기 학습부가, 상기 생성된 분류기 학습용 영상 DB를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 단계;
를 포함하고,
제2 차량에 탑재된 제2 제어부가, 상기 분류기 학습부에 의해 학습이 완료된 분류기를 이용하여 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 인식하는 단계;를 더 포함하고,
상기 영상 센서 모듈은 상기 제1 차량에 탑재되는 제1 영상 센서 및 상기 제2 차량에 탑재되는 제2 영상 센서를 포함하고,
상기 인식하는 단계에서, 상기 제2 제어부는,
상기 제2 영상 센서에 의해 획득된 영상 정보만으로부터 자유 공간 영역 및 물체 존재 영역을 인식하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
- 제10항에 있어서,
상기 구분하는 단계에서, 상기 제1 제어부는,
상기 3차원 공간 모델에서 지면에 해당하는 평면을 결정하고, 상기 결정된 평면 위에 존재하는 3차원 공간 데이터의 클러스터를 생성한 후, 상기 생성된 클러스터를 물체 존재 영역으로 결정하여 상기 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
- 제10항에 있어서,
상기 분류기 학습용 영상 DB를 생성하는 단계에서, 상기 제1 제어부는,
상기 영상 센서 모듈의 회전 행렬, 이동 행렬 및 내부 파라미터 행렬을 이용하여 상기 3차원 공간 모델의 3차원 공간좌표를 상기 영상 센서 모듈의 3차원 좌표로 변환함으로써 상기 영상 센서 모듈에 의해 획득된 영상 정보에서 자유 공간 영역을 예측하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
- 제10항에 있어서,
상기 분류기에 대한 학습을 수행하는 단계에서, 상기 분류기 학습부는,
상기 분류기 학습용 영상 DB에 딥 러닝(Deep Learning) 방식을 적용하여 상기 분류기에 대한 학습을 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
- 제13항에 있어서,
상기 분류기에 대한 학습을 수행하는 단계에서, 상기 분류기 학습부는,
상기 분류기에 대한 학습을 상기 제1 차량이 주행하는 지역별 또는 도로별로 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
- 삭제
- 삭제
- 제10항에 있어서,
상기 제2 제어부가, 상기 인식된 자유 공간 영역 및 물체 존재 영역을 상기 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 상기 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
- 제10항에 있어서,
상기 레이저 센서 모듈은 라이다(LiDAR: Light Detection And Ranging Sensor) 센서를 포함하고, 상기 영상 센서 모듈은 카메라 센서를 포함하는 것을 특징으로 하는 차량의 주행 환경 인식 방법.
- 레이저 센서 모듈에 의해 획득된 3차원 공간 데이터를 이용하여 차량의 주변 환경에 대한 3차원 공간 모델을 생성하고, 상기 생성된 3차원 공간 모델 상의 자유 공간 영역 및 물체 존재 영역을 구분하며, 제1 영상 센서에 의해 획득된 영상 정보에서 상기 구분된 자유 공간 영역을 예측하여 분류기 학습용 영상 DB(DataBase)를 생성하는 제1 제어부;
상기 제1 제어부로부터 상기 분류기 학습용 영상 DB를 전달받아 제2 영상 센서에 의해 획득된 영상 정보에서 자유 공간 영역 및 물체 존재 영역을 구분하기 위한 분류기에 대한 학습을 수행하는 서버; 및
상기 서버로부터 전달받은 학습이 완료된 분류기를 이용하여 상기 제2 영상 센서에 의해 획득된 영상 정보만으로부터 자유 공간 영역 및 물체 존재 영역을 인식하는 제2 제어부;
를 포함하고,
상기 제1 제어부, 상기 레이저 센서 모듈 및 상기 제1 영상 센서는 제1 차량에 탑재되고, 상기 제2 제어부 및 상기 제2 영상 센서는 상기 제1 차량과 구분되는 제2 차량에 탑재되는 것을 특징으로 하는 차량의 주행 환경 인식 시스템.
- 삭제
- 제19항에 있어서,
상기 제2 제어부는, 상기 인식된 자유 공간 영역 및 물체 존재 영역을 상기 3차원 공간 데이터의 3차원 공간좌표로 변환하고, 상기 변환된 3차원 공간좌표를 이용하여 ADAS(Advanced Driver Assistance System) 제어 및 자율 주행 제어 중 하나 이상을 수행하는 것을 특징으로 하는 차량의 주행 환경 인식 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170081540A KR102399130B1 (ko) | 2017-06-28 | 2017-06-28 | 차량의 주행 환경 인식 장치, 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170081540A KR102399130B1 (ko) | 2017-06-28 | 2017-06-28 | 차량의 주행 환경 인식 장치, 방법 및 시스템 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20190001668A KR20190001668A (ko) | 2019-01-07 |
| KR102399130B1 true KR102399130B1 (ko) | 2022-05-18 |
| KR102399130B9 KR102399130B9 (ko) | 2023-05-11 |
Family
ID=65016910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170081540A KR102399130B1 (ko) | 2017-06-28 | 2017-06-28 | 차량의 주행 환경 인식 장치, 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102399130B1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11465642B2 (en) | 2019-01-30 | 2022-10-11 | Baidu Usa Llc | Real-time map generation system for autonomous vehicles |
| EP3749976A4 (en) * | 2019-01-30 | 2021-08-18 | Baidu.com Times Technology (Beijing) Co., Ltd. | DEEP LEARNING FEATURES EXTRACTION FOR LIDAR LOCALIZATION OF AUTONOMOUS DRIVING VEHICLES |
| CN112105890B (zh) * | 2019-01-30 | 2023-11-17 | 百度时代网络技术（北京）有限公司 | 用于自动驾驶车辆的基于rgb点云的地图生成系统 |
| KR102195164B1 (ko) * | 2019-04-29 | 2020-12-24 | 충북대학교 산학협력단 | 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법 |
| KR102297836B1 (ko) * | 2019-11-07 | 2021-09-03 | 네이버랩스 주식회사 | 딥 러닝 기반 가상 환경 점 군 데이터의 반사도 정보 검출 방법 및 그를 수행하는 전자 장치 |
| KR102325367B1 (ko) * | 2019-11-13 | 2021-11-11 | 주식회사 라이드플럭스 | 자율 주행 데이터의 데이터 레이블링 방법, 장치 및 컴퓨터프로그램 |
| KR102330909B1 (ko) | 2020-04-16 | 2021-11-25 | 장종환 | 인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템 |
| CN111968229A (zh) * | 2020-06-28 | 2020-11-20 | 北京百度网讯科技有限公司 | 高精度地图制图方法及装置 |
| US11608084B1 (en) * | 2021-08-27 | 2023-03-21 | Motional Ad Llc | Navigation with drivable area detection |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008224249A (ja) * | 2007-03-08 | 2008-09-25 | Kenwood Corp | 現在地測位装置及び方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101644370B1 (ko) * | 2014-10-23 | 2016-08-01 | 현대모비스 주식회사 | 물체 검출 장치 및 그 동작 방법 |
| KR20160125803A (ko) * | 2015-04-22 | 2016-11-01 | 국방과학연구소 | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 |
| KR101769839B1 (ko) * | 2015-12-03 | 2017-08-21 | 공정호 | 영상 및 루프 검지기의 분류 값으로 레이더 검지기를 머신러닝시켜 차량종류의 정확도를 향상시키는 방법 |
-
2017
- 2017-06-28 KR KR1020170081540A patent/KR102399130B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008224249A (ja) * | 2007-03-08 | 2008-09-25 | Kenwood Corp | 現在地測位装置及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190001668A (ko) | 2019-01-07 |
| KR102399130B9 (ko) | 2023-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102399130B1 (ko) | 차량의 주행 환경 인식 장치, 방법 및 시스템 | |
| US10949684B2 (en) | Vehicle image verification | |
| US20210364320A1 (en) | Vehicle localization | |
| CN109767637B (zh) | 倒计时信号灯识别及处理的方法和装置 | |
| CN111886626A (zh) | 信号处理设备和信号处理方法、程序及移动体 | |
| CN113673282A (zh) | 目标检测方法和装置 | |
| CN116685874A (zh) | 摄像机-激光雷达融合对象检测系统和方法 | |
| CN112184844A (zh) | 车辆图像生成 | |
| US11299169B2 (en) | Vehicle neural network training | |
| CN110936959B (zh) | 车辆感知系统在线诊断和预测 | |
| US20230237783A1 (en) | Sensor fusion | |
| CN116830164A (zh) | LiDAR去相关对象检测系统与方法 | |
| CN116348739A (zh) | 基于光线投射和语义类图像的地图生成系统和方法 | |
| US11380110B1 (en) | Three dimensional traffic sign detection | |
| US20240151855A1 (en) | Lidar-based object tracking | |
| CN116710971A (zh) | 物体识别方法和飞行时间物体识别电路 | |
| Katare et al. | Autonomous embedded system enabled 3-D object detector:(With point cloud and camera) | |
| CN115996869A (zh) | 信息处理装置、信息处理方法、信息处理系统和程序 | |
| US11645364B2 (en) | Systems and methods for object detection using stereovision information | |
| EP4155681B1 (en) | Visual localization against a prior map | |
| WO2023021755A1 (ja) | 情報処理装置、情報処理システム、モデル及びモデルの生成方法 | |
| EP4156101A2 (en) | Heterogeneous multi-threaded visual odometry in autonomous vehicle navigation | |
| US11620831B2 (en) | Register sets of low-level features without data association | |
| US20220309693A1 (en) | Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation | |
| US20230024353A1 (en) | Method for autonomously parking a motor vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| G170 | Re-publication after modification of scope of protection [patent] |