KR20230078846A - 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법 - Google Patents

다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법 Download PDF

Info

Publication number
KR20230078846A
KR20230078846A KR1020210165061A KR20210165061A KR20230078846A KR 20230078846 A KR20230078846 A KR 20230078846A KR 1020210165061 A KR1020210165061 A KR 1020210165061A KR 20210165061 A KR20210165061 A KR 20210165061A KR 20230078846 A KR20230078846 A KR 20230078846A
Authority
KR
South Korea
Prior art keywords
image
unit
images
data
omnidirectional
Prior art date
Application number
KR1020210165061A
Other languages
English (en)
Other versions
KR102550021B1 (ko
Inventor
윤형석
김태형
김봉섭
윤경수
Original Assignee
재단법인 지능형자동차부품진흥원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 지능형자동차부품진흥원 filed Critical 재단법인 지능형자동차부품진흥원
Priority to KR1020210165061A priority Critical patent/KR102550021B1/ko
Publication of KR20230078846A publication Critical patent/KR20230078846A/ko
Application granted granted Critical
Publication of KR102550021B1 publication Critical patent/KR102550021B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 라이다 센서(LiDAR Sensor)(110)와, 복수의 영상 카메라(120)를 구비하여 데이터를 수집하는 데이터 수집부(100); 데이터 수집부(100)에서 수집된 영상에 라이다 센서(110)의 점군 데이터를 융합하는 데이터 융합부(200); 데이터 융합부(200)에서 융합된 영상들 중 동일 객체를 포함하는 영상끼리 매칭하는 영상 매칭부(300); 및 영상 매칭부(300)에서 매칭된 복수의 영상들을 하나의 파노라마 영상으로 변환하는 영상 변환부(400); 를 포함하는 자율 주행 차량의 전방위 인지 시스템을 포함한다.

Description

다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법{ OMNIDIRECTIONAL IMAGE AWARENESS DEVICE FOR AUTONOMOUS VECHICLES USING MULTIPLE SENSORS AND METHOD THEREOF}
본 발명은 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법에 관한 것이다.
360°전방위 인지 장치(이하, 전방위 인지 장치)는 일반 차량, 자율 주행 차량, 중장비, 전차 및 장갑차와 같은 수송수단에서 적용되는 장치이다.
예를 들면, 수송수단은 주행 중에 사람, 동물, 다른 차량 및 교통신호등과 같은 대상물을 기상조건에 상관없이 정확히 식별하고, 식별 후 운전자에게 경보하거나, 감지된 정보에 따라 설정된 상태로 자율 주행이 가능해야만 한다. 이를 위해서는 수송수단의 정면과 양측 방위와 후방을 포함하는 전방위 감지장치가 필수적이다.
종래의 전방위 인지 장치는 복수의 카메라 간의 캘리브레이션 혹은 영상 데이터를 이용한 전방위의 파노라마 뷰 생성 및 360°뷰를 갖는 카메라를 이용하여 주변 상황을 인지하였다.
그러나 이와 같은 종래의 전방위 인지 장치는 영상정보를 기반으로 전방위의 파노라마 뷰를 생성할 수 있으나 사용 카메라의 숫자와 파노라마 뷰 생성을 위한 캘리브레이션에 사용되는 영상 데이터가 상이하였다.
또한, 종래의 전방위 인지장치는 카메라의 영상 데이터만으로 파노라마 뷰를 완성함에 따라 야간에는주변 객체의 정확한 인지가 어려웠고, 주간이라 하더라도 주변 객체와의 거리 정보가 획득되지 않기에 실제와 오차가 큰 문제점이 있었다.
즉, 종래의 전방위 인지 장치는 위와 같은 파노라마 뷰가 주변상황을 정확하게 인지할 수 없었기에 실제 주변 상황을 정확하게 표현하는 것에 어려움이 있었다.
KR 101832918 B1(2018.02.21)
그러므로 본 발명은 상기와 같은 종래의 문제점을 해결하고자 안출된 것으로서, 본 발명의 목적은 저렴한 비용으로 제조 가능하고, 차량 기준으로 전 방위를 인지할 수 있는 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법을 제공함에 있다.
본 발명은 상기와 같은 목적을 달성하기 위하여 하기와 같은 실시예를 포함할 수 있다.
본 발명의 실시예는 라이다 센서(LiDAR Sensor)와, 복수의 영상 카메라를 구비하여 데이터를 수집하는 데이터 수집부와, 데이터 수집부에서 수집된 영상에 라이다 센서의 점군 데이터를 융합하는 데이터 융합부와, 데이터 융합부에서 융합된 영상들 중 동일 객체를 포함하는 영상끼리 매칭하는 영상 매칭부 및 영상 매칭부에서 매칭된 복수의 영상들을 하나의 파노라마 영상으로 변환하는 영상 변환부를 포함할 수 있다.
위 실시예는 영상의 객체들의 형상, 위치 및 거리가 포함된 환경 인지 정보를 산출하는 환경 인지부를 더 포함하고, 영상 변환부는 환경 인지부에서 산출된 환경 인지 정보를 파노라마 영상에 융합할 수 있다.
또한, 라이다 센서는 직립된 지지물에 고정되고, 복수의 영상 카메라는 라이다 센서(LiDAR Sensor)를 중심으로 배치되는 것을 특징으로 한다.
또한, 데이터 융합부는 영상 및 점군 데이터에 포함된 좌표 정보를 설정 좌표로 캘리브레이션(Calibration) 하여 각 영상 내에 점군 데이터를 융합하는 것을 특징으로 한다.
영상 매칭부는 서로 다른 영상 내에 동일 좌표를 갖는 객체 유무를 확인하여 동일 좌표가 포함된 영상을 매칭시키는 것을 특징으로 한다.
본 발명의 다른 실시예는 라이다 센서(LiDAR Sensor)의 점군 데이터와, 복수의 영상 카메라로부터 영상을 수집하는 단계와, 수집된 영상 및 점군 데이터를 설정된 좌표 정보로 캘리브레이션(Calibration)하여 영상별로 점군 데이터를 융합하는 단계와, 융합된 영상들 중 동일 객체가 포함된 영상들을 매칭하는 단계 및 매칭된 융합 영상들을 파노라마 영상으로 변환하는 단계를 포함할 수 있다.
위 실시예에서 영상에 포함된 객체들의 형상, 위치 및 거리가 포함된 환경 인지 정보를 산출하고, 파노라마 영상에 환경 인지 정보를 융합하여 전방위 파노라마 뷰를 출력하는 단계를 더 포함할 수 있다.
본 발명은 라이다 센서의 점군 데이터와 다중 카메라의 영상 데이터를 융합하여 카메라 센서만으로 어려운 환경 인지 정보를 획득하고, 이를 통하여 주변 환경의 정확한 정보가 포함될 수 있는 전방위 파노라마 뷰를 완성할 수 있어 실제와 오차 없는 정확한 상황정보를 획득할 수 있었다.
도 1은 본 발명에 따른 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치를 도시한 블럭도이다.
도 2와 도 3은 데이터 수집부의 일예를 간략 도시한 도면이다.
도 4는 본 발명에 따른 다중 센서를 이용한 자율 주행차량의 전방위 인지 방법을 도시한 순서도이다.
도 5는 캘리브레이션(Calibration) 결과의 예시 화면이다.
도 6은 영상 매칭의 예를 도시한 도면이다.
도 7은 파노라마 영상의 예를 도시한 도면이다.
도 8은 환경 인지 정보가 융합된 전방위 파노라마 뷰의 예시를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있지만, 특정 실시예를 도면에 예시하여 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 서로 다른 방향으로 연장되는 구조물을 연결 및/또는 고정시키기 위한 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물중 어느 하나에 해당되는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제 하지 않는 것으로 이해되어야 한다.
이하에서는 본 발명에 따른 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법을 첨부된 도면을 참조하여 설명한다.
도 1은 본 발명에 따른 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치를 도시한 블럭도이다.
도 1을 참조하면, 본 발명은 영상 및 점군 데이터를 수집하는 데이터 수집부(100)와, 점군 데이터와 영상 데이터를 융합하는 데이터 융합부(200)와, 영상을 매칭하는 영상 매칭부(300)와,영상을 변환시키는 영상 변환부(400)와, 환경 정보를 감지하는 환경 인지부(500)를 포함할 수 있다.
데이터 수집부(100)는 복수의 영상 카메라(120)와, 라이다 센서(LiDAR Sensor)(110)를 포함할 수 있다. 데이터 수집부(100)는 도 2와 도 3을 참조하여 설명한다.
도 2는 데이터 수집부를 도시한 평면도, 도 3은 데이터 수집부)의 측면도이다.
도 2 및 도 3을 참조하면, 데이터 수집부(100)는 복수의 영상 카메라(120)와 라이다 센서(110)를 구비할 수 있다. 여기서 복수의 영상 카메라(120)와 라이다 센서(110)는 판형상의 지지수단(130)에 의해 지지된다.
라이다 센서(110)는 360° 전 방위에 광학 펄스를 출력하고, 반사된 반송 신호의 특징 주변을 감지하여 점군 데이터를 출력한다. 여기서 라이다 센서(110)의 점군 데이터는 라이다 센서 기반 월드 좌표(이하 좌표라 총칭함)를 갖는다. 따라서 동일 객체를 표현하는 점군 데이터는 동일한 좌표를 갖되, 다른 객체의 점군 데이터는 서로 다른 좌표를 갖는다.
여기서 라이다 센서(110)는 직립된 지지물에 의해 상향 돌출되어 전방위에 광학 펄스를 출력 및 반사광을 수신할 수 있다.
복수의 영상 카메라(120)는 라이다 센서(110)의 주변으로 배치되고, 인접한 영상 카메라(120)들은 중첩된 영역을 촬영할 수 있다.
즉, 데이터 수집부(100)는 복수의 영상 카메라(120)를 통하여 전방위의 영상 데이터를 수집 및 출력하고, 하나의 라이다 센서(110)로부터 전방위의 점군 데이터를 수집 및 출력한다.
데이터 융합부(200)는 영상 데이터와 점군 데이터를 캘리브레이션(Calibration) 하여 융합한다. 이와 같이 융합된 정보는 도 5에 그 일예가 소개되었다. 도 5는 캘리브레이션 결과를 예시한 화면이다.
도 5를 참조하면, 데이터 융합부(200)는 예를 들면, 전방을 촬영한 영상 카메라(120, 121, 122)의 영상 및 라이다 센서(110)의 점군 데이터를 캘리브레이션 하여 도 5에 도시된 바와 같이 촬영 영상에 점군 데이터를 융합한다.
영상 매칭부(300)는 각 영상 카메라(120)에서 촬영된 영상 및 라이다 센서(110)의 점군 데이터가 융합된 영상 데이터를 매칭시킨다. 여기서 융합된 영상 데이터에 포함된 점군 데이터는 객체별로 좌표를 갖는다.
그러므로 영상 매칭부(300)는 융합된 영상에 포함된 점군 데이터의 매칭을 통해 좌표 기반의 영상 접점을 감지하고, 감지된 영상이 접점을 기준으로 매칭시킨다.
영상 변환부(400)는 영상 매칭부(300)에서 매칭된 융합 영상 데이터들을 매칭하여 복수의 영상 카메라에서 촬영된 영상 라이다의 점군 데이터를 기준으로 겹쳐지는 영역으로 매칭된 영역을 기준으로 복수의 영상을 하나의 파노라마 영상으로 변환한다. 이와 같은 파노라마뷰 영상은 도 7에 그 일예가 소개되었다.
예를 들면, 영상 변환부(400)는 영상 매칭부(300)에서 매칭된 융합 영상 데이터 중, 도 7의 (a)가 전방영상, (b)가 우측 영상, (c)가 후방, (d)가 좌측 영상일 경우 각 영상들을 하나의 파노라마 영상으로 변환시킨다. 즉, 독립된 전방, 우측, 후방 및 좌측 영상들은 매칭된 영역을 기준으로 매칭되어 도 8과 같은 전방위 시야각의 파노라마 뷰로 변환한다.
환경 인지부(500)는 변환된 파노라마 영상에 포함된 영상 데이터와 점군 뎅터를 추출하여 추출된 전방위 파노라마 영상을 기준으로 객체(예를 들면, 자동차, 보행자, 자전거)와, 객체와의 거리값을 산출한다.
예를 들면, 환경 인지부(500)는 영상 변환부(400)에서 변환된 파노라마 영상에 포함된 각 객체들의 점군 데이터를 이용하여 객체의 형상 및 위치(거리)를 산출할 수 있다. 따라서 영상 변환부(400)는 환경 인지부(500)의 산출된 거리 정보를 취합하여 도 8과 같은 전방위 시야각의 파노라마 뷰를 완성하여 디스플레이(600)에 출력한다.
이와 같은 전방위 파노라마 뷰는 디스플레이를 통하여 출력된다.
본 발명은 상기와 같은 구성을 이용한 다중 센서를 이용한 자율 주행 차량의 전방위 인지 방법을 포함한다. 이는 도 4를 참조하여 설명한다.
도 4는 본 발명에 따른 다중 센서를 이용한 자율 주행차량의 전방위 인지 방법을 도시한 순서도이다.
도 4를 참조하면, 본 발명은 데이터를 영상을 수집하는 S111 단계와, 점군 데이터를 수집하는 S112 단계와, 캘리브레이션 하는 S120 단계와, 점군 데이터를 매칭시키는 S130 단계와, 영상을 매칭시키는 S140 단계와, 파노라마 뷰 생성 및 출력하는 S150 단계를 포함한다.
S111 단계는 데이터 수집부(100)로부터 영상을 수집하는 단계이다. 복수의 영상 카메라(120)는 각각 지향된 방향의 영상을 촬영하여 출력한다. 이때 촬영된 영상은 인접한 카메라와 중첩된 영역을 촬영할 수 있다.
S112 단계는 데이터 수집부(100)에서 점군 데이터를 수집하는 단계이다. 라이다 센서(110)는 360°전방위에 걸쳐 광학펄스를 출력하고,객체로부터 반사된 데이터를 수집하여 점군 데이터를 출력한다.
S120 단계는 데이터 융합부(200)에서 영상 및 점군 데이터를 캘리브레이션(Calibration) 하여 영상 데이터와 라이다 센서(110)로부터 출력된 점군 데이터를 융합하는 단계이다. 여기서 데이터 융합부(200)는 영상에 포함된 객체들의 좌표값을 라이다 센서(110)의 점군 데이터에 포함된 (월드 기반) 좌표로 변환하여 양 데이터를 융합한다.
S130 단계는 영상 매칭부(300)에서 점군 데이터를 매칭시키는 단계이다. 예를 들면, 도 6의 (a)와 (b)는 서로 다른 카메라에서 촬영된 영상에 점군 데이터가 융합된 것이다. 영상 매칭부(300)는 이와 같이 서로 다른 융합 영상에서 동일 좌표 정보를 검색 및 감지하여 접점을 추적한다. 그리고 영상 매칭부(300)는 동일한 좌표값을 갖는 점군 데이터가 확인되면 이를 접점으로 감지한다.
여기서 영상 매칭부(300)는 도 6의 (c)와 같이 각 융합 영상에 포함된 객체들 중 동일 객체를 매칭시켜 하나의 영상으로 생성할 수 있다. 이때 영상 매칭부(300)는 복수의 영상중 동일 객체(동일 좌표 정보)를 기준으로 매칭한다.
S140 단계는 영상 변환부(400)가 파노라마 뷰를 생성하는 단계이다. 영상 변환부(400)는 매칭된 융합 영상들을 접점을 기준으로 하나의 파노라마 영상으로 변환시킨다. 예를 들면, 영상 변환부(400)는 도 7에 도시된 바와 같이 복수의 카메라에서 촬영된 영상들을 접점을 기준으로 통합하여 하나의 파노라마 영상/이미지로 변환한다.
S150 단계는 환경 인지부(500)에서 영상 변환부(400)의 파노라마 영상 및/또는 이미지에서 객체의 형상과 거리 정보가 포함된 환경 인지 정보를 산출하고, 영상 변환부는 환경 인지 정보를 파노라마 영상에 융합하여 도 8에 도시된 전방위 파노라마 뷰를 출력하는 단계이다. 환경 인지부(500)는 예를 들면, 점군 데이터의 좌표를 통하여 객체들의 형상 및 위치와 거리, 차간 거리와 같은 환경 인지 정보를 산출한다.
영상 변환부(400)는 위와 같은 환경 인지 정보를 S140 단계에서 생성된 파노라마 영상에 융합한다. 이와 같이 환경 인지 정보가 융합된 파노라마 뷰는 도 8에 그 일예가 도시되었다.
이와 같이 본 발명은 복수의 영상 카메라(120)와 라이다 센서(110)를 적용함에 따라 라이다 센서(110)를 통한 점군 데이터를 통하여 영상에 포함된 객체들의 위치 및 거리와, 주변 환경 정보가 융합됨에 따라 정확한 전방위의 인지가 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정, 변경 및 치환 가능할 것이다.
따라서 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 데이터 수집부
110 : 라이다 센서
120 : 영상 카메라
130 : 지지수단
200 : 데이터 융합부
300 : 영상 매칭부
400 : 영상 변환부
500 : 환경 인지부

Claims (7)

  1. 라이다 센서(LiDAR Sensor)(110)와, 복수의 영상 카메라(120)를 구비하여 데이터를 수집하는 데이터 수집부(100);
    데이터 수집부(100)에서 수집된 영상에 라이다 센서(110)의 점군 데이터를 융합하는 데이터 융합부(200);
    데이터 융합부(200)에서 융합된 영상들 중 동일 객체를 포함하는 영상끼리 매칭하는 영상 매칭부(300); 및
    영상 매칭부(300)에서 매칭된 복수의 영상들을 하나의 파노라마 영상으로 변환하는 영상 변환부(400); 를 포함하는 자율 주행 차량의 전방위 인지 시스템.
  2. 청구항 1에 있어서,
    영상의 객체들의 형상, 위치 및 거리가 포함된 환경 인지 정보를 산출하는 환경 인지부(500); 를 더 포함하고,
    영상 변환부(400)는 환경 인지부(500)에서 산출된 환경 인지 정보를 파노라마 영상에 융합하는 다중 센서를 이용한 자율 주행 차량의 전방위 인지 시스템.
  3. 청구항 1에 있어서,
    라이다 센서(110)는 직립된 지지물에 고정되고,
    복수의 영상 카메라(120)는 라이다 센서(LiDAR Sensor)(110)를 중심으로 배치되는 것; 을 특징으로 하는 다중 센서를 이용한 자율 주행 차량의 전방위 인지 시스템.
  4. 청구항 1에 있어서, 데이터 융합부(200)는
    영상 및 점군 데이터에 포함된 좌표 정보를 설정 좌표로 캘리브레이션(Calibration) 하여 각 영상 내에 점군 데이터를 융합하는 것; 을 특징으로 하는 다중 센서를 이용한 자율 주행 차량의 전방위 인지 시스템.
  5. 청구항 1에 있어서, 영상 매칭부(300)는
    서로 다른 영상 내에 동일 좌표를 갖는 객체 유무를 확인하여 동일 좌표가 포함된 영상을 매칭시키는 것; 을 특징으로 하는 다중 센서를 이용한 자율 주행 차량의 전방위 인지 시스템.
  6. 라이다 센서(LiDAR Sensor)(110)의 점군 데이터와, 복수의 영상 카메라(120)로부터 영상을 수집하는 단계;
    수집된 영상 및 점군 데이터를 설정된 좌표 정보로 캘리브레이션(Calibration)하여 영상별로 점군 데이터를 융합하는 단계;
    융합된 영상들 중 동일 객체가 포함된 영상들을 매칭하는 단계; 및
    매칭된 융합 영상들을 파노라마 영상으로 변환하는 단계; 를 포함하는 다중 센서를 이용한 자율 주행 차량의 전방위 인지 방법.
  7. 청구항 6에 있어서, 영상에 포함된 객체들의 형상, 위치 및 거리가 포함된 환경 인지 정보를 산출하고, 파노라마 영상에 환경 인지 정보를 융합하여 전방위 파노라마 뷰를 출력하는 단계; 를 더 포함하는 다중 센서를 이용한 자율 주행 차량의 전방위 인지 방법.
KR1020210165061A 2021-11-26 2021-11-26 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법 KR102550021B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210165061A KR102550021B1 (ko) 2021-11-26 2021-11-26 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210165061A KR102550021B1 (ko) 2021-11-26 2021-11-26 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230078846A true KR20230078846A (ko) 2023-06-05
KR102550021B1 KR102550021B1 (ko) 2023-07-03

Family

ID=86764311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210165061A KR102550021B1 (ko) 2021-11-26 2021-11-26 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102550021B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160013736A (ko) * 2014-07-28 2016-02-05 현대모비스 주식회사 자동차의 통합센서 시스템
KR101832918B1 (ko) 2017-05-16 2018-02-28 (주)텔미전자 자율주행 자동차 영상인식 주행시험 시뮬레이션 시스템
KR20190119291A (ko) * 2018-04-12 2019-10-22 주식회사 아르비존 차량용 모니터링 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160013736A (ko) * 2014-07-28 2016-02-05 현대모비스 주식회사 자동차의 통합센서 시스템
KR101832918B1 (ko) 2017-05-16 2018-02-28 (주)텔미전자 자율주행 자동차 영상인식 주행시험 시뮬레이션 시스템
KR20190119291A (ko) * 2018-04-12 2019-10-22 주식회사 아르비존 차량용 모니터링 방법 및 장치

Also Published As

Publication number Publication date
KR102550021B1 (ko) 2023-07-03

Similar Documents

Publication Publication Date Title
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
US11427193B2 (en) Methods and systems for providing depth maps with confidence estimates
CN108692719B (zh) 物体检测装置
US8184160B2 (en) Image processor, driving assistance system, and out-of-position detecting method
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
KR101343975B1 (ko) 돌발검지 시스템
JP2002366937A (ja) 車外監視装置
JP4556742B2 (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
US11295145B2 (en) Object detection using vehicular vision system
JP2008002906A (ja) 測位装置
KR100917330B1 (ko) 차량의 탑뷰 모니터 시스템 및 방법
US20140009589A1 (en) Vehicle having a device for detecting the surroundings of said vehicle
US10635914B2 (en) Optical test device for a vehicle camera and testing method
JP6817780B2 (ja) 測距装置、および、測距装置の制御方法
US20160371549A1 (en) Method and Device for Detecting Objects from Depth-Resolved Image Data
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
WO2020084955A1 (ja) 測距センサ、検出センサ、測距方法及び電子機器
JP2012166705A (ja) 車載カメラレンズ用異物付着判定装置
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
TW201724052A (zh) 車輛監控系統及其方法
JP4848644B2 (ja) 障害物認識システム
JP6564127B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
JP2004257837A (ja) ステレオアダプタ撮像システム
KR101868293B1 (ko) 차량용 라이다 장치
KR102550021B1 (ko) 다중 센서를 이용한 자율 주행 차량의 전방위 인지 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant