KR101714783B1

KR101714783B1 - Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법

Info

Publication number: KR101714783B1
Application number: KR1020090130724A
Authority: KR
Inventors: 홍현기; 강성일; 남보담; 손원영; 조동호; 김진규; 임창경; 김영민; 유상조; 신영수
Original assignee: 중앙대학교 산학협력단; 한국과학기술원
Priority date: 2009-12-24
Filing date: 2009-12-24
Publication date: 2017-03-23
Also published as: KR20110073917A

Abstract

GPU를 이용한 온라인 전기자동차용 전방 장애물 검출 장치 및 방법이 개시된다. 본 발명에서는 온라인 전기자동차의 운행 전방에 존재할 수 있는 장애물을 실시간으로 검출하고 세그먼트에 공급되는 전원을 차단하기 위한 경보신호를 발생한다. 이를 위해 본 발명은 SAD(Sum of Absolute Difference) 및 상호상관(cross correlation) 방법을 그래픽스 하드웨어(GPU: Graphics Processing Unit)에서 구현하여 스테레오 입력 영상으로부터 시차맵(disparity map)을 빠른 속도로 계산한다. 그리고 지면과 전방의 경계 영역(alarm region)을 강건하게 추정하기 위해 V-시차 정보에 LS(Least Squared) 방법을 적용한다. 또한 해석된 3차원 정보로부터 장애물을 검출한 다음 칼만 필터(Kalman filter)를 통해 검출된 장애물을 실시간으로 추적한다. 그리고 경계 영역에 존재하는 장애물의 개수와 거리정보를 RS232 통신으로 온라인 자동차의 전원 세그먼트의 제어 처리부에 전달한다.

온라인 전기자동차, 지능형 운전 보조시스템, 스테레오 비전 시스템, 장애물 검출 및 추적, GPU(Graphics Processing Unit)

Description

ＧＰＵ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법{Apparatus and method for detecting obstacle for on-line electric vehicle based on GPU}

본 발명은 GPU를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 온라인 전기 자동차의 운행 전방에 존재할 수 있는 장애물을 실시간으로 검출하여 온라인 전기 자동차의 전기 세그먼트에 공급되는 전원을 차단하기 위한 장치 및 방법에 관한 것이다.

인공지능 운전자 보조 시스템(AI-Driver Assistance System)은 도로에서 발생하는 다양한 상황 속에서도 운전자가 좀 더 편리하고 안전하게 주행할 수 있도록 주행 정보나 위험 경보를 제공하거나 적극적인 개입을 통해 안전사고를 방지하는 시스템이며, 자동차 기술 선진국을 중심으로 꾸준하게 개발되고 있다. 특히 후방주차경보 시스템, 차선이탈경보 시스템, 졸음운전경보 시스템, 차량간 충돌경보 등의 보조정보 생성 시스템, 그리고 조향 및 속도를 조절하는 지능순항제어 시스템 등이 고급 차량에 탑재되어 현재 출시되고 있다.

이상적으로 설치된 세그멘테이션 환경 하에서는 온라인 전기 자동차가 세그 먼트를 모두 덮었을 때만 전원을 공급하므로 온라인 전기 자동차가 아닌 차량이나 사람이 전자파에 노출되는 상황이 발생하지 않는다. 그러나 하드웨어의 기술적 한계로 인해 세그먼트의 길이가 허용치보다 길어지면 온라인 전기 자동차가 세그먼트를 전부 덮지 못하는 상황이 발생할 수 있다. 이 때 전원이 공급된 세그먼트에 온라인 전기 자동차가 아닌 차량이나 사람이 존재하면 안전에 치명적이다.

일반적으로 자동차용 비전 시스템은 입력되는 전방 영상으로부터 차선 인식, 선행차량의 위치 파악 및 충돌 회피 등의 무인 자율주행(autonomous navigation) 기능을 구현하기 위해 다양하게 활용되고 있다. 특히 스테레오 비전 시스템은 다른 센싱 방식에 비해 상대적으로 저렴한 카메라 센서를 이용해 차량 주변의 환경에 대한 3차원 정보를 구할 수 있는 장점으로 인해 활발하게 활용되고 있다. 스테레오 비전 시스템은 각기 다른 시점의 두 대의 카메라로부터 촬영된 영상으로부터 대상 장면의 3차원 구조와 거리 정보를 해석한다. 특히 비교적 저렴한 수동형 센서를 사용하며 차량 주변에 대한 자세한 3차원 정보를 추정하는 장점으로 지능형 차량(intelligent vehicle)의 개발에 꾸준히 활용되고 있다. 스테레오 비전에서는 두 장의 영상에서 장면의 동일한 지점을 매칭(matching)하는 과정을 통해 대응관계(correspondence)를 설정한 다음, 이로부터 얻어진 시차맵(disparity map)과 구성된 스테레오 카메라 기하관계에 따라 3차원 정보를 결정하는 단계로 구성된다.

카메라의 두 영상 평면이 동일 평면에 존재하고 지면으로부터 같은 높이에 위치한다는 조건에 따라 도 1에 도시된 바와 같이 에피롤라 선분은 스테레오 비전 시스템의 기저선분(baseline)과 평행하다. 두 카메라가 동일 평면상에 존재하지 않 는 경우에는 에피폴(epipole)을 수평축으로 이동시키는 정류(rectification) 과정을 수행한다. 이를 통해 영상 내에서 대응관계를 설정하기 위해 수평 및 수직방향의 2차원 검색(search) 영역을 1차원으로 제한하여 계산시간을 단축시키는 장점이 있다. 여기에서 도로의 절대(absolute) 좌표계, 오른쪽 및 왼쪽 카메라 좌표계를 R_a, R_cr, R_cl로 각각 나타내며, θ는 카메라의 광학축과 수평축과의 각도, h는 지면으로부터 카메라의 높이, b는 카메라간 거리를 의미한다.

카메라 좌표계에서 영상 평면내 한 점은 (u, v) 좌표로 표현되며, 사영의 중심이 되는 영상 중심점은 (u₀, v₀), 카메라의 내부(intrinsic) 파라미터인 초점거리 f는 u, v의 픽셀 크기인 t_u, t_v에 따라 α_u = f/t_u, α_v = f/t_v로 각각 정의된다. 핀홀(pin-hole) 카메라 모델을 이용하여 R_a 공간에서의 임의의 점 (X, Y, Z)에 대한 영상 평면상의 사영관계는 다음의 수학식 1과 같이 표현된다.

도 1의 관계에서 절대 좌표계에서 카메라 좌표계로의 변환은 수학식 2의 이동 T_i와 X축에 대한 -θ 각도의 회전 변환 R에 의해 표현되며, 여기서 e_i는 R_cr과 R_cl에서 각각 1과 -1로 설정된다.

영상 평면의 좌표계를 표현하기 위해 원근(perspective) 사영 행렬 M_proj을 이용하면, 실제 절대 좌표계 R_a에서 영상 좌표계로의 변환행렬 T_ri를 수학식 3과 같이 정의할 수 있다. 또한 R_a 좌표계에서 동차(homogeneous) 좌표계의 한 점 P는 i 카메라 시스템에서의 p로 주어지며, 실제 비동차좌표계 (u, v)는 수학식 4로 계산된다.

그리고 한 장의 영상을 기준으로 다른 한 장의 스테레오 영상에 대해 매칭 윈도우를 설정한 다음, SAD(Sum of Absolute Difference), 상호상관(cross correlation) 등의 유사도 평가 방법(similarity measure)을 이용해 두 장의 스테 레오 영상간의 대응관계를 설정한다. 스테레오 비전에서는 대상 장면의 대부분의 점들이 동시에 두 장의 영상에 존재하며 대응 영역의 밝기분포는 서로 유사하다는 가정을 바탕으로 한다. 두 장의 스테레오 영상으로부터 얻어진 영상간의 대응관계와 사전에 설정된 스테레오 시스템의 기하구성으로부터 대상 장면에 대한 3차원 정보를 추정한다.

일반적으로 스테레오 시스템이 정지된 상황에서는 두 대의 카메라간의 거리보다 대상 장면간의 거리가 멀기 때문에 위의 두 가지 가정이 유효하지만, 운행 중인 차량에서 취득된 스테레오 영상에는 복잡한 가려짐과 조명 변화 및 그림자의 발생 등이 발생하기 때문에 전방 공간에 대한 3차원 정보를 정확하게 해석하기는 어렵다. 따라서 이에 대한 분석과 스테레오 영상으로부터 동적인(dynamic) 장면에 대해 3차원 정보를 안정적으로 추정하기 위한 연구가 필수적이다.

W. Mark 등은 스테레오 비전 시스템을 이용해 전방 공간에 대한 조밀한 시차맵과 3차원 정보를 추정하는 과정의 소요시간과 지능형 자동차 시스템으로의 활용 가능성 등에 대해 분석하였다. 특히 기존에 제안된 다수의 스테레오 매칭 방법을 구현하였으며, 합성 및 실제 영상을 대상으로 처리속도와 정확도를 제시하였다. 실험결과로부터 가려짐 등에 따른 잘못된 매칭결과를 제거하기 위한 SAD 기준의 좌-우 체크(left-right check) 방법[4]이 계산시간 대비 정확도 성능이 가장 우수하였다. 그러나 대부분의 방법들이 초당 10프레임 이하의 처리성능을 보임으로써 운행중인 차량의 전방 장애물 감지 등과 같은 실시간 시스템에는 적용하기 어렵다.

스테레오 비전 시스템으로부터 조밀한 시차맵을 구하여 전방의 3차원 정보를 추정하는 방법은 상대적으로 근거리 영역을 대상으로 하며, 사람 또는 물체 등을 인식 및 분별하고 회피하기 위한 분할(segmentation) 과정을 수행한다. 또한 정밀한 시차맵을 구하기 위한 강건한 스테레오 매칭 기술은 상대적으로 많은 계산시간이 소요되는 등의 제약조건이 존재하기 때문에 온라인 전기 자동차의 주행 상황 및 실시간 장애물 검출에는 적합하지 않다. 그리고 주행 중인 전방 영역에는 다양한 가려짐(occlusion) 현상이 발생하기 때문에 두 장의 스테레오 영상에서의 가시성(visibility) 등에 대한 초기 가정이 성립하지 않으며, 따라서 실제 동적인 상황에서 얻어진 시차맵은 주변의 조건 등에 많은 영향을 받는다.

R. Labayrade 등은 실시간 구현을 위해 스테레오 영상으로부터 전체 영역에 대한 시차맵을 이용하지 않고 LOG(Laplacian Of Gaussian) 필터를 사용해 조명 등에 덜 민감한 영역의 시차맵만을 추정한다. 얻어진 시차 정보를 행(row) 방향으로 히스토그램 분포를 구하고, 스테레오 시스템의 기하관계를 이용해 지표면의 위치와 각도, 장애물까지의 거리 및 장애물의 높이 등을 구하는 실시간 비전 시스템을 개발하였다. 연속적 표면으로 근사화되는 지표면의 3차원 정보 등을 구하기 위해 V-시차맵에 Hough 변환이나 RANSAC(Random Sample Consensus) 방법을 이용한다. 이 결과 초당 25 프레임의 속도로 대략 30m 이내의 구간에서 약 90∼95% 정도의 장애물의 발견 성공률을 보였다. 이와 같이 V-시차맵 방법이 빠른 시간내에 대상 장면을 비교적 정확하게 해석할 수 있는 장점이 있다.

M. Bertozzi 등은 입력되는 전방 영상을 역원근변환하여 차선을 하늘에서 아래로 보는 영상(bird's view)으로 조정하고 노면 위에 존재하는 차선과 장애물을 검출하는 시스템을 개발했다. 특히 시차맵을 구하는 과정에서 정확한 3차원 정보를 구하기 어렵고 많은 계산시간이 소요되기 때문에 기존의 시차맵을 이용하지 않고 역변환된 두 장의 스테레오 영상의 차분을 구한다. 그리고 노면의 중심을 원점으로 극좌표 형태의 방사형(radial) 히스토그램을 분석하여 전방의 장애물 위치를 파악한다. 이들은 실시간 구현을 위해 스테레오 비전 기반의 병렬 하드웨어를 이용했으며, 80km/hr 속도로 운행하는 차량에서 초당 10 프레임의 처리 성능을 보였다. 그러나 전방에서 한 개의 장애물에 대한 히스토그램 분포에는 두 개의 피크(peak)가 발생하지만, 다수의 장애물이 존재하는 경우에는 이를 효과적으로 처리하기 어려우며, 거리에 따라 장애물을 정확하게 판단하기 어렵다는 단점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 다수의 장애물이 존재하는 경우에도 실시간으로 전방의 장애물을 검출할 수 있는 GPU를 이용한 온라인 전기자동차용 전방 장애물 검출 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 기술적 과제는, 다수의 장애물이 존재하는 경우에도 실시간으로 전방의 장애물을 검출할 수 있는 GPU를 이용한 온라인 전기자동차용 전방 장애물 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 해결하기 위한, 본 발명에 따른 일차원 사영된 에지정보를 이용한 보행자 검출 장치는, 스테레오 영상을 기초로 시차맵을 계산하는 시차맵 계산부; 상기 시차맵으로부터 V-시차맵을 생성한 후 도로정보를 추출하고, 상기 도로정보를 기초로 전방의 경계영역을 결정하는 경계영역 결정부; 상기 시차맵으로부터 해석된 3차원 정보로부터 상기 경계영역 내에 존재하는 장애물을 검출하는 장애물 검출부; 칼만 필터(Kalman filter)를 이용하여 상기 검출된 장애물을 영상 시퀀스 상에서 실시간으로 추적하는 장애물 추적부; 및 상기 경계영역 내에 상기 장애물이 존재하면 경보신호를 발생하는 경보신호 발생부;를 구비한다.

본 발명에 따른 GPU를 이용한 온라인 전기자동차용 전방 장애물 검출 장치 및 방법에 의하면, 운전자 보조 시스템에 널리 사용되고 있는 스테레오 카메라와 그래픽스 하드웨어(GPU: Graphics Processing Unit)를 이용하여 전방의 일정 구간 내에 존재하는 장애물을 실시간으로 감지할 수 있다. 또한 다양한 상황에서 보행자의 검출결과가 실패하는 경우 등의 경우에도 칼만 필터를 통해 보행자의 안정적인 검출과 추적이 가능하다는 장점이 있다.

이하에서 첨부된 도면들을 참조하여, 본 발명에 따른 GPU를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다. 이하의 설명에서 장애물은 차량 운행에 지장을 초래하는 물건이나 사람으로 정의된다.

본 발명은 스테레오 비전 시스템으로부터 공간에 대한 시차맵을 구하는 과정에서 3차원 공간에 대한 해석의 정확도와 계산 소요시간 등을 분석하여 온라인 전기자동차의 전방 장애물 감지에 적용한다. 또한 다양한 실외 조건에서 발생할 수 있는 동적인 상황에 대해 분석하고 장애물을 실시간으로 감지 및 추적한다. 이를 위해 먼저 SAD 방법을 바탕으로 하는 스테레오 매칭 방법을 구현하여 실시간 구현 가능성과 실제 분석 가능한 거리 범위 등을 분석한다. 또한 기존의 CPU 보다 우수한 성능을 보이는 그래픽스 하드웨어를 활용하여 스테레오 시스템의 처리시간을 크게 향상시키는 방안을 모색한다.

본 발명에서 전방 영역에 존재하는 장애물을 검출하기 위해 고려된 카메라는 도 2에 도시된 바와 같은 포인트그레이(Pointgrey)사의 범블비3와 Flea2 모델이다. 스테레오 카메라로부터 입력된 두 장의 영상은 카메라간의 기하관계에 의해 캘리브레이션 및 정류과정을 통해 두 장간의 대응관계를 설정하기 적합한 형태로 변환된다. 즉, 카메라 렌즈에 의해 발생하는 방사 왜곡(radial distortion) 계수, 초점거리, 실제 CCD 소자의 화소크기와 종횡비(aspect ratio) 등의 내부(intrinsic) 파라미터를 이용해 비왜곡 영상을 생성하고 정류작업을 진행한다. 이 과정을 통해 대응점을 결정하기 위한 매칭 마스크의 검색(search) 영역이 1차원 직선상의 공간으로 축소되기 때문에 대응점 검색을 위한 계산량과 정확도 성능이 크게 개선된다.

본 발명은 스테레오 카메라로부터 입력된 두 장의 영상에 대해 먼저 SAD 방법으로 스테레오 매칭을 진행하고, 이로부터 얻어진 시차 정보로부터 V-시차맵을 구하여 도로면과 전방 영역의 3차원 공간을 해석한다. 또한 안정적인 시차맵을 얻기 위해 상호상관 방법을 GPU 상에 구현한다. 그리고 해당 경계 영역 내에서 3차원 거리 정보와 장애물의 후보 영역 내의 2차원 영상 특징정보를 효과적으로 분석하여 전방에 존재하는 장애물을 실시간으로 감지한다. 최종적으로 운전자에게 전방 영역에 대한 시각적 피드백을 제공하면서 동시에 장애물의 개수와 거리에 대한 정보를 RS232 직렬 통신방식으로 전력 제어 시스템에 제공한다.

도 3은 본 발명에 따른 GPU를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치를 포함하는 전체 시스템을 도시한 도면이다.

도 3을 참조하면, 전체 장애물 검출 시스템은 스테레오 카메라(310)와 컴퓨팅 시스템(320)으로 구성된다. 전방에 대한 3차원 해석과 장애물을 감지하는 컴퓨팅 시스템(320)은 IBM 컴퓨터(Zenon Dual 3.2GHz × 2, GPU GeForce 8800GTX, RAM 3G 등)이며, 관련 프로그램은 OpenCV, OpenGL, Cg, Pointgrey SDK, C++ 등의 공개 소프트웨어 환경에서 작성될 수 있다. 범블비3 카메라는 1280×960 영상을 16fps(frame per second) 속도로 처리하며, 초점거리는 3.8과 6mm로 각각 조절할 수 있고 두 카메라간 간격은 12 및 24cm이다. Flea2는 1032×776 영상을 30fps로 처리하며, 초점거리 5mm 렌즈를 장착하고 카메라간 거리는 40cm로 고정되는 것이 바람직하다.

도 4는 본 발명에 따른 GPU를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치에 대한 바람직한 일 실시예의 상세한 구성을 도시한 블록도이다.

도 4를 참조하면, 본 발명에 따른 GPU를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치에 대한 바람직한 일 실시예는 영상 입력부(410), 시차맵 계산부(420), 경계영역 결정부(430), 장애물 검출부(440), 장애물 추적부(450) 및 경보신호 발생부(460)를 구비한다.

영상 입력부(410)는 차량에 탑재된 스테레오 카메라로부터 스테레오 영상을 입력받는다. 시차맵 계산부(420)는 영상 입력부(410)를 통해 입력된 스테레오 영상을 기초로 시차맵을 계산한다. 시차맵의 계산과 관련하여 대부분의 종래 기술들은 초당 10프레임 이하의 처리성능을 보임으로써, 운행중인 차량의 전방 장애물 감지 등과 같은 실시간 시스템에는 적용하기 어렵다는 문제가 있다. 따라서 시차맵 계산부(420)는 SAD 방법 또는 상호상관 방법을 이용해 스테레오 영상으로부터 시차맵을 산출한다.

이때 SAD 방법을 이용하여 시차맵을 산출할 때, 시차맵 산출 알고리즘을 중 앙처리장치(CPU) 상에서 구현하는 경우, 공개 라이브러리인 OpenCV를 이용한 경우, 그리고 동일한 조건 하에서 GPU 상에 구현하는 경우에 따라 각각 계산 성능과 시차맵 결과가 달라지게 된다. 도 5에는 시차 해상도(range)는 32 단계로 설정하여 CPU를 통해 얻어진 시차맵이 도시되어 있다. 이때 대응점 설정을 위한 검색 마스크의 크기는 각각 5×5, 9×9, 11×11 및 13×13로 설정하였으며, CPU 상에 시차맵 알고리즘을 구현할 경우에, 흑백 스테레오 입력영상에 대한 처리시간은 각각 787, 2154, 3265 및 4694msec로 실시간 구현에는 적합하지 않음을 알 수 있다. 또한 영상처리 및 컴퓨터 비전 관련 프로그래밍을 용이하기 위해 널리 사용하는 공개 라이브러리인 OpenCV에서 제공하는 스테레오 영상으로부터 시차맵을 구하는 함수를 이용하여 시차맵을 구현할 수 있다. 도 6에는 마스크 크기를 5×5, 9×9, 11×11 및 13×13로 설정하고, 시차 해상도를 32 단계로 설정한 후 OpenCV를 이용하여 얻어진 시차맵이 도시되어 있다. 이 경우 입력영상은 흑백영상으로 처리시간은 각각 6, 6, 7 및 7msec로서 이 역시 실시간 구현에는 적합하지 않다. 이와 달리 마스크 및 시차 해상도를 동일한 조건 하에서 GPU 프로그래밍으로 구현한 결과는 도 7에 도시되어 있으며, 앞의 두 가지 경우와는 차이를 보인다. 즉, 시차맵 알고리즘을 GPU 상에 구현할 경우에 처리시간은 각각 0.73, 0.81, 0.88 및 0.94msec로 실시간 처리가 가능하게 된다. 물론 OpenCV 라이브러리를 이용하는 방법에 비해 시차맵 결과에서 약간의 오차가 발생하였지만, 처리시간이 약 7.45∼8.22배 정도로 계산성능이 크게 향상되는 이점이 있다. 따라서 본 발명에서 스테레오 영상으로부터 시차맵을 추정하는 알고리즘을 GPU 상에 구현하는 것이 바람직하다.

스테레오 영상에서 시차맵은 두 영상에 동시에 존재하는 특징점을 대응점으로 결정함으로써 얻어진다. 따라서 영상 내에 바닥이나 벽면과 같이 특징점이 적은 저주파 영역에서는 대응점을 구하기 어렵기 때문에 범블비3 SDK에서는 라플라시안 연산자와 같은 지역 구배(local gradient) 성분을 구하는 함수를 제공한다. 이 함수의 적용 여부에 따라 결과 시차맵에서는 많은 오차가 발생하며 이는 도 8로부터 명확하게 알 수 있다. 도 8의 오른쪽에 도시된 실험결과를 살펴보면 텍스쳐 정보가 비교적 적은 바닥면에 많은 매칭 오차가 존재하지만, 라플라시안 연산을 적용하면 안정적인 결과를 얻을 수 있음을 알 수 있다. 또한 전처리로 소벨(Sobel) 및 라플라시안 연산자를 적용해 얻어진 시차맵 영상이 도 9에 도시되어 있다. 도 9에 도시된 바와 같이 상대적으로 라플라시안 연산자의 결과가 보다 안정적이기 때문에 본 발명에서는 텍스쳐가 적은 영역에서도 강건하게 시차맵을 구하기 위해 라플라시안 연산을 전처리로 적용한다.

한편 SAD 방법은 대응 영역을 결정하기 위한 좌-우 체크(left-right check)과정에서 시차정보의 신뢰 여부를 판단하기 위한 문턱치를 결정하기 어렵기 때문에 스테레오 영상에서 일치하는 대응 영역과 그렇지 않은 부분을 정확하게 구분하기 힘들다. 따라서 얻어진 시차맵 결과에서 신뢰할 수 없는 영역을 제거하기 어렵기 때문에 많은 잡음요소가 발생하며, 이후 장애물의 미검출 또는 오검출이 발생할 가능성이 높다. 계산량이 적은 반면에 상술한 바와 같은 문제점을 지닌 SAD 방법을 보완하기 위해 상호상관 방법을 이용해 매칭 영역을 검사한다. 종래에 제시된 상호상관 방법은 대상 장면의 에지 영역에 주로 적용하였다. 그 이유는 대상 장면 내에 충분한 텍스쳐가 존재하는 영역에 대해 보다 상호상관 방법이 안정적인 매칭 결과를 얻기도 하지만, 동시에 많은 계산량을 필요로 하기 때문이다.

본 발명에서는 스테레오 입력 영상으로부터 안정적인 시차맵을 구하기 위해 상호상관 방법을 그래픽스 하드웨어(GPU) 상에서 구현하였다. 최근에 엔비디아(NVIDIA)사 등에서 활발하게 개발되고 있는 그래픽스 하드웨어는 다수의 고성능 프로세서를 병렬로 배치함으로써 중앙처리장치(CPU)보다 높은 계산 성능을 제공한다. 본 발명의 성능을 확인하기 위해 구축한 시스템은 HP 워크스테이션 XW4600으로 Intel Core2 Quad 2.66MHz CPU, 4G 주메모리와 Nvidia GTX 260 보드를 탑재하였다. 상호상관 방법은 SAD에 비해 약 35% 정도의 처리 속도 저하가 있었지만, 구성된 시스템 상에서 320×240 해상도의 시차맵을 초당 25프레임 이상의 속도로 얻을 수 있다.

도 10에는 SAD(위) 및 상호상관(아래)을 이용해 얻어진 시차맵에서 신뢰영역의 검출 결과와 원영상(위 오른쪽)이 도시되어 있다. 도 10을 참조하면, 실험결과에서 SAD 및 상호상관 방법으로 얻어진 시차맵 결과의 차이는 크게 나타나지는 않지만, 문턱치값을 통해 신뢰할 수 있는 영역을 선택하는 과정에서 SAD는 전방의 중요한 장애물이 거의 제거되며 지면에 부정확한 시차맵이 그대로 남아있음을 확인할 수 있다. 이와 달리 상호상관 방법은 장애물 영역을 그대로 남기면서 지면의 오차 영역을 효과적으로 제거한다. 안정적인 시차맵 결과는 이후 도로 및 경계 영역을 결정하는 과정에 유용하게 사용되므로 상대적으로 많은 계산량에도 불구하고 상호상관 방법을 적용하는 것이 바람직하다.

경계영역 결정부(430)는 얻어진 시차맵을 수평축으로 일차원으로 사영해 V-시차맵을 구하고, 사영된 시차정보의 분포로부터 기반 평면(지면)에 해당하는 직선을 추출한다. 기존 연구에서는 이를 위해 허프 변환 등을 적용했지만, 보다 정확한 직선 성분을 추출하기 위해 최소자승(least squares) 방법을 이용하는 것이 바람직하다. 표 1에는 V-시차맵에서 직선을 추출하기 위한 후보정점을 선별하는 알고리즘이 기재되어 있다.

int j_max = disparityRange;
for(int i=0; i<windowHeight; i++) {
for(int j=0; j<j_max ; j++) {
if(해당 정점이 threshold이상의 동일한 시차를 가지고 있는 경우) {
후보정점 리스트에 추가;
j_max = j;
break;
}
}
}

V-시차맵 상에서 후보점을 선택하는 과정이나 원래의 시차맵 분포 상에 오차가 존재하는 경우에, 실제 현재 프레임에서 계산된 직선의 기울기 정보와 영상 시퀀스 상에서 얻어진 이전 프레임의 지면 정보간에는 서로 많은 차이가 발생한다. 따라서 전방 영역에 대한 잘못된 해석이 발생하는 경우를 판단하는 과정이 추가로 요구된다. 도 11에는 V-시차맵으로부터 기반 평면을 분석한 다음 시차맵에서 지면과 지면으로부터 10cm 이하의 영역을 각각 제거한 결과가 도시되어 있다.

차선 또는 전력선을 검출하기 위한 기존 연구에서는 역원근사영된 도로영상에 대해 수평방향의 밝기변화 분포를 해석하고 모폴로지(morphology) 필터 등을 적용해 각 선분간의 거리 정보로부터 차선을 검출한다. 이와 유사하게 국내에서 이루어진 다른 연구에서는 영상의 수평축에 따른 밝기 분포에 대해 적당한 크기의 차선 템플릿과 영상과의 상관도를 계산하여 차선 후보점들을 찾는다. 이 때 차선 및 도로의 밝기는 카메라 주변의 밝기, 도로의 노면 및 차선의 도색 상태에 따라 계속 변하기 때문에 차선 후보점들을 강건하게 추출하기 위해 종래의 기술에서는 적응형 템플릿 매칭(adjustable template matching) 방법을 사용했다. 이 방법은 도로 영상의 수평 방향의 픽셀값에 대하여 미리 정의된 도로의 폭에 해당하는 픽셀들을 구별하고 밝기값의 평균을 취하여 차선의 템플릿으로 설정한다.

그리고 직선 및 곡선도로에서 차선을 모델링하기 위해 영상좌표와 실제좌표 사이의 대응점을 이용해서 계산된 역원근변환으로 차선후보들의 실제 좌표를 구한다. 다음으로 근거리의 차선후보로부터 차선의 위치를 찾고, 이를 토대로 차선의 곡률을 계산하여 원거리 차선을 검색한다. 또한 운전자에게 차선과 차량인식 정보를 효율적으로 전달하기 위해서 차선의 점선과 실선형태로 구분하고 곡률을 포함한 도로를 재구성한다. 이와 같이 해석된 차량의 위치정보를 이용해서 3차원으로 구성된 도로상에 차량을 가상으로 디스플레이하고 충돌경보를 발생하는 지능형 운전자 지원시스템의 개발에 활용되고 있다. 기존 연구의 실험결과에서 제시한 차선 인식률은 평균 90% 이상이며, 처리시간은 약 15msec이다.

그러나 본 발명은 온라인 전기 자동차의 전방에 존재하는 장애물의 검출을 목적으로 하기 때문에 상술한 바와 같은 차선인식기술 등은 필수 요소기술에 포함되지는 않는다. 그 이유는 비교적 제한된 지역 내에서 고정된 노선을 따라 저속으로 운행하는 노선용 자동차에는 고성능의 지능형 운행지원 시스템을 필요로 하지 않기 때문이다. 그러나 이후 보다 정확한 전방 공간을 인식하고 고속의 안정 주행을 위해서는 추가적인 연구가 요구된다.

또한 경계영역 결정부(430)는 추출된 도로정보를 기초로 전방의 경계 영역(Alarm Area)을 결정한다. 이때 경계영역은 차량 전방으로부터 수평축(X)으로 약 10∼25m 이내로 설정되고, 감지폭은 차량의 수직축(Y)을 중심으로 좌우 약 1∼3m 이내로 설정된다.

장애물 검출부(440)는 해석된 3차원 정보로부터 경계영역 내에 존재하는 장애물을 검출한다. 도 12에는 범블비3 카메라가 전방 10, 20, 30m 지점에 위치한 보행자에 대한 상대적인 깊이 정보의 해석 결과가 도시되어 있다. 도 12를 참조하면, 30m 영역에 대해서도 보행자에 대한 깊이 정보가 어느 정도 추출됨을 확인할 수 있다. 또한 도 13에는 30m 지점에 있는 보행자에 대해 Flea2 카메라의 시차맵 결과가 도시되어 있다. 도 13을 참조하면, Flea2 카메라는 범블비3 카메라에 비해 카메라간 거리 및 초점길이가 길기 때문에 상대적으로 깊이 정보가 정확하며, 얻어진 영상에서 경계영역에 대한 해상도도 크다는 것을 확인할 수 있다. 또한 도 14에는 Flea2 카메라로 구성된 스테레오 시스템의 보행자 검출 결과가 도시되어 있다. 이때 시차맵은 9×9 마스크를 이용해 GPU 상에서 계산했으며, 버퍼에서 CPU로 전달하는 과정까지 포함해 12msec가 소요되었다. 또한 CPU에서는 시차맵을 효과적으로 구하기 위한 에지 연산자를 적용하고 이후 V-시차맵을 구하는 과정까지 총 13msec, 그리고 장애물의 검출과정에 약 10msec가 각각 소요되었다. Flea2 시스템의 320×240 영상(55fps)에 대해 장애물 검출까지 총 53msec가 소요되며, 결과적으로 초당 18.87 프레임의 처리성능을 보인다. 그러나 고성능 컴퓨팅 시스템 상에서 알고리즘을 최적화하면 20fps 이상으로 처리성능이 개선될 수 있다.

한편 실험에 있어서 적용한 장애물 검출 알고리즘은 일단 시차맵에서 지면의 특정 위치에서 일정 크기(높이와 너비 고려) 이상의 시차정보를 가지는 경우로 한정하였다. 특히 보행자 등의 장애물을 미검출하거나 오검출하는 경우도 발생할 수 있으며, 중요한 원인으로는 장애물을 감지하는 과정에서 시차맵이 안정적으로 추정되지 않고 상대적 거리에 따라 부정확한 3차원 정보가 얻어지기 때문이다. 또한 주변 배경에서 보행자에 대한 정확한 스테레오 매칭이 진행되지 않는 경우도 발생하며, 자동차에 탑재된 경우에는 보다 많은 문제가 발생할 것으로 예상된다. 따라서 전방 영역에서 장애물을 안정적으로 감지하기 위해 경계영역에서 형태 등의 보행자 특성을 이용하는 알고리즘의 개발이 요구된다.

장애물 추적부(450)는 검출된 보행자를 영상 시퀀스 상에서 실시간으로 추적한다. 이러한 과정은 칼만 필터(Kalman filter)를 이용하여 수행된다. 칼만 필터는 이산(discrete) 시간 상의 변화에 대한 확률 미분 방정식을 이용하여 매 시간마다 상태(state)의 변화값을 예측하는 필터로서 주로 물체의 추적 또는 궤적의 예측 등에 사용된다. 칼만 필터는 외부 변화 요인이 적용된 상태 프로세서에서, 이산 시간에 대한 특정 상태의 변화를 예측하기 위해 도 15에 도시된 바와 같은 선형 확률 미분 방정식을 사용한다.

도 15에 도시된 선형 확률 미분 방정식은 두 가지 단계로 나뉜다. 먼저 초기 상태값 X_k-1과 P_k-1을 입력하였을 때, 칼만 필터는 왼쪽의 예측(Predict)단계에서 다음 상태값 X_k와 에러 공분산 P_k값을 수식을 통해 생성한다. 그리고 실제값을 적용하여 조정하는 수정(Correct)단계에서 칼만 필터의 증가값 K_k와 실제값 Z_k로 평가한 X_k값을 갱신(update)함과 동시에 에러 공분산 P_k값을 새롭게 계산하여 다음 단계에 반영한다. 칼만 필터는 이러한 자기 재귀적(recursive) 조정 과정을 통해 예측의 정확도를 높인다. 칼만 필터의 예측 성능은 Q와 R 파라미터를 통해서 향상되는데, 이들 파라미터는 에러 공분산인 P_k와 칼만 필터의 증가값 K_k를 빠르게 안정화시켜 일관성을 유지하도록 한다.

본 발명에서는 영상 내에 보행자 등의 장애물가 위치하는 2차원 좌표값인 x, y를 칼만 필터의 상태값인 X_k, Y_k로 입력받아 추적을 계속한다. x, y에 따른 변화량 dx, dy값을 칼만 필터의 상태 외부 요인인 조절 가중치(control weight) B로 적용할 수 있으며, 여기서 dx, dy값은 장애물의 시차맵의 존재 유무에 따라 결정된다. 즉, 장애물에 대한 시차맵이 존재하는 경우, 해당 시차 정보를 이용하여 dx, dy값을 예측할 수 있다. dx는 해당 시차값에 가중치를 곱한 형태로 변화하고 dy는 V-시차맵의 지면 정보를 활용하여 결정한다.

V-시차맵에서 시차에 따라 지면의 높이를 계산할 수 있으며, 이 지면의 높이가 영상 내의 실제 Y축의 좌표에 해당한다. 따라서 각 시차에 대해 영상 내의 Y축 좌표의 변화량을 계산할 수 있고, 이것은 V-시차맵에서 지면의 기울기가 된다. 해당 시차 정보를 D, V-시차맵의 기울기를 D_v, 각각의 가중치를 W_x, W_y라고 하면 결과적으로 dx, dy값은 다음과 같은 수식으로 표현할 수 있다. 이들 d_x, d_y를 초기 칼만 필터의 예측과정에서 제어값 B_xk, B_yk로 입력하여 예측의 정확도를 높인다.

V-시차맵에 의해 계산된 지면 정보로부터 장애물이 존재를 검출하는 경계 영역을 계산한 다음, 해당 구간 내의 시차맵 상에서 일정한 너비, 높이를 지닌 영역을 장애물의 후보라고 결정한다. 그리고 보행자 영역의 중심을 원점으로 각 4 분면에 검색 마스크를 설정하고, 이후 영상 시퀀스 상에서 칼만 필터를 이용해 이를 실시간에 추적한다.

도 16에는 칼만 필터를 이용한 장애물 추적 과정이 도시되어 있다.

도 16을 참조하면, 먼저 장애물이 검출되면(S1600), 칼만 필터가 정의되어 있는 컨테이너에서 해당 장애물에 대응하는 칼만 필터가 존재하는지를 확인한다(S1610). 만약 칼만 필터가 존재하지 않으면, 검출된 장애물에 대해 모두 칼만 필터를 생성하고 초기화한다(S1620). 이와 달리 칼만 필터가 존재하면, 장애물 위치에 대한 예측값을 계산한다(S1630). 다음으로 계산된 예측값과 현재 측정된 장애물과의 거리를 통해 칼만 필터와의 1차 매칭 연산을 상호상관 방법으로 수행한다(S1640). 이때 4개의 검색 마스크에 대한 매칭 평균값을 검사한다. 만약 예측값과 실제 장애물과 매칭되면, 해당 장애물의 위치값을 입력해 칼만 필터를 갱신한 다(S1650). 이와 달리 예측값과 실제 장애물이 매칭되지 않는 경우에는 칼만 필터의 이전 장애물의 영상 데이터와 칼만 필터의 예측 지점을 중심으로 현재 영상을 비교하여 2차 매칭 연산을 수행한다(S1660). 2차 매칭 결과 매칭이 되는 경우에는 해당 지점을 실제값으로 보고 칼만 필터를 갱신하며(S1650), 매칭되지 않는 경우에는 해당 칼만 필터를 소멸시킨다(S1670). 이러한 알고리즘이 종료된 다음, 장애물맵을 다시 확인하여 칼만과 매칭되지 않은 새로운 장애물이 존재하는 경우에는 해당 장애물에 대해 칼만 필터링을 통한 예측과정이 다시 진행된다. 도 17에는 구현된 칼만 필터를 이용해 보행자를 추적하는 과정이 도시되어 있다.

경보신호 발생부(460)는 경계영역 내에 장애물이 검출되면 경보신호를 발생한다. 경계영역 내에 보행자 등의 장애물이 존재하는 경우, 전력 세그먼트를 제어하는 프로세서에 경계신호를 실시간에 전달해야 한다. 본 발명에서는 통신 방식의 표준성과 실제 전송되는 데이터의 크기 등을 고려해 데이터 인터페이스에 널리 사용되는 RS232 통신방식을 채택한다. 표 2에는 경계영역에 존재하는 장애물의 개수와 해당 거리 정보를 전송하기 위한 통신 프로토콜(protocol)이 기재되어 있다.

	데이터 클래스	설명
STX(Start of Text)	BYTE	60, 패킷의 시작
Address	BYTE	00으로 고정
Length	BYTE	데이터의 수(= 장애물의 개수)
Data	BYTE	실제 데이터 부분 받은 값에 0.4를 곱하여 해당 거리를 취득함
ETX(End of Text)	BYTE	70, 패킷의 끝

또한 표 3에는 경계영역 내에 4개의 장애물이 존재하는 경우, 전송되는 프로토콜의 예가 기재되어 있다.

STX	Address	Length	D1	D2	D3	D4	ETX
60	00	04	12	1A	30	8	70

본 발명에 따른 장애물 검출 장치는 전방의 경계영역을 40cm 단위로 양자화(quantization)하였기 때문에 전송되는 거리 데이터에 40cm를 곱하여 실제 장애물의 거리를 구한다. 즉, 표 3에서 장애물과의 거리는 각각 7.2m(=0x12*0.4), 10.4m(=0x1A*0.4), 12.8m(=0x20*0.4), 3.2m(=0x08*0.4)에 해당한다.

도 18은 본 발명에 따른 GPU를 이용한 온라인 전기 자동차용 전방 장애물 검출 방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도이다.

도 18을 참조하면, 시차맵 계산부(420)는 영상 입력부(410)를 통해 입력된 스테레오 영상을 기초로 시차맵을 계산한다(S1800). 다음으로 경계영역 결정부(430)는 시차맵으로부터 V-시차맵을 생성한 후 도로정보를 추출한다(S1810). 또한 경계영역 결정부(430)는 추출된 도로정보를 기초로 전방의 경계 영역(Alarm Area)을 결정한다(S1820). 다음으로 장애물 검출부(440)는 해석된 3차원 정보로부터 경계영역 내에 존재하는 장애물을 검출한다(S1830). 다음으로 장애물 추적부(450)는 칼만 필터(Kalman filter)를 이용하여 검출된 장애물을 영상 시퀀스 상에서 실시간으로 추적한다(S1840). 마지막으로 경보신호 발생부(460)는 경계 영역 내에 장애물이 존재하면, 경보신호를 발생한다(S1850).

본 발명에 따른 온라인 전기 자동차의 전방의 장애물 검출 장치 및 방법에서 경계영역 내에서 자유롭게 이동하는 보행자 등을 해석하려면 장애물의 움직임 등을 고려해야 한다. 또한 본 발명은 다양한 상황에서 보행자의 검출결과가 실패하는 경우 등을 고려하여, 칼만 필터를 이용하여 보행자의 안정적인 검출과 추적이 가능하다. 본 발명을 평가하기 위해 진행된 실험결과로부터 대상 공간에 대한 지면과 해당 3차원 공간상에 위치한 보행자 검출 및 추적 등의 전 과정이 초당 약 15 프레임 이상의 속도로 처리되었으며, 경계영역에 존재하는 장애물의 개수와 거리 등의 정보를 RS232 통신으로 전원 공급장치에 전달한다. 시차맵만을 이용하는 경우 전방의 장애물 정보를 안정적으로 감지하지 못하는 상황도 발생하며, 주변 조명 환경(밝기, 그림자), 배경, 주변 물체 등에 의해 스테레오 매칭의 성능이 많은 영향을 받는다. 따라서 시차맵에 의해 해석된 3차원 거리정보로부터 장애물을 판단하면서 동시에 경계 영역의 2차원 영상 특징을 이용하면, 장애물을 보다 강건하게 검출할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

도 1은 스테레오 비전 시스템의 좌표계를 도시한 도면,

도 2는 스테레오 시스템을 구성하는 범블비3 카메라(왼쪽)와 Flea2 카메라(오른쪽)를 도시한 도면,

도 3은 본 발명에 따른 GPU를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치를 포함하는 전체 시스템을 도시한 도면,

도 4는 본 발명에 따른 GPU를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치에 대한 바람직한 일 실시예의 상세한 구성을 도시한 블록도,

도 5는 입력영상과 CPU에서 구해진 시차맵(왼쪽 위에서 시계방향으로 5×5, 9×9, 13×13, 11×11)을 도시한 도면,

도 6은 입력영상과 Open CV 이용한 시차맵(왼쪽 위에서 시계방향으로 5×5, 9×9, 13×13, 11×11)을 도시한 도면,

도 7은 입력영상과 GPU상에서 구해진 시차맵(왼쪽 위에서 시계방향으로 5×5, 9×9, 13×13, 11×11)을 도시한 도면,

도 8은 범블비3 SDK 이용한 에지연산과 입력영상(왼쪽 위/아래), 라플라시안 연산(중간), 연산자 적용 전/후(오른쪽 위/아래) 결과를 비교한 도면,

도 9는 Sobel(좌) 및 라플라시안 연산자(우) 이용해 얻어진 DSI(disparity space image)를 비교한 도면,

도 10은 SAD(위) 및 상호상관(아래)을 이용해 얻어진 시차맵에서 신뢰영역의 검출 결과와 원영상(위 오른쪽)을 도시한 도면,

도 11은 V-시차맵으로부터 기반 평면을 분석한 후 시차맵에서 지면과 지면으로부터 10cm 이하의 영역을 각각 제거한 결과를 도시한 도면,

도 12는 범블비3 카메라가 전방 10, 20, 30m 지점에 위치한 보행자에 대한 상대적인 깊이 정보의 해석 결과를 도시한 도면,

도 13은 30m 지점에 있는 보행자에 대해 Flea2 카메라의 시차맵 결과를 도시한 도면,

도 14는 Flea2 스테레오 시스템을 이용한 장애물(보행자) 검출결과를 도시한 도면,

도 15는 칼만 필터의 연산과정을 도시한 도면,

도 16은 칼만 필터를 이용한 장애물 추적 과정을 도시한 흐름도,

도 17은 칼만 필터를 이용한 보행자 추적 결과를 도시한 도면, 그리고,

Claims

중앙처리장치(CPU)보다 높은 계산 성능을 제공하는 GPU(Graphics Processing Unit)에서 구현되는 온라인 전기자동차용 전방 장애물 검출 장치로서,

GPU 프로그래밍을 기반으로, 텍스쳐가 적은 영역에서도 시차맵을 구하기 위하여, 라플라시안 연산을 이용하여 스테레오 영상을 전처리한 후, SAD(Sum of Absolute Difference) 방법보다 높은 계산량을 요구하는 상호상관 방법을 이용하여 스테레오 영상에서 시차맵을 계산하는 시차맵 계산부;

상기 시차맵을 수평축으로 일차원으로 사영해 V-시차맵을 생성한 후, 최소자승 방법을 이용하여 직선에 해당하는 도로정보를 추출하고, 상기 도로정보를 기초로 전방의 경계영역을 결정하는 경계영역 결정부;

상기 시차맵으로부터 해석된 3차원 정보로부터 상기 경계영역 내에 존재하는 장애물을 검출하는 장애물 검출부;

칼만 필터(Kalman filter)를 이용하여 상기 검출된 장애물을 영상 시퀀스 상에서 실시간으로 추적하는 장애물 추적부; 및

상기 경계영역 내에 상기 장애물이 존재하면 상기 경계영역에 존재하는 장애물의 개수와 거리 정보를 포함하는 경보신호를 발생하고, RS232 통신방식을 이용하여 상기 경보신호를 상기 온라인 전기자동차의 전력 제어 시스템으로 전송하는 경보신호 발생부;를 포함하되,

상기 장애물 추적부는,

상기 검출된 장애물에 대응하는 칼만 필터가 존재하는지를 판단하고, 대응 칼만 필터가 존재하는 경우, 장애물 위치에 대한 예측값을 계산하며, 계산된 예측값과 현재 검출된 장애물과의 거리를 통해 칼만 필터와의 1차 매칭 연산을 상호상관 방법으로 수행하고, 상기 예측값과 검출된 장애물이 매칭되면, 상기 장애물의 위치값을 입력해 칼만 필터를 갱신하고, 상기 예측값과 검출된 장애물이 매칭되지 않는 경우에는 칼만 필터의 이전 장애물의 영상 데이터와 칼만 필터의 예측 지점을 중심으로 현재 영상을 비교하여 2차 매칭 연산을 수행하고,

상기 경계영역은 미리 설정된 cm 단위의 길이로 양자화(quantization)되며, 상기 거리 정보에 미리 설정된 cm 단위의 길이가 곱해져 실제 장애물의 거리가 산출되는 것을 특징으로 하는 장애물 검출 장치.