KR101452628B1 - 스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치 - Google Patents

스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치 Download PDF

Info

Publication number
KR101452628B1
KR101452628B1 KR1020130041658A KR20130041658A KR101452628B1 KR 101452628 B1 KR101452628 B1 KR 101452628B1 KR 1020130041658 A KR1020130041658 A KR 1020130041658A KR 20130041658 A KR20130041658 A KR 20130041658A KR 101452628 B1 KR101452628 B1 KR 101452628B1
Authority
KR
South Korea
Prior art keywords
obstacle
information
distance
boundary
road surface
Prior art date
Application number
KR1020130041658A
Other languages
English (en)
Inventor
정호기
서재규
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020130041658A priority Critical patent/KR101452628B1/ko
Application granted granted Critical
Publication of KR101452628B1 publication Critical patent/KR101452628B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras

Abstract

스테레오 비전 기반의 위험지역 검출 방법 및 장치가 개시된다. 위험지역 검출 방법은, 스테레오 영상 쌍으로부터 변위 지도를 획득하는 단계, 변위 지도를 기반으로 도로면 지형 정보를 획득하는 단계, 도로면 지형 정보를 기반으로 장애물 영역 정보를 생성하는 단계, 장애물 영역 정보를 기반으로 장애물 경계를 획득하는 단계, 장애물 경계를 기준으로 정의된 장애물 면에 대한 거리 변화 정보를 획득하는 단계 및 거리 변화 정보를 기반으로 거리 변화가 미리 정의된 기준 이상인 위치를 위험지역으로 결정하는 단계를 포함한다. 따라서, 보행자 검출 시스템의 오검출률과 연산량을 모두 낮출 수 있으며, 종래기술에 비해 차량 움직임과 도로 상황에 대한 강인성을 확보할 수 있고, 스테레오 카메라 사용으로 인하여 시스템의 가격, 장착성, 국산화 등의 측면에서 장점을 확보할 수 있다.

Description

스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치 {METHOD FOR DETECTING CRITICAL AREA FOR PEDESTRIAN PROTECTION SYSTEM AND APPARATUS THEREFOR}
본 발명은 보행자 보호 시스템을 위한 위험지역 검출 기술에 관한 것으로, 더욱 상세하게는 스테레오 비전을 기반으로 보행자와 운전자가 서로를 인지하기 힘들어 사고의 위험성이 높은 위험지역을 검출하는 방법 및 장치에 관한 것이다.
지능형 자동차 응용 분야에 있어서, 보행자를 검출하는 경우 실시간성과 낮은 오검출률을 확보하는 것은 매우 중요하다. 이와 같은 실시간성과 낮은 오검출률을 확보하기 위한 방법 중 하나는 보행자가 위치할 것으로 예측되는 위험지역을 효과적으로 설정하는 것이다. 이러한 방법들 중 가장 효율적인 방법 중 하나가 운전자와 보행자가 서로를 인지하기 힘든 위험지역을 검출하고, 설정된 위험지역에서 보행자 검출을 실시하는 것이다.
그러나 종래 위험지역 검출 방법(대한민국 10-1141874)은 단안 카메라와 레이저 스캐너를 사용하기 때문에 센서의 가격이 높고, 설치의 용이성이 떨어지며, 차량 흔들림에 대한 강인성이 낮다는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 스테레오 카메라를 통해 획득된 장애물에 대한 거리 변화를 기반으로 운전자와 보행자가 서로를 인지하기 어려운 위험지역 검출 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 스테레오 카메라를 통해 획득된 장애물에 대한 거리 변화를 기반으로 운전자와 보행자가 서로를 인지하기 어려운 위험지역 검출 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예(J. K. Suhr, H. M. Kang, and H.G. Jung, "Dense stereo based critical area detection for an active pedestrian protection system", Electronics Letters, vol. 48, issue 19, Sep. 2012, pp. 1199-1201)에 따른 위험지역 검출 방법은, 스테레오 영상 쌍으로부터 변위 지도를 획득하는 단계, 상기 변위 지도에 대한 값을 가로 방향으로 누적한 정보를 기반으로 도로면 지형 정보를 획득하는 단계, 상기 도로면 지형 정보를 기반으로 상기 변위 지도에서 도로면 영역 정보가 제거된 장애물 영역 정보를 생성하는 단계, 상기 장애물 영역 정보에 대한 값을 세로 방향으로 누적한 정보를 기반으로 장애물 경계를 획득하는 단계, 상기 장애물 경계를 기준으로 정의된 장애물 면에 대한 거리 변화 정보를 획득하는 단계 및 상기 거리 변화 정보를 기반으로 거리 변화가 미리 정의된 기준 이상인 위치를 위험지역으로 결정하는 단계를 포함한다.
여기서, 상기 장애물 면에 대한 거리 변화 정보를 획득하는 단계는, 상기 장애물 경계를 기준으로 도로면에 수직한 가상 장애물 경계를 설정하는 단계, 상기 장애물 경계와 상기 가상 장애물 경계 사이에 위치한 상기 장애물 면에 세로 방향의 참조 면들을 설정하는 단계, 상기 참조 면들의 거리 값을 획득하는 단계 및 상기 참조 면들의 거리 값에 대한 차이를 기반으로 상기 장애물 면에 대한 거리 변화 정보를 획득하는 단계를 포함할 수 있다.
여기서, 상기 세로 방향의 참조 면들을 설정하는 단계는, 상기 장애물 면에 대한 거리 정보를 기반으로, 상대적으로 가까운 장애물 면은 상대적으로 큰 너비를 가지는 참조 면으로 설정하고, 상대적으로 먼 장애물 면은 상대적으로 작은 너비를 가지는 참조 면으로 설정할 수 있다.
여기서, 상기 장애물 면에 대한 거리 변화 정보를 획득하는 단계는, 하나의 참조 면과 이웃한 참조 면의 거리 값에 대한 차이를 기반으로 상기 장애물 면에 대한 거리 변화 정보를 획득할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 위험지역 검출 장치는, 스테레오 영상 쌍으로부터 변위 지도(disparity map)를 획득하고, 상기 변위 지도에 대한 값을 가로 방향으로 누적한 정보를 기반으로 도로면 지형 정보를 획득하고, 상기 도로면 지형 정보를 기반으로 상기 변위 지도에서 도로면 영역 정보가 제거된 장애물 영역 정보를 생성하고, 상기 장애물 영역 정보에 대한 값을 세로 방향으로 누적한 정보를 기반으로 장애물 경계를 획득하고, 상기 장애물 경계를 기준으로 정의된 장애물 면에 대한 거리 변화 정보를 획득하고, 상기 거리 변화 정보를 기반으로 거리 변화가 미리 정의된 기준 이상인 위치를 위험지역으로 결정하는 처리부 및 상기 처리부에서 처리되는 정보 및 처리된 정보를 저장하는 저장부를 포함한다.
여기서, 상기 처리부는, 상기 장애물 면에 대한 거리 변화 정보를 획득하는 경우, 상기 장애물 경계를 기준으로 도로면에 수직한 가상 장애물 경계를 설정하고, 상기 장애물 경계와 상기 가상 장애물 경계 사이에 위치한 상기 장애물 면에 세로 방향의 참조 면들을 설정하고, 상기 참조 면들의 거리 값을 획득하고, 상기 참조 면들의 거리 값에 대한 차이를 기반으로 상기 장애물 면에 대한 거리 변화 정보를 획득할 수 있다.
여기서, 상기 처리부는, 상기 세로 방향의 참조 면들을 설정하는 경우, 상기 장애물 면에 대한 거리 정보를 기반으로, 상대적으로 가까운 장애물 면은 상대적으로 큰 너비를 가지는 참조 면으로 설정하고, 상대적으로 먼 장애물 면은 상대적으로 작은 너비를 가지는 참조 면으로 설정할 수 있다.
여기서, 상기 처리부는, 상기 장애물 면에 대한 거리 변화 정보를 획득하는 경우, 하나의 참조 면과 이웃한 참조 면의 거리 값에 대한 차이를 기반으로 상기 장애물 면에 대한 거리 변화 정보를 획득할 수 있다.
본 발명에 의하면, 스테레오 카메라를 기반으로 보행자와 운전자가 서로를 인지하기 어려운 위험지역을 검출하여 이 위치에서만 보행자 검출을 실시할 수 있기 때문에 보행자 검출 시스템의 오류 및 처리 시간을 줄여줄 수 있을 뿐만 아니라 검출된 보행자의 위험성에 대한 정보 또한 제공할 수 있다. 또한, 단안 카메라와 레이저스캐너를 기반으로 하는 종래기술(대한민국 10-1141874)과 다르게 차량 움직임과 도로 상황에 대한 강인성을 확보할 수 있으며, 스테레오 카메라 사용으로 인하여 시스템의 가격, 장착성, 국산화 등의 측면에서 장점을 확보할 수 있다.
도 1은 본 발명의 일 실시예에 따른 위험지역 검출 방법을 도시한 흐름도이다.
도 2는 위험지역을 도시한 개념도이다.
도 3은 스테레오 영상 쌍에 대한 변위 지도를 도시한 개념도이다.
도 4는 도로면 지형 정보를 획득하는 과정을 도시한 개념도이다.
도 5는 장애물 영역 정보를 생성하는 과정을 도시한 개념도이다.
도 6은 장애물 경계를 획득하는 과정을 도시한 개념도이다.
도 7은 장애물 경계를 스테레오 영상에 적용하는 과정을 도시한 개념도이다.
도 8은 본 발명의 일 실시예에 따른 위험지역 검출 방법에 있어서 거리 변화 정보를 획득하는 단계를 도시한 흐름도이다.
도 9는 장애물 경계 및 가상 장애물 경계를 도시한 개념도이다.
도 10은 장애물 면에 대한 참조 면을 도시한 개념도이다.
도 11은 스테레오 영상에 대한 거리 변화 정보의 일 실시예를 도시한 개념도이다.
도 12는 스테레오 영상에 대한 거리 변화 정보의 다른 실시예를 도시한 개념도이다.
도 13은 본 발명의 일 실시예에 따른 위험지역 검출 장치를 도시한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 위험지역 검출 방법을 도시한 흐름도이다.
도 1을 참조하면, 위험지역 검출 방법은 스테레오(stereo) 영상 쌍으로부터 변위 지도(disparity map)를 획득하는 단계(S100), 변위 지도에 대한 값을 가로 방향으로 누적한 정보를 기반으로 도로면 지형 정보를 획득하는 단계(S200), 도로면 지형 정보를 기반으로 변위 지도에서 도로면 영역 정보가 제거된 장애물 영역 정보를 생성하는 단계(S300), 장애물 영역 정보에 대한 값을 세로 방향으로 누적한 정보를 기반으로 장애물 경계를 획득하는 단계(S400), 장애물 경계를 기준으로 정의된 장애물 면에 대한 거리 변화 정보를 획득하는 단계(S500) 및 거리 변화 정보를 기반으로 거리 변화가 미리 정의된 기준 이상인 위치를 위험지역으로 결정하는 단계(S600)를 포함한다.
도 1의 각 단계는 도 13에 도시된 위험지역 검출 장치에 의해 수행될 수 있으며, 위험지역 검출 장치의 상세한 구성 및 기능에 대해서는 후술하도록 한다.
도 2는 위험지역을 도시한 개념도이다.
도 2를 참조하면, 위험지역은 보행자와 운전자가 서로를 인지하기 어려운 영역을 의미하며, 예를 들어, 장애물들 간의 사이 또는 장애물 뒤편을 의미할 수 있다. 즉, 제1 영상(10)에서 위험지역은 부호 11, 부호 12, 부호 13 및 부호 14로 표시된 영역을 의미할 수 있고, 제2 영상(20)에서 위험지역은 부호 21 및 부호 22로 표시된 영역을 의미할 수 있다.
다시 도 1을 참조하면, 위험지역 검출 장치는 스테레오 영상 쌍으로부터 변위 지도를 획득할 수 있다(S100). 위험지역 검출 장치는 복수의 스테레오 카메라(camera)를 사용하여 스테레오 영상 쌍을 획득할 수 있다. 복수의 스테레오 카메라는 자동차의 전면에 설치될 수 있으며, 이러한 복수의 스테레오 카메라를 통해 자동차의 진행방향에 위치한 도로 정보, 장애물 정보 등을 포함하는 스테레오 영상을 획득할 수 있다. 위험지역 검출 장치는 공지된 기술인 semi-global matching(SGM) 방법을 기반으로 스테레오 영상 쌍으로부터 변위 지도를 획득할 수 있다.
도 3은 스테레오 영상 쌍에 대한 변위 지도를 도시한 개념도이다.
도 3을 참조하면, 좌측 영상(30)은 자동차의 좌측에 설치된 카메라를 통해 획득한 영상을 의미하고, 우측 영상(31)은 자동차의 우측에 설치된 카메라를 통해 획득한 영상을 의미한다. 위험지역 검출 장치는 semi-global matching 방법을 기반으로 스테레오 영상 쌍으로부터 변위 지도(32)를 획득할 수 있다.
다시 도 1을 참조하면, 위험지역 검출 장치는 변위 지도에 대한 값을 가로 방향으로 누적한 정보를 기반으로 도로면 지형 정보를 획득할 수 있다(S200). 즉, 위험지역 검출 장치는 변위 지도에서 동일한 변위 값을 가지는 픽셀들을 가로 방향으로 누적시켜 v-변위(v-disparity) 정보를 획득할 수 있고, v-변위 정보로부터 도로면 위치(즉, 틸트(tilt))를 나타내는 도로면 경계를 추정할 수 있고, 도로면 경계를 기반으로 도로면 지형 정보를 획득할 수 있다.
도 4는 도로면 지형 정보를 획득하는 과정을 도시한 개념도이다.
도 4를 참조하면, 위험지역 검출 장치는 변위 지도(32)로부터 동일한 변위 값을 가지는 픽셀들을 가로 방향으로 누적시켜 v-변위 정보(33)를 획득할 수 있고, 공지된 Hough Transformation 기법을 사용하여 v-변위 정보(33)로부터 도로면 위치를 나타내는 도로면 경계(35)를 추정할 수 있다. 여기서, v-변위 정보(33)는 변위 지도(32)에서 동일한 값을 가지는 픽셀들을 가로 방향으로 누적시킴으로써 생성되기 때문에 실제 평탄한 도로면은 도로면 경계(35)와 같이 비스듬한 직선으로 나타난다. 도로면 위치를 나타내는 도로면 경계(35)가 포함된 영상은 도로면 지형 정보(34)를 의미한다.
다시 도 1을 참조하면, 위험지역 검출 장치는 도로면 지형 정보를 기반으로 변위 지도에서 도로면 영역 정보가 제거된 장애물 영역 정보를 생성할 수 있다(S300). 즉, 위험지역 검출 장치는 도로면 지형 정보를 기반으로 도로면 영역 정보를 생성할 수 있고, 변위 지도에서 도로면 영역 정보를 제거하여 장애물 영역 정보를 생성할 수 있다. 위험지역 검출 장치는 공지된 기술을 기반으로 장애물 영역 정보를 생성할 수 있다.
도 5는 장애물 영역 정보를 생성하는 과정을 도시한 개념도이다.
도 5를 참조하면, 위험지역 검출 장치는 도로면 지형 정보를 사용하여 도로면 영역 정보(36)를 생성할 수 있고, 변위 지도(32)에서 도로면 영역 정보(36)를 제거하여 장애물 영역 정보(37)를 생성할 수 있다.
다시 도 1을 참조하면, 위험지역 검출 장치는 장애물 영역 정보에 대한 값을 세로 방향으로 누적한 정보를 기반으로 장애물 경계를 획득할 수 있다(S400). 즉, 위험지역 검출 장치는 장애물 영역 정보에서 동일한 변위 값을 가지는 픽셀들을 세로 방향으로 누적시켜 u-변위(u-disparity) 정보를 획득할 수 있고, u-변위 정보를 기반으로 장애물 경계를 획득할 수 있다.
도 6은 장애물 경계를 획득하는 과정을 도시한 개념도이다.
도 6을 참조하면, 위험지역 검출 장치는 장애물 영역 정보(37)로부터 동일한 변위 값을 가지는 픽셀들을 세로 방향으로 누적시켜 u-변위 정보(38)를 획득할 수 있고, 적응적 쓰레스홀딩(adaptive thresholding) 기법을 사용하여 u-변위 정보(38)로부터 장애물 경계(39)를 획득할 수 있다.
도 7은 장애물 경계를 스테레오 영상에 적용하는 과정을 도시한 개념도이다.
도 7을 참조하면, 장애물 경계(39)는 u-d축에서 정의되므로, u-v축으로 정의된 스테레오 영상(41)에서 장애물 경계(39)를 바로 나타낼 수 없다. 장애물 경계(39)는 도로면 상에 존재하기 때문에, u-d축에서 정의된 장애물 경계(39)의 v축 값을 v-d축에서 정의된 도로면 경계(35)를 통해 추정할 수 있고, 추정된 장애물 경계(39)를 스테레오 영상(41)에 나타낼 수 있다. 따라서, 스테레오 영상(41)에서 장애물 경계(39)는 부호 42와 같이 나타낼 수 있다.
도 8은 본 발명의 일 실시예에 따른 위험지역 검출 방법에 있어서 거리 변화 정보를 획득하는 단계를 도시한 흐름도이다.
도 8을 참조하면, 위험지역 검출 장치는 장애물 경계를 기반으로 장애물 면에 대한 거리 변화 정보를 획득할 수 있다(S500). 구체적으로, 거리 변화 정보를 획득하는 방법은, 장애물 경계를 기준으로 도로면에 수직한 가상 장애물 경계를 설정하는 단계(S510), 장애물 경계와 가상 장애물 경계 사이에 위치한 장애물 면에 세로 방향의 참조 면들을 설정하는 단계(S520), 참조 면들의 거리 값을 획득하는 단계(S530) 및 참조 면들의 거리 값에 대한 차이를 기반으로 장애물 면에 대한 거리 변화 정보를 획득하는 단계(S540)를 포함할 수 있다.
위험지역 검출 장치는 장애물 경계를 기준으로 도로면에 수직한 가상 장애물 경계를 설정할 수 있다(S510). 즉, 위험지역 검출 장치는 장애물 경계로부터 도로면에 수직한 방향으로 미리 설정된 높이만큼 떨어진 가상 장애물 경계를 설정할 수 있다. 여기서, 미리 설정된 높이는 보행자의 50% 이상을 가릴 수 있는 높이를 의미할 수 있다. 예를 들어, 위험지역 검출 장치는 장애물 경계로부터 1m 떨어진 가상 장애물 경계를 설정할 수 있다.
도 9는 장애물 경계 및 가상 장애물 경계를 도시한 개념도이다.
도 9를 참조하면, 위험지역 검출 장치는 단계 S400을 통해 장애물 경계(42)를 설정할 수 있고, 장애물 경계(42)로부터 미리 설정된 높이만큼 떨어진 가상 장애물 경계(43)를 설정할 수 있다. 여기서, 장애물 경계(42)와 가상 장애물 경계(43) 사이에 위치한 영역은 장애물 면을 의미할 수 있다.
다시 도 8을 참조하면, 위험지역 검출 장치는 장애물 경계와 가상 장애물 경계 사이에 위치한 장애물 면에 세로 방향의 참조 면들을 설정할 수 있다(S520). 이때, 위험지역 검출 장치는, 장애물 경계와 가상 장애물 경계 사이에 위치한 장애물 면에 대한 거리 정보를 기반으로, 상대적으로 가까운 장애물 면은 상대적으로 큰 너비를 가지는 참조 면으로 설정할 수 있고, 상대적으로 먼 장애물 면은 상대적으로 작은 너비를 가지는 참조 면으로 설정할 수 있다. 여기서, 세로 방향의 참조 면은 세로 막대를 의미할 수 있다.
도 10은 장애물 면에 대한 참조 면을 도시한 개념도이다.
도 10을 참조하면, 위험지역 검출 장치는 장애물 경계(42)와 가상 장애물 경계(43) 사이에 참조 면들(44, 45, 46, 47)을 설정할 수 있다. 여기서, 제1 참조면(44)은 다른 참조 면(45, 46, 47)들에 비해 가까운 위치에 존재하므로 가장 큰 너비를 가질 수 있고, 제2 참조 면(45)은 제1 참조 면(44)에 비해 먼 위치에 존재하므로 제1 참조 면(44)에 비해 작은 너비를 가질 수 있고, 제3 참조 면(46)은 제2 참조 면(45)에 비해 먼 위치에 존재하므로 제2 참조 면(45)에 비해 작은 너비를 가질 수 있고, 제4 참조 면(47)은 제3 참조 면(46)에 비해 먼 위치에 존재하므로 제3 참조 면(46)에 비해 작은 너비를 가질 수 있다.
다시 도 8을 참조하면, 위험지역 검출 장치는 참조 면들의 거리 값을 획득할 수 있다(S530). 즉, 위험지역 검출 장치는 변위 지도에 장애물 경계, 가상 장애물 경계 및 참조 면을 위치시킬 수 있고, 변위 지도상의 참조 면들에 대한 거리 값을 획득할 수 있다.
위험지역 검출 장치는 참조 면들의 거리 값에 대한 차이를 기반으로 장애물 면에 대한 거리 변화 정보를 획득할 수 있다(S540). 즉, 위험지역 검출 장치는 하나의 참조 면과 이웃한 참조 면의 거리 값에 대한 차이를 기반으로 장애물 면에 대한 거리 변화 정보를 획득할 수 있다. 예를 들어, 위험지역 검출 장치는 하나의 참조 면과 하나의 참조 면의 우측 방향으로 이웃한 참조 면에 대한 거리 변화 정보를 획득할 수 있고, 또는 하나의 참조 면과 하나의 참조 면의 좌측 방향으로 이웃한 참조 면에 대한 거리 변화 정보를 획득할 수 있다.
다시 도 1을 참조하면, 위험지역 검출 장치는 거리 변화 정보를 기반으로 거리 변화가 미리 정의된 기준 이상인 위치를 위험지역으로 결정할 수 있다(S600). 즉, 위험지역 검출 장치는 거리 변화가 미리 정의된 기준 이상 급격히 증가하는 위치를 위험지역으로 결정할 수 있다.
도 11은 스테레오 영상에 대한 거리 변화 정보의 일 실시예를 도시한 개념도이고, 도 12는 스테레오 영상에 대한 거리 변화 정보의 다른 실시예를 도시한 개념도이다.
도 11을 참조하면, 제1 스테레오 영상(50)에 대한 거리 변화 정보는 제1 그래프(51)와 같다. 제1 그래프(51)는 하나의 참조 면과 하나의 참조 면의 우측 방향에 위치한 참조 면의 차이를 나타낸 것으로, 표시된 원들은 거리 변화가 미리 정의된 기준 이상 급격히 증가하는 위치를 나타내며, 이러한 위치를 위험지역으로 결정할 수 있다.
도 12를 참조하면, 제2 스테레오 영상(52)에 대한 거리 변화 정보는 제2 그래프(53)와 같다. 제2 그래프(53)는 하나의 참조 면과 하나의 참조 면의 우측 방향에 위치한 참조 면의 차이를 나타낸 것으로, 표시된 원들은 거리 변화가 미리 정의 된 기준 이상 급격히 증가하는 위치를 나타내며, 이러한 위치를 위험지역으로 결정할 수 있다.
본 발명에 따른 위험지역 검출 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
도 13은 본 발명의 일 실시예에 따른 위험지역 검출 장치를 도시한 블록도이다.
도 13을 참조하면, 위험지역 검출 장치(60)는 처리부(61) 및 저장부(62)를 포함한다. 처리부(61)는 스테레오 영상 쌍으로부터 변위 지도를 획득할 수 있고, 변위 지도에 대한 값을 가로 방향으로 누적한 정보를 기반으로 도로면 지형 정보를 획득할 수 있고, 도로면 지형 정보를 기반으로 변위 지도에서 도로면 영역 정보가 제거된 장애물 영역 정보를 생성할 수 있고, 장애물 영역 정보에 대한 값을 세로 방향으로 누적한 정보를 기반으로 장애물 경계를 획득할 수 있고, 장애물 경계를 기준으로 정의된 장애물 면에 대한 거리 변화 정보를 획득할 수 있고, 거리 변화 정보를 기반으로 거리 변화가 미리 정의된 기준 이상인 위치를 위험지역으로 결정할 수 있다.
여기서, 위험지역은 보행자와 운전자가 서로를 인지하기 어려운 영역을 의미하며, 예를 들어, 장애물들 간의 사이 또는 장애물 뒤편을 의미할 수 있다.
구체적으로, 처리부(61)는 공지된 기술인 semi-global matching(SGM) 방법을 기반으로 스테레오 영상 쌍으로부터 변위 지도를 획득할 수 있다. 처리부(61)는 복수의 스테레오 카메라를 사용하여 스테레오 영상 쌍을 획득할 수 있으며, 스테레오 영상은 자동차의 진행방향에 위치한 도로 정보, 장애물 정보 등을 포함할 수 있다.
도로면 지형 정보를 획득하는 경우, 처리부(61)는 변위 지도에서 동일한 변위 값을 가지는 픽셀들을 가로 방향으로 누적시켜 v-변위 정보를 획득할 수 있고, v-변위 정보로부터 도로면 위치(즉, 틸트)를 나타내는 도로면 경계를 추정할 수 있고, 도로면 경계를 기반으로 도로면 지형 정보를 획득할 수 있다.
장애물 영역 정보를 생성하는 경우, 처리부(61)는 도로면 지형 정보를 기반으로 도로면 영역 정보를 생성할 수 있고, 변위 지도에서 도로면 영역 정보를 제거하여 장애물 영역 정보를 생성할 수 있다. 처리부(61)는 공지된 기술을 기반으로 장애물 영역 정보를 생성할 수 있다.
장애물 경계를 획득하는 경우, 처리부(61)는 장애물 영역 정보에서 동일한 변위 값을 가지는 픽셀들을 세로 방향으로 누적시켜 u-변위 정보를 획득할 수 있고, u-변위 정보를 기반으로 장애물 경계를 획득할 수 있다.
더불어, 장애물 면에 대한 거리 변화 정보를 획득하는 경우, 처리부(61)는 장애물 경계를 기준으로 도로면에 수직한 가상 장애물 경계를 설정할 수 있고, 장애물 경계와 가상 장애물 경계 사이에 위치한 장애물 면에 세로 방향의 참조 면들을 설정할 수 있고, 참조 면들의 거리 값을 획득할 수 있고, 참조 면들의 거리 값에 대한 차이를 기반으로 장애물 면에 대한 거리 변화 정보를 획득할 수 있다.
가상 장애물 경계를 설정하는 경우, 처리부(61)는 장애물 경계로부터 도로면에 수직한 방향으로 미리 설정된 높이만큼 떨어진 가상 장애물 경계를 설정할 수 있다. 여기서, 미리 설정된 높이는 보행자의 50% 이상을 가릴 수 있는 높이를 의미할 수 있다. 예를 들어, 처리부(61)는 장애물 경계로부터 1m 떨어진 가상 장애물 경계를 설정할 수 있다.
처리부(61)는 장애물 경계와 가상 장애물 경계 사이에 위치한 장애물 면에 세로 방향의 참조 면들을 설정할 수 있다. 이때, 처리부(61)는, 장애물 경계와 가상 장애물 경계 사이에 위치한 장애물 면에 대한 거리 정보를 기반으로, 상대적으로 가까운 장애물 면은 상대적으로 큰 너비를 가지는 참조 면으로 설정할 수 있고, 상대적으로 먼 장애물 면은 상대적으로 작은 너비를 가지는 참조 면으로 설정할 수 있다. 여기서, 세로 방향의 참조 면은 세로 막대를 의미할 수 있다.
참조 면들의 거리 값을 획득하는 경우, 처리부(61)는 변위 지도에 장애물 경계, 가상 장애물 경계 및 참조 면을 위치시킬 수 있고, 변위 지도상의 참조 면들에 대한 거리 값을 획득할 수 있다.
장애물 면에 대한 거리 변화 정보를 획득하는 경우, 처리부(61)는 하나의 참조 면과 이웃한 참조 면의 거리 값에 대한 차이를 기반으로 장애물 면에 대한 거리 변화 정보를 획득할 수 있다. 예를 들어, 처리부(61)는 하나의 참조 면과 하나의 참조 면의 우측 방향으로 이웃한 참조 면에 대한 거리 변화 정보를 획득할 수 있고, 또는 하나의 참조 면과 하나의 참조 면의 좌측 방향으로 이웃한 참조 면에 대한 거리 변화 정보를 획득할 수 있다.
처리부(61)는 거리 변화 정보를 기반으로 거리 변화가 미리 정의된 기준 이상인 위치를 위험지역으로 결정할 수 있다. 즉, 처리부(61)는 거리 변화가 미리 정의된 기준 이상 급격히 증가하는 위치를 위험지역으로 결정할 수 있다.
여기서, 처리부(61)는 프로세서(processor) 및 메모리(memory)를 포함할 수 있다. 프로세서는 범용의 프로세서(예를 들어, CPU(Central Processing Unit) 및/또는 GPU(Graphics Processing Unit) 등) 또는 위험지역 검출 방법의 수행을 위한 전용의 프로세서를 의미할 수 있다. 메모리에는 위험지역 검출 방법의 수행을 위한 프로그램 코드(program code)가 저장될 수 있다. 즉, 프로세서는 메모리에 저장된 프로그램 코드를 독출할 수 있고, 독출된 프로그램 코드를 기반으로 위험지역 검출 방법의 각 단계를 수행할 수 있다.
저장부(62)는 처리부(61)에서 처리되는 정보 및 처리된 정보를 저장할 수 있다. 예를 들어, 저장부(62)는 스테레오 영상 쌍, 변위 지도, 도로면 지형 정보, v-변위 정보, u-변위 정보, 도로면 영역 정보, 장애물 영역 정보, 장애물 경계, 가상 장애물 경계, 장애물 면, 참조 면, 거리 변화 정보, 미리 정의된 기준, 관심 영역 등을 저장할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
60: 위험지역 검출 장치
61: 처리부
62: 저장부

Claims (10)

  1. 스테레오(stereo) 영상 쌍으로부터 변위 지도(disparity map)를 획득하는 단계;
    상기 변위 지도에 대한 값을 가로 방향으로 누적한 정보를 기반으로 도로면 지형 정보를 획득하는 단계;
    상기 도로면 지형 정보를 기반으로 상기 변위 지도에서 도로면 영역 정보가 제거된 장애물 영역 정보를 생성하는 단계;
    상기 장애물 영역 정보에 대한 값을 세로 방향으로 누적한 정보를 기반으로 장애물 경계를 획득하는 단계;
    상기 장애물 경계를 기준으로 도로면에 수직한 가상 장애물 경계를 설정하는 단계;
    상기 장애물 경계와 상기 가상 장애물 경계 사이에 위치한 상기 장애물 면에 세로 방향의 참조 면들을 설정하는 단계;
    상기 참조 면들의 거리 값을 획득하는 단계;
    상기 참조 면들의 거리 값에 대한 차이를 기반으로 상기 장애물 면에 대한 거리 변화 정보를 획득하는 단계; 및
    상기 거리 변화 정보를 기반으로 거리 변화가 미리 정의된 기준 이상인 위치를 위험지역으로 결정하는 단계를 포함하는 것을 특징으로 하는 위험지역 검출 방법.
  2. 청구항 1에 있어서,
    상기 스테레오 영상 쌍은 스테레오 카메라(camera)를 통해 획득되는 것을 특징으로 하는 위험지역 검출 방법.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 세로 방향의 참조 면들을 설정하는 단계는,
    상기 장애물 면에 대한 거리 정보를 기반으로, 상대적으로 가까운 장애물 면은 상대적으로 큰 너비를 가지는 참조 면으로 설정하고, 상대적으로 먼 장애물 면은 상대적으로 작은 너비를 가지는 참조 면으로 설정하는 것을 특징으로 하는 위험지역 검출 방법.
  5. 청구항 1에 있어서,
    상기 장애물 면에 대한 거리 변화 정보를 획득하는 단계는,
    하나의 참조 면과 이웃한 참조 면의 거리 값에 대한 차이를 기반으로 상기 장애물 면에 대한 거리 변화 정보를 획득하는 것을 특징으로 하는 위험지역 검출 방법.
  6. 스테레오(stereo) 영상 쌍으로부터 변위 지도(disparity map)를 획득하고, 상기 변위 지도에 대한 값을 가로 방향으로 누적한 정보를 기반으로 도로면 지형 정보를 획득하고, 상기 도로면 지형 정보를 기반으로 상기 변위 지도에서 도로면 영역 정보가 제거된 장애물 영역 정보를 생성하고, 상기 장애물 영역 정보에 대한 값을 세로 방향으로 누적한 정보를 기반으로 장애물 경계를 획득하고, 상기 장애물 경계를 기준으로 도로면에 수직한 가상 장애물 경계를 설정하고, 상기 장애물 경계와 상기 가상 장애물 경계 사이에 위치한 상기 장애물 면에 세로 방향의 참조 면들을 설정하고, 상기 참조 면들의 거리 값을 획득하고, 상기 참조 면들의 거리 값에 대한 차이를 기반으로 상기 장애물 면에 대한 거리 변화 정보를 획득하고, 상기 거리 변화 정보를 기반으로 거리 변화가 미리 정의된 기준 이상인 위치를 위험지역으로 결정하는 처리부; 및
    상기 처리부에서 처리되는 정보 및 처리된 정보를 저장하는 저장부를 포함하는 위험지역 검출 장치.
  7. 청구항 6에 있어서,
    상기 처리부는,
    스테레오 카메라(camera)를 통해 상기 스테레오 영상 쌍을 획득하는 것을 특징으로 하는 위험지역 검출 장치.
  8. 삭제
  9. 청구항 6에 있어서,
    상기 처리부는,
    상기 세로 방향의 참조 면들을 설정하는 경우, 상기 장애물 면에 대한 거리 정보를 기반으로, 상대적으로 가까운 장애물 면은 상대적으로 큰 너비를 가지는 참조 면으로 설정하고, 상대적으로 먼 장애물 면은 상대적으로 작은 너비를 가지는 참조 면으로 설정하는 것을 특징으로 하는 위험지역 검출 장치.
  10. 청구항 6에 있어서,
    상기 처리부는,
    상기 장애물 면에 대한 거리 변화 정보를 획득하는 경우, 하나의 참조 면과 이웃한 참조 면의 거리 값에 대한 차이를 기반으로 상기 장애물 면에 대한 거리 변화 정보를 획득하는 것을 특징으로 하는 위험지역 검출 장치.
KR1020130041658A 2013-04-16 2013-04-16 스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치 KR101452628B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130041658A KR101452628B1 (ko) 2013-04-16 2013-04-16 스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130041658A KR101452628B1 (ko) 2013-04-16 2013-04-16 스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101452628B1 true KR101452628B1 (ko) 2014-10-23

Family

ID=51998189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130041658A KR101452628B1 (ko) 2013-04-16 2013-04-16 스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101452628B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160063039A (ko) * 2014-11-26 2016-06-03 현대자동차주식회사 3차원 데이터를 이용한 도로 인식 방법
KR20200063822A (ko) 2018-11-28 2020-06-05 한국교통대학교산학협력단 단안 카메라 기반 위험 지역 검출 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294251A (ja) * 1994-04-22 1995-11-10 Nippon Soken Inc 障害物検出装置
JP2008507454A (ja) 2004-07-26 2008-03-13 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
JP2010231400A (ja) 2009-03-26 2010-10-14 Toshiba Corp 障害物危険度算出装置、方法及びプログラム
KR20110058262A (ko) * 2009-11-26 2011-06-01 재단법인대구경북과학기술원 차량 검출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294251A (ja) * 1994-04-22 1995-11-10 Nippon Soken Inc 障害物検出装置
JP2008507454A (ja) 2004-07-26 2008-03-13 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
JP2010231400A (ja) 2009-03-26 2010-10-14 Toshiba Corp 障害物危険度算出装置、方法及びプログラム
KR20110058262A (ko) * 2009-11-26 2011-06-01 재단법인대구경북과학기술원 차량 검출 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160063039A (ko) * 2014-11-26 2016-06-03 현대자동차주식회사 3차원 데이터를 이용한 도로 인식 방법
KR102188164B1 (ko) 2014-11-26 2020-12-07 현대자동차주식회사 3차원 데이터를 이용한 도로 인식 방법
KR20200063822A (ko) 2018-11-28 2020-06-05 한국교통대학교산학협력단 단안 카메라 기반 위험 지역 검출 방법 및 시스템

Similar Documents

Publication Publication Date Title
CN106446769B (zh) 用于基于标志的定位系统及方法
US11226200B2 (en) Method and apparatus for measuring distance using vehicle-mounted camera, storage medium, and electronic device
CN104050654B (zh) 道路边缘检测方法和装置
EP2476996B1 (en) Parallax calculation method and parallax calculation device
JP6179639B2 (ja) 道路境界物の検出方法及び検出装置
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP2013109760A (ja) 対象検知方法及び対象検知システム
CN107358168B (zh) 一种车辆可行驶区域的检测方法及装置、车载电子设备
JP4556798B2 (ja) 画像処理装置
JP2009075938A (ja) 道路形状推定装置
JP2017162116A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN107491065B (zh) 利用障碍物的地面边界信息检测物体的侧面的方法和装置
JP2015219773A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
US20150156471A1 (en) Method and device for processing stereoscopic data
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
JP2009245042A (ja) 交通流計測装置及びプログラム
KR101452628B1 (ko) 스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치
Cario et al. Data fusion algorithms for lane departure warning systems
JP5786793B2 (ja) 車両検出装置
US10783350B2 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법
JP6313063B2 (ja) 車載用認識装置
KR20120044699A (ko) 도로상의 장애 물체 검출 방법 및 장치
KR20150050233A (ko) 차선 검출 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee