KR20160065703A

KR20160065703A - 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템

Info

Publication number: KR20160065703A
Application number: KR1020140170078A
Authority: KR
Inventors: 고병철; 정미라; 남재열
Original assignee: 계명대학교 산학협력단
Priority date: 2014-12-01
Filing date: 2014-12-01
Publication date: 2016-06-09
Also published as: KR101663574B1; WO2016088960A1

Abstract

본 발명은 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에 관한 것으로서, 보다 구체적으로는 (1) 상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계; (2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계; (3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및 (4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에 관한 것으로서, 보다 구체적으로는 차량에 설치되어 열 영상을 획득하는 카메라; 및 상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치를 포함하며, 상기 분석 장치는, 상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈; 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈; 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈; 및 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈을 포함하는 것을 또 다른 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 따르면, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있다.
또한, 본 발명에 따르면, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 고려하여 위험 보행자를 판단함으로써, 보행자의 다양한 특징을 고려하여 위험요소를 가진 보행자인지 여부를 정확하게 판단할 수 있다.

Description

야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템{METHOD AND SYSTEM FOR DETECTION OF SUDDEN PEDESTRIAN CROSSING FOR SAFE DRIVING DURING NIGHT TIME}

본 발명은 위험 보행자 검출 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 관한 것이다.

최근 ICT(intelligent transportation system) 기술을 활용한 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 관심이 증대되면서 카메라를 이용한 컴퓨터 비전 기반의 보행자 검출 시스템에 대한 연구가 활발하게 이루어지고 있다. 컴퓨터 비전 기반의 ADAS용 보행자 검출 연구는, 주로 주간에 일반적인 CCD(charge coupled device) 카메라를 이용하여 보행자를 검출하는 방법을 사용한다. 하지만 야간이나 우천, 안개 등으로 시야가 확대되지 못하는 경우에는 보행자를 검출하지 못하는 문제가 발생한다.

이러한 문제를 해결하기 위해 적외선 카메라(IR)를 사용하는 방법이 연구되고 있지만 반대편에서 접근하는 자동차의 강한 헤드라이트가 비추는 상황에서는 감지가 안 되는 문제점이 발생한다. 이러한 문제점을 해결하기 위해, 최근에는 사람의 몸에서 발생되는 원적외선(long wavelength IR)을 감지하는 열 영상 카메라를 이용하여 보행자를 검출하려는 연구가 진행되고 있다. 열 영상 카메라를 이용한 연구로는 영상의 픽셀 평균값과 최대 픽셀 값을 이용하여 임계값을 생성하고 영상을 이진화한 후 모폴로지 연산을 통한 잡음제거로 후보 영역을 생성한다.

이와 관련된 선행기술로서, 웨이블릿 기반의 중심대칭-국부이진 패턴과 계층적 랜덤 포레스트를 이용한 사람 검출 방법이 개시된 바 있다(등록특허 제10-1178333호).

보행자 검출에서 고려해야할 두 가지 요소는 실시간 보행자 검출과 위험 보행자 판단방법이다. 특히 자동차는 빠른 속도로 이동하고 있으므로 상대적으로 해상도가 큰 영상을 사용해야만 멀리 떨어진 보행자를 검출할 수 있다. 또한, 보행자가 검출 되더라도 모든 보행자가 위험 대상자가 아니므로, 해당 보행자가 위험요소를 가진 보행자인지를 판단하고 위험요소를 가진 보행자라면 운전자에게 빠르게 알려주어 운전자가 그 상황에 대처하도록 해야 한다. 그러나 아직까지 이와 같은 사항을 모두 고려한 위험 보행자 검출 방법 및 시스템은 개발되지 못하고 있는 실정이다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 고려하여 위험 보행자를 판단함으로써, 보행자의 다양한 특징을 고려하여 위험요소를 가진 보행자인지 여부를 정확하게 판단할 수 있는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템을 제공하는 것을 또 다른 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법은,

(1) 상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계;

(2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계;

(3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및

(4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 단계 (1)은,

(1-1) 상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 단계; 및

(1-2) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (1-1)은,

(1-1-1) 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계;

(1-1-2) 상기 카메라로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계; 및

(1-1-3) 상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (1-2)에서는,

(1-2-1) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계;

(1-2-2) 상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계; 및

(1-2-3) 상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 단계를 포함할 수 있다.

바람직하게는, 상기 단계 (2)는,

(2-1) 차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정하는 단계; 및

(2-2) 차량의 진행 방향에 따라 상기 기준선을 변경시키는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (2-2)는,

(2-2-1) 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계; 및

(2-2-2) 상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계를 포함할 수 있다.

바람직하게는, 상기 위험 요소 벡터는,

겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (3)은,

(3-1) 상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 단계;

(3-2) 상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 단계; 및

(3-3) 상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 단계를 포함할 수 있다.

바람직하게는, 상기 단계 (4)에서는,

(4-1) 상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계;

(4-2) 상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계; 및

(4-3) 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (4-2)에서는,

나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템은,

차량에 설치되어 열 영상을 획득하는 카메라; 및

상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치를 포함하며,

상기 분석 장치는,

상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈;

차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈;

상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈; 및

상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈을 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 카메라는,

상기 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득할 수 있다.

바람직하게는, 상기 보행자 검출 모듈은,

상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 제1 검출부; 및

상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 제2 검출부를 포함할 수 있다.

더욱 바람직하게는, 상기 제1 검출부는,

적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 스케일링부;

상기 카메라로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 영역 설정부; 및

상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 후보 검출부를 포함할 수 있다.

더욱 바람직하게는, 상기 제2 검출부는,

상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 특징 추출부;

상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 레벨1 분류부; 및

상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 레벨2 분류부를 포함할 수 있다.

바람직하게는, 상기 기준선 설정 모듈은,

차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 기준선 설정부; 및

차량의 진행 방향에 따라 상기 기준선을 변경시키는 기준선 변경부를 포함할 수 있다.

더욱 바람직하게는, 상기 기준선 변경부는,

옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 방향 결정부; 및

상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 변경 처리부를 포함할 수 있다.

바람직하게는, 상기 위험 요소 벡터는,

더욱 바람직하게는, 상기 벡터 추출 모듈은,

상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 제1 산출부;

상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 제2 산출부; 및

상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 제3 산출부를 포함할 수 있다.

바람직하게는, 상기 판단 모듈에서는,

상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 확률 추정부;

상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 스코어 산출부; 및

상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 보행자 판단부를 포함할 수 있다.

더욱 바람직하게는, 상기 스코어 산출부는,

바람직하게는,

상기 분석 장치에서 위험 보행자로 판단되면, 경보를 발생하는 경보 장치를 더 포함할 수 있다.

본 발명에서 제안하고 있는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 따르면, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있다.

또한, 본 발명에 따르면, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 고려하여 위험 보행자를 판단함으로써, 보행자의 다양한 특징을 고려하여 위험요소를 가진 보행자인지 여부를 정확하게 판단할 수 있다.

도 1은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 카메라가 설치된 차량을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 분석 장치의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 거리에 따른 보행자의 크기를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 검출된 후보 보행자 윈도우를 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 보행자 검출을 위해 디자인 된 Harr-like 특징을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서 사용된 CaRF를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 차량의 진행 방향을 고려하여 기준선을 설정하는 과정을 예를 들어 도시한 도면.
도 12는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 각 차량 진행 방향에 대한 가우시안 분포를 도시한 도면.
도 13은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면.
도 14는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 요소 벡터를 추출하는 과정을 예를 들어 도시한 도면.
도 15는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면.
도 16은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 보행자를 판단하는 과정을 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템은, 카메라(10) 및 분석 장치(20)를 포함하여 구성될 수 있으며, 경보 장치(30)를 더 포함하여 구성될 수 있다.

카메라(10)는, 차량에 설치되어 열 영상을 획득할 수 있다. 특히, 카메라(10)는, 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득할 수 있다.

도 2는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 카메라(10)가 설치된 차량을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서는, 차량의 지붕에 설치된 원적외선 카메라(10)를 이용할 수 있다. 즉, 본 발명에서는, 차량의 강한 헤드라이트 등과 관계없이 사람의 몸에서 발생되는 원적외선을 이용해 효과적으로 보행자를 검출할 수 있다.

분석 장치(20)는, 획득된 열 영상으로부터 위험 보행자를 판단할 수 있다. 즉, 분석 장치(20)는 열 영상으로부터 보행자를 검출하고, 검출된 보행자가 위험 보행자인지 여부를 판단하는 구성으로서, 추후 도 4를 참조하여 상세히 설명하도록 한다.

경보 장치(30)는, 분석 장치(20)에서 위험 보행자로 판단되면, 경보를 발생할 수 있다. 즉, 위험 보행자가 나타났음을 운전자에게 신속하게 알리기 위한 구성으로서, 시각적, 청각적, 촉각적 자극을 이용해 경보를 발생할 수 있다.

도 3은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법은, 보행자 윈도우를 검출하는 단계(S100), 차량의 진행 방향을 고려하여 기준선을 설정하는 단계(S200), 위험 요소 벡터를 추출하는 단계(S300) 및 위험 보행자를 판단하는 단계(S400)를 포함하여 구성될 수 있다.

도 4는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 분석 장치(20)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 장치는, 보행자 검출 모듈(100), 기준선 설정 모듈(200), 벡터 추출 모듈(300) 및 판단 모듈(400)을 포함하여 구성될 수 있으며, 각 구성을 통해 도 3에 도시된 바와 같은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법을 구현할 수 있다.

단계 S100에서는, 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출할 수 있으며, 단계 S100은 보행자 검출 모듈(100)에 의해 처리될 수 있다. 이하에서는, 도 5를 참조하여 단계 S100의 세부적인 흐름에 대해여 상세히 설명하도록 한다.

도 5는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법은, 스케일링 비율 및 보행자 탐색 영역을 설정하고 후보 보행자 윈도우를 검출하는 단계(S110) 및 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우 검출하는 단계(S120)를 포함하여 구현될 수 있다.

단계 S110에서는, 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출할 수 있으며, 단계 S110은 제1 검출부(110)에 의해 처리될 수 있다. 도 5에 도시된 바와 같이, 단계 S110은 적응 스케일링을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계(S111), 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계(S112) 및 설정된 보행자 탐색 영역에서 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계(S113)를 포함하여 구현될 수 있다.

단계 S111에서는, 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정할 수 있으며, 단계 S111은 스케일링부(111)에 의해 처리될 수 있다. 적응 스케일링은, 이미지 스케일링(image scaling)의 optical level을 결정하여 설정될 수 있다.

도 6은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 거리에 따른 보행자의 크기를 도시한 도면이다. 자동차 주행 시 촬영되는 영상은 원거리 보행자를 검출해 내기 위해 고해상도 영상을 사용해야 하며, 도 6에 도시된 바와 같이, 영상 안에 다양한 크기의 보행자가 존재한다. 따라서 보행자 검출을 위해서는 입력 영상을 다양한 비율로 스케일링하고 각 스케일 영상에서 보행자를 탐색하는 알고리즘이 필요하지만, 이러한 방법은 많은 처리시간을 요구한다. 실시간 보행자 검출 시스템을 구성하기 위한 가장 중요한 요소는 시스템의 처리속도 문제이므로, 계산 비용(computational cost)을 줄이는 것이 매우 중요하다.

따라서 단계 S111에서는, 검출 가능한 보행자의 최대 크기와 최소 크기를 사전에 설정하고, 추후 학습 비디오에 대해서 최소 크기에서 최대크기까지 영상의 스케일링 비율을 조정하면서 HWM(Hough Window Map)을 구성하고, 적응 스케일링 알고리즘을 적용하여 보행자 검출을 위한 영상 스케일링 비율을 결정함으로써, 추후 보행자 검출 시 보다 신속하게 적용을 할 수 있다.

단계 S112에서는, 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정할 수 있으며, 단계 S112는 영역 설정부(112)에 의해 처리될 수 있다. 단계 S112에서는, 카메라(10)에서 촬영되는 영상의 투시도(perspective view)를 고려하여, 관심 영역(region-of-interest; ROI)을 설정할 수 있다. 즉, 보행자 검출을 위한 관심 ROI 설정은 설치된 카메라(10) 영상을 고려하여 차량과의 임의의 거리 내에 존재하는 영역에 대해서만 보행자 검출 윈도우를 실행하면 되므로, 영상의 Y좌표를 기준으로 도 6에 도시된 바와 같이, 임계값 이내에 있는 영역을 ROI 영역으로 설정할 수 있다. 또한, 관심 영역 내에서도, 스케일링 비율에 따라 보행자 탐색 영역(searching area)을 설정함으로써, 보다 신속하게 보행자를 검출할 수 있다.

따라서 보행자의 위치와 크기를 알고 있으면, 검색 영역과 스케일링 비율을 설정할 수 있다.

실험예

본 발명에서는, KMU(Keimyung University) 데이터 셋을 이용해 도 6의 (a)에 도시된 바와 같이 카메라(10)와의 거리가 5m부터 30m까지 5m 간격으로 떨어져있는 보행자에 대하여, 보행자의 최대 크기와 최소 크기를 결정하였다. 한국인 성인 남녀의 평균 신장(남성 174㎝, 여성 160㎝)을 고려하여, 167㎝를 평균 신장으로 설정하면, 640픽셀×480픽셀 크기의 이미지에서 보행자 윈도우(bounding box of pedestrian)의 크기는 표 1과 같다.

보행자 윈도우를 평균한 108×47을 보행자 모델 사이즈로 정하면, 보행자 모델 사이즈보다 작은 보행자에 대해서는 1:2.7, 1:2.3, 1:1.9; 1:1.4, 1:1.0, 보행자 모델 사이즈보다 큰 보행자에 대해서는 1:0.5의 총 6개의 이미지 스케일링 레벨이 도출될 수 있다.

한편, 도 6의 (b)에 도시된 바와 같이, 검출된 보행자의 키에 따라 보행자 탐색 영역은 미세하게 조정될 수 있다. 보행자 윈도우의 크기와 위치를 검출하면, 차량과 보행자 사이의 거리도 산출할 수 있다.

단계 S113에서는, 설정된 보행자 탐색 영역에서 스케일링 비율을 이용해 후보 보행자 윈도우를 검출할 수 있으며, 단계 S113은 후보 검출부(113)에 의해 처리될 수 있다. 단계 S111 및 단계 S112에서 설정된 스케일링 비율 및 보행자 탐색 영역을 이용하므로, 단계 S113에서는 보다 신속하게 후보 보행자 윈도우를 검출할 수 있다.

도 7은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 검출된 후보 보행자 윈도우를 예를 들어 도시한 도면이다. 원적외선 열 영상 카메라(10)를 이용하는 경우, 여름에는 배경 열에너지와 보행자의 열에너지가 비슷하기 때문에, 보행자 검출의 정확도가 저하될 수 있다. 즉, 도 7의 (a)에 도시된 바와 같이, 봄에는 비교적 정확하게 보행자를 검출할 수 있으나, (b)에 도시된 바와 같이 여름에는 열에너지로 정확하게 보행자를 검출하기 어려운 것을 확인할 수 있다. 따라서 본 발명의 단계 S110에서는 열 영상으로부터 후보 영역을 추출하고, 이하에서 상세히 설명할 단계 S120에서 후보 영역을 검증함으로써 최종적으로 보행자 윈도우를 검출할 수 있다.

단계 S120에서는, 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출할 수 있다. 단계 S120은 제2 검출부에 의해 처리될 수 있다. 도 5에 도시된 바와 같이, 단계 S120은 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계(S121), 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계(S122) 및 추출한 OCS-LBP 특징을 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해 최종적인 보행자 윈도우를 검출하는 단계(S123)를 포함하여 구현될 수 있다.

단계 S121에서는, 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출할 수 있으며, 단계 S121은 특징 추출부(121)에 의해 처리될 수 있다. 여기에서, Haar-like 특징은 계산 시간 단축을 위한 것으로 콤팩트한 특징 패턴을 생산할 수 있고, OCS-LBP 특징은 픽셀의 기울기 크기와 방향을 파악할 수 있다.

도 8은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 보행자 검출을 위해 디자인 된 Harr-like 특징을 도시한 도면이다. 본 발명에서는 서로 다른 10개의 특징 타입을 고안하였으며, 이와 같은 Haar-like 특징은 인간의 신체의 대칭을 고려하여 디자인되었다.

한편, OCS-LBP 특징은 객체 검출을 위해 많이 사용되는 Center Symmetric Local Binary Pattern(CS-LBP)의 에지의 강도와 방향 정보를 상실하는 단점을 개선하면서 낮은 차원 수를 가지는 특징이 있다. 후보 윈도우를 4×4 파트 영역으로 분할 한 후, 각각의 서브 블록에서 8차원의 히스토그램에서 특징 벡터를 생성하며, 하나의 후보 윈도우에서는 128차원의 특징벡터가 생성될 수 있다.

그 다음, 후보 영역이 보행자인지 아닌지를 검증하기 위하여, 계층적 랜덤 포레스트(Cascade random forests; CaRF)를 이용할 수 있다. 본 발명에서는 두 개의 레벨(cascade level)로 구성된 CaRF를 사용하였는데, 첫 번째 레벨에서는 Haar-like 특징을 사용하고, 두 번째 레벨에서는 OCS-LBP 특징을 사용할 수 있다.

단계 S122에서는, 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 할 수 있으며, 레벨1 분류부(122)가 처리할 수 있다.

단계 S123에서는, 단계 S122에서 검출된 후보 보행자 윈도우에 대하여, 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출할 수 있다. 단계 S123은 레벨2 분류부(122)에서 처리될 수 있다.

도 9는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서 사용된 CaRF를 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서는, 먼저 Haar-Like 특징 벡터를 사전에 학습된 레벨 1의 랜덤 포레스트 분류기에 적용하여 보행자 후보 윈도우를 1차적으로 검증하고(S122), 검출된 윈도우에 대해서만 OCS-LBP 특징 벡터를 사전에 학습된 레벨 2의 랜덤 포레스트 분류기에 적용하여 최종적인 보행자 윈도우를 검출할 수 있다(S123).

단계 S200에서는, 차량의 진행 방향을 고려하여 기준선(reference line)을 설정할 수 있다. 단계 S200은 기준선 설정 모듈(200)에 의해 처리될 수 있다.

도 10은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S200은, 차도의 경계선과 소실점을 이용해 최초 기준선을 설정하는 단계(S210) 및 차량의 진행 방향에 따라 기준선을 변경시키는 단계(S220)를 포함하여 구현될 수 있다.

단계 S210에서는, 차도(road)의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정할 수 있으며, 단계 S210은 기준선 설정부(210)에 의해 처리될 수 있다. 단계 S210에서는, 차도와 보도의 열에너지가 유사한 데 따른 한계를 극복하기 위해 가상의 기준선(virtual reference lines)을 설정할 수 있다. 종래기술과는 달리, 본 발명에서는 운전자의 시야(driver's view)와 소실점을 이용해 기준선을 설정할 수 있다. 최초의 기준선(initial reference line)은 차량의 지붕 위에 설치된 FIR 카메라(10)로부터 얻은 캡처사진(captured image)로부터 설정될 수 있다. 차도의 경계선은 ROI 내에서 simple Sobel edge detector를 이용해 검출될 수 있고, 경계선의 겹침 에러(overlapping error)가 최소가 되는 후보 기준선을 기준선으로 설정할 수 있다.

도 11은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 차량의 진행 방향을 고려하여 기준선을 설정하는 과정을 예를 들어 도시한 도면이다. 도 11의 (a)를 참조하여 기준선 설정부(210)에서 처리되는 단계 S210의 기준선 설정 알고리즘을 요약하면 다음과 같다.

1. 이미지를 세로로 분할하는 수직 방향의 중심선을 그리고, 중심선을 따라 소실점 후보 세트를 만든다.

2. edge detector를 이용해 도로의 경계 픽셀, 즉 경계선을 검출한다.

3. 소실점 후보를 선택하여, 기준선 후보를 그린다.

4. 경계선과 기준선 사이의 겹침 에러를 계산한다.

5. 소실점 후보 세트에 포함되는 모든 소실점 후보에 대하여 3 및 4를 반복한다.

6. 겹침 에러가 최소가 되는 소실점을 찾아 최초 기준선으로 설정한다.

단계 S220에서는, 차량의 진행 방향에 따라 기준선을 변경시킬 수 있으며, 단계 S220은 기준선 변경부(220)에 의해 처리될 수 있다. 즉, 도 11의 (a)에 도시된 바와 같은 고정된 기준선은 차량이 직진할 때에만 사용이 가능하며, 차량이 선회하는 경우에는 그 방향과 속력에 따라 기준선 또한 변경되어야 한다. 단계 S220은 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계(S221) 및 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계(S222)를 통해 기준선을 변경시킬 수 있다.

단계 S221에서는, 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정할 수 있으며, 방향 결정부(221)에 의해 처리될 수 있다. 즉, 보도의 검출 없이 선회 방향과 각도를 추출하기 위해서, 옵티컬 플로우(optical flow)와 최대우도추정법(maximum likelihood estimation)을 사용할 수 있다. 본 발명의 단계 S221에서는, 직진(Go-Straight; GS), 우회전(Turn-Right; TR) 및 좌회전(Turn-Left; TL)의 세 가지 차량 진행 방향을 정의할 수 있다. 먼저, 각각의 차량 진행 방향에 대한 옵티컬 플로우의 x 방향과 y 방향의 벡터 특징을 수집할 수 있다.

도 12는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 각 차량 진행 방향에 대한 가우시안 분포를 도시한 도면이다. 즉, 각 차량 진행 방향에 대한 특징들의 평균과 공분산 행렬(covariance matrix)을 구하여 2차원의 가우시안 분포를 분석하면, 도 12에 도시된 바와 같을 수 있다. 따라서 옵티컬 플로우 벡터로부터 차량 진행 방향의 조건부 확률을 구할 수 있는데, 본 발명에서는 최대우도추정법을 이용해 보다 용이하게 차량 진행 방향을 결정할 수 있다.

단계 S222에서는, 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시킬 수 있으며, 변경 처리부(222)에 의해 처리될 수 있다. 즉, 차량 진행 방향이 결정되면 차량의 선회 각도에 따라 기준선을 변경해야 한다. 기준선의 형태는 소실점을 선회 방향으로 이동시킴으로써 변경할 수 있다. 다음 수학식 1에 따라 시간 t의 소실점(

)을 계산할 수 있다.

여기서,

및

는 시간 t-1의 소실점,

및

는 시간 t에서의 선회 방향(turning direction)의 x와 y 방향의 평균 벡터,

및

은 소실점의 움직임을 조절하기 위한 파라미터로서, 중심점과 소실점 사이의 초기 거리 비율을 조정할 수 있다. 실험에 따르면

및

는 각각 19.82 및 0.6으로 설정될 수 있다. 도 11의 (b) 및 (c)에는 차량 진행 방향에 따른 기준선 변경이 예를 들어 도시되었다.

단계 S300에서는, 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출할 수 있으며, 단계 S300은 벡터 추출 모듈(300)에 의해 처리될 수 있다. 여기에서, 위험 요소 벡터는, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함할 수 있다.

도 13은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면이다. 도 13에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S300은, 겹침 위험도를 산출하는 단계(S310), 움직임 방향 위험도를 산출하는 단계(S320) 및 움직임 크기 위험도를 산출하는 단계(S330)를 포함하여 구현될 수 있다.

도 14는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 요소 벡터를 추출하는 과정을 예를 들어 도시한 도면이다. 이하에서는, 도 13 및 도 14를 참조하여, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S300의 세부적인 흐름에 대하여 상세히 설명하도록 한다.

단계 S310에서는, 검출된 보행자 윈도우와 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출할 수 있으며, 단계 S310은 제1 산출부(310)에 의해 처리될 수 있다. 겹침 위험도는, 보행자와 기준선 사이의 겹침 비율(overlapping ratio)을 계산함으로써 산출될 수 있다(도 14의 (a) 참조). 보행자가 기준선을 왼쪽 또는 오른쪽에서 지나갈 때, 보행자 i에 대한 겹침 비율 OR(i)은 다음 수학식 2와 같이 정의될 수 있다.

여기서, RL은 기준선, BB(i)는 보행자 i에 대한 보행자 윈도우(bounding box)이다. 즉, BB(i)가 기준선 밖에 있으면 OR(i)는 0이고, BB(i)가 기준선 안으로 완전히 들어오면 OR(i)는 1이 된다.

단계 S320에서는, 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출할 수 있으며, 단계 S320은 제2 산출부(320)에 의해 처리될 수 있다.

자동차 앞으로 갑자기 뛰어드는 보행자의 움직임 방향을 분석해보면, 보행자는 영상의 외곽에서 중심으로 뛰어 오는 방향성을 보인다. 다시 말해 보행자의 위험 움직임 방향은 영상의 왼쪽 영역(Left Part)에서는 좌측에서 우측 방향을 보이며, 오른쪽 영역(Right Part)에서는 우측에서 좌측 방향을 보인다. 이런 사실을 이용하여, 본 발명에서는 도 14의 (b)에 도시된 바와 같이, 보행자의 움직임 방향을 8개로 정의하였으며, 오른쪽과 왼쪽으로의 방향성을 강조하기 위하여 약간 기울어져 있을 수 있다(23도). 모션 코드 M은 옵티컬 플로우의 방향(θ)을 이용해 다음 수학식 3과 같이 정의될 수 있다.

각 모션 코드의 모션 스코어는 보행자의 좌우모션을 고려하도록 디자인되었으므로, 왼쪽 또는 오른쪽으로 보행자가 움직일 때 그 값이 크게 산출될 수 있다. 보행자 윈도우의 모션을 추출한 다음, 다음 수학식 4를 이용해 N 옵티컬 플로우에서 보행자 i의 움직임 방향 위험도 MD(i)를 산출할 수 있다.

여기서, Score(ㆍ)는 모션 코드에서 정의된 모션 스코어를 의미할 수 있다.

단계 S330에서는, 움직임 벡터의 크기와 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출할 수 있으며, 단계 S330은 제3 산출부(330)에 의해 처리될 수 있다.

도 14의 (c)에 도시된 바와 같이, 보행자가 갑자기 도로로 뛰어들 때 위험 상황이 발생하므로, 옵티컬 플로우의 속력, 즉 크기(mag) 및 카메라(10)와 보행자의 추정 거리(dist)를 이용해 움직임 크기 위험도를 도출할 수 있다. 실제 속력이 같더라도 거리에 따라 움직임 크기는 상이하므로, 도 2 및 도 6의 (a)에 도시된 바와 같이, 보행자 윈도우의 크기로부터 보행자까지의 거리를 도출할 수 있다. 보행자의 움직임 크기와 거리로부터, 옵티컬 플로우 N에서 보행자 i의 측면 방향의 속력(MS(i))은 다음 수학식 5에 의해 계산될 수 있다.

여기서,

는 컨트롤 파라미터이며, 몇 번의 실험을 기준으로 본 발명에서는 0.25로 설정하였다.

단계 S400에서는, 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단할 수 있다. 단계 S400은 판단 모듈(400)에 의해 처리될 수 있다.

도 15는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면이다. 도 15에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S400은, 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계(S410), 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계(S420) 및 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계(S430)를 포함하여 구현될 수 있다.

도 16은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 보행자를 판단하는 과정을 도시한 도면이다. 이하에서는, 도 15 및 도 16을 참조하여 단계 S400의 세부적인 흐름에 대하여 상세히 설명하도록 한다.

단계 S410에서는, 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정할 수 있으며, 단계 S410은 확률 추정부(410)에 의해 처리될 수 있다. 즉, 단계 S300에서 3가지 특징 정보가 추출되면, 도 16의 (b) 및 (c)에 도시된 바와 같이, 앞서 추출된 3가지 특징 정보를 각각 정규분포 함수에 적용하여 보행자 요소별 위험도, 즉 조건부 확률을 측정할 수 있다.

단계 S420에서는, 추정된 조건부 확률을 조합하여 위험도 스코어를 산출할 수 있으며, 단계 S420은 스코어 산출부(420)에 의해 처리될 수 있다. 단계 S420에서는, 나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 위험도 스코어를 산출할 수 있다.

각 위험도의 최대값은 1이고, 최소값은 0이므로, 모든 특징에 대하여 역변환(inverse transformation)을 하고, 정규 분포를 생성할 수 있다(도 16의 (b) 및 (c) 참조). 위험 보행자가 나타날 확률을 계산하기 위하여, 선회 방향이 동일하다는 가정 하에, 각 특징들을 조건부 독립으로 정의한다. 다음 수학식 6과 같이 나이브 베이즈(naBayes)로부터 위험 보행자의 위험도 스코어를 산출할 수 있다.

여기서, 언더플로우 문제를 해결하기 위하여 로그 우도(log likelihoods)를 사용하면, 다음 수학식 7과 같은 결과를 도출할 수 있다.

단계 S430에서는, 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단할 수 있으며, 단계 S430은 보행자 판단부(430)에 의해 처리될 수 있다. 즉, 수학식 7에 의해 산출된 값이 임계값 T 이상이면, 위험 보행자가 있는 것으로 판단할 수 있으며(도 16의 (d)), 본 발명에서 임계값은 예를 들어 0.5일 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

10: 카메라 20: 분석 장치
30: 경보 장치 100: 보행자 검출 모듈
200: 기준선 설정 모듈 300: 벡터 추출 모듈
400: 판단 모듈
S100: 보행자 윈도우를 검출하는 단계
S200: 차량의 진행 방향을 고려하여 기준선을 설정하는 단계
S300: 위험 요소 벡터를 추출하는 단계
S400: 위험 보행자를 판단하는 단계

Claims

차량에 설치된 카메라(10)를 이용한 위험 보행자 결정 방법으로서,
(1) 상기 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계;
(2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계;
(3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및
(4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제1항에 있어서, 상기 단계 (1)은,
(1-1) 상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 단계; 및
(1-2) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제2항에 있어서, 상기 단계 (1-1)은,
(1-1-1) 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계;
(1-1-2) 상기 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계; 및
(1-1-3) 상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제2항에 있어서, 상기 단계 (1-2)에서는,
(1-2-1) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계;
(1-2-2) 상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계; 및
(1-2-3) 상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제1항에 있어서, 상기 단계 (2)는,
(2-1) 차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정하는 단계; 및
(2-2) 차량의 진행 방향에 따라 상기 기준선을 변경시키는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제5항에 있어서, 상기 단계 (2-2)는,
(2-2-1) 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계; 및
(2-2-2) 상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제1항에 있어서, 상기 위험 요소 벡터는,
겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제7항에 있어서, 상기 단계 (3)은,
(3-1) 상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 단계;
(3-2) 상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 단계; 및
(3-3) 상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제1항에 있어서, 상기 단계 (4)에서는,
(4-1) 상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계;
(4-2) 상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계; 및
(4-3) 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제9항에 있어서, 상기 단계 (4-2)에서는,
나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
위험 보행자 결정 시스템으로서,
차량에 설치되어 열 영상을 획득하는 카메라(10); 및
상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치(20)를 포함하며,
상기 분석 장치(20)는,
상기 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈(100);
차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈(200);
상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈(300); 및
상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈(400)을 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제11항에 있어서, 상기 카메라(10)는,
상기 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제11항에 있어서, 상기 보행자 검출 모듈(100)은,
상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 제1 검출부(110); 및
상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 제2 검출부(120)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제13항에 있어서, 상기 제1 검출부(110)는,
적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 스케일링부(111);
상기 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 영역 설정부(112); 및
상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 후보 검출부(113)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제13항에 있어서, 상기 제2 검출부(120)는,
상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 특징 추출부(121);
상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 레벨1 분류부(122); 및
상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 레벨2 분류부(122)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제11항에 있어서, 상기 기준선 설정 모듈(200)은,
차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 기준선 설정부(210); 및
차량의 진행 방향에 따라 상기 기준선을 변경시키는 기준선 변경부(220)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제16항에 있어서, 상기 기준선 변경부(220)는,
옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 방향 결정부(221); 및
상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 변경 처리부(222)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제11항에 있어서, 상기 위험 요소 벡터는,
겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제18항에 있어서, 상기 벡터 추출 모듈(300)은,
상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 제1 산출부(310);
상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 제2 산출부(320); 및
상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 제3 산출부(330)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제11항에 있어서, 상기 판단 모듈(400)에서는,
상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 확률 추정부(410);
상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 스코어 산출부(420); 및
상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 보행자 판단부(430)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
제20항에 있어서, 상기 스코어 산출부(420)는,
나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
제11항에 있어서,
상기 분석 장치(20)에서 위험 보행자로 판단되면, 경보를 발생하는 경보 장치(30)를 더 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.