KR20180097398A

KR20180097398A - 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법

Info

Publication number: KR20180097398A
Application number: KR1020170024371A
Authority: KR
Inventors: 고병철; 남재열; 곽준영
Original assignee: 계명대학교 산학협력단
Priority date: 2017-02-23
Filing date: 2017-02-23
Publication date: 2018-08-31
Also published as: KR101958868B1

Abstract

본 발명은 야간 주행 자동차를 위한 보행자 의도 예측 시스템에 관한 것으로서, 보다 구체적으로는 야간 주행 자동차를 위한 보행자 의도 예측 시스템으로서, 도로의 이미지를 캡처하는 카메라 모듈; 상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(fuzzy membership function)를 생성하는 제1 퍼지 소속 함수 생성 모듈; 상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성 모듈; 상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성 모듈; 상기 제1 퍼지 소속 함수 생성 모듈, 상기 제2 퍼지 소속 함수 생성 모듈, 및 상기 제 3 퍼지 생성 모듈로부터 생성된 제1 내지 제3 퍼지 소속 함수를 이용하여 각각의 소속 값(membership value)을 생성하는 소속 값 생성 모듈; 및 상기 소속 값 생성 모듈에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 보행자 의도 예측 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 야간 주행 자동차를 위한 보행자 의도 예측 방법에 관한 것으로서, 보다 구체적으로는 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법으로서, (1) 카메라 모듈이 도로의 이미지를 캡처하는 단계; (2) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(membership function)를 생성하는 단계; (3) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 단계; (4) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 단계; (5) 상기 단계 (2) 내지 (4)에서 각각 생성된 퍼지 소속 함수를 이용하여, 각각의 소속 값을 생성하는 소속 값 생성 단계; 및 (6) 상기 (5) 단계에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 단계를 포함하는 것을 그 단계상의 특징으로 한다.
본 발명에서 제안하고 있는 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법에 따르면, 카메라 모듈을 통해 보행자와 도로의 연석(curb) 사이의 거리, 보행자의 이동 속도, 보행자의 머리 방향 등의 특징을 감지하고 이러한 특징들을 통합함으로써, 보행자가 도로를 건너고자 하는 의도가 있는지를 사전에 예측하여 운전자에게 알려줄 수 있다.

Description

야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법 {SYSTEM FOR PREDICTING PEDESTRIAN INTENTION FOR VEHICLE IN NIGHT TIME AND METHOD THEREOF}

본 발명은 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법에 관한 것으로서, 특히 보행자의 의도를 예측하여 보행자와의 충돌 사고를 사전에 방지할 수 있는 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법에 관한 것이다.

일반적으로 운전자 보조 시스템(Advanced Driver Assistant System, ADAS)은 시각적, 청각적 감지 센서 등을 이용하여 보행자와의 충돌을 감지하고 운전자에게 위험을 경고하는 시스템으로서, 운전자의 안전한 운전을 도와준다.

이러한 운전자 보조 시스템(ADAS)의 종류로는 자동차 자동 항법 장치(In-vehicle Navigation System), 차선 유지 보조 시스템(Lane Departure Warning System or Lane Keeping Assist System), 보행자 보호 시스템(Pedestrian Protection System) 등이 있다.

특히, 최근에는 운전자 보조 시스템 중 카메라 모듈을 기반으로 하는 보행자 보호 시스템이 개발되고 있다. 이러한 보행자 보호 시스템은 카메라 모듈을 이용하여 보행자를 인식함으로써 운전자에게 사전에 충돌 위험을 경고할 수 있다.

그러나 이러한 시스템들은 야간 주행에서 보행자를 정확하게 파악하기 어렵다는 문제점이 있었다. 또한, 운전자의 관점에서만 보행자 탐지에 집중하고 있어 단순히 도보를 걷는 보행자가 아닌, 실제 도로를 건너는 보행자를 구분할 수 없었다. 따라서 도로를 건너거나, 또는 도로를 건널 예정인 보행자와의 충돌 위험 여부를 사전에 확인할 수 없으므로 실질적인 충돌 사고 방지에는 한계가 있었다.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1511858호(‘보행자 또는 이륜차를 인지하는 운전보조시스템 및 그 제어방법’, 2015.04.13. 공개) 등이 개시된 바 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 카메라 모듈을 통해 보행자와 도로의 연석(curb) 사이의 거리, 보행자의 이동 속도 및 보행자의 머리 방향 등의 특징을 감지하고 이러한 특징들을 통합함으로써, 보행자가 도로를 건너고자 하는 의도가 있는지를 사전에 예측하여 운전자에게 알려줄 수 있는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템은,

야간 주행 자동차를 위한 보행자 의도 예측 시스템으로서,

도로의 이미지를 캡처하는 카메라 모듈;

상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(fuzzy membership function)를 생성하는 제1 퍼지 소속 함수 생성 모듈;

상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성 모듈;

상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성 모듈;

상기 제1 퍼지 소속 함수 생성 모듈, 상기 제2 퍼지 소속 함수 생성 모듈, 및 상기 제 3 퍼지 생성 모듈로부터 생성된 제1 내지 제3 퍼지 소속 함수를 이용하여 각각의 소속 값(membership value)을 생성하는 소속 값 생성 모듈; 및

상기 소속 값 생성 모듈에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 보행자 의도 예측 모듈을 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 소속 값 생성 모듈은,

상기 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성할 수 있다.

더욱 바람직하게는, 상기 보행자 의도 예측 모듈은,

상기 소속 값 생성 모듈에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측할 수 있다.

더욱 바람직하게는, 상기 제1 퍼지 소속 함수 생성 모듈은,

상기 카메라 모듈을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 IPM부;

상기 IPM부에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 차선 탐지부;

상기 차선 탐지부에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 거리 계산부; 및

상기 거리 계산부에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 제1 퍼지 소속 함수 생성부를 포함할 수 있다.

더욱 바람직하게는, 상기 제1 퍼지 소속 함수 생성부는,

상기 IPM 이미지를 정규화하고, 상기 정규화된 IPM 이미지를 왼쪽 보도, 도로 및 오른쪽 보도로 분할하여 표준 정규 가우시안 분포(standard normal Gaussian distribution)를 얻고, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제1 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성할 수 있다.

더욱 바람직하게는, 상기 제2 퍼지 소속 함수 생성 모듈은,

상기 카메라 모듈을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 보행자 모션 분리부;

상기 모션 분리부(310)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 보행자 속도 보정부;

상기 속도 보정부의 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 보행자 속도 계산부; 및

상기 보행자 속도 계산부로부터 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성부를 포함할 수 있다.

더욱 바람직하게는, 상기 제2 퍼지 소속 함수 생성부는,

Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제2 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성할 수 있다.

더욱 바람직하게는, 상기 제3 퍼지 소속 함수 생성 모듈은,

상기 카메라 모듈을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 보행자 머리 감지부;

상기 보행자 머리 감지부로부터 감지된 머리 감지 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 보행자 머리 방향 판단부; 및

상기 보행자 머리 방향 판단부에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성부를 포함할 수 있다.

더욱 바람직하게는, 상기 보행자 머리 감지부는,

상기 보행자의 머리를 감지하기 위해 OCS-LBP(Oriented Centre Symmetric-Local Binary Patterns) 기능이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용할 수 있다.

더욱 바람직하게는, 상기 보행자 머리 방향 판단부는,

상기 보행자 머리 감지부로부터 감지된 보행자의 머리 영역으로부터 추출된 HOG(Histogram of Oriented Gradient) 특징들이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용할 수 있다.

더욱 바람직하게는, 상기 제3 퍼지 소속 함수 생성부는,

Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제3 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성할 수 있다.

더욱 바람직하게는, 상기 보행자 의도 예측 모듈은,

상기 소속 값 생성 모듈에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 결합 소속 값 생성부; 및

상기 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 예측부를 포함할 수 있다.

바람직하게는, 상기 카메라 모듈은,

열영상 카메라를 사용할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법은,

야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법으로서,

(1) 카메라 모듈이 도로의 이미지를 캡처하는 단계;

(2) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(membership function)를 생성하는 단계;

(3) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 단계;

(4) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 단계;

(5) 상기 단계 (2) 내지 (4)에서 각각 생성된 퍼지 소속 함수를 이용하여, 각각의 소속 값을 생성하는 단계; 및

(6) 상기 단계 (5)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 단계를 포함하는 것을 그 특징으로 한다.

바람직하게는, 상기 단계 (5)에서는,

더욱 바람직하게는, 상기 단계 (6)에서는,

상기 단계 (5)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측할 수 있다.

더욱 바람직하게는, 상기 단계 (2)에서는,

(2-1) 상기 카메라 모듈을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 단계;

(2-2) 상기 단계 (2-1)에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 단계;

(2-3) 상기 단계 (2-2)에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 단계; 및

(2-4) 상기 단계 (2-3)에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (3)에서는,

(3-1) 상기 카메라 모듈을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 단계;

(3-2) 상기 단계 (3-1)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 단계; 및

(3-3) 상기 단계 (3-2)에서 계산된 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 단계; 및

(3-4) 상기 단계 (3-3)에서 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (4)에서는,

(4-1) 상기 카메라 모듈을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 단계;

(4-2) 상기 단계 (4-1)로부터 감지된 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 단계; 및

(4-3) 상기 단계 (4-2)에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (6)에서는,

(6-1) 상기 소속 값 생성 모듈에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 보정된 결합 소속 값을 생성하는 단계; 및

(6-2) 상기 (6-1) 단계에서 계산된 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 단계를 포함할 수 있다.

본 발명에서 제안하고 있는 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법에 따르면, 카메라 모듈을 통해 보행자와 도로의 연석(curb) 사이의 거리, 보행자의 이동 속도 및 보행자의 머리 방향 등의 특징을 감지하고 이러한 특징들을 통합함으로써, 보행자가 도로를 건너고자 하는 의도가 있는지를 사전에 예측하여 운전자에게 알려줄 수 있다.

도 1은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 블록도.
도 2는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제1 퍼지 소속 함수 생성 모듈의 블록도.
도 3은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제1 퍼지 소속 함수 생성 모듈의 참고도.
도 4는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제1 퍼지 소속 함수의 참고도.
도 5는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제2 퍼지 소속 함수 생성 모듈의 블록도.
도 6은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제2 퍼지 소속 함수 생성 모듈의 참고도.
도 7은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제2 퍼지 소속 함수의 참고도.
도 8은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제3 퍼지 소속 함수 생성 모듈의 블록도.
도 9는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제3 퍼지 소속 함수 생성 모듈의 참고도.
도 10은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제3 퍼지 소속 함수의 참고도.
도 11은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 보행자 의도 예측 모듈의 블록도.
도 12는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 보행자 의도 예측 모듈이 사용하는 DFA 아키텍처의 참고도.
도 13은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 참고도.
도 14는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 순서도.
도 15는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 (2)에 대한 순서도.
도 16은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 (3)에 대한 순서도.
도 17은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 (4)에 대한 순서도.
도 18은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 (6)에 대한 순서도.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)은 카메라 모듈(100), 제1 퍼지 소속 함수 생성 모듈(200), 제2 퍼지 소속 함수 생성 모듈(300), 제3 퍼지 소속 함수 생성 모듈(400), 소속 값 생성 모듈(500) 및 보행자 의도 예측 모듈(600)을 포함할 수 있다.

이하에서는, 도 1을 참조하여, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 구성하는 각 구성요소에 대해서 상세히 설명한다.

카메라 모듈(100)은, 카메라를 통해 자동차가 주행하는 도로의 이미지를 캡처하여 도로의 이미지를 생성한다. 실시예에 따라서는, 카메라 모듈(100)의 카메라는 자동차의 천장(roof)에 마운트 될 수 있다. 특히, 카메라 모듈(100)은, 바람직하게는 열영상 카메라를 사용할 수 있으나, 이에 한정되는 것은 아니다.

제1 퍼지 소속 함수 생성 모듈(200)은, 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자와 도로의 연석(curb) 사이의 거리를 계산한다. 제1 퍼지 소속 함수 생성 모듈(200)은, 이를 이용하여 제1 퍼지 소속 함수를 생성한다.

제2 퍼지 소속 함수 생성 모듈(300)은, 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자의 이동 속도를 계산한다. 제2 퍼지 소속 함수 생성 모듈(300)은, 이를 이용하여 제2 퍼지 소속 함수를 생성한다.

제3 퍼지 소속 함수 생성 모듈(400)은, 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자의 머리 방향을 판단한다. 제3 퍼지 소속 함수 생성 모듈(400)은, 이를 이용하여 제3 퍼지 소속 함수를 생성한다.

소속 값 생성 모듈(500)은, 제1 내지 제3 퍼지 소속 함수 생성 모듈(200, 300, 400)로부터 생성된 제1 내지 제3 퍼지 소속 함수를 이용하여 각각의 소속 값을 생성한다. 여기서, 각각의 소속 값은 각각의 퍼지 소속 함수를 이용하여 보행자의 4가지 상태, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)에 대한 확률을 포함한다.

보행자 의도 예측 모듈(600)은, 소속 값 생성 모듈(500)에서 생성된 각각의 소속 값을 이용하여, 보행자의 의도를 예측한다. 여기서, 보행자의 의도는 Stop 또는 Cross 중 어느 하나의 상태에 해당할 수 있다.

도 2는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제1 퍼지 소속 함수 생성 모듈(200)의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제1 퍼지 소속 함수 생성 모듈(200)은, IPM부(210), 차선 탐지부(220), 거리 계산부(230) 및 제1 퍼지 소속 함수 생성부(240)를 포함할 수 있다.

제1 퍼지 소속 함수 생성 모듈(200)은, 보행자와 도로의 연석 사이의 거리를 이용하여 제1 퍼지 소속 함수를 생성한다. 보행자는 도로를 건너기 위해 연석을 통과해야 하므로, 보행자는 도로를 지나가는 자동차를 확인하기 위해 연석 부근에 머무르는 경향이 있다. 다시 말해서, 보행자가 연석에 가까울수록 도로를 건널 확률이 증가한다. 따라서 보행자와 연석 사이의 거리(Distance between a Pedestrian and Curb, DPC)를 계산하는 것은 보행자의 의도를 예측하는데 유용한 단서가 된다.

IPM부(210)는, 도 3에 도시된 바와 같이 카메라 모듈(100)을 통해 캡처된 도로 이미지(a)를 원근감이 제거된 IPM 이미지(b)로 변환한다. 이는 일반적으로 카메라는 자동차의 천장(roof)에 마운트 되므로, 도로 이미지상의 DPC는 실제 DPC와 차이가 있기 때문이다. IPM부(210)는, 도로 이미지를 직교 이미지(orthogonal image)로 컨버팅하여 일관된 DPC를 제공한다. 그런 다음, 컨버팅된 결과를 새로운 위치로 다시 매핑하고 역 2D 평면에 IPM 이미지를 생성한다.

차선 탐지부(220)는, IPM 이미지로부터 도로의 연석의 가장자리를 검출하여 차선을 탐지한다. 차선 탐지부(220)는, 도 3의 (c)에 도시된 바와 같이, IPM부(210)에 의해 원근 왜곡이 제거된 후에 연석의 가장자리를 검출한다. 열화상 이미지에서 연석은 도로 및 보도와 구별 가능한 강도를 가지므로 도로 이미지에서 쉽게 추출할 수 있다. 차선 탐지부(220)는, “M. Aly, Real time detection of lane markers in urban streets, in: Proc. IEEE Intelligent Vehicles Symposium (IVS), 2008, pp. 712”에 제시된 차선 탐지 알고리즘을 수정함으로써 차선을 탐지하나, 이러한 알고리즘에 한정되는 것은 아니다.

거리 계산부(230)는, 차선 탐지부(220)에서 탐지된 차선 탐지 결과를 이용하여, 보행자와 도로의 연석 사이의 거리(DPC)를 계산한다.

제1 퍼지 소속 함수 생성부(240)는, 거리 계산부(230)에서 계산된 보행자와 도로의 연석 사이의 거리(DPC)를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성한다.

제1 퍼지 소속 함수 생성부(240)는, IPM 이미지를 정규화하고, 검출된 연석 정보를 사용하여 정규화된 IPM 이미지를 3개의 부분, 즉, 왼쪽 보도, 도로 및 오른쪽 보도로 분할한다. DPC에 대한 퍼지 소속 함수는 통계적 분석을 사용하여 생성할 수 없기 때문에 제1 퍼지 소속 함수 생성부(240)는, 세 구역을 균일하게 정규화하고, 표준 정규 가우시안 분포(Standard normal Gaussian distribution)를 얻는다. 이때, 세 가지 가우시안 분포는 보행자가 연석에서 멀리 떨어져있을 때 도로를 건너는 확률이 낮고, 보행자가 도로의 연석이나 중심에 가까울 때 도로를 건너는 확률이 높다는 사실에 기반한다.

제1 퍼지 소속 함수 생성부(240)는, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제1 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성한다. 이때, Standing-SideWalk(S-SW) 및 Walking-SideWalk(W-SW)에 대한 제1 퍼지 소속 함수(P_DPC)는 보행자와 연석으로부터의 거리(dx₁)에 따라 다음의 수학식 1로 표현된다.

수학식 1에서, σ_dx1은 표준편차에 해당한다.

또한, 제1 퍼지 소속 함수(P_DPC)는 도로를 건너는 보행자와 도로의 중심으로부터의 거리(dx₂)에 따라 다음의 수학식 2로 표현된다.

수학식 2에서, σ_dx2는 표준편차에 해당한다.

이때, 제1 퍼지 소속 함수는, 도 4에 도시된 바와 같이, Standing-SideWalk(S-SW) 및 Walking-SideWalk(W-SW) 상태에 대한 확률이 보행자가 도로의 연석에서 가까워질수록 감소하고, 멀어질수록 증가하며, Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro) 상태에 대한 확률이 보행자가 도로의 중심에서 가까워질수록 증가하고, 멀어질수록 감소한다.

도 5는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제2 퍼지 소속 함수 생성 모듈(300)의 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제2 퍼지 소속 함수 생성 모듈(300)은 모션 분리부(310), 보행자 속도 보정부(320), 보행자 속도 계산부(330) 및 제2 퍼지 소속 함수 생성부(340)를 포함할 수 있다.

제2 퍼지 소속 함수 생성 모듈(300)은, 보행자의 측방향 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성한다. 일반적으로 보행자는 도로를 건너려고 할 때 이동 속도를 유지하거나 갑자기 가속하는 경향이 있고, 이와 대조적으로 연석에서 멈추는 보행자는 연석에 접근할 때 이동 속도를 줄이려고 시도하므로, 보행자의 측방향 이동 속도(Lateral Moving Speed of a pedestrian, LMS)는 다음 행동을 예측하는데 중요한 단서를 제공한다. 보행자의 측방향 이동 속도는 보행자 자신의 의도에 달려 있다는 기본 지식으로부터, 보행자의 다음 동작을 속도 패턴을 분석하여 예측할 수 있다. 보행자의 측방향 이동 속도는 Lucas-Kanade의 옵티컬 플로우(Optical Flow) 알고리즘이 사용되나, 이에 한정되는 것은 아니다.

모션 분리부(310)는, 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 자동차의 전진에 따라 발생하는 옵티컬 플로우로부터 보행자의 모션만을 분리한다. 도 6의 (a)에 도시된 바와 같이, 옵티컬 플로우는 보행자의 움직임뿐만 아니라 차량의 움직임에 의해 발생하는 에고-모션(ego-motion)으로부터 추출된다. 따라서 모션 분리부(310)는, 도 6의 (b)에 도시된 바와 같이 보행자의 모션만을 분리하기 위해 에고-모션을 보상하여 에고-모션과 실제 보행자의 모션을 분리한다. 모션 분리부(310)는, 에고-모션을 제거하고 보행자의 모션만을 분리하기 위해 “J. Hedborg, B. Johansson, Real Time Camera Ego-Motion Compensation and Lens Undistortion on GPU, Linkoping Univ, 2007.” 알고리즘을 적용하나, 이에 한정되는 것은 아니다.

보행자 속도 보정부(320)는, 보행자와 차량 사이의 거리에 따라 옵티컬 플로우의 속도를 보정한다. 보행자 속도 보정부(320)는, 보행자가 도로를 건너가려고 하는지 여부를 예측하기 위해서는 측방향(lateral) 움직임이 길이방향(longitudinal) 움직임보다 유용하기 때문에, 보행자와 차량 사이의 거리에 따라 옵티컬 플로우의 속도를 보정한다.

보행자 속도 계산부(330)는, 속도 보정부의 보정된 옵티컬 플로우 속도를 이용하여 보행자의 측방향 이동 속도(LMS)를 계산한다. 한편, 이동 속도는 거리에 따라 다르므로 보행자 속도 계산부(330)는, 실제 속도가 같더라도 보행자 상자의 가장 낮은 y 위치에서 파생된 보행자 거리를 계산한다. 이때, 보행자 i의 측방향 이동 속도(LSP(i))는 다음의 수학식 3에 의해 계산된다.

수학식 3에서, dist(i)는 보행자 i와 자동차간의 거리이고, mag()는 측방향 옵티컬 플로우의 속도, vx()는 옵티컬 플로우의 측방향 벡터이다. r은 상수 요소이고, N은 트래커의 옵티컬 플로우의 수이다.

제2 퍼지 소속 함수 생성부(340)는 보행자 속도 계산부(330)로부터 계산된 보행자의 측방향 이동 속도를 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성한다. 도 7에 도시된 바와 같이, 제2 퍼지 소속 함수 생성부(340)는, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제2 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성한다.

도 8은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제3 퍼지 소속 함수 생성 모듈(400)의 구성을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제3 퍼지 소속 함수 생성 모듈(400)은 보행자 머리 감지부(410), 보행자 머리 방향 판단부(420) 및 제3 퍼지 소속 함수 생성부(430)를 포함할 수 있다.

제3 퍼지 소속 함수 생성 모듈(400)은, 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성한다. 일반적으로 보행자가 움직이는 경우, 보행자의 머리 방향(Head Orientation, HO)은 자신의 이동 방향과 일치하는 경향이 있다. 따라서 HO를 추정하여 보행자의 이동 방향을 예측할 수 있다. “Y. Huang, J. Cui, F. Davoine, H. Zhao, H. Zha, Head pose based intention prediction using discrete dynamic bayesian network, in: Proc. IEEE Int. Conf. on Distributed Smart Cameras (ICDSC), 2013, pp. 16.”에 제시된 결과에 따르면, 보행자는 HO를 자신의 움직임과 같은 방향으로 유지하면서 보도에서 걸어갈 때 길을 건널 확률이 높은 반면, 도로를 가로질러 차량을 향하여 머리를 돌릴 때 도로를 건너는 확률이 낮다. 이 경우, 보행자는 자동차가 지나갈 때까지 연석이나 보도에서 기다린다. 따라서 HO는 보행자의 의도를 추정하기 위한 하나의 특징으로 사용될 수 있다.

보행자 머리 감지부(410)는, 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자의 머리를 감지한다. 보행자 머리 감지부(410)는, 보행자의 머리를 감지하기 위해 도 9에 도시된 바와 같이, OCS-LBP(Oriented Centre Symmetric-Local Binary Patterns) 기능이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하나, 이에 한정되는 것은 아니다. 보행자 머리 감지부(410)는, OCS-LBP 기능이 추적기의 위쪽 영역에서 슬라이딩하는 창을 기반으로 추출된 후 BRF에 적용되어 머리 영역을 감지한다.

보행자 머리 방향 판단부(420)는, 보행자 머리 감지부(410)로부터 감지된 머리 감지 결과를 이용하여 보행자의 머리 방향을 판단한다. 보행자 머리 방향 판단부(420)는, 도 9에 도시된 바와 같이, 보행자 머리 감지부(410)로부터 감지된 보행자의 머리 영역으로부터 추출된 HOG(Histogram of Oriented Gradient) 특징들이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하나, 이에 한정되는 것은 아니다.

제3 퍼지 소속 함수 생성부(430)는, 보행자 머리 방향 판단부(420)에서 판단된 상기 보행자의 머리 방향을 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성한다.

도 10에 도시된 바와 같이, 제3 퍼지 소속 함수 생성부(430)는, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제3 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성한다. 이때, Standing-SideWalk(S-SW) 및 Walking-SideWalk(W-SW) 상태에 대한 제3 퍼지 소속 함수가 (0.0-0.2) 및 (0.6-0.8)에서 높은 확률을 갖는 것을 확인할 수 있다. 이는 보도에서 보행자가 다양한 방향으로 움직이거나 걷지는 못하지만 보행자의 시선 방향이 차이가 있음을 의미한다. 또한, Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro) 상태에 대한 제3 퍼지 소속 함수가 (0.6-0.8)에서 높은 확률을 갖는 것을 확인할 수 있다. 이는 보행자가 도로를 건너기 전에 다가오는 차량을 확인하기 위해 HO를 변경한다는 것을 의미한다.

도 11은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 보행자 의도 예측 모듈(600)의 구성을 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 보행자 의도 예측 모듈(600)은 결합 소속 값 생성부(610) 및 예측부(620)를 포함할 수 있다.

보행자 의도 예측 모듈(600)은 보행자의 의도를 예측하기 위해 DFA(Dynamic Fuzzy Automata)를 사용한다. 도 12에 도시된 바와 같이, DFA 아키텍처에서는, i번째 상태 q_i는 노드에 의해 그래픽으로 기술되고, 각각의 상태는 시간 t에서의 그것의 상응하는 소속 값을 가진다. 여기서, 어떤 상태의 소속 값은 특정 시간에 보행자의 이벤트 확률로 해석된다. 소속 값은 0과 1 사이의 퍼지 값(fuzzy value)이며, 모든 상태는 부분 소속 값을 동시에 가질 수 있다.

한편, 상태 전이(이벤트)는 노드 사이의 호(arc)로 표현된다. 상태 q_i에서 상태 q_j로의 상태 전이를 a_ij로 표현한다. 퍼지 전이(fuzzy transition)는 입력 이벤트 a_ij에 대해 현재 상태를 다음 상태로 매핑하는데 사용되며, 또한 상태 전이의 가중치로 사용되므로 후술할 업데이트 된 결합 소속 값을 계산하는데 사용된다. 예를 들어, 퍼지 전이는 상태 전이 이벤트 a₁₂가 발생했을 때 상태 S-SW(1)에서 상태 W-SW(2)로의 전이 확률을 나타낸다. 퍼지 전이는 다수의 시간 단계(#Total time steps) 동안 반복적으로 훈련 데이터에서 주어진 보행자 시퀀스의 상태 전이 수(#Transitions from state)를 관찰하여 학습될 수 있다.

결합 소속 값 생성부(610)는, 소속 값 생성 모듈(500)에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성한다.

도 13에 도시된 바와 같이, DPC, LMS 및 HO의 각 특징은 미리 정의된 제1 내지 제3 퍼지 소속 함수에 적용되며, 각 상태에 대한 소속 값이 추정된다. DPC, LMS 및 HO와 이들에 상응하는 제1 내지 제3 퍼지 소속 함수로부터 각각의 소속 값이 추정된 후에, 이러한 각각의 소속 값은 특정 시간 t에서의 각각의 상태(각 노드)의 소속 값을 계산하기 위해 사용된다. 이러한 각각의 상태의 소속 값을 결합 소속 값으로 정의한다.

결합 소속 값 생성부(610)는, 업데이트된 결합 소속 값을 계산하는 과정에서 t-1 시점에서 결합 소속 값에 t-1에서 t로의 퍼지 전이값을 가중하여 계산하며, 이는 시간 t에서 상태 q_j의 결합 소속 값을 예측하기 위함이다.

예측부(620)는, 업데이트된 결합 소속 값을 이용하여, 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측한다. 예측부(620)는, 모든 상태에 대한 결합 소속 값이 계산된 후에, 최대값 연산을 통해 최종적인 활성 상태를 예측한다. 즉, DFA 아키텍처에서 각각의 상태(노드)에 해당하는 S-SW, W-SW, W-Cro 및 R-Cro 중 가장 높은 결합 소속 값을 가지는 상태를 활성 상태로 예측한다. 활성 상태는, 두 가지의 최종적인 활성 상태(클래스)인 Cstop과 Ccross 분류되며, S-SW 및 S-SW 상태는 Cstop 에, W-Cro 및 R-Cro 상태는 Ccross에 해당한다.

또한, 예측부(620)는, 최종적인 활성 상태를 보다 정확하게 예측하기 위해 복수의 시점 t를 포함하는 T 시간 동안의 활성 상태를 고려하여 최종적인 활성 상태를 계산한다. 예를 들어, T가 5개의 특정 시점을 포함하는 경우, 각각의 5개의 시점마다의 결합 소속 값을 계산하여 5개의 활성 상태를 예측한 후, 5개의 활성 상태를 Cstop 및 Ccross로 분류하여 이들 분류에 대한 확률 계산을 통해 최종적인 활성 상태를 예측한다.

표 1은 리콜(recall)을 사용하여 생성된 제안된 알고리즘의 혼동 행렬(confusion matrix)이다. 표 1에서 각각의 열은 예측된 상태의 인스턴스를 나타내며, 각각의 행은 실제 상태의 인스턴스를 나타낸다. 대각선 값은 예측된 모든 상태 중에서 실제 상태에 대해 가장 높은 값을 가지는 것을 알 수 있다.

도 14는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법의 단계를 도시한 도면이다. 도 14에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 방법은, (1) 카메라 모듈(100)이 도로의 이미지를 캡처하는 단계(S100); (2) 단계 S100에서 캡처된 도로 이미지로부터, 보행자와 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(membership function)를 생성하는 단계(S200); (3) 단계 S100에서 캡처된 도로 이미지로부터, 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 단계(S300); (4) 단계 S100에서 캡처된 도로 이미지로부터, 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 단계(S400); (5) 단계 S200 내지 S400에서 각각 생성된 퍼지 소속 함수를 이용하여, 각각의 소속 값을 생성하는 소속 값 생성 단계(S500); 및 (6) 단계 S500에서 생성된 각각의 소속 값을 이용하여, 보행자의 의도를 예측하는 단계를 포함할 수 있다. 여기서, 단계 S500에서는, 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성하고, 단계 S600에서는, 단계 S500에서 생성된 각각의 소속 값을 이용하여, 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측한다.

도 15는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법의 단계 S200을 도시한 도면이다. 도 15에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 S200은, (2-1) 카메라 모듈(100)을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 단계(S210); (2-2) 단계 S210에서 변환된 IPM 이미지로부터 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 단계(S220); (2-3) 단계 S220에서 탐지된 차선 탐지 결과를 이용하여, 보행자와 도로의 연석 사이의 거리를 계산하는 단계(S230); 및 (2-4) 단계 S230에서 계산된 보행자와 도로의 연석 사이의 거리를 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 단계(S240)를 포함할 수 있다.

도 16은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법의 단계 S300을 도시한 도면이다. 도 16에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 S300은, (3-1) 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 보행자의 모션만을 분리하는 단계(S310); (3-2) 단계 S310에서 분리된 보행자의 모션을 이용하여, 보행자와 자동차 사이의 거리에 따라 옵티컬 플로우의 속도를 보정하는 단계(S320); 및 (3-3) 단계 S320에서 계산된 보행자의 속도를 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 단계(S330)를 포함할 수 있다.

도 17은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법의 단계 S400을 도시한 도면이다. 도 17에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 S400은, (4-1) 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자의 머리를 감지하는 단계(S410); (4-2) 단계 S410으로부터 감지된 결과를 이용하여, 보행자의 머리 방향을 판단하는 단계(S420); 및 (4-3) 단계 S420에서 판단된 보행자의 머리 방향을 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 단계(S430)를 포함할 수 있다.

도 18은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법의 단계 S600을 도시한 도면이다. 도 18에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 S600은, (6-1) 소속 값 생성 단계에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 단계(S610); 및 (6-2) 단계 S610에서 계산된 업데이트된 결합 소속 값을 이용하여, 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 단계(S620)를 포함할 수 있다.

본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10) 및 그를 이용한 방법(S10)은 보행자와 연석 사이의 거리(DPC), 보행자의 측방향 이동 속도(LMS), 보행자의 머리 방향(HO)의 특징을 통해 최종적으로 보행자가 도로를 건널 것인지 아닌지를 사전에 예측함으로써 충돌 사고를 효과적으로 미연에 방지할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 청구범위에 의하여 정해져야 할 것이다.

10: 야간 주행 자동차를 위한 보행자 의도 예측 시스템
100: 카메라 모듈
200: 제1 퍼지 소속 함수 생성 모듈
210 : IPM부
220: 차선 탐지부
230: 거리 계산부
240: 제1 퍼지 소속 함수 생성부
300: 제2 퍼지 소속 함수 생성 모듈
310 : 모션 분리부
320: 보행자 속도 보정부
330: 보행자 속도 계산부
340: 제2 퍼지 소속 함수 생성부
400: 제3 퍼지 소속 함수 생성 모듈
410: 보행자 머리 감지부
420: 보행자 머리 방향 판단부
430: 제3 퍼지 소속 함수 생성부
500: 소속 값 생성 모듈
600: 보행자 의도 예측 모듈
610: 결합 소속 값 생성부
620: 예측부

Claims

야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)으로서,
도로의 이미지를 캡처하는 카메라 모듈(100);
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(fuzzy membership function)를 생성하는 제1 퍼지 소속 함수 생성 모듈(200);
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터, 상기 보행자의 측방향 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성 모듈(300);
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성 모듈(400);
상기 제1 퍼지 소속 함수 생성 모듈(200), 상기 제2 퍼지 소속 함수 생성 모듈(300), 및 상기 제 3 퍼지 소속 함수 생성 모듈(400)로부터 생성된 제1 내지 제3 퍼지 소속 함수를 이용하여 각각의 소속 값(membership value)을 생성하는 소속 값 생성 모듈(500); 및
상기 소속 값 생성 모듈(500)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 보행자 의도 예측 모듈(600)을 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제1항에 있어서, 상기 소속 값 생성 모듈(500)은,
상기 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제2항에 있어서, 상기 보행자 의도 예측 모듈(600)은,
상기 소속 값 생성 모듈(500)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제2항에 있어서, 상기 제1 퍼지 소속 함수 생성 모듈(200)은,
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 IPM부(210);
상기 IPM부(210)에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 차선 탐지부(220);
상기 차선 탐지부(220)에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 거리 계산부(230); 및
상기 거리 계산부(230)에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 제1 퍼지 소속 함수 생성부(240)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제4항에 있어서, 상기 제1 퍼지 소속 함수 생성부(240)는,
상기 IPM 이미지를 정규화하고, 상기 정규화된 IPM 이미지를 왼쪽 보도, 도로 및 오른쪽 보도로 분할하여 표준 정규 가우시안 분포(standard normal Gaussian distribution)를 얻고, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제1 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제5항에 있어서, 상기 제1 퍼지 소속 함수는,
상기 Standing-SideWalk(S-SW) 및 Walking-SideWalk(W-SW)의 상태에 대한 확률이 상기 보행자가 상기 도로의 연석에서 가까워질수록 감소하고, 멀어질수록 증가하며,
상기 Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 상태에 대한 확률이 상기 보행자가 상기 도로의 중심에서 가까워질수록 증가하고, 멀어질수록 감소하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제2항에 있어서, 상기 제2 퍼지 소속 함수 생성 모듈(300)은,
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 보행자 모션 분리부(310);
상기 모션 분리부(310)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 보행자 속도 보정부(320);
상기 속도 보정부의 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 보행자 속도 계산부(330); 및
상기 보행자 속도 계산부(330)로부터 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성부(340)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제7항에 있어서, 상기 제2 퍼지 소속 함수 생성부(340)는,
Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제2 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제2항에 있어서, 상기 제3 퍼지 소속 함수 생성 모듈(400)은,
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 보행자 머리 감지부(410);
상기 보행자 머리 감지부(410)로부터 감지된 머리 감지 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 보행자 머리 방향 판단부(420); 및
상기 보행자 머리 방향 판단부(420)에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률 값으로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성부(430)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제9항에 있어서, 상기 보행자 머리 감지부(410)는,
상기 보행자의 머리를 감지하기 위해 OCS-LBP(Oriented Centre Symmetric-Local Binary Patterns) 기능이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제10항에 있어서, 상기 보행자 머리 방향 판단부(420)는,
상기 보행자 머리 감지부(410)로부터 감지된 보행자의 머리 영역으로부터 추출된 HOG(Histogram of Oriented Gradient) 특징들이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제11항에 있어서, 상기 제3 퍼지 소속 함수 생성부(430)는,
Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제3 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제3항에 있어서, 상기 보행자 의도 예측 모듈(600)은,
상기 소속 값 생성 모듈(500)에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 결합 소속 값 생성부(610); 및
상기 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 예측부(620)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
제1항에 있어서, 상기 카메라 모듈(100)은,
열영상 카메라를 사용하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법으로서,
(1) 카메라 모듈(100)이 도로의 이미지를 캡처하는 단계(S100);
(2) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(membership function)를 생성하는 단계(S200);
(3) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 단계(S300);
(4) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 단계(S400);
(5) 상기 단계 (2) 내지 (4)에서 각각 생성된 퍼지 소속 함수를 이용하여, 각각의 소속 값을 생성하는 소속 값 생성 단계(S500); 및
(6) 상기 (5) 단계에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 단계(S600)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.
제15항에 있어서, 상기 단계 (5)에서는,
상기 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.
제16항에 있어서, 상기 단계 (6)에서는,
상기 단계 (5)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.
제16항에 있어서, 상기 단계 (2)에서는,
(2-1) 상기 카메라 모듈(100)을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 단계(S210);
(2-2) 상기 단계 (2-1)에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 단계(S220);
(2-3) 상기 단계 (2-2)에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 단계(S230); 및
(2-4) 상기 단계 (2-3)에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 단계(S240)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.
제16항에 있어서, 상기 단계 (3)에서는,
(3-1) 상기 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 단계(S310);
(3-2) 상기 단계 (3-1)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 단계(S320); 및
(3-3) 상기 단계 (3-2)에서 계산된 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 단계(S330); 및
(3-4) 상기 단계 (3-2)에서 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 단계(S340)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.
제16항에 있어서, 상기 단계 (4)에서는,
(4-1) 상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 단계(S410);
(4-2) 상기 단계 (4-1)로부터 감지된 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 단계(S420); 및
(4-3) 상기 단계 (4-2)에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 단계(S430)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.
제17항에 있어서, 상기 단계 (6)에서는,
(6-1) 상기 소속 값 생성 단계에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 단계(S610); 및
(6-2) 상기 (6-1) 단계에서 계산된 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 단계(S620)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.