KR20090126545A - 사후확률을 이용한 보행자 인식 장치 및 방법과 그를이용한 보행자 보호 장치 - Google Patents

Abstract

본 발명은 사후확률을 이용한 보행자 인식 장치 및 방법과 그를 이용한 보행자 보호 장치에 관한 것이다.

본 발명은 차량의 주변에 있는 보행자를 인식하는 장치에 있어서, 차량의 주변을 촬영한 이미지에서 특징을 추출하여 이미지에서 보행자를 분류하는 보행자 분류기; 성능 평가기를 기반으로 보행자 분류기를 최적화하는 분류기 최적화기; 및 최적화된 보행자 분류기의 이전 출력들을 이용하여 사후확률(A Posteriori Probability)을 계산하는 후처리(Post-Processing)를 수행하고 계산된 사후확률에 따라 보행자를 검출하는 후처리기를 포함하는 것을 특징으로 하는 보행자 인식 장치를 제공한다.

본 발명에 의하면, 장애물에 해당하는 영상들에 대한 인식률 저하는 매우 적게 유지하면서, 보행자에 해당하는 영상들에 대한 인식률을 향상시킬 수 있으므로, 결과적으로 보행자 인식기의 신뢰성을 향시킴으로써 보행자 보호 시스템의 신뢰성을 향상시킬 수 있다.

보행자, 인식, 보호, 성능, 평가, 최적화, 사후, 확률

Description

사후확률을 이용한 보행자 인식 장치 및 방법과 그를 이용한 보행자 보호 장치{Pedestrian Recognition Method and Apparatus Using A Posteriori Probability and Pedestrian Protection Apparatus Using Same}

본 발명은 사후확률을 이용한 보행자 인식 장치 및 방법과 그를 이용한 보행자 보호 장치에 관한 것이다. 더욱 상세하게는, 차량의 주변을 촬영한 영상에서 보행자를 인식하는 정확도를 향상시켜 결과적으로는 보행자 보호 장치가 보행자를 더욱 잘 보호할 수 있도록 하기 위한 장치 및 방법에 관한 것이다.

보행자 보호는 자동차 산업에서 가장 관심 있는 주제들 중에 하나이다. 보행자 보호 시스템에 대한 최근 공개된 연구에서는 보행자 안전이 다양한 방안들이 오랫동안 적용되어온 세계적 차원의 중요한 문제로서 나타나고 있음을 보여 주었다. 다양한 기술들 중에서, 비전 기반 보행자 인식은 능동 보행자 보호 시스템(APPS: Actiue pedestaian Protection System)을 위해 필수적인 것으로 인정된다.

보행자 인식은 능동 보행자 보호 시스템의 기초 요소들 중 하나이다. 특히, 비전기반의 보행자 분류기를 개발하기 위한 다양한 연구들이 있어왔다. 최근, DCX(DaimlerChrysler) 보행자 이미지 데이터베이스가 공개되어 대중적인 특징 들(Popular Features)과 분류기(Classifiers)들 간을 객관적으로 비교하려는 시도가 있었다.

전술한 문제점을 해결하기 위해 본 발명은, 차량의 주변을 촬영한 영상에서 사후확률을 이용하여 보행자를 인식함으로써 보행자 인식률을 향상시키고 더 나아가서는 보행자 보호 시스템의 성능을 향상시는 데 그 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명은, 차량의 주변에 있는 보행자를 인식하는 장치에 있어서, 차량의 주변을 촬영한 이미지에서 특징을 추출하여 이미지에서 보행자를 분류하는 보행자 분류기; 성능 평가기를 기반으로 보행자 분류기를 최적화하는 분류기 최적화기; 및 최적화된 보행자 분류기의 이전 출력들을 이용하여 사후확률(A Posteriori Probability)을 계산하는 후처리(Post-Processing)를 수행하고 계산된 사후확률에 따라 보행자를 검출하는 후처리기를 포함하는 것을 특징으로 하는 보행자 인식 장치를 제공한다.

또한, 본 발명의 다른 목적에 의하면, 차량의 주변에 있는 보행자를 인식하여 보호하는 장치에 있어서, 차량의 주변을 촬영한 이미지에서 특징을 추출하여 이미지에서 보행자를 분류하는 보행자 분류기를 성능 평가기를 기반으로 최적화하고, 최적화된 보행자 분류기의 이전 출력들을 이용하여 사후확률(A Posteriori Probability)을 계산하는 후처리(Post-Processing)를 수행하며, 계산된 사후확률에 따라 보행자를 검출하여 보행자 정보를 생성하고 전달하는 보행자 인식기; 차량의 거동을 감지하는 복수 개의 센서들로부터 차량의 거동 정보를 수신하여 차량의 주 행 궤적을 계산하여 전달하는 주행 궤적 측정부; 주행 궤적 측정부로부터 주행 궤적을 수신하고 보행자 인식기로부터 보행자 정보를 수신하면 차량과 보행자 간의 충돌에 대한 위험도를 평가하고 제동 명령을 생성하여 전달하는 충돌 회피 제어부; 및 충돌 회피 제어부로부터 제동 명령을 수신하면 제동 명령에 따라 차량을 제동하는 능동 제동부를 포함하는 것을 특징으로 하는 보행자 보호 장치를 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 차량의 주변에 있는 보행자를 인식하는 방법에 있어서, 보행자 분류기가 차량의 주변을 촬영한 이미지에서 특징을 추출하여 이미지에서 보행자를 분류하는 단계; 분류기 최적화기가 성능 평가기를 기반으로 보행자 분류기를 최적화하는 단계; 및 후처리기가 최적화된 보행자 분류기의 이전 출력들을 이용하여 사후확률(A Posteriori Probability)을 계산하는 후처리(Post-Processing)를 수행하고 계산된 사후확률에 따라 보행자를 검출하는 단계를 포함하는 것을 특징으로 하는 보행자 인식 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 장애물에 해당하는 영상들에 대한 인식률 저하는 매우 적게 유지하면서, 보행자에 해당하는 영상들에 대한 인식률을 향상시킬 수 있으므로, 결과적으로 보행자 인식기의 신뢰성을 향상시킴으로써 보행자 보호 시스템의 신뢰성을 향상시킬 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도 록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명에서는 DCX 데이터베이스에 대한 4 개의 실험적 결과를 정리한다. 첫째, 가보 필터 뱅크(GFB: Gabor filter bank, 이하 'GFB'라 칭함) 기반 특징은 보행자 인식에서 경쟁력이 있다. 둘째, 성능 평가기(Perfermauce Estimator)를 이용한 분류기의 최적화는 결과적으로 발생하는 분류기의 성능을 크게 향상시킨다. 셋째, 이미징 시스템이 히스토그램 균등화(Histogram Egualization) 및 데이터베이스와 동일한 캡쳐 방법을 사용한다면, 실제 보행자 인식 시스템은 실제 이미징 시스템으로 획득한 새로운 데이터베이스를 이용하여 재 훈련할 필요 없이, 공개된 데이터베이스로 재구성될 수 있다. 넷째, 사후확률(Aposteriori Probabilty) 기반의 후처리는 긍정 오류율을 유지하는 과정에서 연속하는 이미지 시퀀싱의 인식률을 증가시킨다.

1. 서론

몇몇 연구자들은 DCX 데이터베이스라고 불리는 커다란 보행자 이미지 데이터베이스를 공중에 공개하고 주요 특징들과 분류기들의 평가 결과를 보고함으로써 비전 기반의 보행자 인식 연구에 큰 기여를 했다. 그들은 세 종류의 특징들 즉, 주 성분 분석(PCA: Principle Component Analysis), 하 웨이블릿(Harr Wavelet) 및 지역 감각계(LRF: Local Receptive Field, 이하'LRF'라 칭함)를 비교했다. 게다가, 그들은 네 가지 종류의 분류기들 즉, 쿼드러틱 서포트 벡터 머신(Quadratic SVM: Quadratic Support Vector Machine, 이하'Quadratic SVM'이라 칭함), 레디얼 베이시스 함수 서포트 벡터 머신(RBF SVM: Radial Basis Function Support Vector Machine, 이하 'RBF-SVM'이라 칭함), 케이-니어리스트 네이버 분류기(k-Nearest Neighbor Classifier) 및 피드-포워드 신경망(Feed-Forward Neural Network)을 대조했다. 그들은 지역 특징(Local Featuve)들이 세계적 특징들보다 우수하고 적응적인 특징들이 적응적이지 않은 특징들보다 우수하다는 결론을 내렸다. 특징들과 분류기들의 모든 조합들 중에 LRF- Quadratic SVM 조합이 가장 좋은 성능을 보였다.

DCX 데이터베이스가 공개된 후, 커널 주 성분 분석(KPCA: Kernel Principle Component Analysis)의 평가와 피셔의 선형 판별식(Fisher Linear Discriminant), 부스팅 캐스케이드 분류기(Boosting Cascacle Classifier)를 갖는 히스토그램 그래디언트(HOG:Histogram of Gradients,이하 'HOG'라 칭함), 및 세 가지 특징들(LRF, HOG, and Region Covariance) 간의 비교 등과 같은 실험 결과가 보고되기 시작했다. 특히, 몇몇 연구원은 HOG가 DCX, MIT와 INRIA(Institut National de Recherche en Informatique et en Automatique)의 데이터베이스를 사용하는 LRF보다 우수하다는 것을 보였다. 게다가 DCX 데이터베이스와 보행자 인식 시스템을 관련시키는 시합(Competition)인 NiSIS Competition 2007이 개최되었고 그 결과가 NiSIS Annual Symposium에서 공개되었다.

본 발명은 DCX 데이터베이스에 대한 네 가지 실험 결과들을 보고한다. 첫째, GFB 기반 특징은 보행자 인식에서 경쟁력이 있다. 교차 검증 기준(Cross-Validation Criterion)을 이용하는 유전적 알고리즘(GA: Generic Algorithm)에 의 해 최적화되는 GFB-RBF SVM은, 성능과 복잡성을 고려할 때, LRF-SVM과 HOG 보다 더 실용적이었다. 둘째, 성능 평가기를 사용하는 분류기들의 최적화는 결과적인 분류기의 성능을 크게 향상시킨다. α-성능 평가기에 의한 최적화는 교차 검증을 위한 훈련 샘플(Training Sampie)들을 남길 필요가 없으므로, 학습 절차(Learning Procdure)는 훈련 샘플들의 전체 세트를 사용할 수 있다. 셋째, 일단 이미징 시스템이 히스토그램 균등화와 그의 데이터베이스와 동일한 캡쳐링 방법을 사용하면, 실질적인 보행자 인식 시스템은 공개된 데이터베이스로 구성될 수 있다. 보행자 이미지 데이터베이스에 DCX 데이터베이스로 훈련된 보행자 인식 시스템을 적용함으로써, 많은 데이터베이스 이미지들의 다른 특징들이 적당한 조작에 의해 극복될 수 있다는 것이 밝혀졌다. 넷째, 사후확률 기반 후처리(A Poteriori Probability-Based Post-processing)는 긍정 오류(False Positive)를 유지하는 동안 연속적인 이미지 시퀀스들의 인식률을 증가시킨다. 보행자는 그의 외양을 계속해서 변화시키지만 일반 비보행자들은 고정된다는 사실로부터 이러한 사실이 도출된다.

2. GFB-RBF SVM 기반 보행자 인식 시스템

A. GFB(Gabor Filter Bank)

가보 필터(Gabor Filter)는 이차원의 가우스 함수(Gaussian function)와 사인파(Sine Wave)의 곱으로서 정의되며, 특정한 위치에서 특정한 주파수와 방향의 이미지 파워(Image Power)를 측정할 수 있다. GFB는 주파수 도메인에서 다양한 형태를 갖는 가보 필터들의 그룹이다. GFB 기반 특징은 이미 구조 분석(Texture Analysis), 얼굴 인식 및 차량 인식과 같은 다양한 인식 문제들에서 좋은 성능을 보였다. 본 발명에서는 위상각에서 동등하게 나누기(Dividing Equally in Phase Angle)와 크기에서 대수적으로 나누기(Dividing Logarithmically in Magnitude)와 같은 Manjunath의 방식을 따랐다. 모든 필터는 절반 높이의 경계가 주위의 필터들의 경계들과 만나도록 고안된다.

주파수 도메인에서 u축에 위치한 가보 필터는 수학식 1에서 보여지는 것처럼 정의된다. W는 공간파(Spatial Wave)의 주파수이다. σ_u와 σ_y는 각각 u축과 v축의 표준편차이다.

u축 방향에서, u축에 위치한 s번째 가우션 함수의 평균과 표준편차, G_s는 수학식 2에 나타낸 바와 같이 첫번째 가우션 함수의 평균과 표준편차와 기하급수적인 방식에 있다. U_l는 최저 평균 주파수를 나타내고 U_h는 최고 평균 주파수를 나타내며, σ_l는 첫번째 u축 표준편차를 나타낸다. 대수적 크기에서 증배계수(Multiplication Factor) a는 수학식 3과 같이 정의되는데, 수학식 3은 가보 필터의 주파수 비율이 크기에서 일관됨을 나타낸다.

u축에 위치한 s번째 가우션 함수의 평균값 U_s는 수학식 4와 같이 정의된다. u축 표준편차인 σ_u와 v축 표준편차인 σ_v는 각각 수학식 5와 수학식 6과 같이 정의된다.

2차원 파형의 방향은 (x, y) 를 (x’, y’)로 대체함으로써 설정되는데, (x’, y’)는 수학식 7과 같은 K 이퀄 앵귤러 섹션(K Equal Angular Section)의 k번째 섹션으로 회전된다. σ_x와 σ_y는 x축과 y축의 표준편차를 나타낸다. 특히, 가보 웨이블렛(Gabor Wavelot)은 고역 통과 필터(High Pass Filter)의 전력을 두 개의 자식 필터(Child-Filter)들로 반복적으로 나누기 위해 a ^-3 로 등급을 증가시킴으로써 생성된다.

도 1은 24 개의 가보 필터들로 구성되는 고안된 GFB를 주파수 도메인에서 나타낸 예시도이다.

도 1에서는 원점 K의 개수는 6이고, 크기 S의 개수는 4이며, 최저 평균 주파수 U_l는 0.05이며, 최고 평균 주파수 U_h는 0.4이며, 필터 크기는 16 × 16인 경우, 주파수 도메인에서 고안된 23 개의 가보 필터들을 나타낸 것이다.

B. 특징 벡터 구성(Feature Vector Construction)

본 발명에서 특징 추출기는 4 개의 단계 즉, 히스토그램 균등화(Histogram Equalization) 단계, 이미지를 보조이미지들(Sub-Images)로 분할하는 단계, 가보 필터들로 보조 이미지들을 컨볼루션(Convolution)하는 단계 및 통계학적인 특징값을 계산하는 단계로 구성된다.

도 2는 입력 이미지가 9 개의 오버랩된 보조 이미지들로 분할된 모습을 나타 낸 예시도이다.

18 × 32인 크기를 갖는 입력 이미지는, 도 2에 도시한 바와 같이, 크기가 9 × 16인 9 개의 오버랩된 보조 이미지들로 분할된다. 조정 변동(Alignment Variation)을 극복하기 위해, 각 보조 이미지들의 가보 필터링 결과의 통계학적 특징값들만이 인식 공정에 사용된다. 세 개의 통계학적 특징들(예를 들어, 평균, 표준편차, 콘볼루션 결과의 뒤틀림 등)이 각 보조 이미지를 위해 계산된다. 결과적으로, 특징 벡터의 차원은 648(9 × 24 × 3 = 648)이다.

C. 서포트 벡터 머신(SVM)

서포트 벡터 머신(SVM)은 초평면(Hyperplane)과 두 개의 집합(Class)들 간의 이득(Margin)을 극대화하는 초평면을 갖는 일종의 분류 방법이다. 라그랑지 승수(Lagrange Multiplier)를 도입함으로써, 이득을 극대화하는 것이 속박된 최적화 문제(Constrained Optimization Problem)로 변형된다. 분리되지 않은 데이터는 조직화 파라미터(Regularization Parameter) C를 필요로 하는데, 조직화 파라미터 C는 라그랑지 계수들의 상한선이며 분류 오류를 위한 벌칙 강도(Penalty Error)를 의미한다. 커널 함수(Kernel Fuction)로서 RBF를 이용하는 것은 SVM이 비선형 문제를 해결할 수 있도록 한다. RBF의 조작은 커널 파라미터(Kernel Parameter)에 의해 제어된다. 데이터 집합 {x₁,...,x_n}와 x_i에 대한 클래스 레이블(Class Label) y_i∈{-1,1}는 알려져 있고 α는 라그랑지 계수를 나타낸다면, SVM 학습은 수학식 8과 같이 표현될 수 있다.

라그랑지 계수들과 서포트 벡터들이 결정되면, 입력 x의 분류 f(x)는 수학식 9와 같이 표현될 수 있다. N_s은 서포트 벡터의 개수를 나타내고, s_i는 j번째 서포트 벡터를 나타낸다.

SVM은 정지 이미지(Still Image)를 이용한 보행자 인식을 위한 최적의 분류기가 될 것이며, 이미지와 움직임 특성의 결합으로 좋은 성능을 보여 주었다. 게다가, GFB-SVM 결합은 자동차와 보행자 인식을 위해 사용되기도 한다.

SVM이 다양한 문제들에서 좋은 성능을 나타내지만, 학습 파라미터들 즉, 조직화 파라미터(Regularization Parameter) C와 커널 파라미터(Kernel Parameter) 에 민감하다. 이러한 두 개의 파라미터들은 보행자 분류기의 성능에 크게 영향을 준다. 이러한 두 개의 파라미터들이 교차 검증 맞춤 함수(Cross Validation Fitness Function)를 갖는 유전적 알고리즘에 의해 최적화될 수 있다.

3. 성능 평가기 기반 분류기 최적화

Joachims은 SVM의 일반적 성능을 평가하기 위한 효율적이고 효과적인 접근법을 제안하였다. 계산이 집중되는 리샘플링(Resampling)도 필요 없이, 그 평가기는 교차 검증이나 부스트스트래핑(Bootstrapping)보다 계산적으로 더욱 효율적인 것으로 기대된다. 그 평가기는 한 번만 SVM을 학습하고 나면 즉시 더 이상의 추가 비용 없이 계산될 수 있다. 그 평가기는 라그랑지 계수 α와 잔여변수(Slack Variable) ξ로부터 구해지므로, 그 평가기는 ξα-평가기라 불려진다. 만일 학습 샘플이 초평면의 잘못된 면에 위치한다면, 학습 샘플 x_i에 해당하는 잔여변수 ξ_i는 1 보다 크거나 같다. 그러므로,

는 학습 오류들의 개수의 상한 경계이다. 어떠한 결정 규칙

의 오류율의 ξα-평가기

는 수학식 10에서와 같이 정의된다. ρ는 2와 같고 R_Δ ²은 모든 학습 샘플들의 커널 함 수의 상한 경계이다. ξα-평가기에 대한 주요 아이디어는 부등식

가 유지될 때에 대한 학습 샘플들과 리브원아웃(Leave-one-out) 테스팅에서 오류를 만들 수 있는 학습 샘플들 간의 관계이다. 이는 d가 리브원아웃 오류들의 개수의 상한 경계임을 암시한다.

D. Chen et al.은 보행자 분류기가 맞춤 함수(Fitness Function)로서 ξα-평가기를 이용하는 유전적 알고리즘에 의해 최적화될 수 있음을 제안했다.

그들이 맞춤 함수로서 성능 평가기가 적합하다는 것을 인식했지만, 성능 평가기의 하나의 중요한 장점 즉, 학습 샘플들 크기의 증가를 이용하지 못했다. 최적화 방법이 성능 측정으로서 교차 검증을 선택한다면, 검증을 위한 훈련 샘플들의 많은 부분이 제외 되어야 한다. 하지만, 성능 평가기가 맞춤 함수를 위해 사용된다면, 검증을 위한 훈련 샘플들을 남길 필요가 없다. 따라서, 학습 처리는 훈련 샘플들의 전체 세트를 사용할 수 있으며 학습 샘플의 증가는 분류기 성능을 향상시킬 것이다. 이러한 생각은 다음 장에서 실험 결과들에 의해 증명될 것이다.

4. 후처리(Post-Processing): 사후확률(A Posteriori Probability)

보행자 인식 시스템이 입력으로서 하나의 정지 이미지만을 사용한다면, 출력들은 각각으로부터 독립적이다. 하지만, 실제 응용에서, 목표물들은 레인지 데이터(Range Data) 또는 비주얼 데이터(Visual Data)에 의해 일시적으로 추적된다. 따라서, 일시적으로 추적된 하나의 목표물을 포함하는 이미지들은 연관될 수 있으며 하나의 목표물이 보행자일 가능성은 그 때까지의 분류기의 출력들을 이용하여 계산될 수 있다.

P(Ped)와 P(Non)은 각각 보행자일 가능성과 보행자가 아닐 가능성을 나타낸다. P(Ped)와 P(Non)은 각각 분류기 출력들이 양과 음의 결과를 출력할 때 각각의 가능성을 나타낸다. 만약 X가 일련의 분류기 출력이고 그의 길이가 N이라면, X는 일시적으로 연속적인 분류기 출력들인

로 표현될 수 있다.

각 분류기 출력 x_i는 T 또는 F를 갖는다. Bayesian rule에 따르면, X에 해당하는 목표물이 보행자일 것이라는 사후확률은 수학식 11과 같이 계산될 수 있다.

분류기 출력들은 독립적이므로, 출력들의 순서는 의미가 없다. 따라서, 목표물이 보행자일 때, 분류기 출력 열 X가 k 개의 양의 출력을 가질 가능성은 수학식 12와 같이 계산될 수 있다.

목표물이 보행자인지 또는 보행자가 아닌지 여부에 대해 모르는 상태에서, 분류기 출력 열 X가 k 개의 양의 출력들을 가질 가능성은 수학식 13과 같다.

따라서, 분류기 출력 열 X가 N 개의 출력들 중 k 개의 양의 출력들을 가질 때, X에 해당하는 목표물이 보행자일 사후확률은 수학식 14와 같이 표현될 수 있다. 이 경우, 일반성을 잃지 않는 범위 내에서, 보행자일 가능성과 비보행자일 가능성이 같다고 가정할 수 있다(예를 들어, P(Ped)=P(Non)=0.5)

그러한 방법으로 정의된 사후확률은 X가 출력되는 초기의 기간 동안 즉각적으로 분류기 출력을 따를 것이다. 하지만, 어떤 양의 분류기 출력들 이후, 사후확 률은 요동치는 소음을 줄이기 위한 히스테리시스 필터(Hysteresis Filter)처럼 움직인다.

5. 실험적 결과

A. GFB-RBF SVM 보행자 인식 시스템의 성능

보행자 인식에서 GFB 기반 특징의 적합성을 증명하기 위해서, GFB 기반 특징과 RBF SVM을 이용한 보행자 분류기가 구성되었다. C와 σ 등의 두 개의 분류기 파라미터들은 DCX 데이터베이스와 관련된 유전적 알고리즘에 의해 최적화되었다. 세 개의 훈련 데이터 집합들 중에서 첫 번째와 두 번째의 데이터 집합은 학습을 위해 사용되었고 세 번째 데이터 집합은 교차 검증을 위해 사용되었다. 교차 검증 오류는 유전적 알고리즘의 맞춤 함수로서 사용되었다.

도 3은 GFB-RBF SVM와 LRF-quadratic SVM의 ROC(Receiver Operating Characteristic)를 나타낸 예시도이다.

GFB 기반 특징은 LRF 기반 특징과 거의 동일한 성능을 보인다. 표 1은 특징 차원과 최적의 성능을 보이는 서포트 벡터들의 개수를 비교한 것이다.

	LRF - quadratic SVM	GFB - RBF SVM
Feature dimension	1,792	648
Support vector no	5,160	2,379

시스템은 더 작은 특징 벡터와 더 작은 서포트 벡터 개수를 사용하므로, GFB-RBF SVM은 효율성 또는 복잡성 측면에서 LRF-quadratic SVM과 비교할 때 경쟁력이 있다.

B. ξα-성능 평가기에 의한 성능 향상

유전적 알고리즘의 맞춤 함수로서 ξα-평가기의 적합성과 학습을 위한 전체의 훈련 데이터 집합을 이용하는 효과를 평가하기 위해, 세 개의 최적화들이 표 2에 나타낸 바와 같이 구성되었다.

Case	Training Dataset		Validation Criterion	Verification Dataset
	Learning Dataset	Validation Dataset
1	1, 2	3	Cross-validation	T1, T2
2	1, 2	-	ξα-estimator	T1, T2
3	1, 2, 3	-	ξα-estimator	T1, T2

경우 1(Case 1)은 교차 검증을 사용했지만 경우 2(Case 2)와 경우 3(Case 3)은 ξα-평가기를 사용했다. 경우 2는 학습을 위해 데이터 집합 1과 2(Learning Dataset)만을 사용했지만 경우 3은 학습을 위해 세 개의 데이터 집합을 모두 사용했다. 이러한 세 가지의 경우들은 같은 검증 데이터 집합(Verification Dataset) T1과 T2를 사용했다. 경우 1은 이전 섹션에서 행한 최적화 즉, 교차 검증에 의한 GFB-RBF SVM의 최적화이다.

도 4a 내지 도 4b는 세 가지 경우의 최적화 결과들을 나타낸 예시도이다.

도 4a에서는 경우 1과 경우 2의 최적 결과의 ROC를 비교하였다. 여기서, 점선은 경우 1을 나타낸 것이고 실선은 경우 2를 나타낸 것이다. ξα-평가기를 이용한 최적화는 교차 검증 기반 최적화와 거의 동일한 성능을 달성할 수 있다. 도 4b에서는 경우 3과 LRF-quadratic SVM의 최적 결과의 ROC를 비교한 것이다.

표 3은 세 가지의 경우들과 LRF-quadratic SVM의 최적화 결과를 요약한 것이다.

Case	Feature dimension	Support vector no.	Performance (%)
			P(T|Ped)	P(F|Non)
LRF-quadratic SVM	1,792	5,160	-	-
1	648	2,379	79.68	94.58
2	648	1,906	79.91	93.95
3	648	2,830	84.05	95.38

GFB-RBF SVM은 세 개의 데이터집합을 이용하여 학습되고 ξα-평가기는, LRF-quadratic SVM을 극복하지만, 그의 특징 벡터 차원은 1/3이고 그의 서포트 벡터 개수는 대략 절반이다. α 평가기에 의한 최적화는 학습을 위해 모든 훈련 데이터 집합들을 활용할 수 있고 케스케이드(Cascade)와 부스트랩(Boostrap)과 같은 어떠한 추가적인 조작이 없이도 경쟁력 있는 결과들을 획득할 수 있다는 것은 주목할 만하다. 그의 추가적인 조작은 단지 학습 샘플들에 대한 교차 검증을 위해 사용되는 데이터 집합을 추가하는 것이다.

몇몇 연구원들은 HOG 기반 특징이 DCX, MIT와 INRIA 데이터베이스를 이용하는 LRF 기반 특징 보다 우수하다는 것을 보였지만, HOG 기반 특징은 GFB 기반 특징 보다 더 복잡함을 필요로 한다. HOG 기반 특징의 특징 차원은 8,064이다.

C. 실제 상황에 대한 구성된 보행자 인식 시스템의 적용

이 섹션은 DCX 데이터베이스로 훈련된 보행자 분류기가 재훈련이 없이 다른 데이터베이스에 적용되었을 때의 실험 결과들을 보고한다. 이는 재훈련을 하지 않으면서 공개된 데이터베이스로 보행자 인식 시스템을 구성하는 가능성을 조사하기 위한 첫 시도라는 점에 주목할 만하다. 이러한 접근법이 적합하다고 증명되고 나면, 이미징 시스템에서 변화를 만들어 내는 것이 무엇이건 데이터베이스를 구성하기 위해 많은 시간을 소비할 필요가 없다.

실험에서는 통상적인, 두 개의 테스트 데이터베이스가 사용되었다. 이 섹션에서 사용된 보행자 인식 시스템은 표 3의 경우 3인데, 이는 세 개의 학습 데이터 집합과 ξα-평가기로 훈련되었다.

도 5는 세 가지 종류의 입력 이미지 샘플링 방법을 나타낸 예시도이다.

특정 데이터베이스는 924 개의 보행자 샘플들을 구성했다. 각 샘플은 64 x 128의 해상도를 갖는다. 도 5의 (a) 내지 (c)에 도시한 바와 같이 세 가지 종류의 입력 이미지 샘플링 방법을 시험했다. 세 번째에서, 두 개의 점들은 몸체의 왼쪽과 오른쪽 끝을 가리키기 위해 입력되었다. 이 점들을 기초로 하여, 수직 중앙선이 정렬되었다. 다른 두 개의 점들은 (c)에 나타낸 바와 같이 몸체의 꼭대기와 바닥을 가리키기 위해 입력되었다. 결과적인 입력 이미지는 DCX 데이터베이스와 동일한 측면 비율을 유지하면서 샘플로 추출되었다. 그러한 입력 이미지 샘플링 방법은 원래의 데이터베이스와 유사한 방식으로 보행자 이미지를 캡쳐하는 것이다. 입력 이미지가 한번 샘플링되면 바이큐빅 보간법(Bicubic Interpolation)을 이용하는 DCX 데이터베이스와 동일한 크기로 크기가 변경되었다.

도 6a 및 도 6b는 보행자 이미지 데이터베이스를 나타낸 예시도이다.

도시의 거리 이미지들을 수집하였고 두 번째와 세 번째의 입력 이미지 샘플링 방법에 따라 보행자와 비보행자의 이미지들을 추출했다. 캡쳐된 도시의 거리 이미지들의 개수는 10,398이고 해상도는 640 X 480였다. 도 6a에서는 특정한 지역을 운전하는 동안 캡쳐한 도시 거리의 이미지의 샘플을 나타낸 것이 보행자와 비보행자 이미지들의 총 개수는 각각 1,237과 928이었다. 통상적인 데이터베이스와 DCX 데이터베이스 간의 가장 중요한 차이점은 비보행자 이미지 선택 기준이다. 즉, DCX 데이터베이스는 비보행자들을 위해 랜덤 이미지들을 캡쳐하지만, 통상적인 비보행자의 이미지 데이터베이스는 레이저 레이더를 스캐닝함으로써 검출될 때 선택된다. 도 6b에서는 레이저 레이터 검출될 것으로 선택된 비보행자의 이미지의 샘플을 나타내었다.

여기서는, 네 개의 다른 실험 방법을 이용하여 세 개의 데이터베이스와 관련된 인식률 P(T|Ped)를 평가했다. 표 4는 평가 결과들을 요약한 것이다.

Experimental Database	Methods	1	2	3	4
	Histogram equalization	Yes			No
	Sampling method	Original, Fig. 5(a)	Bounding Box, Fig. 5(b)	Center aligned, aspect ratio maintained, Fig. 5(c)
DCX		84.05	-	-	-
MIT		46.54	69.37	79.47	21.97
MANDO		-	69.59	80.42	21.97

실험 방법(Experimental Method) 1 내지 3은 히스토그램 균등화(Histogram Equalization)를 사용하였으나, 실험 방법 4는 히스토그램 균등화를 사용하지 않았다. 실험 결과 1과 2는 각각 도 5의 (a)와 (b)의 입력 이미지 샘플링 방법을 사용했다. 실험 방법 3과 4는 (c)의 입력 이미지 샘플링 방법을 사용했다. (c)의 입력 이미지 샘플링 방법과 히스토그램 균등화를 사용했을 때, 두 개의 데이터베이스의 인식률은 재훈련 없이 약 80%에 도달했다. 이는 DCX 데이터베이스의 인식률보다 단지 4% 낮은 것이다.

게다가, 보행자 인식 시스템은 보행자가 정면 또는 후면에 있을 때와는 대조적으로 횡단하고 있을 때 더 좋은 성능을 보였다. 즉, 횡단하고 있을 때의 P(T|Ped)는 85.22%이었고 정면 또는 후면에 있을 때의 P(T|Ped)는 78.02%이었다. 이는 차도를 횡단하는 보행자와 자전거를 포함하는 사고의 개수가 차도와 동일한 방향으로 향하고 있는 보행자와 자전거를 포함하는 사고의 개수보다 3배 내지 4배 크다는 것을 고려할 때 긍정적이다.

도 7a 내지 도 7b는 정확하게 인식된 횡단하는 보행자 이미지 시퀀스들을 나타낸 예시도이다.

도 7b에서 도로를 빠른 속도로 횡단하는 보행자는 그 모습을 역동적으로 변경하고 조명 조건은 보행자의 위치에 따라 과감하게 변경되지만, 29 개의 이미지들로 구성되는 전체의 이미지 시퀀스는 정확하게 인식된다.

D. 사후확률 기반의 후처리

표 3을 통해 전술한 경우 3의 보행자 인식 시스템은 후처리를 위해 사용되었으므로, P(T|Ped)는 84.05%이고 P(F|Non)는 95.38%인 것으로 가정된다. 시퀀스에 있는 총 1,212 개의 보행자 이미지는 후처리 되었다. 즉, 각 이미지에 대한 사후확률들은 50%와 같은 임계값에 의해 계산되었고 구별되었다. 시퀀스들의 개수는 91이었다. 시퀀스들의 길이는 2 내지 41이었고 평균 길이는 13.32였다. 반대로, 시퀀스에 있는 916 개의 비보행자 이미지들은 후처리되었다. 시퀀스들의 개수는 113이었다. 시퀀스들의 길이는 2 내지 33이었고 평균 길이는 8.11이었다.

도 8a 내지 도 8c는 후처리 결과를 나타낸 예시도이다.

도 8a 내지 도 8c 각각의 도면에서 첫 번째 열은 입력 이미지 열이다. 두 번째 열은 즉석 분류기(Instant Classifier) 출력이다. 세 번째 열은 후처리 결과이다. 0은 분류기의 출력을 구별하기 위한 임계값이고 이는 점선으로 나타내었다. 사후확률의 구별을 위한 임계값은 50%이고 점선으로 나타내었다. 도 8a와 도 8b를 통해, 후처리는 요동하는 출력 잡음을 제거한다는 것을 관찰할 수 있는데, 출력 잡음은 명백히 보행자의 변화하는 모습으로부터 유발된다.

각 경우에, 보행자 인식률은 각각 30.77%와 27.78%까지 증가되었다. 반대로, 도 8c는 비보행자 경우의 예를 나타낸다. 후처리임에도 불구하고, 오류율은 변하지 않는다. 실험 결과는 비보행자 목표물의 분류가 보행자의 경우들과 비교했을 때 더욱 경쟁력이 있음을 나타내었다. 다시 말해, 한번 비보행자가 비보행자로서 분류되면, 그의 출력은 모든 시퀀스에서도 비보행자가 되는 경향이 있다. 이에 반해, 한번 비보행자가 보행자로서 잘못 분류되면, 그의 출력은 모든 시퀀스에서도 보행자가 되는 경향이 있다. 이는 일반적인 비보행자는 고정된 몸체이고 카메라 위치가 변경되지 않는 한 이미지 시쿼스에서 그 모습이 변경되지 않기 때문에, 자연스러운 것이다.

후처리 후, P(T|Ped)는 80.20% 내지 89.69%까지 향상되었고 P(F|Non)는 84.17% 내지 83.19%까지 낮아지거나 긍정적 오류율은 15.83% 내지 16.81%로 상승했다. 보행자 인식률이 9.49%까지 상승한 반면, 비보행자 인식률은 단지 0.98%만 줄었다.

E. 검토

이 섹션에서는, 제안된 보행자 인식 시스템의 실제의 적합성이 최근 공개된 유사 시스템을 비교함으로써 조사되었다.

Gavrila는 계층적인 표본 기반 모양 매칭(Hierarchical, Exemplar-Based Shape Matching)에 독창적인 확률 접근법을 제안했다. 그 접근법은 다양한 모양의 표본들을 효과적으로 나타내고 매치하기 위한 템플릿 트리(Template Tree)를 이용한다. 그 트리는 추계적 최적화(Stochastic Optimization)를 이용한 버텀업 클러스터링 접근법(Bottom-up Clustering Approach)에 의해 오프라인으로 생성된다. 온라인 매칭은 템플릿 트리와 변형 파라미터(Transformation Parameter)에 대한 동시적인 거친 부분에서 세밀한 부분까지의 접근법(Simultaneous Coarse-to-Fine Approach)을 포함한다. 올바른 검출률은 80%이다.

G. Ogawa, et al.은 종합적인 위험 인식 시스템을 제안했는데, 이 시스템은 학습 능력을 갖춘 위험 지도 시스템으로 불린다. 그들은 탑재된 카메라 시스템에 의해 찍힌 보행자와 차량의 이미지 처리를 획득하기 위해 유전적 프로그램밍을 통해 자동으로 학습하는 예로서의 한 시스템을 제시한다. 보행자의 올바른 인식률은 81%였고 긍정 오류율은 19.6%였다.

XB Cao, et al.,은 단일 카메라 기반 비전 시스템을 구성하였는데, 이 시스템은 보행자를 검출하고 그들의 위치, 방향과 거리를 예측했다. 그 시스템의 보행자 분류기는 두 개의 연속적인 이미지를 사용했고 통계학적으로 학습된 케스케이드 분류기와 분해된 SVM 분류기로 구성되었다. 케스케이드 분류기는 모습 특징(Appearance Feature)을 이용한 직렬의 7 개의 필터와 움직임 특징(Motion Feature)을 이용하는 병렬의 3 개의 필터를 포함하는 10 개의 필터로 구성되었다. 그 시스템은 작게 규모화된 템플릿 트리를 이용하여 보행자 이동의 방향을 예측하였다. 긍정 오류율이 0.013%였던 반면, 결과적인 검출률은 88.8%였다.

이러한 최근의 공개들을 비교할 때, 본 발명에 따른 시스템은 인식 성능과 복잡도의 측면에서 경쟁력이 있어 보인다. 즉, 인식률은 89.69%이고, 긍정 오류율은 16.81%이며, 낮은 특징 차원은 648이며, 작은 서포트 벡터 개수는 2.380이며, 단순 후처리는 사후확률을 기반으로 하였다. 비보행자 목표물은 움직이지 않는 경향이 있기 때문에, 다소 높은 긍정 오류율은 운전 상황과 상대적인 목표물의 움직임을 고려하는 위험 평가(Risk Assessment)에 의해서 해결될 수 있다.

6. 결론

본 발명은 다음의 4 가지의 사실을 제공하는 데 장점이 있다.

1) GFB-RBF SVM은 보행자 인식에서 경쟁적이다.

2) 성능 평가기는 교차 검증을 대체할 수 있다. 이 경우, 교차 검증을 위해 사용된 데이터 집합은 학습을 위해 사용될 수 있고 결과적인 성능을 증가시킨다. Joachims의 ξα-평가기는 이러한 사용에 적당함이 입증된다.

3) 입력 이미지가 히스토그램 균등화에 의해 처리되고 학습 데이터베이스를 위해 사용된 것과 동일한 방법에 의해 샘플된다면, 데이터베이스로 구축된 보행자 인식 시스템은 새롭게 획득된 데이터베이스로 재훈련할 필요 없이 실제 응용에서 사용될 수 있다. 이는 공개된 데이터베이스의 중요성을 증가시킬 뿐만 아니라 이미징 시스템에 어떠한 변화가 일어난 후 지루한 학습 절차들을 반복하는 것을 줄인다.

4) 사후확률 기반 후처리는 긍정 오류율 조금 높이기는 하지만 인식률을 향상시킨다. 이는 보행자와 비보행자의 다른 특징들로부터 유발되는 것으로 여겨진다. 다시 말해, 보행자는 계속해서 그 모습을 변화시키기므로, 그의 분류기 출력은 고정된 비보행자와 대조적으로 유동하는 경향이 있다. 따라서, 사후확률 기반 후처리는 긍정 오류를 조금 높이는 반면 보행자 인식률을 증가시킨다.

도 9는 본 발명의 일 실시예에 따른 사후확률을 이용한 보행자 보호 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 사후확률(A Posteriori Probability)을 이용한 보행자 보호 장치는 차량의 주변에 있는 보행자를 인식하여 보호하는 장치로서 능동적 보호자 보호 시스템(APPS: Active Pedestrian Protection System)과 같은 복합적 시스템으로 구현될 수 있다.

또한, 본 발명의 일 실시예에 따른 사후확률을 이용한 보행자 보호 장치는 차량의 주변을 촬영한 이미지에서 특징을 추출하여 이미지에서 보행자를 분류하는 성능 평가기를 기반으로 보행자 분류기를 최적화하고, 최적화된 보행자 분류기의 이전 출력들을 이용하여 사후확률(A Posteriori Probability)을 계산하는 후처리(Post-Processing)를 수행하며, 계산된 사후확률에 따라 보행자를 검출하여 보행자 정보를 생성하고 전달하는 보행자 인식기(910); 차량의 거동을 감지하는 센서로부터 차량의 거동 정보를 수신하여 차량의 주행 궤적을 계산하여 전달하는 주행 궤적 측정부(920); 주행 궤적 측정부로부터 주행 궤적을 수신하고 보행자 인식기로부터 보행자 정보를 수신하면 차량과 보행자 간의 충돌에 대한 위험도를 평가하고 제동 명령을 생성하여 전달하는 충돌 회피 제어부(930); 및 충돌 회피 제어부(930)로부터 제동 명령을 수신하면 제동 명령에 따라 차량을 제동하는 능동 제동부(940)를 포함한다.

여기서, 보행자 인식기(910)는 차량의 주변의 목표물을 검출하고 해당 목표물이 보행자인지 또는 장애물인지 여부를 판단하며, 목표물이 보행자인 경우에는 해당 보행자의 정보인 보행자 정보(예를 들면, 위치, 속도, 보행자인지 여부에 대한 획신도)를 생성한다.

또한, 주행 궤적 측정부(Self Localization, 920)는 종합하여 차량이 주행하는 궤적을 계산하고 주행 궤적 정보를 생성한다.

또한, 충돌 회피 제어부(Risk Assessment & Collision Avoidance (CA)/Collision Mitigation(CM) by Braking Control Logic, 930)는 보행자 정보와 주행 궤적 정보를 종합하여 차량이 보행자와 충돌할 위험이 있는지 여부를 판단하여 차량과 보행자 간의 충돌에 대한 위험도를 평가하고 위험도를 등급에 따라 구분하여 등급에 따라 충돌을 회피하거나 충돌의 충격을 완화하기 위한 제동 명령을 결정하거나 위험도가 기설정된 임계 위험도 이상인지 여부에 따라 제동 명령을 결정한다. 여기서, 제동 명령은 차량을 제동하는 정도를 조절하도록 결정되고 생성될 수 있다.

또한, 능동 제동부(Active Braking, 940)는 조행 휠의 회전 속도를 나타내는 휠속을 감지하는 휠속 센서, 차량의 차체의 각속도를 나타내는 요레이트(Yaw-Rate)를 감지하는 요레이트 센서, 차량의 조향각을 감지하는 조향각 센서 등 차량의 거동을 감지하는 센서들로부터 횔속, 요레이트, 조향각 등에 대한 정보인 차량 거동 정보를 수신하여 출력하고 주행 궤적 측정부(920)로 전달하고, 충돌 회피 제어부(930)로부터 제동 명령을 수신하면 제동 명령에 따라 제동 장치를 이용하여 차량을 제동한다.

도 10은 본 발명의 일 실시예에 따른 사후확률을 이용한 보행자 인식 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 사후확률을 이용한 보행자 인식 장치는 도 9에서는 보행자 인식기(910)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해 보행자 인식기(910)라 칭한다.

본 발명의 일 실시예 따른 보행자 인식기(910)는 차량의 주변에 있는 보행자를 인식하는 장치로서, 차량의 주변을 촬영한 이미지에서 특징을 추출하여 이미지에서 보행자를 분류하는 보행자 분류기(1010); 성능 평가기를 기반으로 보행자 분류기를 최적화하는 분류기 최적화기(1020); 및 최적화된 보행자 분류기의 이전 출력들을 이용하여 사후확률(A Posteriori Probability)을 계산하는 후처리(Post-Processing)를 수행하고 계산된 사후확률에 따라 보행자를 검출하는 후처리기(1030)를 포함하여 구성된다.

여기서, 보행자 분류기(1010)는 가보 필터 뱅크-레디얼 베이시스 함수 서포트 벡터 머신(GFB-RBF SVM: Gabor Filter Bank-Radial Basis Function Support Vector Machine)로 구현될 수 있으며, 차량의 주변을 촬영한 이미지에서 히스토그램 평탄화(Histogram Equalization)를 수행하고, 이미지를 복수 개의 보조 이미지(Sub-Image)로 분할하며, 가보 필터(Gabor Filter)들로 보조 이미지를 컨볼루션(Convolution)하여, 통계학적인 특징값을 계산함으로써 특징을 추출할 수 있다.

또한, 분류기 최적화기(1020)는 맞춤 함수(Fitness Function)로서 ξα-평가기(Estimator)를 이용하는 유전적 알고리즘(GA: Genetic Algorithm)을 이용하여 보행자 분류기(1010)를 최적화할 수 있다.

또한, 후처리기(1030)는 사후확률이 임계값 이상인 경우 보행자로서 검출할 수 있으며, 후처리기는 장애물을 장애물로 인식하는 확률(P(F|Non)을 의도적으로 높은 값(즉, 기 설정된 값 이상)으로 설정하여 사후확률을 계산할 수 있다.

또한, 보행자 분류기(1010)는 레이더(Radar)를 이용한 트래킹(Tracking) 또는 목표물 윤곽(Object Contour)를 이용한 트래킹을 통해, 동일한 물체에 대한 연속적인 영상을 획득할 수 있다.

도 11은 본 발명으 일 실시예에 따른 사후확률을 이용한 보행자 인식 방법을 설명하기 위한 순서도이다.

본 발명에 따른 보행자 인식기 즉, 보행자 인식부(910)는 보행자 분류기(910)를 성능 평가기를 기반으로 최적화하고(S1110), 보행자 분류기(910)의 이전 출력값들을 이용하여 사후확률을 계산하며(S1120), 사후확률에 따라 보행자를 검출한다(S1130).

이와 같이, 본 발명의 일 실시예에 따른 사후확률을 이용한 보행자 인식 장치는 기존에는 하나의 정지 이미지만을 사용하던 보행자 인식기의 출력들을 사후확률로 연관시킴으로써 보행자 인식기의 최종 성능을 향상시킬 수 있다. 이와 같이, 장애물을 장애물로 인식할 확률인 P(F|Non)를 실제 장애물 인식률보다 높은 장애물 인식률을 사용함으로써(즉, 실험 데이터베이스에 대한 값보다 훨씬 높은 학습 데이터베이스에 대한 값을 사용함), 사후확률이 T 출력(즉, 올바른 결과 출력)에 더 민감하게 만들 수 있다. 즉, 수학식 14의 분모의 두 번째 항이 작아짐으로써 보행자 인식기의 T 출력의 사후확률에 대한 영향이 커진다.

이 경우, 장애물 인식률은 아주 조금 감소하는 반면, 보행자 인식률은 상당히 많이 증가할 수 있다(실험에서는, 장애물 인식률은 0.98% 감소하는 데에 그친 대신, 보행자 인식률은 9.49%나 증가하였음). 이와 같은 현상은 사후 필터링(A Posteriori Filtering)의 고유한 특성이라 할 수 없고, 보행자 인식기의 특성이라 할 수 있다. 즉, 보행자는 움직이기 때문에 외향(Appearance)이 계속적으로 바뀌기 대문에 보행자 인식기 출력이 T와 F 사이에서 변화할 가능성이 크다. 반면에, 장애물은 일반적으로 딱딱한(Rigid) 물체이기 때문에, 외양이 변화할 가능성이 작으므로 보행자 인식기 출력이 T 또는 F 한 값만을 출력될 가능성이 크다.

도 12는 한 시퀀스 상에서 보행자 인식기 출력이 바뀌는 빈도의 히스토그램을 예시적으로 나타낸 것이다.

도시한 바와 같이, 장애물의 경우, 인식기 출력 변경 빈도가 0~2회에 집중되며, 보행자의 경우, 2회 이상의 인식기 출력 변경이 발생한 경우도 많았다. 따라서, 사후 필터링을 적용할 경우, 도 8a 내지 도 8c에 도시한 바와 같이, 출력이 바뀌는 보행자 영상들의 성능은 크게 향상되고, 출력이 일정한 장애물 영상들의 성능은 변화가 크지 않다.

이상의 본 발명은 보행자 영상의 경우 보행자 인식기의 출력의 변화는 크지만, 장애물 영상의 경우 보행자 인식기 출력의 변화 작다는 사실을 적극적으로 활용한 것이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

도 1은 24 개의 가보 필터들로 구성되는 고안된 GFB를 주파수 도메인에서 나타낸 예시도,

도 2는 입력 이미지가 9 개의 오버랩된 보조 이미지들로 분할된 모습을 나타낸 예시도,

도 3은 GFB-RBF SVM와 LRF-quadratic SVM의 ROC(Receiver Operating Characteristic)를 나타낸 예시도,

도 4a 내지 도 4b는 세 가지 경우의 최적화 결과들을 나타낸 예시도,

도 5는 세 가지 종류의 입력 이미지 샘플링 방법을 나타낸 예시도,

도 6a 및 도 6b는 보행자 이미지 데이터베이스를 나타낸 예시도,

도 7a 내지 도 7b는 정확하게 인식된 횡단하는 보행자 이미지 시퀀스들을 나타낸 예시도,

도 8a 내지 도 8c는 후처리 결과를 나타낸 예시도,

도 9는 본 발명의 일 실시예에 따른 사후확률을 이용한 보행자 보호 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,

도 10은 본 발명의 일 실시예에 따른 사후확률을 이용한 보행자 인식 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,

도 11은 본 발명으 일 실시예에 따른 사후확률을 이용한 보행자 인식 방법을 설명하기 위한 순서도,

도 12는 한 시퀀스 상에서 보행자 인식기 출력이 바뀌는 빈도의 히스토그램 을 예시적으로 나타낸 것이다.

< 도면의 주요 부분에 대한 부호의 설명 >

910: 보행자 인식부 920: 주행 궤적 측정부

930: 충돌 회피 제어부 940: 능동 제어부

1010: 보행자 분류기 1020: 분류기 최적화기

1030: 후처리기

Claims (8)

1. 차량의 주변에 있는 보행자를 인식하는 장치에 있어서,

   상기 차량의 주변을 촬영한 이미지에서 특징을 추출하여 상기 이미지에서 상기 보행자를 분류하는 보행자 분류기;

   성능 평가기를 기반으로 상기 보행자 분류기를 최적화하는 분류기 최적화기; 및

   상기 최적화된 보행자 분류기의 이전 출력들을 이용하여 사후확률(A Posteriori Probability)을 계산하는 후처리(Post-Processing)를 수행하고 상기 계산된 사후확률에 따라 상기 보행자를 검출하는 후처리기

   를 포함하는 것을 특징으로 하는 보행자 인식 장치.
2. 제 1 항에 있어서, 상기 보행자 분류기는,

   가보 필터 뱅크-레디얼 베이시스 함수 서포트 벡터 머신(GFB-RBF SVM: Gabor Filter Bank-Radial Basis Function Support Vector Machine)인 것을 특징으로 하는 보행자 인식 장치.
3. 제 1 항에 있어서, 상기 보행자 분류기는,

   상기 이미지에서 히스토그램 평탄화(Histogram Equalization)를 수행하고, 상기 이미지를 복수 개의 보조 이미지(Sub-Image)로 분할하며, 가보 필터(Gabor Filter)들로 상기 보조 이미지를 컨볼루션(Convolution)하여, 통계학적인 특징값을 계산함으로써 상기 특징을 추출하는 것을 특징으로 하는 보행자 인식 장치.
4. 제 1 항에 있어서, 상기 분류기 최적화기는,

   맞춤 함수(Fitness Function)로서 ξα-평가기(Estimator)를 이용하는 유전적 알고리즘(GA: Genetic Algorithm)을 이용하여 상기 보행자 분류기를 최적화하는 것을 특징으로 하는 보행자 인식 장치.
5. 제 1 항에 있어서, 상기 후처리기는,

   상기 사후확률이 임계값 이상인 경우 상기 보행자로서 검출하는 것을 특징으로 하는 보행자 인식 장치.
6. 제 1 항에 있어서, 상기 후처리기는,

   장애물을 장애물로 인식하는 확률을 기 설정된 값 이상으로 설정하여 상기 사후확률을 계산하는 것을 특징으로 하는 보행자 인식 장치.
7. 차량의 주변에 있는 보행자를 인식하여 보호하는 장치에 있어서,

   상기 차량의 주변을 촬영한 이미지에서 특징을 추출하여 상기 이미지에서 상기 보행자를 분류하는 보행자 분류기를 성능 평가기를 기반으로 최적화하고, 상기 최적화된 보행자 분류기의 이전 출력들을 이용하여 사후확률(A Posteriori Probability)을 계산하는 후처리(Post-Processing)를 수행하며, 상기 계산된 사후확률에 따라 상기 보행자를 검출하여 보행자 정보를 생성하고 전달하는 보행자 인식기;

   상기 차량의 거동을 감지하는 복수 개의 센서들로부터 상기 차량의 거동 정보를 수신하여 상기 차량의 주행 궤적을 계산하여 전달하는 주행 궤적 측정부;

   상기 주행 궤적 측정부로부터 상기 주행 궤적을 수신하고 상기 보행자 인식기로부터 상기 보행자 정보를 수신하면 상기 차량과 상기 보행자 간의 충돌에 대한 위험도를 평가하고 제동 명령을 생성하여 전달하는 충돌 회피 제어부; 및

   상기 충돌 회피 제어부로부터 상기 제동 명령을 수신하면 상기 제동 명령에 따라 상기 차량을 제동하는 능동 제동부

   를 포함하는 것을 특징으로 하는 보행자 보호 장치.
8. 차량의 주변에 있는 보행자를 인식하는 방법에 있어서,

   보행자 분류기가 상기 차량의 주변을 촬영한 이미지에서 특징을 추출하여 상기 이미지에서 상기 보행자를 분류하는 단계;

   분류기 최적화기가 성능 평가기를 기반으로 상기 보행자 분류기를 최적화하는 단계; 및

   후처리기가 상기 최적화된 보행자 분류기의 이전 출력들을 이용하여 사후확률(A Posteriori Probability)을 계산하는 후처리(Post-Processing)를 수행하고 상기 계산된 사후확률에 따라 상기 보행자를 검출하는 단계

   를 포함하는 것을 특징으로 하는 보행자 인식 방법.

Images