KR101498114B1

KR101498114B1 - 보행자를 검출하는 영상 처리 장치 및 그 방법

Info

Publication number: KR101498114B1
Application number: KR20130146162A
Authority: KR
Inventors: 유동규; 강병준; 조준범
Original assignee: 현대모비스 주식회사
Priority date: 2013-11-28
Filing date: 2013-11-28
Publication date: 2015-03-05
Also published as: US9349043B2; CN104680124A; CN104680124B; US20150146919A1; DE102014207650A1

Abstract

보행자를 검출하는 영상 처리 장치가 제공된다. 이 영상 처리 장치는 입력 영상으로부터 차선 좌표값을 추출하는 차선 추출 모듈 및 상기 추출된 차선 좌표값을 이용하여 제1 좌우 차선의 끝 단부를 통과하는 제1 라인과 상기 좌우 차선의 상부에 위치한 제2 좌우 차선의 끝단부를 통과하는 제2 라인 사이의 영역을 보행자 관심 영역으로 선정하고, 사전에 설정된 윈도우를 이용하여 상기 보행자 관심 영역을 탐색하여 보행자 특징을 갖는 보행자 영역을 검출하는 보행자 검출 모듈을 포함한다.

Description

보행자를 검출하는 영상 처리 장치 및 그 방법{DEVICE AND METHOD FOR DETECTING PEDESTRAINS}

본 발명은 보행자 검출 장치 및 그 방법에 관한 것으로서, 특히 차량에서 이용되는 보행자 검출 장치 및 그 방법에 관한 것이다.

최근 보행자 보호와 관련된 연구의 일환으로, 보행자를 검출하는 장치가 차량에 탑재되어 출시되고 있다. 이 보행자 검출 장치는 보행자를 사전에 인식하고, 운전자에게 경보를 해주거나 차량을 제어하여 제동하는 등의 방법을 통해 보행자 사고를 미연에 방지할 수 있게 한다.

기존의 보행자 검출 방법에서는, 디지털 영상 장치로부터 영상을 획득하고, 탐색 윈도우를 블록화 하여, SVM 분류기(Support Vector Machine Classifier)와 같은 전역 검색 방법을 이용하여 보행자를 검출하는 방법이 제안된 바 있다. 이 방법은 많은 수의 탐색 윈도우를 제거한 후 높은 정밀도를 가진 2차 분류기를 이용하여 보행자를 검출하기 때문에 높은 정확도와 검출 동작에 따른 전력 소모를 줄일 수 있다. 그러나 이 방법은 입력 영상의 해상도가 높아질수록 보행자 인식을 위해 처리해야 하는 데이터의 양이 증가하므로, 처리 속도가 느리다.

또 다른 기존의 보행자 검출 방법에서는, 에지 기반 검출 분석에 따른 컨피던스 값(CONFIDENCE)과, 모션 기반 검출 분석에 따른 컨피던스 값을 결합한 최종 컨피던스 값을 획득하는 과정이 수행되고, 획득된 최종 컨피던스 값과 임계값을 비교하여 입력 영상에 보행자가 존재하는 여부를 판단하고, 그 판단 결과에 따라 운전자에게 경보를 알리는 과정이 수행된다. 그러나 이 방법은 상기 모션 기반 검출 분석에 따라 입력 영상의 전 영역의 모션 방향을 분석해야 하기 때문에 위의 전역 검색 방법을 이용한 보행자 검출 방법과 마찬가지로 처리 속도가 느리다. 또한 이 방법은 보행자의 움직임이 없는 경우, 보행자 인식의 정확도가 낮다.

따라서, 본 발명의 목적은 처리 속도와 보행자 인식의 성능을 향상시킬 수 있는 보행자 검출 장치 및 그 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 보행자 검출 장치는, 입력 영상으로부터 차선 좌표값을 추출하는 차선 추출 모듈; 및 상기 추출된 차선 좌표값을 이용하여 제1 좌우 차선의 끝 단부를 통과하는 제1 라인과 상기 좌우 차선의 상부에 위치한 제2 좌우 차선의 끝단부를 통과하는 제2 라인 사이의 영역을 보행자 관심 영역으로 선정하고, 사전에 설정된 윈도우를 이용하여 상기 보행자 관심 영역을 탐색하여 보행자 특징을 갖는 보행자 영역을 검출하는 보행자 검출 모듈을 포함한다.

본 발명의 다른 일면에 따른 보행자 검출 방법은, 입력 영상으로부터 차선 좌표값을 추출하는 과정과, 상기 추출된 차선 좌표값을 이용하여 상기 입력 영상 내에서 상기 보행자 관심 영역과 차선 간격을 설정하는 과정과, 상기 설정된 차선 간격을 이용하여 탐색 윈도우를 설정하는 과정 및 보행자 인식 알고리즘을 이용하여 상기 설정된 보행자 관심 영역 내에서 보행자 영역을 검출하는 과정을 포함한다.

본 발명에 의하면, 차선 정보를 이용하여 보행자 관심 영역 및 탐색 윈도의 사이즈를 설정하고, 상기 보행자 관심 영역 내에서 상기 탐색 윈도우의 사이즈로 탐색된 영역을 상체 영역과 하체 영역으로 분할하고, 분할된 영역 별로 보행자 특징을 검출함으로써, 이미지 내의 전체 영역에서 탐색 윈도우가 탐색해야 하는 영역을 효율적으로 제한하여 처리 시간을 단축시키고, 보행자 특징을 상체 영역과 하체 영역 별로 판단함으로써, 보행자 검출 인식률을 향상시킬 수 있다.

도 1은 본 발명에서 이용되는 보행자 인식 기술을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 내부 구성을 보여주는 블록도이다.
도 3은 도 2에 도시된 보행자 검출 모듈의 내부 구성을 보여주는 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 ROI 영역 검출 과정을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시 예에 따른 HOG 특징으로부터 상체 HOG 특징과 하체 HOG 특징을 검출하는 과정을 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시 예에 따른 보행자 검출 과정을 보여주는 순서도이다.

본 발명에서는, 차량에 탑재된 영상 센서를 이용하여 보행자의 존재 여부와 충돌 가능성을 판단할 수 있는 보행자 검출 방법이 제안된다.

또한 본 발명에서는, 차선 정보를 이용하여 실제 보행자가 존재하는 후보 보행자 영역들을 선정함으로써, 보행자 검출에 처리되는 검출 처리 시간을 줄일 수 있는 보행자 검출 방법이 제안된다.

또한 본 발명에서는, 후보 보행자 영역을 상체 영역과 하체 영역으로 분리하고, 상세 영역과 하체 영역에서 보행자 특징이 모두 검출되면, 해당 후보 보행자 영역을 보행자 영역으로 결정함으로써, 노이즈에 강건한 보행자 검출 방법이 제안된다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 대해 상세히 설명하기에 앞서, 본 발명에서 이용될 수 있는 기술을 간략히 소개하기로 한다.

차선 검출 기술

차선 검출 기술은 차량의 안전한 주행을 돕는 차선 이탈 방지 시스템(LDWS: Lane Departure Warning System)에서 이용될 수 있다. 특별히 한정하는 것은 아니지만, 본 발명에서는 차선 이탈 방지 시스템과 연동하여 상기 차선 검출 기술에 따라 생성된 차선 정보를 이용하여 후보 보행자 영역들을 선정할 수 있다.

상기 차선 검출 기술은 다양한 차선 검출 알고리즘을 통해 제공될 수 있으며, 차선을 검출하는 방법에 따라 허프 변환, 변형 템플릿 모델(deformable template model), 훈련 기반, 동적 계획법(dynamic programing) 등의 알고리즘이 이용될 수 있다.

변형 템플릿 모델을 이용한 알고리즘의 경우, 경계선 정보를 추출한 후, 정의된 도로 모델을 만족하는 차선을 검출하기 위해 우도 함수(likelihood function)가 정의된다. 우도 함수를 만족하는 차선을 검출하기 위해, metropolis algorithm, simulated annealing 등의 알고리즘이 이용된다.

훈련 기반을 이용한 알고리즘의 경우, SVM(Support Vector Machine), neural network등의 알고리즘을 이용하며, 미리 훈련된 분류기를 통해 차선을 검출한다. 이 방법의 경우, 분류기 생성을 위한 훈련작업 및 사전 데이터가 필요하다.

동적 계획법을 이용한 알고리즘의 경우, 먼저 영역을 분할한 후, 각 영역들 사이에서 차선은 연속성을 띠고, 일정 각도를 넘지 않는다는 등의 제한을 이용하여 차선 검출을 위한 함수가 정의된다. 상기 정의된 함수를 가장 잘 만족하는 영역들의 집합이 차선으로 검출된다.

허프 변환을 이용한 알고리즘의 경우, 영상의 경계선을 추출하고, 허프 변환을 이용하여 라인을 검출한다. 검출된 라인을 검증단계를 통해 차선으로 판별한다.

그 밖에, 차선의 색상과 차선 형태의 통계적 정보를 활용하여 차선을 검출하는 방법이 있을 수 있다. 이 방법에서는, 차선의 색상인 노란색, 파란색 및 흰색의 감도를 완화시키고, 효율적으로 차선 색상을 강조하기 위해, 먼저, RGB 색상을 YCbCr 색상으로 변환한다. 차선 색상이 강조된 영상에서 차선 후보들을 선택하기 위해, 차선 필터의 응답은 필터의 폭 W의 크기와 유사한 크기의 영역이면서 주위 픽셀들과의 차이가 크며 밝은 수록 높은 응답을 보인다. 이는 도로 영역보다 밝은 차선의 특성과 차선의 폭을 고려하기 때문에 차선에 해당하는 영역을 효율적으로 검출할 수 있다.

이상의 방법들을 통해 검출된 차선들은 영상 내에서 차선만이 표시되는 이미지 형태의 정보로 제공되거나 상기 차선에 대응하는 2차원의 좌표값의 형태로 제공될 수 있다.

보행자 인식 기술

영상 내의 관심 객체가 보행자인지를 판별하는 방법은 다양하며, 그 중 HOG(Histogram of Oriented Gradient) 특징 추출 방법이 이용될 수 있다. HOG 특징 추출 방법은 관심 영상을 블록(block)으로 구성하고, 상기 블록 내에 구획된 다수의 셀(cell)로 분할하고, 각 셀 내에서 각 픽셀들의 간의 기울기를 계산하여 기울기에 관한 히스토그램을 이용한다.

도 1을 참조하면, 과정 (A) 및 (B)에서, 16×16의 영상(11)을 다수의 셀로 구획된 블록(13)으로 구성하고, 과정 (C)에서, 상기 블록(13)에서 좌측 상단의 셀부터 모든 셀들 각각에 대해 픽셀들의 간의 기울기를 계산한다. 이어, 과정 (D)에서, 각 셀 별로 히스토그램을 분석하고, 과정 (E)에서, 분석된 히스토그램을 나열하면, 한 블록에 대한 HOG 특징 벡터가 만들어진다. 만들어진 HOG 특징 벡터들 중 가장 우세한 기울기를 분석하고, 분석된 가장 우세한 기울기들이 사람의 형상을 갖는다면, 상기 블록에는 보행자가 존재하는 것으로 판단한다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 대해 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 내부 구성을 보여주는 블록도이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치(100)는 영상 센서 모듈(100), 영상 처리 모듈(200) 및 알림 모듈(300)을 포함한다.

상기 영상 센서 모듈(100)은 차량에 장착되어, 전방 영상(이하, 입력 영상)을 획득하는 구성으로, 카메라일 수 있다.

상기 영상 처리 모듈(100)은 상기 입력 영상에 상기 보행자가 존재하는 지 여부를 판단하고, 보행자가 존재하는 것을 판단되면, 그 결과를 알림 모듈(300)을 통해 사용자에게 알린다. 이를 위해, 상기 영상 처리 모듈(100)은 차선 추출 모듈(220)과 보행자 검출 모듈(240)을 포함한다.

상기 차선 추출 모듈(220)은 앞에서 기술한 차선 검출 알고리즘에 따라 상기 입력 영상 내의 차선을 검출하고, 검출된 차선을 차선 좌표 값으로서 출력한다.

상기 보행자 검출 모듈(240)은 상기 차선 추출 모듈(220)로부터 입력 받은 상기 차선 좌표값을 이용하여 보행자 관심 영역을 선정하도록 구성된다. 또한 상기 상기 보행자 검출 모듈(240)은 상기 차선 좌표값으로부터 계산된 차선 간격을 이용하여 상기 선정된 보행자 관심 영역을 탐색하기 위한 탐색 윈도우를 설정하도록 구성된다. 이렇게 함으로써, 보행자를 검출하기 위한 탐색 영역이 보행자 관심 영역 내로 효율적으로 제한되고, 또한 차선 간격에 따라 적응적으로 설정되는 탐색 윈도우를 이용하여 보행자 관심 영역을 탐색함으로써, 보행자 검출 시간을 줄일 수 있다. 또한 상기 보행자 검출 모듈(240)은, 상기 보행자 영역을 상체 영역과 하체 영역으로 분할하여 보행자 영역을 보다 정밀하게 검출함으로써, 보행자 검출 성능을 향상시킬 수 있다.

상기 알림 모듈(300)은 상기 보행자 검출 모듈(240)의 출력 결과인 충돌 경보를 시각적 또는 청각적인 형태의 정보로 변환하여 운전자에게 제공할 수 있다. 예컨대, 상기 알림 모듈(300)은 표시 장치, 음성 출력 장치 또는 이들이 결합된 장치로 구현되어, 표시 장치를 통해 경고 화면을 출력하거나, 음성 출력 장치를 통해 경고음 출력하거나, 상기 결합된 장치를 통해 경고화면과 경고음을 동시에 출력할 수 있도록 구현될 수 있다.

이하, 도 2에 도시된 보행자 검출 모듈에 대해 더욱 상세하게 설명하기로 한다.

도 3은 도 2에 도시된 보행자 검출 모듈의 내부 구성을 보여주는 블록도이다.

도 3을 참조하면, 상기 보행자 검출 모듈(240)은 합성부(240-1), 관심 영역(Region Of Interest: ROI) 검출부(240-2), 특징 추출부(240-3), 상체 검출부(240-4), 하체 검출부(240-5), 보행자 영역 검출부(240-6), 충돌 경보 판단부(240-7), 저장부(240-8) 및 컨트롤러(240-9)를 포함한다.

상기 합성부(240-1)는 영상 센서 모듈(100)로부터 출력되는 입력 영상과 상기 차선 추출 모듈(220)로부터 출력되는 차선 좌표값을 합성한다.

상기 ROI 검출부(240-2)는 상기 차선 좌표값을 이용하여 다수의 보행자 관심 영역을 검출하고, 각 보행자 관심 영역을 탐색하기 위한 탐색 윈도우를 설정한다. 여기서, 상기 탐색 윈도우는 각 보행자 관심 영역별로 서로 다른 사이즈일 수 있다.

상기 특징 추출부(240-3)는 상기 탐색 윈도우를 이용하여 상기 보행자 관심 영역을 탐색하고, 상기 탐색 윈도우에 의해 탐색된 영역에서 보행자 특징을 추출한다. 이하에서는, 상기 보행자 특징은 HOG(Histogram of Oriented Gradient) 특징 추출 알고리즘에 기반한 HOG 특징으로 가정하지만, 상기 특징 추출부(240C)에 의해 추출되는 보행자 특징이 HOG 특징으로 특별히 한정되는 것은 아니며, 사람을 인식할 수 있는 알고리즘이라면 그 어떠한 것이라도 무방하다.

상기 상체 검출부(240-4)는 상기 탐색 윈도우에 의해 탐색된 영역에서 추출된 HOG 특징을 입력 받고, 미리 학습된 상체 HOG(Upper Body HOG) 특징을 이용하여 상기 탐색된 영역에서 추출된 HOG 특징에 상기 보행자의 상체 영역이 존재하는지 여부를 검출하고, 그 검출 결과를 수치화한 제1 결과값(R1)을 출력한다. 예컨대, 상기 탐색된 영역에서 추출된 HOG 특징과 상기 학습된 상체 HOG 특징 간의 매칭률이 60%이상이면, 상기 탐색된 영역에는 상기 보행자의 상체 영역이 존재하는 것으로 판단하고, 상기 매칭률을 수치화한 제1 결과값(R1)을 출력한다.

상기 하체 검출부(240-5)는 상기 탐색 윈도우에 의해 탐색된 영역에서 추출된 HOG 특징을 선택적으로 입력 받고, 미리 학습된 하체 HOG(Lower Body HOG) 특징을 이용하여 상기 탐색된 영역에서 추출된 HOG 특징에 상기 보행자의 하체 영역이 존재하는지 여부를 검출하고, 그 검출 결과를 수치화한 제2 결과값(R2)을 출력한다. 예컨대, 상기 탐색된 영역에서 추출된 HOG 특징과 상기 학습된 하체 HOG 특징 간의 매칭률이 60%이상이면, 상기 탐색된 영역에는 상기 보행자의 상체 영역이 존재하는 것으로 판단하고, 상기 매칭률을 수치화한 제2 결과값(R2)을 출력한다.

상기 보행자 영역 검출부(240-6)는 상기 상체 검출부(240-4)로부터의 제1 결과값(R1)을 기초해, 상기 탐색된 해당 영역을 보행자 영역으로 검출한다. 예컨대, 상기 제1 결과값(R1)이 특정 임계치 이상이면, 상기 탐색된 해당 영역을 보행자가 존재하는 보행자 영역으로 검출한다.

선택적으로, 상기 보행자 영역 검출부(240-6)는 상기 상체 검출부(240D)로부터의 제1 결과값(R1)과 상기 하체 검출부(240E)로부터의 제2 결과값(R2)을 연산하여 그 연산 결과치가 상기 특정 임계치 이상이면, 상기 탐색된 해당 영역을 보행자가 존재하는 보행자 영역으로 검출할 수도 있다. 예컨대, 상기 보행자 영역 검출부(240F)는 제1 결과값(R1)과 상기 제2 결과값(R2)를 가산하고, 가산한 결과가 상기 특정 임계치 이상이면, 상기 탐색된 해당 영역을 보행자가 존재하는 보행자 영역으로 검출할 수 있다.

선택적으로, 상기 보행자 영역 검출부(240-6)는 상기 제1 결과값(R1)에 제 1 가중치(W1)를 부여하고, 상기 제2 결과값(R2)에 상기 제1 가중치(W1)보다 작은 제2 가중치(W2)를 부여하여, 제1 가중치(W1)가 부여된 제1 결과값(R1)과 상기 제2 가중치(W2)가 부여된 제2 결과값(R2)을 연산하여 보행자 영역을 검출할 수도 있다. 예컨대, 상기 제1 가중치(W1)를 곱한 제1 결과값(R1)과 상기 제2 가중치(W2)를 곱한 제2 결과값을 가산한 결과가 상기 특정 임계치 이상이면, 상기 탐색된 해당 영역을 상기 보행자 영역으로 검출할 수 있다.

상기 충돌 경보 판단부(240-7)는 상기 보행자 영역 검출부(240-6)로부터 검출된 검출 결과와 차량 내 전자 제어 유닛(도시되지 않음)으로부터의 차량 속도값을 입력받고, 이들을 이용하여 충돌여부를 판단한다.

상기 저장부(240-8)는 상기 보행자 처리 모듈(240)에서 수행되는 각종 연산 과정에서 이용될 수 있는 값들을 저장하는 구성으로서, 예컨대, 상기 보행자 영역 검출부(240-6)에 의한 연산 과정에서 사용되는 상기 제1 및 제2 가중치(W1, W2)를 저장할 수 있다.

상기 컨트롤러(240-9)는 상기 보행자 처리 모듈(240)의 전반적인 동작을 제어 및 관리한다. 예컨대, 상기 보행자 처리 모듈(240)의 로직 구성들(240-1, 240-2, 240-3, 240-4, 240-5, 240-6, 240-7, 240-8)이 상기 컨트롤러(240-9)의 제어(CN)에 따라 제어될 수 있으며, 보행자 검출 성능을 높이기 위해, 상기 하체 검출부(240-5)의 검출 결과(R2)가 상기 컨트롤러(240-9)의 선택(SE)에 따라 상기 보행자 영역 검출부(240-6)로 선택적으로 출력될 수 있다.

이하, 본 발명의 일 실시 예에 따른 상기 보행자 검출 모듈에서 수행되는 주요 동작 과정에 대해 상세히 설명하기로 한다. 먼저, 도 4를 참조하여, ROI 영역 검출부(240-2)에 수행되는 동작과정에 대해 상세히 설명하기로 한다.

도 4는 본 발명의 일 실시 예에 따른 ROI 영역 검출 과정을 설명하기 위한 도면이다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 보행자 관심 영역(ROI) 검출 과정은 차선 좌표값을 이용하여, 입력 영상 내의 양쪽 차선의 끝단부를 통과하는 X 축 방향의 라인들(LINE 1, LINE 2, LINE 3) 상에서 보행자 영역의 가로 길이(width)는 동일하다는 가정에서 출발한다. 이러한 가정으로부터, 본 발명의 일 실시 예에 따른 보행자 관심 영역(ROI)이 선정된다.

구체적으로, 운전자가 정면에서 화면(70)을 바라볼 때, 화면(70)의 맨 아래쪽에 나타나는 좌우 차선(41A, 42A)에서는, 좌측 차선(41A)의 끝단부(41A')와 좌우 차선(42A)의 끝단부(42A')를 통과하는 제1 라인(LINE 1)이 정의될 수 있다. 상기 좌우 차선(41A, 42A)의 상부에 위치한 좌우 차선(41B, 42B)에서는, 좌측 차선(41B)의 아래쪽 끝단부(41B)와 우측 차선(42B)의 아래쪽 끝단부(42B’)를 통과하는 제2 라인(LINE 2)이 정의될 수 있다. 이때, 상기 제1 라인(LINE 1)과 상기 제2 라인(LINE 2) 사이의 영역(ROI 1)이 본 발명에서 제안하는 보행자 관심 영역으로 선정된다. 유사하게, 좌우 차선(41B, 42B)의 상부에 위치한 좌우 차선(41C, 42C)에서, 좌측 차선(41C)의 아래쪽 끝단부(41C')와 우측 차선(42C)의 아래쪽 끝단부(42C')를 통과하는 제3 라인(LINE 3)이 정의될 때, 상기 제2 라인(LINE 2)과 상기 제3 라인(LINE 3) 사이의 영역(ROI 2)이 본 발명에서 제안하는 보행자 관심 영역으로 선정된다. 따라서, 본 발명의 일 실시 예에 따라 선정되는 보행자 관심 영역은 한 화면(70) 내에서 2개 이상 존재할 수 있으며, 서로 다른 면적을 갖는다. 이와 같이, 한 화면 내에서 다수의 보행자 관심 영역이 선정되면, 각 보행자 관심 영역 내에서 보행자가 존재하는 보행자 영역을 탐색하기 위한 탐색 윈도우를 설정하는 과정이 수행된다.

이하, 탐색 윈도우를 설정하는 과정에 대해서 상세히 설명한다.

도 4에 도시된 바와 같이, 차선 좌표값들은 입력 영상 내에서 서로 평행하지 않은 2개의 차선들로 표시될 수 있다. 따라서, 상기 2개의 좌우 차선(41, 42)의 차선 간격은 운전자가 정면에서 화면(70)을 바라볼 때, 아래에서 위로 갈수록 좁아진다.

상기 제1 라인에서 좌우 차선(41A, 42A)의 끝단부(41A', 42A') 사이의 구간을 상기 좌우 차선(41A, 42A)의 차선 간격 (Lwidth 1)이라 정의하면, 상기 좌우 차선(41B, 42B)의 차선 간격은 Lwidth 2이고, 상기 좌우 차선(41C, 42C)의 차선 간격은 Lwidth 3이다. 한 화면(70) 내에서 상부로 갈수록 차선 간격은 작아지고, 그 작아지는 비율은 일정하다. 이러한 사실로부터 보행자 관심 영역을 탐색하기 위한 탐색 윈도우의 가로 길이(Width)와 세로 길이(Height)가 설정될 수 있다. 즉, 차선 간격(Lwidth 1)과 보행자의 너비 간의 비율을 안다면, 화면 하부에 선정된 보행자 관심 영역(ROI 1)을 탐색하기 위한 적절한 사이즈의 탐색 윈도우를 설정할 수 있다. 마찬가지로, 화면 상부에 선정된 보행자 관심 영역(ROI 2)을 탐색하기 위한 적절한 사이즈의 탐색 윈도우를 설정할 수 있다. 탐색 윈도우의 사이즈는 아래의 수식을 통해 계산할 수 있다.

여기서 α값 과 γ는 차선 간격으로부터 실제 사람의 너비를 계산하기 위한 비율 변수이고, W(Y)는 탐색 윈도우의 가로 길이이고, H(Y)는 탐색 윈도우의 세로 길이이다. Lwidth (Y)는 차선 간격이다. 보행자의 너비와 키의 비율이 통계적으로 2 내지 2.5로 산출되고 있다. 따라서, H(Y)를 계산하는 경우, 2 내지 2.5의 값이 이용될 수 있다. 상기 수학식 1은 보행자의 너비와 키의 비율이 2.5인 경우에서 탐색 윈도우의 사이즈를 계산하는 수식이다.

상기 수학식 1로부터 탐색 윈도우 사이즈는 차선 간격과 비례 관계임을 알 수 있다. 따라서, 도 4에서, 제1 라인(LINE 1)을 기준으로 선정된 보행자 관심 영역을 탐색하기 위해 계산된 윈도우 사이즈(S1)는 제2 라인을 기준으로 선정된 보행자 관심 영역을 탐색하기 위해 계산된 윈도우 사이즈(S2)보다 크게 설정된다.

이와 같이, 차선 간격에 따라 설정된 윈도우 사이즈 즉, 보행자 영역의 크기를 예측할 수 있기 때문에, 보행자를 빠르게 검출할 수 있다. 만일 본 발명과 같이, 보행자 관심 영역을 선정하지 않고, 또한 보행자 관심 영역 별로 보행자 크기에 해당하는 윈도우 사이즈를 예측하지 못한다면, 윈도우 사이즈를 단계별로 증가시켜 입력 영상의 전 영역을 탐색해야 하므로, 보행자 검출에 따른 연산량은 기하급수적으로 증가할 것이다.

이하, 도 5 및 도 6을 참조하여, 도 3에 도시된 특징 추출부(240-3)에서 검출된 HOG 특징으로부터 상체 HOG 특징과 하체 HOG 특징을 검출하는 과정에 대해 상세히 설명하기로 한다.

도 5 및 도 6은 본 발명의 일 실시 예에 따른 HOG 특징으로부터 상체 HOG 특징과 하체 HOG 특징을 검출하는 과정을 설명하기 위한 도면들이다.

도 5 및 도 6을 참조하면, 도 4에서 참조하여 설명한 바와 같이, 보행자 관심 영역(ROI)과 상기 보행자 관심 영역을 탐색하기 위한 탐색 윈도우가 설정되면, 해당 보행자 관심 영역에서 상기 탐색 윈도우에 의해 탐색된 영역으로부터 HOG 특징이 추출된다.

도 5는 서로 다른 패턴을 갖는 4 가지의 보행자 이미지를 보여주는 것이다. 패턴 (A)는 일반적인 볼 수 있는 보행자 이미지이다. 그러나, 패턴 (B)의 경우, 반바지, 치마, 신발과 같이, 보행자 착용한 착용물에 따라 보행자의 하체 패턴은 변할 수 있다. 또한 뛰거나 걷고 있을 때의 보행자의 하체 패턴과 서있을 때의 하체 패턴을 비교하면, 그 모션 변화폭이 상체에서 일어날 수 있는 모션 변화폭에 비해 상대적으로 크다. 패턴 (C)와 (D)와 같이, 보행자의 하체가 장애물로 가려지는 상황이 상체가 장애물로 가려지는 상황보다 더 빈번하게 발생할 것이다. 즉, 상체 비해 하체의 변형 요소가 크다. 그러므로, 본 발명에서는 보행자 영역을 상체 영역과 하체 영역으로 분할하여 검출하는 방안을 제안한다.

구체적으로, 도 6을 참조하면, 그라디언트(Gradient)가 아래의 수학식 2를 이용하여 입력 영상(Original image)(61)으로부터 계산된다.

상기 수학식 1에 의해 계산된 그라디언트로부터 각 이미지 픽셀에 대하여 에지 정보를 갖는 그라디어트 이미지(62)(Gradient image)가 추출될 수 있다.

상기 그라디어트 이미지(62)내의 각 픽셀에 대한 그라디언트 데이터(Gradient Data)(64)를 기준으로 매그니튜드 데이터(Magnitude Data)인 G(x, y)을 누적한 후, 누적한 G(x, y)을 전체 픽셀 값으로 나누면, 상체 HOG 특징(65)과 하체 HOG 특징(66)이 계산될 수 있다.

상체 검출 과정에서는, 보행자 관심 영역(ROI) 내에서 탐색 윈도우에 의해 탐색된 영역을 이등분하고, 탐색된 상위 영역에서 검출된 HOG 특징(65)과 미리 학습된 상체 HOG 특징을 비교하여 상체 부분을 검출한다. 만약 상체 부분이 검출되지 않으며, 하위 영역에서 검출된 HOG 특징과 미리 학습된 상체(Lower Body) HOG 특징을 비교하지 않고도 보행자가 상기 탐색된 영역에 존재하지 않음을 알 수 있으므로, 상체 부분이 검출되지 않는 경우, 하위 영역에서의 하체 검출 과정은 생략될 수 있다. 이렇게 함으로써, 검출에 따른 계산량을 절반으로 줄일 수 있다.

하체 검출 과정에서는, 상체가 검출되면 상기 탐색된 영역의 하위 역에서 보행자의 하체가 존재할 가능성이 높으므로 해당영역으로부터 하체 HOG 특징을 추출한 다음 미리 학습된 하체 HOG와 비교 검출을 한다. 이렇게 해서 하체 부분이 검출되면 보행자 영역을 최종 검출한다.

보행자 영역의 검출은 앞에서도 설명한 바와 같이, 상체 검출 결과를 수치화한 제1 결과값과 하체 검출 결과를 수치화한 제2 결과값을 연산하여 특정 임계치 이상이면, 탐색된 영역을 보행자 영역으로 최종 결정한다. 이때, 상체 검출 결과와 하체 검출 결과에 가중치를 부여하여 보행자 오검출을 최소화할 수 있는데, 예컨대, 상체 검출 결과에 더 높은 가중치를 부여함으로써, 하체가 노이즈(장애물)를 포함하고 있을지라도 보행자 영역이 안정적으로 검출될 수 있다. 이를 수식으로 표현하면, 다음과 같다.

상기 수학식 3에 의해 검출된 보행자 영역 검출 결과가 출력되면, 차선 간격과 탐색 윈도우의 가로길이(Width)를 측정하고, 차량 속도값에 기초해 TTC를 계산하여 특정 임계치 이하면, 운전자에게 충돌을 경보한다.

도 7은 본 발명의 일 실시 예에 따른 보행자 검출 과정을 보여주는 순서도이다.

도 7을 참조하면, 먼저, S710에서, 입력 영상 내의 차선을 구성하는 차선 좌표값을 추출하는 과정이 수행된다. 예컨대, 차선 검출 알고리즘을 통해 입력 영상으로부터 차선 좌표값이 추출될 수 있다.

이어, S720에서, 상기 추출된 차선 좌표값을 이용해 보행자 관심 영역 및 차선 간격을 선정하는 과정이 수행된다. 예컨대, 도 4에서 설명한 바와 같이, 운전자가 화면을 정면에서 바라볼 때, 제1 좌측 차선의 아래쪽 끝단부와 상기 제1 좌측 차선과 나란히 형성된 제1 우측 차선의 아래쪽 끝단부를 통과하는 제1 라인과 상기 제1 좌우측 차선의 상부에 형성된 제2 좌측 차선의 아래쪽 끝단부와 제2 우측 차선의 아래쪽 끝단부를 통과하는 제2 라인 사이의 영역이 상기 보행자 관심 영역으로 선정된다. 상기 차선 간격은 상기 제1 좌우측 차선의 경우, 제1 좌측 차선의 아래쪽 끝단부와 제1 우측 차선의 아래쪽 끝단부 사이의 거리로 선정될 수 있다.

이어, S730에서, 상기 선정된 차선 간격을 이용해 탐색 윈도우를 설정하는 과정이 수행된다. 예컨대, 상기 탐색 윈도우는 상기 수학식 1을 통해 설정될 수 있다.

이어, S740에서, 상기 설정된 탐색 윈도우를 이용해 상기 보행자 관심 영역을 탐색하는 과정이 수행된다.

이어, S750에서, 상기 탐색된 후보 보행자 영역을 상체 영역과 하체 영역으로 분할하는 과정이 수행된다. 예컨대, 상기 탐색 윈도우의 사이즈로 탐색된 상기 후보 보행자 영역이 가로축 방향으로 이등분되고, 상부 영역을 상체 영역, 하부 영역을 하체 영역으로 설정할 수 있다.

이어, S760에서, 상기 상체 영역에서 상체 HOG 특징을 검출하는 과정이 수행되는 데, 상기 상체 영역에서 상체 HOG 특징이 검출되면, S770으로 이동하고, 상기 상체 영역에서 상체 HOG 특징이 검출되지 않으면, 상기 S740 및 상기 S750로 이루어진 일련의 과정을 재 수행한다.

상기 상체 영역에서 상체 HOG 특징이 검출된 경우, S770에서, 상기 하체 영역에서 하체 HOG 특징을 검출하는 과정이 수행되는 데, 상기 하체 영역에서 하체 HOG 특징이 검출되면, S780으로 이동하고, 검출되지 않으면, 상기 S740, S750 및 S760으로 이루어진 일련과정을 재 수행한다.

상기 하체 영역에서 하체 HOG 특징이 검출되면, S780에서, 상기 후보 보행자 영역을 보행자 영역으로 검출하는 과정이 수행된다.

한편, 상기 S770은 선택적으로 수행될 수 있다. 예컨대, 검출 시간 및 연산량을 줄이고자 하는 경우, 상기 S770을 생략하고, 상기 S760의 상체 HOG 특징의 검출 여부만으로 해당 후보 보행자 영역을 보행자 영역으로 검출할 수 있다. 검출 정확도를 고려한다면, 상기 S760 및 상기 S770을 모두 수행하여, 상체 HOG 특징 및 하체 HOG 특징이 모두 검출된 경우, 해당 후보 보행자 영역을 보행자 영역으로 검출되도록 구성할 수 있다.

또한, 도 7에서는, 상기 S760 및 상기 S770을 모두 수행하는 경우, 상기 S760이후, 상기 S770이 수행되는 예를 기술하고 있으나, 상기 S770이후, S760가 수행되도록 구성할 수도 있다. 이 경우에서는, 하체 HOG 특징이 상체 특징에 비해 상대적으로 검출확률이 낮은 점을 감안하여, 하체 HOG 특징을 검출하는 과정과 상체 HOG 특징을 검출하는 과정을 모두 수행하는 것이 바람직하다.

이상 바람직한 실시 예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims

보행자를 검출하는 영상 처리 장치에 있어서,
입력 영상으로부터 차선 좌표값을 추출하는 차선 추출 모듈; 및
상기 추출된 차선 좌표값을 이용하여 제1 좌우 차선의 끝 단부를 통과하는 제1 라인과 상기 제1 좌우 차선의 상부에 위치한 제2 좌우 차선의 끝단부를 통과하는 제2 라인 사이의 영역을 보행자 관심 영역으로 선정하고, 사전에 설정된 윈도우를 이용하여 상기 보행자 관심 영역을 탐색하여 보행자 특징을 갖는 보행자 영역을 검출하는 보행자 검출 모듈
을 포함하는 영상 처리 장치.
제1항에 있어서, 상기 보행자 검출 모듈은,
상기 제1 좌우 차선의 끝단부를 연결하는 라인의 길이로 정의되는 차선 간격을 계산하고, 상기 계산된 차선 간격을 이용하여 상기 윈도우를 설정하는 것을 특징으로 하는 영상 처리 장치.
제2항에 있어서, 상기 윈도우 사이즈는 상기 차선 간격과 비례관계인 것을 특징으로 하는 영상 처리 장치.
제2항에 있어서, 상기 윈도우는,
상기 차선 간격과 상기 차선 간격으로부터 상기 보행자의 너비를 계산하기 위한 비율 변수를 이용하여 계산된 가로 길이와, 상기 가로 길이와 상기 보행자의 너비와 키 간의 비율 변수를 이용하여 계산된 세로 길이를 갖는 것을 특징으로 하는 영상 처리 장치.
제1항에 있어서, 상기 보행자 검출 모듈은,
상기 보행자 영역을 상체 영역과 하체 영역으로 분할하고, 상기 상체 영역 및 상기 하체 영역 중 적어도 하나의 영역에서 상기 보행자 특징이 검출되면, 상기 보행자 영역을 최종 보행자 영역으로 검출하는 것을 특징으로 하는 영상 처리 장치.
제5항에 있어서, 상기 보행자 검출 모듈은,
상기 상체 영역에서 상기 보행자의 상체에 해당하는 상기 보행자 특징이 검출된 후, 상기 하체 영역에서 상기 보행자의 하체에 해당하는 보행자 특징이 검출되면, 상기 보행자 영역을 최종 보행자 영역으로 검출하는 것을 특징으로 하는 영상 처리 장치.
제6항에 있어서, 상기 보행자 검출 모듈은,
상기 상체 영역에 해당하는 상기 보행자 특징을 수치화한 제1 결과값과 상기 하체 영역에 해당하는 상기 보행자 특징을 수치화한 제2 결과값을 가산하고, 상기 가산된 결과치가 특정 임계치 이상인 경우에, 상기 보행자 영역을 최종 보행자 영역으로 검출하는 것을 특징으로 하는 영상 처리 장치.
제7항에 있어서, 상기 보행자 검출 모듈은,
제1 가중치를 부여한 상기 제1 결과값과 상기 제1 가중치보다 낮은 제2 가중치를 부여한 상기 제2 결과값을 가산하는 것을 특징으로 하는 영상 처리 장치.
영상 처리 장치에서 보행자를 검출하는 방법에 있어서,
입력 영상으로부터 차선 좌표값을 추출하는 과정;
상기 추출된 차선 좌표값을 이용하여 상기 입력 영상 내에서 보행자 관심 영역과 차선 간격을 설정하는 과정;
상기 설정된 차선 간격을 이용하여 탐색 윈도우를 설정하는 과정; 및
보행자 인식 알고리즘을 이용하여 상기 설정된 보행자 관심 영역 내에서 보행자 특징을 갖는 보행자 영역을 검출하는 과정
을 포함하는 방법.
제9항에 있어서, 상기 탐색 윈도우를 설정하는 과정은,
상기 차선 간격과, 상기 차선 간격으로부터 상기 보행자의 너비를 계산하기 위한 비율 변수를 이용하여 상기 탐색 윈도우의 가로축 방향의 길이를 설정하는 과정; 및
상기 가로 길이와, 상기 보행자의 너비와 키 간의 비율 변수를 이용하여 상기 탐색 윈도우의 세로축 방향의 길이를 설정하는 과정;
을 포함하는 방법.
제9항에 있어서, 상기 보행자 영역을 검출하는 과정은,
상기 보행자 관심 영역을 상체 영역과 하체 영역으로 분할하는 과정; 및
상기 보행자 인식 알고리즘을 이용하여 상기 상체 영역 및 상기 하체 영역 중 적어도 하나의 영역에서 상기 보행자 특징이 검출되면, 상기 보행자 특징이 검출된 해당 보행자 후보 영역을 상기 보행자 영역으로 검출하는 과정
을 포함하는 방법.
제9항에 있어서, 상기 보행자 특징은 상기 보행자의 상체 특징과 하체 특징을 포함하고,
상기 보행자 영역을 검출하는 과정은,
상기 보행자 관심 영역을 상체 영역과 하체 영역으로 분할하는 과정;
상기 상체 영역에서 상기 상체 특징에 대응하는 그라디언트 히스토그램 특징을 추출하는 과정;
상기 하체 영역에서 상기 하체 특징에 대응하는 그라디언트 히스토그램 특징을 추출하는 과정; 및
상기 상체 영역 및 상기 하체 영역에서 모두 상기 그라디언트 히스토그램 특징이 추출되면, 상기 상체 영역과 상기 하체 영역을 포함하는 보행자 후보 영역을 상기 보행자 영역으로 검출하는 과정
을 포함하는 방법.
제12항에 있어서, 상기 보행자 영역을 검출하는 과정은,
상기 상체 영역으로부터 상기 상체 특징이 검출된 결과를 수치화한 제1 결과값과 상기 하체 영역으로부터 상기 하체 특징이 검출된 결과를 수치화한 제2 결과값을 가산하는 과정;
상기 가산된 결과치와 특정 임계치를 비교하는 과정; 및
상기 가산된 결과치가 상기 특정 임계치 이상이면, 상기 보행자 후보 영역을 상기 보행자 영역으로 검출하는 과정
을 포함하는 방법.
제13항에 있어서, 상기 가산하는 과정은,
상기 제1 결과값에 제1 가중치를 부여하는 과정;
상기 제2 결과값에 상기 제1 가중치보다 낮은 제2 가중치를 부여하는 과정; 및
상기 제1 가중치가 부여된 상기 제1 결과값과 상기 제2 가중치가 부여된 상기 제2 결과값을 가산하는 과정
을 포함하는 방법.