KR101407070B1

KR101407070B1 - 영상기반 사람 검출을 위한 특징 추출 방법 및 장치

Info

Publication number: KR101407070B1
Application number: KR1020120109444A
Authority: KR
Inventors: 고종국; 이용진; 박소희; 문기영; 유장희
Original assignee: 한국전자통신연구원
Priority date: 2012-09-28
Filing date: 2012-09-28
Publication date: 2014-06-12
Also published as: KR20140042551A

Abstract

영상기반 사람 검출을 위한 특징 추출 방법 및 장치가 개시된다. 영상기반 사람 검출을 위한 특징 추출 방법 및 장치는 제공된 영상을 특정 크기의 블록으로 분할하고, 분할된 각 블록에서 중심 픽셀과 주변 픽셀의 명암 차이 값을 계산하며, 상기 명암 차이 값에 상응하는 히스토그램을 생성하고, 상기 히스토그램으로부터 상기 분할된 각 블록의 특징벡터를 생성하여 상기 블록의 특징벡터로부터 상기 제공된 영상의 특징벡터를 생성하는 것을 포함하는 사람 검출을 위한 특징을 추출하여 사람 검출을 수행함으로써 수직적 에지를 가지는 객체들 사이에서도 검출 오류를 줄일 수 있다.

Description

영상기반 사람 검출을 위한 특징 추출 방법 및 장치{METHOD OF EXTRACTING FEATURE FOR HUMAN DETECTION AND APPARATUS FOR PERFORMING THE SAME}

본 발명은 영상처리에 관한 것으로 영상기반 사람 검출을 위한 특징 추출 방법 및 그 장치에 관한 것이다.

보행자 검출은 컴퓨터 비전과 패턴 인식 분야에서 많은 관심을 받는 주제이다. 보행자 검출을 위해 다양한 환경에서 검출할 수 있는 접근법들이 연구되었고 성능과 속도 둘 다 만족하며 노이즈에 강건한 검출을 위해 다양한 기법들이 제안되었다. 하지만 보행자는 외형, 색상, 자세가 다양한 특성을 가지기 때문에 정확하게 검출하는데 어려움이 있다. 그래서 기존의 보행자 검출을 위한 연구에서는 배경을 제거한 영상에 기반한 모델을 이용해 객체를 추적 및 탐색하였다. 하지만 사람이 여러 명인 복잡한 영상에서는 효과적으로 사람을 검출하기 어려워서 N. Dalal과 B. Triggs는 보행자 검출 문제를 해결하기 위해 HOG(Histograms of Gradient) 서술자를 제안하였다

HOG 기반 특징 추출은 사람 검출을 위해 입력이미지에 대해 특징을 추출하는 것으로 각 블록에 대한 Gradient의 방향 정보를 히스토그램화여서 특징을 추출한다. HOG 기반의 사람 검출은 상기 추출 결과를 SVM(Support Vector Machine)에 의해서 사람 여부를 판별하는 방법이다. HOG 기반 특징 추출은 입력 이미지에 대해 특징을 추출할 때 기울기 방향정보를 히스토그램화 하기 때문에 기울기 값의 크기에 많은 의존을 하게 된다. 즉, 서 있는 사람의 수직적 방향 정보가 특징 값들로 많이 들어간다. 따라서, 상기의 특징 추출 방법은 에지(edge)의 크기 값에 지배적으로 영향을 받아 보행자 검출에 있어서 가로등과 같은 수직적 에지를 가지는 객체들을 사람으로 판단하는 오검출 하는 문제가 많이 발생하는 단점이 있다.

상술한 바와 같은 단점을 극복하기 위한 본 발명의 목적은 영상에서 사람을 검출하는 정확도를 향상시킬 수 있는 영상기반 사람 검출을 위한 특징 추출 방법을 제공하는 것이다.

또한, 본 발명의 다른 목적은 상기 방법을 수행하는 특징 추출 장치를 제공하는 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일측면에 따른 영상기반 사람 검출을 위한 특징 추출 방법은 제공된 영상을 특정 크기의 블록으로 분할하고, 분할된 각 블록에서 중심 픽셀과 주변 픽셀의 명암 차이 값을 계산하며, 상기 명암 차이 값에 상응하는 히스토그램을 생성하고, 상기 히스토그램으로부터 상기 분할된 각 블록의 특징벡터를 생성하여 상기 블록의 특징벡터로부터 상기 제공된 영상의 특징벡터를 생성하는 것을 포함하는 사람 검출을 위한 특징을 추출한다.

상술한 바와 같은 영상기반 사람 검출을 위한 특징 추출 방법에 따르면, 수직적 에지를 가지는 객체들 사이에서도 각 픽셀의 에지 방향 및 텍스처(texture) 정보를 모두 포함한 로컬 패턴 특징 추출로 사람 검출의 오류를 줄일 수 있는 정확성 높은 영상기반 사람 검출 방법을 제공한다.

도 1은 본 발명의 일 실시예에 따른 영상기반 사람 검출을 위한 특징 추출 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 영상기반 사람 검출을 위한 특징 추출에 사용되는 중심 픽셀과 주변 픽셀의 관계를 나타내는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 블록에서 명암 차이 값을 계산하는 방법을 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 하나의 블록에 대한 특징벡터를 생성을 나타내는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 영상기반 사람 검출을 위한 특징 추출 에 사용되는 제공 영상의 한 예이다.
도 6은 본 발명의 다른 실시예에 따른 특징 추출 장치의 구성 예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른 영상기반 사람 검출을 위한 특징 추출 방법의 흐름도이다.

본 발명의 영상기반 사람 검출을 위한 특징 추출 방법은 특징 추출을 위해서 영상을 제공한다(S100). 예를 들어, 제공된 영상의 크기는 한정된 것은 아니며, 본 발명의 일 실시예에서는 64×128의 사이즈를 사용한다.

제공된 영상을 영상기반 사람 검출을 위한 특징 추출을 위해서 특정 크기의 이미지 블록으로 분할한다(S110). 상기의 특정 크기는 한정된 것은 아니며, 일 실시예에서는 8×8 사이즈를 사용한다.

특정 크기로 분할된 블록의 각 픽셀(pixel)별로 주변 픽셀들과 차이 값을 수학식 1을 사용하여 계산한다(S120).

수학식 1은 각 픽셀들에 대해 주변 픽셀들과의 명암 값에 대한 차이를 계산하는 것으로 diff_i는 주변 픽셀 n_i에 대한 중심 픽셀 x_c과의 명암 차이 값이다.

상기의 분할된 블록의 각 픽셀들에 대해서 명암 차이 값을 계산(S120)한 결과 값을 임계 값 T를 기준으로 미리 설정된 그룹 예를 들어, 3개의 그룹, 제 1그룹은 diff_i < -T, 제 2그룹은 -T ≤ diff_i ≤ T, 제 3그룹은 diff_i > T 으로 판별하고 히스토그램을 생성한다(S130).

단계 S130에서 생성한 3개의 히스토그램으로부터 총 24개의 bin을 가지는 히스토그램을 생성하여, 하나의 블록에 대해서 24개의 요소(element)를 가지는 블록별 특징벡터를 생성한다(S140).

단계 S140에서 생성하는 방식으로 상기의 모든 분할된 블록에 대해서 블록별 특징벡터를 생성하고, 상기 블록별 특징벡터를 사용하여 제공된 영상에 대한 하나의 특징벡터를 생성한다(S150).

도 2는 본 발명의 일 실시예에 따른 영상기반 사람 검출을 위한 특징 추출에 사용되는 중심 픽셀과 주변 픽셀의 관계를 나타내는 예시도로서, 단계 S120에서 상기 수학식 1을 수행하기 위한 중심 픽셀과 주변 픽셀의 관계를 나타낸다.

도 2는 제공된 영상에서 각 픽셀들에 대해 특징을 추출하기 위한 주변 픽셀과 중심 픽셀과의 관계이며, 3×3의 9개의 픽셀이 하나의 셀로 이루어지며, 중심 픽셀 x_c를 기준으로 주변 픽셀 n₁ 내지 n₈으로 구성된다.

도 3은 본 발명의 일 실시예에 따른 블록에서 명암 차이 값을 계산하는 방법을 나타내는 예시도로서, 도 3을 사용하여 단계 S120과 단계 S130을 상세하게 설명하면 다음과 같다.

예를 들어, 도 3의 첫 명암 차이 값을 계산하기 위한 중심 픽셀은 8×8의 이미지 블록에서 최상단 좌측에서 3×3 셀(10)로 분할한 결과인 2행 2열의 픽셀이다.

따라서 중심 픽셀 x_c의 값은 55이며, 주변 픽셀 n₁의 값이 50, n₂의 값이 65, n₃의 값이 70, n₄의 값이 65, n₅의 값이 60, n₆의 값이 45, n₇의 값이 40, n₈의 값이 45이다.

이에 따른 중심 픽셀과 주변 픽셀과의 명암 차이 값은 다음과 같다.

diff₁ = 50 - 55 = -5

diff₂ = 65 - 55 = 10

diff₃ = 70 - 55 = 15

diff₄ = 65 - 55 = 10

diff₅ = 60 - 55 = 5

diff₆ = 45 - 55 = -10

diff₇ = 40 - 55 = -15

diff₈ = 45 - 55 = -10

다음의 주변 픽셀과 중심 픽셀의 명암 차이 값의 계산은 윈도우를 하나의 픽셀만큼 우측으로 이동시킨 3×3의 셀(20)에서 수행한다. 따라서, 2행 3열에 위치한 픽셀이 중심 픽셀이 되며 예시의 중심 픽셀 x_c의 명암의 값은 65이며, 주변 픽셀 n₁의 값이 65, n₂의 값이 70, n₃의 값이 65, n₄의 값이 50, n₅의 값이 40, n₆의 값이 60, n₇의 값이 55, n₈의 값이 65이다. 이와 같이 우측으로 하나의 픽셀만큼 이동하며 3×3 픽셀 단위로 주변 픽셀과 중심 픽셀의 명암 차이 값을 계산하면, 2행에서 6번을 수행한다. 동일한 방식으로 3행에서 7행까지 주변 픽셀과 중심 픽셀의 명암 차이 값을 계산한다. 따라서, 8×8 이미지 블록의 경우 36번의 중심 픽셀과 주변 픽셀의 명암 차이 값을 계산한다.

또한, 예를 들어 임계 값 T가 10이라면, 상기 예의 주변 픽셀과 중심 픽셀의 명암 차이 값은 다음과 같은 그룹으로 나뉜다.

diff₁ = 50 - 55 = -5 는 제 2그룹

diff₂ = 65 - 55 = 10 는 제 2그룹

diff₃ = 70 - 55 = 15 는 제 3그룹

diff₄ = 65 - 55 = 10 는 제 2그룹

diff₅ = 60 - 55 = 5 는 제 2그룹

diff₆ = 45 - 55 = -10 는 제 2그룹

diff₇ = 40 - 55 = -15 는 제 1그룹

diff₈ = 45 - 55 = -10 는 제 2그룹

위의 판별 수행으로 각 그룹 별 히스토그램은 다음과 같은 값을 가진다.

제 1그룹의 히스토그램 값은

bin1 = 0, bin2 = 0, bin3 = 0, bin4 = 0, bin5 = 0, bin6 = 0, bin7 = 1, bin8 = 0, 여기서 bini는 주변 픽셀 i의 제 1그룹 누적 횟수이다.

제 2그룹의 히스토그램 값은

bin1 = 1, bin2 = 1, bin3 = 0, bin4 = 1, bin5 = 1, bin6 = 1, bin7 = 0, bin8 = 1, 여기서 bini는 주변 픽셀 i의 제 2그룹 누적 횟수이다.

제 3그룹의 히스토그램 값은

bin1 = 0, bin2 = 0, bin3 = 1, bin4 = 0, bin5 = 0, bin6 = 0, bin7 = 0, bin8 = 0, 여기서 bini는 주변 픽셀 i의 제 3그룹 누적 횟수이다.

여기서, 상기와 같은 방법으로 8×8 이미지 블록의 경우 36번의 중심 픽셀과 주변 픽셀의 명암 차이 결과 값을 사용하여, 블록 내의 픽셀에 대한 제 1그룹, 제 2그룹, 제 3그룹의 히스토그램을 완성한다.

도 4는 본 발명의 일 실시예에 따른 하나의 블록에 대한 특징벡터를 생성을 나타내는 예시도로서, 단계 S140에서 생성되는 블록별 특징벡터를 설명한다.

제 1그룹의 diff_i < -T 에서 8개 bin의 히스토그램, 제 2그룹의 -T ≤ diff_i ≤ T 에서 8개 bin의 히스토그램, 제 3그룹의 diff_i > T 에서 8개 bin의 히스토그램을 총 24개 bin의 히스토그램으로 변환을 나타낸 예시도이다.

여기서, 제 1그룹, 제 2그룹, 제 3그룹 히스토그램의 bin1 내지 bin8이 블록의 특징벡터 히스토그램의 bin1 내지 bin24로 매핑되는 순서는 한정되지 않으나, 예를 들어 제 1그룹의 bin1 내지 bin8이 블록의 특징벡터 히스토그램의 bin1 내지 bin8, 제 2그룹의 bin1 내지 bin8이 블록의 특징벡터 히스토그램의 bin9 내지 bin16, 제 3그룹의 bin1 내지 bin8이 블록의 특징벡터 히스토그램의 bin17 내지 bin24로 매핑한다.

도 5는 본 발명의 일 실시예에 따른 영상기반 사람 검출을 위한 특징 추출 에 사용되는 제공 영상의 한 예이다.

예를 들어, 도 5와 같이 64×128의 입력 영상을 8×8 이미지 블록으로 분할할 수 있다. 입력 영상은 영상기반 사람 검출을 위한 특징인 블록별 특징벡터를 계산할 수 있는 총 128개의 이미지 블록(8블록×16블록)로 분할되며, 각 블록당 24개 요소의 특징벡터를 생성할 수 있으므로, 하나의 입력 영상에 대한 특징벡터는 128블록 × 24개 = 3072개의 요소를 가진다.

상술한 바와 같은 방법으로 사람 검출을 위한 특징벡터를 추출하면, 상기의 특징벡터는 3×3 영역의 중심 픽셀과 주변 픽셀과의 명암 차이 값으로 에지 방향성을 가지고, 3×3 영역 단위에서 24개의 bin으로 히스토그램을 생성하기 때문에 3×3 영역의 텍스처 정보를 포함한 패턴정보도 존재한다.

따라서 본 발명은 각 픽셀의 에지 방향 및 텍스처(texture)정보를 모두 포함한 로컬 패턴정보 기반의 특징을 추출하는 영상기반 사람 검출을 위한 특징 추출 방법을 제공한다.

본 발명이 제공하는 사람 검출을 위한 특징 추출 방법은 에지 강도에 의존적이지 않고, 차별성 높은 로컬 패턴 특징을 가지므로, 수직적 에지 방향을 가지는 객체들이 존재하는 영상에서 수직적 에지 방향을 가지는 객체, 예를 들어 가로등을 사람으로 오검출하는 단점을 줄일 수 있다.

도 6은 본 발명의 다른 실시예에 따른 특징 추출 장치의 구성 예시도이다.

입력부(100)는 특징 추출 장치에서 영상기반 사람 검출을 위한 특징 추출을 위해 필요한 영상을 처리부(110)로 제공하는 부분이다. 예를 들어 직접 영상을 획득하는 카메라 또는 기존의 영상을 처리부로 입력할 수 있는 입력 장치가 될 수 있다.

상기 처리부(110)는 상기 입력부(100)가 제공한 영상으로부터 특징을 추출하는 것을 수행하는 부분으로 상술한 영상기반 사람 검출을 위한 특징 추출 방법을 처리하는 모듈 또는 장치로 예를 들어, 영상 처리 프로세서 또는 일반 프로세서 등이다.

저장부(120)는 상기 처리부(110)가 영상으로부터 영상기반 사람 검출을 위한 특징 추출을 수행하는데 필요한 정보를 저장하며, 상기 처리부(110)가 영상으로부터 추출한 영상기반 사람 검출을 위한 특징을 저장한다.

상기의 입력부(100), 처리부(110), 저장부(120)는 하나의 모듈로 사람 검출을 위한 장치에 사용될 수 있다.

이상 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 입력부
110 : 처리부
120 : 저장부

Claims

제공된 영상을 미리 설정한 크기의 블록들로 분할하는 단계;
상기 분할된 각 블록에서 중심 픽셀과 주변 픽셀의 명암 차이 값을 계산하는 단계;
상기 계산된 중심 픽셀과 주변 픽셀의 명암 차이 값을 기초로 하여 각 블록의 특징벡터를 생성하는 단계; 및
상기 블록들의 특징벡터들을 기초로하여 상기 제공된 영상의 특징벡터를 생성하는 단계를 포함하는 사람 검출을 위한 특징 추출 방법.
청구항 1에서,
상기 분할된 각 블록에서 중심 픽셀과 주변 픽셀의 명암 차이 값을 계산하는 단계는,
상기 분할된 블록 내에서 상기 중심 픽셀의 위치를 미리 설정한 픽셀 단위로 슬라이딩하면서 상기 중심 픽셀과 주변 픽셀의 명암 차이 값을 계산하는 것을 특징으로 하는 사람 검출을 위한 특징 추출 방법.
청구항 1에서,
상기 분할된 각 블록에서 중심 픽셀과 주변 픽셀의 명암 차이 값을 계산하는 단계는,
상기 분할된 각 블록에서 3 픽셀 × 3 픽셀 단위로 픽셀을 분할하고, 상기 분할된 3 픽셀 × 3 픽셀에서 중심 픽셀과 주변 픽셀의 명암 차이 값, 8개를 계산하는 것을 특징으로 하는 사람 검출을 위한 특징 추출 방법.
청구항 1에서,
상기 각 블록의 특징벡터를 생성하는 단계는
상기 계산된 복수의 중심 픽셀과 주변 픽셀의 명암 차이 값들로부터 상기 주변 픽셀의 위치와 상기 명암 차이 값을 기초로 하는 히스토그램을 생성하는 단계; 및
상기 히스토그램으로부터 상기 분할된 각 블록의 특징벡터를 생성하는 단계를 포함하는 사람 검출을 위한 특징 추출 방법.
청구항 4에서,
상기 히스토그램을 생성하는 단계는,
상기 계산된 복수의 명암 차이 값들을 미리 설정된 제1 임계값 보다 큰 값, 상기 제1 임계값과 미리 설정된 제2 임계값 사이의 값, 상기 제2 임계값 보다 작은 값으로 구분하여 히스토그램을 생성하는 것을 특징으로 하는 사람 검출을 위한 특징 추출 방법.
영상을 제공하는 입력부;
상기 입력부로부터 제공된 영상을 미리 설정한 크기의 블록들로 분할하고, 상기 분할된 각 블록에서 중심 픽셀과 주변 픽셀의 명암 차이 값을 계산하고, 상기 계산 값을 기초로 하여 상기 각 블록의 특징벡터를 생성하고, 상기 블록들의 특징벡터들로부터 상기 제공된 영상의 특징벡터를 생성하는 처리부; 및
상기 제공된 영상, 상기 계산 값, 상기 각 블록의 특징벡터, 상기 제공된 영상의 특징벡터를 저장하는 저장부를 포함하는 사람 검출을 위한 특징 추출 장치.
청구항 6에서,
상기 처리부는 상기 분할된 블록 내에서 상기 중심 픽셀의 위치를 미리 설정한 픽셀 단위로 슬라이딩하면서 상기 중심 픽셀과 주변 픽셀의 명암 차이 값을 계산하는 것을 특징으로 하는 사람 검출을 위한 특징 추출 장치.
청구항 6에서,
상기 처리부는 상기 분할된 각 블록에서 3 픽셀 × 3 픽셀 단위로 픽셀을 분할하고, 상기 분할된 3 픽셀 × 3 픽셀에서 중심 픽셀과 주변 픽셀의 명암 차이 값, 8개를 계산하는 것을 특징으로 하는 사람 검출을 위한 특징 추출 장치.
청구항 6에서,
상기 처리부는 상기 계산된 복수의 중심 픽셀과 주변 픽셀의 명암 차이 값들로부터 상기 주변 픽셀의 위치와 상기 명암 차이 값을 기초로 하는 히스토그램을 생성하고, 상기 히스토그램으로부터 상기 분할된 각 블록의 특징벡터를 생성하는 것을 특징으로 하는 사람 검출을 위한 특징 추출 장치.
청구항 9에서,
상기 처리부는 상기 계산된 복수의 명암 차이 값들을 미리 설정된 제1 임계값 보다 큰 값, 상기 제1 임계값과 미리 설정된 제2 임계값 사이의 값, 상기 제2 임계값 보다 작은 값으로 구분하여 히스토그램을 생성하는 것을 특징으로 하는 사람 검출을 위한 특징 추출 장치.