KR101601564B1 - 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치 - Google Patents

얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR101601564B1
KR101601564B1 KR1020140194188A KR20140194188A KR101601564B1 KR 101601564 B1 KR101601564 B1 KR 101601564B1 KR 1020140194188 A KR1020140194188 A KR 1020140194188A KR 20140194188 A KR20140194188 A KR 20140194188A KR 101601564 B1 KR101601564 B1 KR 101601564B1
Authority
KR
South Korea
Prior art keywords
image
face
window
radius
region
Prior art date
Application number
KR1020140194188A
Other languages
English (en)
Inventor
이희재
박연호
이상국
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020140194188A priority Critical patent/KR101601564B1/ko
Application granted granted Critical
Publication of KR101601564B1 publication Critical patent/KR101601564B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치에 관한 것이다. 본 발명에 따르면, 입력 영상의 해상도를 변화시켜서 복수의 피라미드 영상을 획득하는 단계와, 상기 피라미드 영상에 대해 기 설정된 해상도 크기를 가지는 윈도우를 임의 픽셀 간격으로 이동시키면서 복수의 윈도우 영상을 획득하는 단계와, 상기 윈도우 영상을 원형의 내부 영역 및 외부 영역으로 구분하는 단계와, 상기 내부 영역 및 외부 영역을 각각 사각형의 제1 및 제2 영역으로 변환하는 단계와, 상기 제1 및 제2 영역에 대해 각각 슬라이딩 윈도우를 하면서 국부 이진 패턴 연산을 수행하여 상기 제1 및 제2 영역에 대응하는 제1 및 제2 히스토그램을 생성하는 단계, 및 상기 윈도우 영상 별로 생성한 상기 제1 및 제2 히스토그램의 결과를, 훈련 영상에 대해 기 획득한 히스토그램 데이터와 비교하여 상기 윈도우 영상 중에서 얼굴이 포함된 윈도우 영상을 식별하는 단계를 포함하는 얼굴 검출 방법을 제공한다.

Description

얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치{Face detection method using circle blocking of face and apparatus thereof}
본 발명은 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 얼굴의 검출 정확도를 높일 수 있는 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치에 관한 것이다.
인간의 얼굴 데이터는 보안, 의료, 군사, 통계 등 여러 분야에서 각종 정보 수집 및 처리에 유용하게 이용할 수 있는 중요한 정보이다. 얼굴을 검출하는 기술은 얼굴 인식, 얼굴 검증/인증, 머리 자세 추적, 얼굴 표정 추적/인식, 성별/나이 인식 등을 위한 필수적인 과제이다. 얼굴 검출의 목적은 임의의 영상이 주어졌을 때 크기, 위치, 방향성(in-plane rotation), 자세(out-of-plane rotation), 얼굴 표정, 조명 조건, 가려짐 등의 의한 문제를 해결하고 얼굴의 위치와 크기를 반환하기 위함이다.
얼굴 검출을 위한 방법으로 특징점 기술자(feature descriptor)를 이용하는 다양한 방법들이 제안되어 왔다. 그 중에서 가장 성공적인 특징점 기술자 중 하나는 LBP(Local Binary Pattern)이다. LBP는 높은 식별력과 간단한 연산, 그리고 단조로운 조명 변화(monotonic illumination change)에 민감하지 않은 장점이 있다.
그런데 전체 얼굴 영상에 대해 LBP를 수행하는 경우 얼굴 표현 시 중요한 공간적 정보(얼굴의 형태 및 특징들의 위치)를 포함할 수 없다. 이러한 문제를 해결하기 위해 선행 연구들은 얼굴 영상을 여러 개의 부분영역(sub-region)으로 나누고, 각 부분 영역에서 LBP 히스토그램을 추출한 후 히스토그램들을 연결하여 하나의 히스토그램으로 구성함으로써 공간적으로 향상된 특징점 기술자(spatially enhanced feature descriptor)를 생성하였다. 이와 같은 방법으로 생성된 LBP 히스토그램은 얼굴 영상에 대한 국부 텍스처 정보와 전역적인 얼굴 형태 정보를 모두 포함한다.
도 1은 종래 기술에 따른 얼굴 검출 방법에서 얼굴에 대한 사각 형태의 부분영역화를 나타낸 도면이다. 종래 기술에서는 도 1과 같이 얼굴을 사각 형태의 부분영역으로 나누고 각 부분영역에서 국부 특징점을 추출하였다.
도 1의 (a)와 (b)는 두 사람의 얼굴 영상을 5×5개 블록으로 부분영역화한 것이고 (c)는 사용자 a의 얼굴 영상을 7×7개 블록으로 부분영역화한 것이다. 하지만, 이 방법의 경우 도 1의 (a) 및 (b)와 같이 개인별 얼굴에 따라 각각의 부분영역이 포함하는 주요 얼굴 특징들의 정보에 차이가 발생하게 된다. 즉, 도 1의 (a)와 (b)를 비교하면, 개별 얼굴 영상에 대해 동일한 블록의 개수로 부분영역을 분할하였음에도 불구하고, 얼굴 특징 중에서 코가 존재하는 블록 위치는 얼굴 영상마다 또는 사람에 따라 상이하게 나타난 것을 알 수 있다.
도 2는 종래 기술에 따른 얼굴 검출 방법에서 회전된 얼굴에 대한 사각 형태의 부분 영역화를 나타낸 도면이다. 영상을 사각 형태로 부분영역화 할 경우의 또 다른 문제점은 도 2와 같이 얼굴이 회전(rotation)된 영상의 경우에는 그 회전 각도에 따라 각 부분영역이 포함하는 주요 얼굴 특징들의 정보의 차이가 더욱 극심해진다는 점이다.
이와 같이 열굴 영역을 사각 형태로 부분 영역화하는 방법을 사용하는 경우 연구자들마다 얼굴 영역을 실험에 사용된 데이터베이스에 적합한 임의 개수의 부분영역들로 나누게 된다. 이에 따르면 다음과 같은 문제점이 존재한다.
첫째, 사각형 블록에 의한 방법으로 생성되는 LBP 히스토그램 결과는 얼굴의 부분영역의 위치와 크기에 따라 달라진다. 또한 사람마다 중요 얼굴 특징(눈, 코, 입 등)의 크기와 위치가 다르기 때문에 부분영역에 동일한 얼굴 특징 정보를 포함할 수 없다. 특히, 앞서와 같이 얼굴이 회전한 경우 각 부분영역에서 추출하는 특징점 기술자들이 극명하게 달라진다.
둘째, 부분영역의 수에 비례하여 LBP 히스토그램 차원이 늘어남으로써 특징점 기술자의 길이가 증가되는데 이러한 점은 수행속도에 큰 영향을 미친다. 예를 들어 얼굴 영상을 9개의 부분영역(3×3)을 나눈 경우, LBP가 기본적으로 각 부분영역마다 256차원의 코드를 생성하기 때문에, 총 2304(3×3×256)차원의 LBP 특징점 기술자가 생성되고, 이는 연산의 복잡도를 증가시키는 요인이 된다.
따라서, 종래의 사각형 블록에 의한 기술자 생성 기법의 경우, 사람의 종류, 얼굴의 회전 등에 강인하지 못하여 얼굴 검출의 정확도가 매우 떨어지는 단점이 있으며 검출 과정에서 차원의 수가 증가하여 연산의 복잡도가 증가되고 검출 속도를 저하시키는 문제점이 있다.
본 발명의 배경이 되는 기술은 한국공개특허 제2011-0139864호(2011.12.30 공개)에 개시되어 있다.
본 발명은, 얼굴의 회전에 강건한 특징점 기술자를 생성할 수 있으며 특징점 기술자의 차원의 수를 크게 줄일 수 있는 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치를 제공하는데 목적이 있다.
본 발명은, 입력 영상의 해상도를 변화시켜서 복수의 피라미드 영상을 획득하는 단계와, 상기 피라미드 영상에 대해 기 설정된 해상도 크기를 가지는 윈도우를 임의 픽셀 간격으로 이동시키면서 복수의 윈도우 영상을 획득하는 단계와, 상기 윈도우 영상을 원형의 내부 영역 및 외부 영역으로 구분하는 단계와, 상기 내부 영역 및 외부 영역을 각각 사각형의 제1 및 제2 영역으로 변환하는 단계와, 상기 제1 및 제2 영역에 대해 각각 슬라이딩 윈도우를 하면서 국부 이진 패턴 연산을 수행하여 상기 제1 및 제2 영역에 대응하는 제1 및 제2 히스토그램을 생성하는 단계, 및 상기 윈도우 영상 별로 생성한 상기 제1 및 제2 히스토그램의 결과를, 훈련 영상에 대해 기 획득한 히스토그램 데이터와 비교하여 상기 윈도우 영상 중에서 얼굴이 포함된 윈도우 영상을 식별하는 단계를 포함하는 얼굴 검출 방법을 제공한다.
여기서, 상기 국부 이진 패턴 연산은, LBP(Local Binary Pattern) 또는 ULBP(Uiform Local Binary Pattern) 연산일 수 있다.
또한, 상기 얼굴 검출 방법은, 상기 윈도우 영상에 대해 생성한 상기 제1 및 제2 히스토그램을 연결하여 단일 히스토그램을 생성하는 단계를 더 포함하며, 상기 히스토그램 데이터와 비교하는 단계는, 상기 윈도우 영상에 대해 생성한 단일 히스토그램을 상기 훈련 영상에 대해 기 획득한 단일 히스토그램과 비교할 수 있다.
또한, 상기 내부 영역은, 상기 윈도우 영상의 중심을 기준으로 제1 반경을 가지는 원 형태이며, 상기 외부 영역은, 상기 윈도우 영상의 중심을 기준으로 상기 제1 반경보다 큰 제2 반경을 가지는 원 형태에서 상기 내부 영역을 제외한 영역일 수 있다.
또한, 상기 얼굴 검출 방법은, 임의 사용자의 얼굴이 포함된 적어도 하나의 상기 훈련 영상에 대해 상기 내부 영역 및 상기 외부 영역을 이용하여 각각 획득한 상기 히스토그램 데이터를 데이터베이스에 구축하는 단계를 더 포함할 수 있다.
여기서, 상기 내부 영역은 얼굴 중 코를 포함하는 영역에 대응하고 상기 외부 영역은 얼굴 중 눈과 입을 포함하는 영역에 대응할 수 있다.
또한, 상기 제1 반경 및 상기 제2 반경의 비는 2:5일 수 있다.
여기서, 상기 내부 및 외부 영역을 제1 및 제2 영역으로 변환하는 단계는 아래의 수학식을 사용할 수 있다.
Figure 112014128129855-pat00001
여기서, Rx(ρ,θ), Ry(ρ,θ)는 상기 내부 영역 또는 상기 외부 영역 내에 존재하는 임의의 좌표점인 x(θ), y(θ)을 해당되는 사각형의 상기 제1 영역 또는 상기 제2 영역 내의 좌표로 변환한 것이며, θ는 0과 360 사이의 값이고, ρ는 [0 : ρinc : 1]의 간격으로 주어지는 값으로서 상기 간격을 정의하는 ρinc의 값은
Figure 112014128129855-pat00002
로 정의되며, Cix(θ), Ciy(θ), C0x(θ), C0y(θ)는 아래의 수학식으로 정의될 수 있다.
Figure 112014128129855-pat00003
여기서, Cic_x, Cic_y는 상기 제1 반경에 해당하는 내부 원(Ci)의 중심점 좌표, Cir은 상기 내부 원(Ci)의 반경인 상기 제1 반경, C0r은 외부 원(C0)의 반경인 상기 제2 반경을 나타낼 수 있다.
그리고, 본 발명은, 입력 영상의 해상도 크기를 변화시켜서 복수의 피라미드 영상을 획득하는 피라미드 영상 획득부와, 상기 피라미드 영상에 대해 기 설정된 해상도 크기를 가지는 윈도우를 임의 픽셀 간격으로 이동시키면서 복수의 윈도우 영상을 획득하는 윈도우 이동부와, 상기 윈도우 영상을 원형의 내부 영역 및 외부 영역으로 구분하는 부분영역 설정부와, 상기 내부 영역 및 외부 영역을 사각형의 제1 및 제2 영역으로 변환하는 영역 변환부와, 상기 제1 및 제2 영역에 대해 각각 슬라이딩 윈도우를 하면서 국부 이진 패턴 연산을 수행하여 상기 제1 및 제2 영역에 대응하는 제1 및 제2 히스토그램을 생성하는 히스토그램 생성부, 및 상기 윈도우 영상 별로 생성한 상기 제1 및 제2 히스토그램의 결과를, 훈련 영상에 대해 기 획득한 히스토그램 데이터와 비교하여 상기 윈도우 영상 중에서 얼굴이 포함된 윈도우 영상을 식별하는 얼굴 식별부를 포함하는 얼굴 검출 장치를 제공한다.
본 발명에 따른 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치에 따르면, 얼굴을 원형 형태의 두 부분영역으로 분할함에 따라 얼굴 회전에 강인한 특징점 기술자를 생성할 수 있으며, 인간의 평균적인 얼굴 비율에 근거하여 구분한 적은 수의 두 부분영역을 사용함에 따라 특징점 기술자의 차원의 수를 크게 감소시켜서 연산의 복잡도 및 얼굴 검출의 소요 시간을 크게 줄일 수 있는 이점이 있다.
도 1은 종래 기술에 따른 얼굴 검출 방법에서 얼굴에 대한 사각 형태의 부분영역화를 나타낸 도면이다.
도 2는 종래 기술에 따른 얼굴 검출 방법에서 회전된 얼굴에 대한 사각 형태의 부분 영역화를 나타낸 도면이다.
도 3은 본 발명의 실시예에 다른 얼굴의 원형 블록화를 이용한 얼굴 검출 장치의 구성도이다.
도 4는 도 3의 장치를 이용한 얼굴 검출 방법의 흐름도이다.
도 5는 도 4에 대응하는 흐름도이다.
도 6은 본 발명의 실시예에서 피라미드 영상을 획득하는 개념을 나타내는 도면이다.
도 7은 본 발명의 실시예에서 피라미드 영상에 슬라이딩 윈도우를 적용하는 개념을 나타내는 도면이다.
도 8은 본 발명의 실시예에서 얼굴의 평균 비율에 기반한 원형 형태의 부분 영역화의 예를 나타내는 도면이다.
도 9는 도 8의 방법을 사용하여 각각의 얼굴을 두 개의 영역으로 부분 영역화한 예시도이다.
도 10은 본 발명의 실시예에서 정면 얼굴과 회전한 얼굴을 대상으로 부분 영역화를 수행한 예시도이다.
도 11은 본 발명의 실시예에서 원형 형태의 부분영역의 영상을 사각 형태의 영상으로 변환한 결과를 나타내는 예시도이다.
도 12는 본 발명의 실시예에서 사각형 영역에 대해 국부 이진 패턴 연산을 수행하는 예시도이다.
도 13은 종래에 따른 사각형 블록화를 이용한 히스토그램의 결과를 나타내는 도면이다.
도 14는 본 발명의 실시예에 따른 원형 블록화를 이용한 히스토그램 결과를 나타내는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
본 발명은 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치에 관한 것으로서, 인간의 평균적인 얼굴 비율에 기반하여 얼굴 이미지를 원형 형태의 두 부분영역으로 분할하여 특징점 기술자를 생성함에 따라 얼굴 검출의 정확도를 높일 수 있는 얼굴 검출 방법을 제공한다.
이하에서는 본 발명의 실시예에 따른 얼굴 검출 장치 및 그 방법에 관하여 상세히 설명한다. 도 3은 본 발명의 실시예에 다른 얼굴의 원형 블록화를 이용한 얼굴 검출 장치의 구성도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 얼굴 검출 장치(100)는 피라미드 영상 획득부(110), 윈도우 이동부(120), 부분영역 설정부(130), 영역 변환부(140), 히스토그램 생성부(150), 얼굴 식별부(160), 데이터베이스부(170)를 포함한다.
피라미드 영상 획득부(110)는 입력 영상에 대한 해상도를 변화시키면서 복수의 피라미드 영상을 획득하는 부분이다. 피라미드 영상의 획득은 기 공지된 가우시안 피라미드(Gaussian pyramid) 기법을 이용할 수 있다. 가우시안 피라미드에 의하면 입력 영상의 해상도를 다양한 크기로 감소시켜서 크기가 상이한 다수의 피라미드 영상을 획득할 수 있다.
윈도우 이동부(120)는 상기 피라미드 영상에 대해 기 설정된 해상도 크기(ex, 20×20 픽셀)를 가지는 윈도우를 임의 픽셀 간격(ex, 2 픽셀 간격)으로 이동시키면서 복수의 윈도우 영상을 획득하는 부분이다. 이와 같이 윈도우 이동부(120)는 슬라이딩 윈도우를 이용하여 하나의 피라미드 영상에 대해 다수의 윈도우 영상을 획득하는데 이는 얼굴이 포함된 영역을 탐색하기 위한 것이다.
부분영역 설정부(130)는 윈도우 영상 각각에 대해 윈도우 영상을 원형의 내부 영역 및 그 바깥의 외부 영역으로 구분한다. 윈도우 영상을 내부 영역과 외부 영역으로 구분하는 이유는 해당 영상에 얼굴이 포함되어 있다고 가정할 때 영상의 중앙에 해당하는 내부 영역은 코 부분에 대응할 수 있으며 그 밖의 외부 영역은 눈과 입 부분에 대응할 수 있기 때문이다.
이와 같이 영상 내에서 분할한 두 영역이 원형인 경우에는 얼굴의 회전 시에도 두 영역에 포함하는 주요 얼굴 특징은 동일하게 유지될 수 있다. 본 발명의 실시예에서는 이와 같이 윈도우 영상을 두 개의 원형 영역으로 구분하므로 얼굴의 회전에 강건한 특징점 기술자를 생성할 수 있으며 얼굴의 식별 능력을 향상시킬 수 있다.
영역 변환부(140)는 상기 내부 영역 및 내부 영역을 사각 형태의 제1 영역 및 제2 영역으로 각각 변환한다. 이러한 영상의 변환은 각 영역에 대한 히스토그램(특징점 기술자)의 생성을 용이하게 하기 위한 과정에 해당된다.
히스토그램 생성부(150)는 이 제1 영역 및 제2 영역에 대해 각각 슬라이딩 윈도우를 하면서 국부 이진 패턴 연산을 수행하여, 상기 제1 및 제2 영역에 대응하는 제1 및 제2 히스토그램을 생성하고 이들을 하나로 연결한 단일 히스토그램을 생성한다. 이때, 사용되는 국부 이진 패턴 연산은 LBP(Local Binary Pattern) 또는 ULBP(Uiform Local Binary Pattern) 연산에 해당될 수 있다.
얼굴 식별부(160)는 이 단일 히스토그램의 결과를, 상기 윈도우 영상과 동일한 크기의 훈련 영상에 대해 기 획득한 단일 히스토그램과 비교하여 얼굴 인식을 수행한다. 물론, 이를 위해 데이터베이스부(170)는 임의 사용자의 얼굴이 포함된 적어도 하나의 훈련 영상에 대해 내부 영역 및 외부 영역을 이용하여 각각 획득한 히스토그램들을 연결한 단일 히스토그램 데이터를 저장하고 있다. 예를 들어, 본 실시예는 얼굴 영역만을 잘라낸 20×20 픽셀 크기의 훈련 영상에 대하여 원형 형태의 부분영역화를 통한 단일 히스토그램을 미리 생성하고 저장하여 둔다.
이에 따라 얼굴 식별부(160)는 다수의 피라미드 영상 중에서 첫 번째 피라미드 영상에 대해 획득한 복수의 윈도우 영상마다 단일 히스토그램의 결과를 획득하고 그 결과를 데이터베이스부(170)에 기 저장된 훈련 영상에 대한 단일 히스토그램 결과와 비교한다. 물론 이러한 과정을 다음번 피라미드 영상에 대해서도 같은 방법으로 수행하도록 한다. 그러면, 전체 피라미드 영상을 대상으로 하는 모든 윈도우 영상 중에서 얼굴이 포함된 윈도우 영상이 탐색될 수 있다.
물론 입력 영상이 얼굴이 포함된 영상일 경우라면 전체 피라미드 영상에 대한 상기의 동작을 스캔한 결과 얼굴이 포함된 윈도우 영상이 적어도 하나 식별될 수 있을 것이다. 이상과 같은 본 발명의 실시예에 따른 얼굴 검출 방법은 원형 형태의 부분영역을 사용하기 때문에 얼굴의 회전 시에도 내부 영역과 외부 영역에 대한 히스토그램 데이터에 큰 변화가 발생하지 않으며 얼굴 식별의 정확도를 높인다.
도 4는 도 3의 장치를 이용한 얼굴 검출 방법의 흐름도이고, 도 5는 도 4에 대응하는 흐름도이다. 이하에서는 도 4 및 도 5를 참조하여 본 발명의 실시예에 따른 얼굴 검출 방법을 상세히 설명한다.
우선, 임의의 훈련 영상(트레이닝 영상)들에 대한 특징점 기술자들의 데이터를 사전에 구축하여 둔다. 즉, 훈련 영상들을 대상으로 원형의 부분영역화를 수행하고 그에 따른 히스토그램 결과를 생성하여 이를 데이터베이스부(170)에 저장한다.
여기서, 훈련 영상이란 앞서 설명한 바와 같이 얼굴 영역만을 잘라낸 20×20 픽셀 크기의 영상으로서, 얼굴의 눈썹 위부터 입술의 아래까지에 해당하는 얼굴의 길이와 얼굴의 너비를 각각 20 픽셀로 하는 가로 및 세로 크기가 동일한 영상들을 의미한다.
다음, 얼굴 식별이 요구되는 입력 영상(테스트 영상)을 입력받는다. 입력 영상은 얼굴이 포함된 영상일 수도 혹은 그렇지 않은 영상일 수도 있다. 다만 얼굴이 포함된 영상이라면 본 실시예의 방법을 통해 얼굴의 존재가 식별될 것이며 이로부터 영상 속에 사람이 있다고 확인될 수 있다.
이러한 본 발명의 실시예는 영상 내에 사람이 존재하는지의 여부를 바탕으로 동작하는 보안 및 방범 시스템 등에 활용될 수 있다. 이하에서는 설명의 편의를 위해 입력 영상은 사람의 얼굴이 포함된 영상인 것으로 가정한다. 또한 입력 영상은 회전이 발생한 얼굴을 포함할 수 있다.
이후에는 상기 입력 영상으로부터 다양한 크기의 피라미드 영상을 획득하도록 한다. 피라미드 영상을 획득하는 이유는 실제 입력 영상 내에 존재하는 얼굴의 크기가 상기 트레이닝에 사용된 훈련 영상의 크기와는 상이한 경우가 대부분이기 때문이다.
즉, 입력 영상 내에 얼굴의 존재 여부를 인식하기 위해서는 실제 훈련 영상과 거의 동일한 해상도 사이즈의 얼굴 영역이 탐색되어야 하며 이를 위하여 입력 영상에 대해 다양한 크기의 피라미드 영상 획득이 요구된다.
물론 추후 이들 다수의 피라미드 영상에 대해 20×20 픽셀 크기의 윈도우를 개별적으로 이동시켜서 각각의 윈도우 영상에 대한 히스토그램을 생성하고 이를 훈련 영상에 대한 히스트그램과 비교하는 과정을 통해 상기 입력 영상 내에 얼굴이 존재하는지의 여부를 인식할 수 있으며 또한 얼굴이 존재하는 영역의 위치도 탐색할 수 있게 된다.
이를 위하여, 우선 피라미드 영상 획득부(110)는 입력 영상의 해상도를 변화시켜서 복수의 피라미드 영상을 획득한다(S410). 본 발명의 실시예에서 피라미드 영상의 획득은 가우시안 피라미드 기법을 이용할 수 있다. 가우시안 피라미드는 기 공지된 이미지 처리 기법 중 하나로서 하나의 입력 영상으로부터 해상도(resolution)가 줄어든 연속적인 이미지들 즉, 피라미드 영상들을 얻는 방법에 해당된다.
도 6은 본 발명의 실시예에서 피라미드 영상을 획득하는 개념을 나타내는 도면이다. 도 6의 (a)는 원본 영상으로부터 다수의 피라미드 영상을 각각의 레벨(level) 별로 획득하는 개념을 나타내는 도면이고, (b)는 그 하나의 예시로서 원본 영상의 해상도를 절반씩 축소하면서 다수의 피라미드 영상을 연속적으로 획득하는 예를 나타내는 도면이다.
일반적으로 가우시안 피라미드는 입력 영상과 가우시안 커널의 콘볼루션을 통해 이루어지며, 각 레벨별로 영상의 가로 및 세로 크기를 각각 가우시안 커널의 크기만큼 감소시켜 다수의 영상을 생성한다. 이를 통해 입력 영상으로부터 다양한 해상도 크기의 얼굴 영상을 검출할 수 있다.
영상 크기의 감소 함수는 다음의 수학식 1을 참조한다.
Figure 112014128129855-pat00004
여기서, N은 가우시안 커널의 사이즈, GKN은 N크기의 가우시안 커널, l은 가우시안 피라미드의 레벨, 그리고 x,y는 영상의 좌표, i,j는 가우시안커널의 좌표이다.
N사이즈의 2차원 가우시안 커널은 다음의 수학식 2를 통해 생성된다.
Figure 112014128129855-pat00005
이때,
Figure 112014128129855-pat00006
이며, a는 근사화 요소이다.
이후에는 입력 영상 내에서 얼굴 영역을 탐색하기 위한 방법으로, 앞서 S410 단계에서 획득한 각각의 피라미드 영상에 대해 부분 윈도우 이동 즉, 슬라이딩 윈도우(sliding window)를 적용한다.
즉, 윈도우 이동부(120)는 상기 피라미드 영상을 대상으로 임의 해상도 크기(훈련 영상과 동일한 크기)를 가지는 윈도우를 임의 픽셀 간격으로 이동시키면서 복수의 윈도우 영상을 획득한다(S420).
도 7은 본 발명의 실시예에서 피라미드 영상에 슬라이딩 윈도우를 적용하는 개념을 나타내는 도면이다. 도 7은 하나의 피라미드 영상에 대해 20×20 픽셀 크기를 가지는 윈도우를 좌측 상단부터 우측 하단까지 2 픽셀씩 이동시키면서 다수의 윈도우 영상을 획득하는 과정을 나타낸다. 이러한 방법으로 각각의 피라미드 영상마다 그에 대응한 다수의 윈도우 영상이 획득된다.
여기서, 입력 영상에서 얻어진 복수의 피라미드 영상 간에는 해상도가 모두 상이하기 때문에 각각의 피라미드 영상마다 획득되는 윈도우 영상의 개수 또한 상이하게 될 것이다. 예를 들면, 해상도가 낮은 피라미드 영상일수록 슬라이딩 윈도우에 의해 획득되는 윈도우 영상의 개수는 작아질 것이다.
다음, 부분영역 설정부(130)는 상기 얻어진 윈도우 영상을 원형의 내부 영역 및 내부 영역 밖의 외부 영역으로 구분한다(S430). 윈도우 영상을 내부 및 외부 영역으로 구분하는 원리는 이하에서 상세히 설명한다.
도 8은 본 발명의 실시예에서 얼굴의 평균 비율에 기반한 원형 형태의 부분 영역화의 예를 나타내는 도면이다. 여기서 설명의 편의를 위해 해당 윈도우 영상 내에는 얼굴이 존재하는 것으로 가정한다. 물론 훈련 영상의 경우 또한 이하에서 설명하는 원리에 의해 얼굴의 부분 영역화를 사전에 수행한 것으로 가정한다.
도 8을 참조하면, S430 단계에서는 윈도우 영상을 내부 영역(10)과 외부 영역(20)으로 구분한다. 이때 내부 영역(10)은 윈도우 영상의 중심을 기준으로 제1 반경을 가지는 원 형태를 가진다. 그리고, 외부 영역(20)은 윈도우 영상의 중심을 기준으로 제1 반경보다 큰 제2 반경을 가지는 원 형태에서 상기 내부 영역(10)을 제외한 영역으로서 실질적으로 도너츠 형태를 가진다.
그 두 영역에 대한 구체적인 반경 비를 설명하면 다음과 같다. 인간 얼굴의 평균적인 너비를 1로 보았을 때, 코는 0 내지 2/5에 해당하는 영역 내에 위치하고, 눈과 입은 2/5 내지 5/5에 해당하는 영역 내에 위치한다.
따라서, 본 발명의 실시예는 원의 중심으로부터 2/5 지점까지는 내부 영역(10)으로 구분하고 2/5 내지 5/5 지점까지는 외부 영역(20)으로 구분한다. 즉, 내부 영역(10)은 코를 포함하는 영역에 대응하고, 외부 영역(20)은 얼굴 중 눈과 입을 포함하는 영역에 대응하게 된다.
이와 같이 본 발명의 실시예는 인간의 평균적인 얼굴 비율을 바탕으로 얼굴을 원형 형태의 두 개의 부분영역으로 구분하고 있다. 앞서의 원리에 따라 제1 반경 및 제2 반경의 비는 2:5의 비율로 설정될 수 있다. 다만, 이 비율은 대표 값으로서 항상 고정된 것은 아니며 언제든지 변경될 수 있다.
도 9는 도 8의 방법을 사용하여 각각의 얼굴을 두 개의 영역으로 부분 영역화한 예시도이다. 이는 앞서의 2:5의 비율을 두 사람의 얼굴 영상에 적용한 것으로서, 얼굴은 상이하지만 두 영상 모두 코 부분은 내부 영역에, 눈과 입 부분은 외부 영역에 들어온 것을 확인할 수 있다.
도 10은 본 발명의 실시예에서 정면 얼굴과 회전한 얼굴을 대상으로 부분 영역화를 수행한 예시도이다. 도 10의 (a)는 정면 얼굴에 해당하고 (b)는 정면으로부터 반시계 방향으로 30도 회전한 얼굴에 해당한다.
이 두 경우 모두에 있어, 코 부분은 내부 영역에 위치하고, 눈과 입 부분은 외부 영역에 위치한 것을 알 수 있다. 즉, 얼굴의 회전 시에도 코 부분은 내부 영역 내의 위치에 존재하고 있으며 눈과 입 부분 또한 외부 영역 내의 위치에 존재하고 있다. 따라서 본 발명의 실시예에 따른 원형 영역화를 이용할 경우에는 얼굴의 회전에도 강건한 특징점 기술자를 생성할 수 있게 된다.
이후에는 이 원형의 두 영역을 펼쳐서 각각 사각형의 두 영역으로 변환하는 과정을 필요로 한다. 이는 히스토그램 생성의 용이성을 위한 것으로서 사각형의 영역 상에서 국부 이진 패턴 연산을 수행하도록 하기 위함이다.
이를 위해, 먼저 영역 변환부(140)는 상기 내부 영역은 사각형의 제1 영역으로, 외부 영역은 사각형의 제2 영역으로 변환한다(S440). 이러한 S440 단계는 원형형태의 부분영역들에서 ULBP 특징점들을 추출하기 위해, 원형영역을 사각형태의 영상으로 변환하는 과정이 필요하며, 그 방법은 다음과 같다.
먼저, 제1 반경(Cir)에 해당하는 내부 원(Ci) 위에 존재하는 좌표점들과, 제 반경(C0r)에 해당하는 외부 원(C0) 위에 존재하는 좌표점들은 아래의 수학식 3과 같이 정의한다.
Figure 112014128129855-pat00007
수학식 3에서 Cir은 내부 원(Ci)의 반경(제1 반경), C0r은 외부 원(C0)의 반경(제2 반경)을 나타낸다. 그리고, θ는 0과 360 사이의 값을 가진다.
쉽게 말해, 수학식 3의 Cix(θ), Ciy(θ)는 내부 원(Ci)의 중심점 좌표(Cic_x, Cic_y)을 기준으로 θ 각도 상에 존재하는 내부 원(Ci) 위의 좌표들을 의미한다. 외부 원(C0)에 대한 C0x(θ), C0y(θ)의 경우도 이와 마찬가지이다. 본 실시예에서 두 원(Ci, C0)의 중심점 좌표는 동일하므로(Cic_x = C0c_x, Cic_y = C0c_y), 수학식 3은 그 중심점을 Cic_x, Cic_y 값으로 통일하여 사용하고 있다.
이상과 같은 수학식 3에 따른 두 원에 대한 좌표점 정의를 이용하면, 원 내부에 존재하는 임의의 좌표를 사각형 영역 내의 좌표로 변환하는 것이 가능해진다. 원(C;Circle)에서 사각형(R;rectangle)으로의 매핑 공식은 수학식 4와 같다.
Figure 112014128129855-pat00008
여기서, Rx(ρ,θ), Ry(ρ,θ)는 원형의 내부 영역 또는 그 바깥의 외부 영역 내에 존재하는 임의의 좌표점 x(θ), y(θ)을 사각형 형태의 제1 영역 또는 제2 영역 내의 좌표로 변환한 것을 나타낸다. 이는 두 영역에 대해 공통으로 사용되는 수식이다. 즉, 수학식 4를 이용하면, 두 개의 부분영역 중에서 내부 영역의 좌표에 대해서는 사각형의 제1 영역으로 매핑 가능하고, 그 바깥의 외부 영역의 좌표에 대해서는 사각형의 제2 영역으로 매핑 가능하다.
다시 말해서, 수학식 3의 정의를 이용하면 원의 내부에 있는 점들을 사각형 내부의 점들로 매핑할 수 있다. 수학식 4를 참조하면, 사각 영역의 내에 매핑된 x축 좌표 Rx(ρ,θ)는 수학식 3의 Cix(θ)와 C0x(θ) 및 ρ의 조합에 의해 얻을 수 있다. 같은 원리로, 사각형 영역에 매핑된 y축 좌표 Ry(ρ,θ)는 수학식 3의 Ciy(θ)와 C0y(θ) 및 ρ의 조합에 의해 얻을 수 있다.
여기서, ρ는 [0 : ρinc : 1]의 간격으로 주어지는 값으로서, 상기 간격을 정의하는 ρinc의 값은
Figure 112014128129855-pat00009
로 정의될 수 있다. 그 예로서 C0r=5, Cir=2라면, ρinc=0.33이 되고, ρ는 0과 1 내에서 0.33, 0.66, 0.99로 각각 주어지게 된다. ρ 값 별로 수학식 4를 구하면 해당 영역의 좌표들을 사각형 영역의 좌표로 매핑할 수 있다. 두 원의 반경 차가 클수록 ρinc의 값은 작아지게 될 것이다.
도 11은 본 발명의 실시예에서 원형 형태의 부분영역의 영상을 사각 형태의 영상으로 변환한 결과를 나타내는 예시도이다. 도 11에 도시된 내부 영역과 외부 영역을 각각 펼치면 오른쪽 그림과 같이 눈과 입이 포함된 사각형의 외부 영역과, 코가 포함된 사각형의 내부 영역으로 변환될 수 있다.
이와 같이, 하나의 윈도우 영상에서 두 개의 사각형 영역이 변환될 수 있다. 본 발명의 실시예에서는 이 두 영역을 대상으로 국부 이진 패턴 연산을 수행하여 상기 윈도우 영상에 대응하는 히스토그램을 얻는다.
여기서, 히스토그램 생성부(150)는 사각형으로 변환된 상기 제1 및 제2 영역에 대해 각각 슬라이딩 윈도우를 하면서 국부 이진 패턴 연산을 수행하여 상기 제1 및 제2 영역에 대응하는 제1 및 제2 히스토그램을 생성한다(S450).
국부 이진 패턴 연산은 LBP 또는 ULBP를 수행할 수 있다. 이하에서는 설명의 편의를 위해 LBP 방법을 예시한다.
도 12는 본 발명의 실시예에서 사각형 영역에 대해 국부 이진 패턴 연산을 수행하는 예시도이다. 도 12에 도시된 사각형 영역은 제1 영역 또는 제2 영역에 해당되는 부분으로서, 설명의 편의를 위해 제1 영역인 것으로 가정한다.
국부 이진 패턴은 상기 제1 영역에서 3×3 영역을 추출하고 이를 1 픽셀씩 슬라이딩 윈도우를 하면서, 3×3 영역 내의 중심 픽셀의 밝기 값을 그와 이웃한 8개의 픽셀들의 밝기 값과 비교하고 이를 통하여 중심 픽셀에 대한 텍스처 정보를 산출하는 방법이다.
구체적으로는 이웃 픽셀이 중심 픽셀보다 크거나 같으면 이웃 픽셀에 1을 할당하고, 작으면 이웃 픽셀에 0을 할당한다. 이로부터 3×3 영역을 8비트를 가지는 이진수의 패턴(11010010)으로 나타낼 수 있다. 도 12의 경우 이진수의 패턴을 십진수로 나타내면 210로 연산되며 이 연산된 210은 중심 픽셀에 대입된다. 이와 같은 과정을 슬라이딩 윈도우를 통해 반복하면 모든 픽셀에 대한 LBP 값이 얻어진다.
수학식 5는 임의의 중심 픽셀(xc,yc)에 대한 LBP 연산 값인 LBPP ,R(xc,yc)을 수식으로 표현한 것이다.
Figure 112014128129855-pat00010
여기서, gp는 이웃 픽셀의 밝기 값, gc는 중심 픽셀의 밝기 값을 나타낸다. 이러한 수학식 5는 기 공지된 수식에 해당된다.
이와 같이 제1 영역을 구성하는 각 픽셀에 대하여 LBP 연산을 수행한 이후에는 그 결과에 대응하는 제1 히스토그램을 생성할 수 있다. 히스토그램의 x축은 0~255의 값으로 나타내어 지고 y축은 이 0~255 값에 해당하는 중심 픽셀의 수로 나타내어 진다. 물론 이와 같은 방법을 제2 영역에 대해서도 수행하면 제2 히스토그램이 생성된다. 제1 및 제2 히스토그램은 모두 256 차원으로 표현되는데, 본 실시예에서는 두 히스토그램을 하나로 연결하여 총 512 차원을 가지는 단일 히스토그램을 생성한다.
상기 히스토그램의 생성에는 LBP 이외에도 ULBP 연산을 사용할 수도 있다. ULBP 방식은 LBP 특징 중 최대 2번의 비트변환이 일어나는 58개의 특정 패턴들이 다른 패턴들보다 더 많은 정보를 포함한다는 사실에 근거하여 제안된 것이다. 기존 LBP가 8개의 이웃한 픽셀에 대해 총 256(28)차원으로 표현된다면 ULBP는 총 59개(유니폼 패턴 58개 + 비-유니폼패턴의 집합 1)차원으로 표현될 수 있다. 따라서, ULBP 연산을 이용할 경우 LBP 연산을 이용할 경우보다 특징점 기술자의 길이가 크게 더 줄어들 뿐만 아니라 불필요한 정보들을 최소화할 수 있고 정확도를 더욱 향상시킬 수 있다.
한편, 이상과 같은 히스토그램의 생성은 상기 피라미드 영상에 대해 얻어진 복수의 윈도우 영상에 대하여 개별적으로 수행된다. 여기서, 얼굴 식별부(160)는 윈도우 영상 별로 생성한 단일 히스토그램을 훈련 영상에 대해 기 획득한 단일 히스토그램 데이터와 비교하여, 상기 윈도우 영상 중에서 얼굴이 포함된 윈도우 영상을 식별하게 된다(S460).
이때, 복수의 피라미드 영상 중에서, 우선 첫 번째 피라미드 영상으로부터 얻어진 복수의 윈도우 영상에 대해 얼굴 식별을 수행한 다음, 그 다음번의 피라미드 영상으로부터 얻어진 복수의 윈도우 영상에 대해서 얼굴 식별을 수행하며, 이러한 과정을 각 피라미드 영상에 대하여 반복하여 수행하도록 한다.
입력 영상 내에서 얼굴 영상을 검출하기 위한 방법으로, 본 발명의 실시예는 SVM(Support Vector Machine)을 이용하여 데이터베이스부(170)에 저장된 얼굴 특징점 기술자들과 입력 영상의 얼굴 특징점 기술자들을 식별한다.
SVM은 높은 예측 정확성 때문에 많은 선형, 비선형 분류 문제에 폭 넓게 사용되고 있는 기 공지된 식별 모델로서 기본 원리는 구조적 위험(Structural risk)의 최소화이다. 이를 바탕으로 SVM은 두 개의 클래스(얼굴과 비-얼굴) 사이에서 여백(margin)이 최대가 되는 가장 좋은 결정 초평면(hyperplane)을 찾는다. 이렇게 구해진 초평면은 결정 경계라고도 하며, 이 결정 경계에 가장 가까운 클래스들의 데이터를 support vector라고 한다.
분류 문제가 비선형일 경우, 커널을 사용하여 데이터를 고차원으로 사상시킴으로써 선형 분리가 되도록 만든다. SVM은 다음 수학식 6과 같이 정의된다.
Figure 112014128129855-pat00011
여기서 ti는 -1 또는 1인 ideal 출력으로 클래스 0 또는 클래스 1에 해당하는 것을 나타내고, x는 support vector, b는 2차 분류 문제를 풀기 위한 바이어스 상수이다. k(·,·)는 데이터를 고차원으로 사상시키는 커널 함수이다. αi는 조건부 최적화 문제를 해결하기 위해 사용하는 라그랑제 승수(Lagrangian multiplier)로
Figure 112014128129855-pat00012
이고 αi>0이다.
이하에서는 본 발명의 실시예에 따른 원형 블록화를 이용한 방법과 종래에 따른 사각형 블록화를 이용한 방법을 사용할 경우에 대한 히스토그램 결과를 비교하여 설명한다.
도 13은 종래에 따른 사각형 블록화를 이용한 히스토그램의 결과를 나타내는 도면이고, 도 14는 본 발명의 실시예에 따른 원형 블록화를 이용한 히스토그램 결과를 나타내는 도면이다. 이러한 도 13 및 도 14는 ULBP 연산을 이용한 경우에 대한 히스토그램 결과를 나타낸다.
도 13은 얼굴 영상에 대해 5×5개의 사각형태의 부분 영역화를 사용한 경우로서, 이러한 사각 형태 부분영역화의 경우 얼굴의 회전 시에 히스토그램의 결과에 큰 차이가 발생하는 것을 알 수 있다. 이는 종래의 방식으로 얻어진 특징점 기술자는 얼굴 회전에 전혀 강건하지 못하다는 것을 의미한다. 더욱이, 이러한 종래의 방법의 경우 총 25개 부분영역을 사용하기 때문에 총 1475차원(25개의 부분영역×59차원의 히스토그램)의 고차원의 히스토그램으로 구성되어 연산의 복잡도를 증가시키고 연산 시간이 많이 소요된다.
반면, 도 14와 같은 본 발명의 실시예에 따른 원형 형태의 부분영역화의 경우는 얼굴 회전이 발생하더라도 히스토그램 결과에 크게 영향을 주지 않는 것을 알 수 있다. 이는 본 발명의 실시예에 따라 얻어진 특징점 기술자는 얼굴 회전에 강건하다는 것을 의미한다. 또한, 본 발명의 실시예는 2개의 부분영역만을 사용하기 때문에 총 118차원(2개의 부분영역×59차원의 히스토그램)의 히스토그램으로 구성되어 연산 시간을 크게 줄일 수 있다.
이상과 같은 본 발명의 실시예에 따르면, 얼굴을 사각형태의 부분영역으로 나누는 것이 아니라 원형형태의 부분영역으로 나눔으로써 얼굴 회전에 강건한 특징점 기술자를 생성할 수 있다. 또한, 본 발명은 종래와 달리 인간의 평균적인 얼굴 비율에 기반하여 고정적이고 적은 수로 부분영역을 나누기 때문에 각 부분영역의 개수에 비례하여 증가하던 특징점 기술자의 차원의 수를 크게 감소시킬 수 있어, 연산의 복잡도뿐만 아니라 얼굴 검출에 소요되는 시간을 크게 줄일 수 있는 이점이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 얼굴 검출 장치 110: 피라미드 영상 획득부
120: 윈도우 이동부 130: 부분영역 설정부
140: 영역 변환부 150: 히스토그램 생성부
160: 얼굴 식별부 170: 데이터베이스부

Claims (14)

  1. 입력 영상의 해상도를 변화시켜서 복수의 피라미드 영상을 획득하는 단계;
    상기 피라미드 영상에 대해 기 설정된 해상도 크기를 가지는 윈도우를 임의 픽셀 간격으로 이동시키면서 복수의 윈도우 영상을 획득하는 단계;
    상기 윈도우 영상을 원형의 내부 영역 및 외부 영역으로 구분하는 단계;
    상기 내부 영역 및 외부 영역을 각각 사각형의 제1 및 제2 영역으로 변환하는 단계;
    상기 제1 및 제2 영역에 대해 각각 슬라이딩 윈도우를 하면서 국부 이진 패턴 연산을 수행하여 상기 제1 및 제2 영역에 대응하는 제1 및 제2 히스토그램을 생성하는 단계; 및
    상기 윈도우 영상 별로 생성한 상기 제1 및 제2 히스토그램의 결과를, 훈련 영상에 대해 기 획득한 히스토그램 데이터와 비교하여 상기 윈도우 영상 중에서 얼굴이 포함된 윈도우 영상을 식별하는 단계를 포함하며,
    상기 내부 영역은,
    상기 윈도우 영상의 중심을 기준으로 제1 반경을 가지는 원 형태이며,
    상기 외부 영역은,
    상기 윈도우 영상의 중심을 기준으로 상기 제1 반경보다 큰 제2 반경을 가지는 원 형태에서 상기 내부 영역을 제외한 영역인 얼굴 검출 방법.
  2. 청구항 1에 있어서,
    상기 국부 이진 패턴 연산은,
    LBP(Local Binary Pattern) 또는 ULBP(Uiform Local Binary Pattern) 연산인 얼굴 검출 방법.
  3. 청구항 1에 있어서,
    상기 윈도우 영상에 대해 생성한 상기 제1 및 제2 히스토그램을 연결하여 단일 히스토그램을 생성하는 단계를 더 포함하며,
    상기 히스토그램 데이터와 비교하는 단계는,
    상기 윈도우 영상에 대해 생성한 단일 히스토그램을 상기 훈련 영상에 대해 기 획득한 단일 히스토그램과 비교하는 얼굴 검출 방법.
  4. 삭제
  5. 청구항 1에 있어서,
    임의 사용자의 얼굴이 포함된 적어도 하나의 상기 훈련 영상에 대해 상기 내부 영역 및 상기 외부 영역을 이용하여 각각 획득한 상기 히스토그램 데이터를 데이터베이스에 구축하는 단계를 더 포함하는 얼굴 검출 방법.
  6. 청구항 5에 있어서,
    상기 내부 영역은 얼굴 중 코를 포함하는 영역에 대응하고 상기 외부 영역은 얼굴 중 눈과 입을 포함하는 영역에 대응하는 얼굴 검출 방법.
  7. 청구항 6에 있어서,
    상기 제1 반경 및 상기 제2 반경의 비는 2:5인 얼굴 검출 방법.
  8. 청구항 1에 있어서,
    상기 내부 및 외부 영역을 제1 및 제2 영역으로 변환하는 단계는 아래의 수학식을 사용하는 얼굴 검출 방법:
    Figure 112016017180558-pat00013

    여기서, Rx(ρ,θ), Ry(ρ,θ)는 상기 내부 영역 또는 상기 외부 영역 내에 존재하는 임의의 좌표점인 x(θ), y(θ)을 해당되는 사각형의 상기 제1 영역 또는 상기 제2 영역 내의 좌표로 변환한 것이며,
    θ는 0과 360 사이의 값이고, ρ는 [0 : ρinc : 1]의 간격으로 주어지는 값으로서 상기 간격을 정의하는 ρinc의 값은
    Figure 112016017180558-pat00014
    로 정의되며,
    Cix(θ), Ciy(θ), C0x(θ), C0y(θ)는 아래의 수학식으로 정의되고,
    Figure 112016017180558-pat00015

    Cic_x, Cic_y는 상기 제1 반경에 해당하는 내부 원(Ci)의 중심점 좌표, Cir은 상기 내부 원(Ci)의 반경인 상기 제1 반경, C0r은 외부 원(C0)의 반경인 상기 제2 반경을 나타낸다.
  9. 입력 영상의 해상도 크기를 변화시켜서 복수의 피라미드 영상을 획득하는 피라미드 영상 획득부;
    상기 피라미드 영상에 대해 기 설정된 해상도 크기를 가지는 윈도우를 임의 픽셀 간격으로 이동시키면서 복수의 윈도우 영상을 획득하는 윈도우 이동부;
    상기 윈도우 영상을 원형의 내부 영역 및 외부 영역으로 구분하는 부분영역 설정부;
    상기 내부 영역 및 외부 영역을 사각형의 제1 및 제2 영역으로 변환하는 영역 변환부;
    상기 제1 및 제2 영역에 대해 각각 슬라이딩 윈도우를 하면서 국부 이진 패턴 연산을 수행하여 상기 제1 및 제2 영역에 대응하는 제1 및 제2 히스토그램을 생성하는 히스토그램 생성부; 및
    상기 윈도우 영상 별로 생성한 상기 제1 및 제2 히스토그램의 결과를, 훈련 영상에 대해 기 획득한 히스토그램 데이터와 비교하여 상기 윈도우 영상 중에서 얼굴이 포함된 윈도우 영상을 식별하는 얼굴 식별부를 포함하며,
    상기 내부 영역은,
    상기 윈도우 영상의 중심을 기준으로 제1 반경을 가지는 원 형태이며,
    상기 외부 영역은,
    상기 윈도우 영상의 중심을 기준으로 상기 제1 반경보다 큰 제2 반경을 가지는 원 형태에서 상기 내부 영역을 제외한 영역인 얼굴 검출 장치.
  10. 청구항 9에 있어서,
    상기 국부 이진 패턴 연산은,
    LBP(Local Binary Pattern) 또는 ULBP(Uiform Local Binary Pattern) 연산인 얼굴 검출 장치.
  11. 청구항 9에 있어서,
    상기 히스토그램 생성부는,
    상기 윈도우 영상에 대해 생성한 상기 제1 및 제2 히스토그램을 연결하여 단일 히스토그램을 생성하고,
    상기 얼굴 식별부는,
    상기 윈도우 영상에 대해 생성한 단일 히스토그램을 상기 훈련 영상에 대해 기 획득한 단일 히스토그램과 비교하는 얼굴 검출 장치.
  12. 삭제
  13. 청구항 9에 있어서,
    임의 사용자의 얼굴이 포함된 적어도 하나의 상기 훈련 영상에 대해 상기 내부 영역 및 상기 외부 영역을 이용하여 각각 획득한 상기 히스토그램 데이터를 저장하는 데이터베이스부를 더 포함하는 얼굴 검출 장치.
  14. 청구항 9에 있어서,
    영역 변환부는 상기 내부 및 외부 영역을 제1 및 제2 영역으로 변환 시에 아래의 수학식을 사용하는 얼굴 검출 장치:
    Figure 112016017180558-pat00016

    여기서, Rx(ρ,θ), Ry(ρ,θ)는 상기 내부 영역 또는 상기 외부 영역 내에 존재하는 임의의 좌표점인 x(θ), y(θ)을 해당되는 사각형의 상기 제1 영역 또는 상기 제2 영역 내의 좌표로 변환한 것이며,
    θ는 0과 360 사이의 값이고, ρ는 [0 : ρinc : 1]의 간격으로 주어지는 값으로서 상기 간격을 정의하는 ρinc의 값은
    Figure 112016017180558-pat00017
    로 정의되며,
    Cix(θ), Ciy(θ), C0x(θ), C0y(θ)는 아래의 수학식으로 정의되고,
    Figure 112016017180558-pat00018

    Cic_x, Cic_y는 상기 제1 반경에 해당하는 내부 원(Ci)의 중심점 좌표, Cir은 상기 내부 원(Ci)의 반경인 상기 제1 반경, C0r은 외부 원(C0)의 반경인 상기 제2 반경을 나타낸다.
KR1020140194188A 2014-12-30 2014-12-30 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치 KR101601564B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140194188A KR101601564B1 (ko) 2014-12-30 2014-12-30 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140194188A KR101601564B1 (ko) 2014-12-30 2014-12-30 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101601564B1 true KR101601564B1 (ko) 2016-03-09

Family

ID=55537145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140194188A KR101601564B1 (ko) 2014-12-30 2014-12-30 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101601564B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180112654A (ko) * 2017-04-04 2018-10-12 한국전자통신연구원 합성영상의 특징점 정보 처리 방법 및 장치
CN110334706A (zh) * 2017-06-30 2019-10-15 清华大学深圳研究生院 一种图像目标识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080100256A (ko) * 2006-03-03 2008-11-14 허니웰 인터내셔널 인코포레이티드 불변 방사상 홍채 세그먼트화
KR20110139864A (ko) * 2010-06-24 2011-12-30 재단법인대구경북과학기술원 얼굴 검출 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080100256A (ko) * 2006-03-03 2008-11-14 허니웰 인터내셔널 인코포레이티드 불변 방사상 홍채 세그먼트화
KR20110139864A (ko) * 2010-06-24 2011-12-30 재단법인대구경북과학기술원 얼굴 검출 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
오재현, 곽노준. 극좌표계 변환에 기반한 얼굴 인식 방법. 대한전자공학회 논문지-SP, 2010년 1월, pp. 44-52.* *
이희재 외 4명. 조명과 회전에 강건한 LBP 기반의 얼굴 탐지. HCI 2014, 2014년 2월, pp. 171-173.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180112654A (ko) * 2017-04-04 2018-10-12 한국전자통신연구원 합성영상의 특징점 정보 처리 방법 및 장치
KR102075708B1 (ko) 2017-04-04 2020-02-11 한국전자통신연구원 합성영상의 특징점 정보 처리 방법 및 장치
CN110334706A (zh) * 2017-06-30 2019-10-15 清华大学深圳研究生院 一种图像目标识别方法及装置
CN110334706B (zh) * 2017-06-30 2021-06-01 清华大学深圳研究生院 一种图像目标识别方法及装置

Similar Documents

Publication Publication Date Title
Zhu et al. Seeing small faces from robust anchor's perspective
US7929728B2 (en) Method and apparatus for tracking a movable object
US8406470B2 (en) Object detection in depth images
Wu et al. Real-time background subtraction-based video surveillance of people by integrating local texture patterns
EP2704056A2 (en) Image processing apparatus, image processing method
Nikisins et al. RGB-DT based face recognition
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
US20130236108A1 (en) Object or shape information representation method
Lee et al. Near-infrared-based nighttime pedestrian detection using grouped part models
KR101479225B1 (ko) 특징 벡터 생성 방법 및 그 장치, 이를 이용한 영상 인식 방법 및 장치
Kheirkhah et al. A hybrid face detection approach in color images with complex background
CN106462775A (zh) 离散边缘分组模板匹配系统、方法和计算机可读媒体
Ohkawa et al. Hand-shape recognition using the distributions of multi-viewpoint image sets
Chau et al. Object tracking in videos: Approaches and issues
Zarkasi et al. Face movement detection using template matching
KR101601564B1 (ko) 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치
CN107368832A (zh) 基于图像的目标检测及分类方法
Koschan et al. Video object tracking based on extended active shape models with color information
JP6486084B2 (ja) 画像処理方法、画像処理装置、及びプログラム
Singh et al. Template matching for detection & recognition of frontal view of human face through Matlab
CN104517292A (zh) 基于平面单应矩阵约束的多摄像机高密度人群分割方法
KR101733288B1 (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
Heflin et al. For your eyes only
KR20210127257A (ko) 사용자의 생체 특성을 가지는 이미지 내에서 객체를 식별하고 생체 특성을 포함하는 이미지의 일부를 이미지의 다른 부분으로부터 분리함으로써 사용자의 신원을 식별하기 위한 방법(Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image)
Song et al. Visual-context boosting for eye detection

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141230

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160128

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160229

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160302

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160302

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190226

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190226

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20200211

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20200211

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210209

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220210

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230221

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240221

Start annual number: 9

End annual number: 9