KR101756959B1 - 영상 분석 방법 및 장치 - Google Patents

Abstract

영상 분석 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 영상 분석 방법은 영상 분석 방법에 있어서, a) 분석 대상 영상에서 적어도 하나의 서브 블록을 획득하는 단계, b) 상기 서브 블록의 특징 벡터를 추출하는 단계 및 c) 상기 특징 벡터를 이용하여 영상을 분석하는 단계를 포함한다.

Description

영상 분석 방법 및 장치{Image analyze method and apparatus thereby}

본 발명은 영상 분석 방법 및 장치에 관한 것으로 특히, 얼굴 영상을 분석하는 방법 및 이를 이용한 장치에 관한 것이다.

최근, 카메라를 이용하여 획득한 영상으로부터 특징점을 추출하는 기술은 얼굴 인식을 통한 개인 인증, 3차원 복원, 자체추적 등 컴퓨터비전 분야에서 광범위하게 사용되고 있다.

PCA(Principal Component Analysis) 또는 ICA(Independent Component Analysis)를 이용하는 기존의 방식들은 에지 등이 많은 일반 영상에 대한 인식률은 높은 편이지만, 특징점 추출이 곤란한 얼굴 영상 등에는 그대로 적용하기에 적합하지 않다는 문제점이 있었다.

특히, 기존 방식들은 제한된 상황에서의 얼굴 인식률은 어느 정도 만족할 수 있는 수준이나, 유동적 상황에는 적용하기 곤란한 문제점이 있었다. 예컨대, 서로 크기가 다른 영상, 얼굴뿐만 아니라 배경까지 포함하고 있는 영상 등에 대해서는 인식률이 현저히 떨어진다는 문제점이 있었다.

이러한 문제점의 해결을 위하여 한국 공개특허 제 2014-0090777호에는 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치가 개시되어 있다.

하지만 이 경우, 객체 인식 및 정합 등의 분야에서 수행되기 위해서 키포인트 검출 과정을 요구하는 문제점이 있다.

KR 2014-0090777 A

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명에서는 키포인트를 추출하지 않고 영상 분석이 가능한 영상 분석 방법 및 장치를 제공하고자 한다.

또한, 본 발명에서는 영상을 인식하는 과정에서 종래에 비해 향상된 인식률을 가지는 영상 분석 방법 및 장치를 제공하고자 한다.

위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 영상 분석 방법이 제공된다. 상기 영상 분석 방법은, a) 분석 대상 영상에서 적어도 하나의 서브 블록을 획득하는 단계, b) 상기 서브 블록의 특징 벡터를 추출하는 단계 및 c) 상기 특징 벡터를 이용하여 영상을 분석하는 단계를 포함한다.

상기 분석 대상 영상은, 하기 수학식 1로 표현되는 전처리 과정이 적용될 수 있다.

수학식 1

(여기서, L(x,y): 블러링 영상 함수, G(x,y,σ): 가우시안 분포 함수, I(x,y): 얼굴 영상 함수, x: 영상 폭 단위 블록, y: 영상 높이 단위 블록)

상기 단계 a)는, 상기 서브 블록을 하기 수학식 2로 표현되는 개수만큼 획득할 수 있다.

수학식 2

(여기서, T: 서브 블록의 개수, W: 얼굴 영상의 폭, H: 얼굴 영상의 높이, N: 서브 블록의 폭 및 높이, O: 서브 블록간 중첩의 크기)

상기 단계 b)는, 상기 서브 블록을 복수개의 그리드로 구분하는 단계, 상기 복수개의 그리드를 구성하는 적어도 하나의 1×1크기의 셀의 특징 벡터를 추출하는 단계 및, 추출한 상기 셀의 특징 벡터를 이용하여 상기 서브 블록의 특징 벡터를 추출하는 단계를 더 포함할 수 있다.

상기 셀의 특징 벡터는, 하기 수학식 3으로 표현되는 경사 규모 및 방향성을 벡터로 표현할 수 있다.

수학식 3

(여기서, m(x,y): 경사 규모, θ(x,y): 방향성)

상기 서브 블록의 특징 벡터를 추출하는 단계는, 상기 셀의 특징 벡터를 8방향으로 합하여 상기 셀이 속하는 상기 그리드의 특징 벡터를 획득한 후, 상기 그리드의 특징 벡터를 이용하여 2×2×8차원의 서브 블록의 특징 벡터를 추출할 수 있다.

상기 단계 c)는, 상기 특징 벡터로서 상기 서브 블록의 특징 벡터를 상기 수학식 2로 표현되는 상기 서브 블록의 개수와 곱하여 T×2×2×8차원으로 표현되는 분석 대상 영상 특징 벡터를 이용하여 영상을 분석할 수 있다. 상기 서브 블록은, 크기가 32×32 또는 40×40 중 어느 하나일 수 있다.

본 발명의 일 측면에 따르면, 영상 분석 장치가 제공된다. 상기 영상 분석 장치는 영상 분석 장치에서, 얼굴 분석 대상 영상을 획득하는 영상 획득부, 및 상기 영상 획득부에서 획득한 상기 분석 대상 영상으로부터 특징 벡터를 추출하여 상기 영상을 분석하는 영상 분석부를 포함한다.

상기 영상 획득부는 영상 처리부 및 벡터 획득부를 더 포함할 수 있다.

상기 영상 처리부는, 상기 분석 대상 영상에 상기 수학식 1로 표현되는 전처리 작업을 수행하여 전처리 된 영상을 획득할 수 있다.

상기 영상 처리부는, 상기 분석 대상 영상을 상기 수학식 2로 표현되는 개수의 서브 블록으로 구분하여 획득할 수 있다.

상기 벡터 획득부는, 상기 서브 블록을 복수개의 그리드로 구분하고, 상기 복수개의 그리드를 구성하는 적어도 하나의 1×1 크기의 셀의 특징 벡터를 추출한 후, 추출한 상기 셀의 특징 벡터를 이용하여 상기 서브 블록의 특징 벡터를 획득할 수 있다.

상기 벡터 획득부는, 상기 셀의 특징 벡터로 상기 수학식 3으로 표현되는 경사 규모 및 방향성을 이용할 수 있다.

상기 벡터 획득부는, 상기 셀의 특징 벡터를 8방향으로 합하여 상기 셀이 속하는 상기 그리드의 특징 벡터를 획득한 후, 상기 그리드의 특징 벡터를 이용하여 2×2×8차원의 서브 블록의 특징 벡터를 추출할 수 있다.

상기 특징 벡터는, 상기 서브 블록의 특징 벡터를 상기 수학식 2로 표현되는 상기 서브 블록의 개수와 곱하여 T×2×2×8차원으로 표현되는 분석 대상 영상 특징 벡터일 수 있다.

상기 서브 블록은, 크기가 32×32 또는 40×40 중 어느 하나일 수 있다.

본 발명의 영상 분석 방법 및 장치는 키포인트를 획득하지 않음으로써 영상 분석 속도를 증가시킬 수 있는 효과가 있다.

또, 본 발명의 영상 분석 방법 및 장치는 LDP, LBP를 이용하는 영상 분석 방법에 비해 향상된 인식율을 가지는 효과가 있다.

도 1은 본 발명에 따른 영상 분석 방법의 단계를 나타낸 순서도이다.
도 2는 본 발명의 한 실시예에 따른 영상 분석 방법에서 획득한 얼굴 영상을 서브 블록 및 그리드로 구분한 것을 나타낸 도이다.
도 3은 본 발명의 한 실시예에 따른 (a) 네 개의 서브 블록에 포함되는 복수의 그리드에서 표현되는 방향성 히스토그램을 나타낸 도 및 (b) 네 개의 서브 블록에서 획득되는 각각의 통합 방향성 히스토그램을 나타낸 도이다.
도 4는 본 발명에 따른 영상 분석 장치의 블록도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.

본 발명의 영상 분석 방법(100)은 도 1에 도시된 바와 같이 영상을 획득하는 단계(S110), 서브 블록을 획득하는 단계(S120), 각각의 서브 블록 당 특징 벡터를 추출하는 단계(S130) 및 추출한 특징 벡터를 이용하여 영상을 분석하는 단계(S140)를 포함한다.

이하에서는, 도면을 참조하여 본 발명의 영상 분석 방법(100)에 대해 상세히 설명하도록 한다.

이때, 본 발명의 한 실시예에서는, 영상 분석 방법을 설명하기 위해 이를 처리하는 장치로서 인식 장치를 사용하지만, 본 발명은 이에 한정되지 않는다. 또, 본 발명의 한 실시예에서는, 영상 분석 방법을 설명하기 위해 분석에 사용되는 영상으로 얼굴 영상을 사용하지만, 본 발명은 이에 한정되지 않고 다양한 영상을 분석 대상으로 사용할 수 있다.

먼저, 영상을 획득한다(단계 S110). 본 발명의 한 실시예에 따른 인식 장치는 인식 장치와 유/무선으로 연결된 카메라를 이용하여 얼굴 영상을 획득할 수도 있고, 사용자의 조작에 따라 외부로부터 얼굴 사진 또는 동영상을 전송 받음으로써 얼굴 영상을 획득할 수 있다. 하지만, 인식 장치가 얼굴 영상을 획득하는 방법은 이에 한정되지 않고, 당업자가 활용 가능한 다양한 방법을 이용할 수 있다.

다음으로, 서브 블록을 획득한다(단계 S120).

도 2a를 참조하면, 본 발명의 한 실시예에 따른 인식 장치는 단계 S110에서 획득한 얼굴 영상을 다수의 서브 블록을 이용하여 구분할 수 있다. 높이가 H, 폭이 W인 얼굴 영상에서, 각각의 서브 블록의 크기는 N×N으로 표현된다.

한편, 각각의 서브 블록들은 서로 일정 부분이 겹치도록 형성된다. 이때, 도 2b에 도시된 바와 같이, 서브 블록 A와 서브 블록 B는 폭 방향으로 O 만큼 중첩되고, 서브 블록 A와 서브 블록 C는 높이 방향으로 O 만큼 중첩된다.

따라서, 높이가 H, 폭이 W인 얼굴 영상에서 획득되는 서브 블록의 개수 T는 하기 수학식 1로 표현된다.

수학식 1

(여기서, T: 서브 블록의 개수, W: 얼굴 영상의 폭, H: 얼굴 영상의 높이, N: 서브 블록의 폭 및 높이, O: 서브 블록간 중첩의 크기)

한편, 본 발명의 한 실시예에서는 얼굴 영상의 분석을 위해 얼굴 영상을 전처리 한다. 이때, 얼굴 영상의 전처리의 일 예로, 블러링 작업을 이용할 수 있다. 하지만, 본 발명은 이에 한정되지 않고, 블러링과 동일한 효과를 낼 수 있는 다양한 전처리 방법을 이용할 수 도 있고, 필요에 따라 전처리 과정을 생략할 수도 있다.

본 발명의 한 실시예에서는 하기 수학식 2로 표현되는 블러링 과정을 통해 전처리 영상을 획득할 수 있다.

수학식 2

(여기서, L(x,y): 블러링 영상 함수, G(x,y,σ): 가우시안 분포 함수, I(x,y): 얼굴 영상 함수, x: 영상 폭 단위 블록, y: 영상 높이 단위 블록)

다음으로, 얼굴 영상을 구성하는 각각의 서브 블록 당 특징 벡터를 추출한다(단계 S130).

도 3(a)를 참조하면, 하나의 서브 블록은 2×2개의 그리드로 구성되고, 각각의 그리드는 복수의 크기가 1×1인 셀을 포함한다. 즉, 도 3a에 도시된 바와 같이 크기가 8×8인 서브 블록의 경우, 4개의 그리드를 포함하고, 각각의 그리드는 크기가 1×1인 셀을 16개 포함한다. 이때, 본 발명의 한 실시예에서는 그리드가 복수의 1×1 크기의 셀을 포함하는 것으로 표현하였지만, 본 발명은 이에 한정되지 않고 필요에 따라 셀의 개수를 증가시키거나, 감소시킬 수 있다.

한편, 서브 블록이 포함하는 얼굴 영상 영역의 특징 벡터를 추출하여 벡터합으로 표현함으로써 서브 블록의 특징 벡터를 추출할 수 있다. 이때, 특징 벡터를 추출하는 얼굴 영상 영역의 크기가 작을수록 추출되는 특징 벡터의 정확성이 증가한다.

따라서, 본 발명의 한 실시예에서는 그리드를 구성하는 복수의 1×1 크기의 셀이 포함하는 얼굴 영상 영역의 특징 벡터를 이용하여 서브 블록의 특징 벡터를 추출한다. 하지만, 본 발명은 이에 한정되는 것은 아니고, 필요에 따라 사용자가 설정하는 최소 영역의 특징 벡터를 이용하여 서브 블록의 특징 벡터를 추출할 수 있다.

벡터는 길이와 방향을 모두 포함한다. 따라서, 얼굴 영상 영역의 특징 벡터는 하기 수학식 3으로 표현되는 경사도 및 방향성을 이용하여 표현될 수 있다.

수학식 3

(여기서, m(x,y): 경사도, θ(x,y): 방향성)

한편, 본 발명의 한 실시예로서 각각의 셀에서 획득한 특징 벡터가 도 3(a)에 도시되어 있다. 도 3(a)를 참조하면, 각각의 특징 벡터는 각각의 셀이 포함하는 얼굴 영상 영역의 경사도 및 방향성을 나타낸다.

이때, 하나의 서브 블록을 구성하는 4개의 그리드 각각에 포함된 셀들의 특징 벡터를 벡터 합으로 나타낸 결과가 도 3(b)에 도시되어 있다. 하나의 그리드는 4×4개의 셀을 포함한다. 하나의 그리드 내부에 도시된 16개의 셀 특징 벡터는 8 방향을 갖는 하나의 그리드 특징 벡터로 표현될 수 있다. 따라서, 하나의 서브 블록은 4개의 그리드를 포함하기 때문에 2×2×8로 표현되는 32차원의 서브 블록 특징 벡터를 가진다.

한편, 얼굴 영상은 상술한 바와 같이 상기 수학식 1로 표현되는 T개의 서브 블록으로 구성되기 때문에, 최종적으로 얼굴 영상의 특징 벡터는 T×32 차원으로 표현된다.

마지막으로, 추출한 특징 벡터를 이용하여 영상을 분석한다(단계 S140).

본 발명의 한 실시예에서는 얼굴 영상을 분석하기 위해서 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), ICA(Independent Component Analysis), SVM(Support Vector Machine) 및 랜덤 포레스트 등과 같은 일반적으로 널리 알려진 알고리즘을 이용한다.

상기와 같은 방법들은 상술한 바와 같은 인식 장치에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.

이 때, 컴퓨터 판독 가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예를 들면, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등일 수 있다.

이하에서는 본 발명의 영상 분석 방법(100)을 이용한 얼굴 영상 분석 결과와 기존의 LBP, LDP 특징 벡터를 이용한 얼굴 영상 분석 결과를 모의 실험을 통해 비교하도록 한다.

모의 실험에서, 본 발명의 한 실시예에 따른 얼굴 영상 분석 결과는 표정 특성을 잘 표현할 수 있는 최적의 서브 블록을 획득하기 위해 서브 블록의 폭 또는 높이 방향으로 포함하는 단위 블록의 개수 N을 16 내지 48로 변화시키고, 영상의 폭과 높이에 대한 중첩의 크기인 O를

로 설정하였고, 하나의 그리드는 폭 및 높이 방향으로 각각 4개로 총 16개의 단위 블록을 포함하도록 설정하여 인식률을 도출하였다.

	LBP(5×5)	LBP(7×6)	LDP(5×5)	LDP(7×6)
1회	69.84%	76.58%	69.04%	73.41%
2회	75.59%	73.22%	72.04%	71.65%
3회	80.93%	78.98%	78.98%	75.48%
4회	76.06%	78.76%	78.37%	81.46%
5회	84.10%	80.62%	81.39%	82.17%
평균	77.30%	77.63%	75.96%	76.83%

상기 표 1은 CK 데이터베이스를 이용한 기존의 LBP, LDP 특징 벡터를 이용한 얼굴 영상 분석 결과를 총 5회의 모의 실험을 통하여 각각의 방법에 대한 평균을 획득하였다. 모의실험에서는 LBP, LDP 특징 벡터의 크기로 통상적으로 사용되는 크기인 5×5, 7×6을 사용하였고, 100명의 학생에 대한 7가지 표정을 갖는 이미지 시퀀스로 구성된 CK 데이터베이스의 시퀀스 중 320개의 시퀀스를 사용하였다.

또, 모의실험에서는 CK 데이터베이스에서 추출한 320개의 시퀀스를 5개의 그룹으로 나누어 4개 그룹을 학습에 사용하고, 나머지 한 개 그룹을 테스트하는 5겹 교차 검증을 통해 인식 실험을 수행함으로써 총 5회의 실험 결과를 획득하였다. 이때, 표 1에 나타난 모의실험 결과 중 평균값으로 5회의 실험 결과의 평균값을 사용하였다.

표 1에 표시된 바와 같이, 서브 블록의 크기를 5×5로 설정하여 LBP 및 LDP 특징 벡터를 이용하여 얼굴 영상을 분석한 결과는 평균적으로 LBP의 경우 77.30%의 인식률을 보였고, LDP의 경우 75.96%의 인식률을 보였다.

또, 서브 블록의 크기를 7×6으로 설정하여 LBP 및 LDP 특징 벡터를 이용하여 얼굴 영상을 분석한 결과는 평균적으로 LBP의 경우 77.63%의 인식률을 보였고, LDP의 경우 76.83%의 인식률을 보였다.

SIFT	16×16	24×24	32×32	40×40	48×48
1회	89.68%	84.12%	86.90%	86.11%	82.14%
2회	81.10%	81.49%	81.88%	79.92%	78.34%
3회	85.21%	85.99%	84.43%	81.32%	83.26%
4회	81.85%	81.85%	84.55%	83.01%	79.92%
5회	80.62%	81.00%	79.06%	83.72%	82.55%
평균	83.69%	82.89%	83.36%	82.81%	81.24%

상기 표 2는 CK 데이터베이스를 이용한 본 발명의 영상 분석 방법을 이용한 얼굴 영상 분석 결과를 총 5회의 모의 실험을 통하여 각각의 방법에 대한 평균을 획득하였다. 이때, 상술한 바와 같이, 최적의 서브 블록의 크기를 획득하기 위하여 서브 블록의 크기를 16 내지 48로 각각 설정하였다.

또, 상기 표 2의 모의실험에서는 상기 표 1의 모의실험과 동일한 그룹을 이용하여 5겹 교차 검증을 통해 인식 실험을 수행함으로써 총 5회의 실험 결과를 획득하였다.

표 2에 표시된 바와 같이, 본 발명의 한 실시예를 이용한 얼굴 영상 분석 결과는 5회의 모의 실험 결과 각각 서브 블록의 크기가 16×16인 경우 83.69%, 서브 블록의 크기가 24×24인 경우 82.89%, 서브 블록의 크기가 32×32인 경우 83.36%, 서브 블록의 크기가 40×40인 경우 82.81%, 및 서브 블록의 크기가 48×48인 경우 81.24%의 평균 인식률을 보였다.

CK 데이터베이스를 이용하여 획득한 표 1 및 표 2를 비교해 본 결과, LBP, LDP를 이용한 얼굴 영상 분석 결과의 최대치는 77.63%로 서브 블록의 크기가 7×6인 경우 LBP를 이용하였을 때이고, 최소치는 75.96%로 서브 블록의 크기가 5×5인 경우 LDP를 이용하였을 때로 나타났다.

한편, 본 발명의 한 실시예에 따른 얼굴 영상 분석 결과의 최대치는 83.69%로 서브 블록의 크기가 16×16인 경우로 나타났고, 최소치는 81.24%로 서브 블록의 크기가 48Χ48인 경우로 나타났다.

즉, 기존의 LBP, LDP를 이용한 얼굴 영상 분석 결과 평균 인식율은 76.93%로 나타났지만, 본 발명의 한 실시예에 따른 얼굴 영상 분석 결과 평균 인식율은 82.80%로 나타났다. 따라서, 본 발명의 영상 분석 방법이 기존의 LBP, LDP를 이용한 영상 분석 방법에 비하여 평균적으로 5.87%만큼 인식률이 증가한 것을 확인하였다.

	LBP(5×5)	LBP(7×6)	LDP(5×5)	LDP(7×6)
1회	57.14%	66.66%	54.76%	64.28%
2회	69.04%	73.80%	71.42%	73.80%
3회	73.80%	61.90%	64.28%	50.00%
4회	64.28%	61.90%	66.66%	61.90%
5회	75.55%	84.44%	62.22%	68.88%
평균	67.96%	69.74%	63.86%	63.77%

한편, 상기 표 3은 JAFFE 데이터베이스를 이용한 기존의 LBP, LDP 특징 벡터를 이용한 얼굴 영상 분석 결과를 총 5회의 모의 실험을 통하여 각각의 방법에 대한 평균을 획득하였다.

상기 표 3의 모의실험에서는 상기 표 1의 모의실험과 동일한 조건으로 LBP, LDP 특징 벡터의 크기로 통상적으로 사용되는 크기인 5×5, 7×6을 사용하였고, 213장으로 구성된 10명의 일본인 여성 모델에 대한 7가지 표정을 갖는 이미지인 JAFFE 표정 데이터베이스를 사용하였다.

또, 상기 표 3의 모의실험에서는 상기 표 1 및 표 2와 동일한 방법으로 JAFFE 이미지를 5개의 그룹으로 나누어 4개 그룹을 학습에 사용하고, 나머지 한 개 그룹을 테스트하는 5겹 교차 검증을 통해 인식 실험을 수행함으로써 총 5회의 실험 결과를 획득하였다. 이때, 표 3에 나타난 모의실험 결과 중 평균값으로 5회의 실험 결과의 평균값을 사용하였다.

표 3에 표시된 바와 같이, 서브 블록의 크기를 5×5로 설정하여 LBP 및 LDP 특징 벡터를 이용하여 얼굴 영상을 분석한 결과는 평균적으로 LBP의 경우 67.96%의 인식률을 보였고, LDP의 경우 63.86%의 인식률을 보였다.

또, 서브 블록의 크기를 7×6으로 설정하여 LBP 및 LDP 특징 벡터를 이용하여 얼굴 영상을 분석한 결과는 평균적으로 LBP의 경우 69.74%의 인식률을 보였고, LDP의 경우 63.77%의 인식률을 보였다.

SIFT	16×16	24×24	32×32	40×40	48×48
1회	52.38%	54.76%	61.90%	71.42%	66.66%
2회	76.19%	78.57%	83.33%	71.42%	76.19%
3회	61.90%	61.90%	69.04%	76.19%	71.42%
4회	76.19%	73.80%	80.95%	69.04%	73.80%
5회	66.66%	73.33%	71.11%	80.00%	64.44%
평균	66.66%	68.47%	73.26%	73.61%	70.50%

상기 표 4는 JAFFE 데이터베이스를 이용한 본 발명의 영상 분석 방법을 이용한 얼굴 영상 분석 결과를 총 5회의 모의 실험을 통하여 각각의 방법에 대한 평균을 획득하였다. 이때, 상술한 바와 같이, 최적의 서브 블록의 크기를 획득하기 위하여 서브 블록의 크기를 16 내지 48로 각각 설정하였다.

또, 상기 표 4의 모의실험에서는 상기 표 3의 모의실험과 동일한 그룹을 이용하여 5겹 교차 검증을 통해 인식 실험을 수행함으로써 총 5회의 실험 결과를 획득하였다.

표 4에 표시된 바와 같이, 본 발명의 얼굴 영상 분석 결과는 5회의 모의 실험 결과 각각 서브 블록의 크기가 16×16인 경우 66.66%, 서브 블록의 크기가 24×24인 경우 68.47%, 서브 블록의 크기가 32×32인 경우 73.26%, 서브 블록의 크기가 40×40인 경우 73.61%, 및 서브 블록의 크기가 48×48인 경우 70.50%의 평균 인식률을 보였다.

JAFFE 데이터베이스를 이용하여 획득한 표 3 및 표 4를 비교해 본 결과, LBP, LDP를 이용한 얼굴 영상 분석 결과의 최대치는 69.74%로 서브 블록의 크기가 7×6인 경우 LBP를 이용하였을 때이고, 최소치는 63.77%로 서브 블록의 크기가 7×6인 경우 LDP를 이용하였을 때로 나타났다.

한편, 본 발명의 한 실시예를 이용한 얼굴 영상 분석 결과의 최대치는 73.61%로 서브 블록의 크기가 40×40인 경우로 나타났고, 최소치는 66.66%로 서브 블록의 크기가 16×16인 경우로 나타났다.

즉, 기존의 LBP, LDP를 이용한 얼굴 영상 분석 결과 평균은 66.33%로 나타났지만, 본 발명의 한 실시예에 따른 얼굴 영상 분석 결과 평균은 70.50%로 나타났다. 따라서, 본 발명의 영상 분석 방법이 기존의 LBP, LDP를 이용한 영상 분석 방법에 비하여 평균적으로 4.17%만큼 인식률이 증가한 것을 확인하였다.

상술한 모의 실험의 결과인 표 1 내지 표 4를 분석하면, 본 발명의 한 실시예에 따른 영상 분석 방법은 기존의 LBP, LDP를 이용한 영상 분석 방법에 비하여 평균적으로 CK 데이터베이스를 이용하는 경우 5.87%. JAFFE 데이터베이스를 이용하는 경우 4.17%만큼 인식률이 상승하였다.

또, 모의 실험 결과, 본 발명의 한 실시예에 따른 얼굴 영상 분석 방법은 서브 블록의 크기를 32×32 또는 40×40으로 설정하는 것이 가장 바람직한 것을 확인하였다.

하지만, 본 발명의 영상 분석 방법의 서브 블록의 크기는 이에 한정되지 않으며 필요에 따라 다양한 크기의 서브 블록을 이용할 수 있다.

도 4는 본 발명에 따른 영상 분석 장치를 도시하고 있다.

본 발명의 영상 분석 장치(400)는 영상 획득부(410) 및 영상 분석부(430)를 포함한다.

본 발명의 한 실시예에서는 영상 분석 장치를 설명하기 위해 분석에 사용되는 영상으로 얼굴 영상을 사용하지만, 본 발명은 이에 한정되지 않고 다양한 영상을 분석 대상으로 사용할 수 있다.

영상 획득부(410)는 외부로부터 얼굴 영상을 획득한다. 이때, 영상 획득부(410)는 영상 분석 장치(400)와 유/무선으로 연결된 카메라 등의 촬영 장치를 이용하여 얼굴 영상을 획득할 수도 있고, 사용자의 조작에 따라 외부로부터 얼굴 사진 또는 동영상을 전송 받음으로써 얼굴 영상을 획득할 수도 있다. 하지만, 영상 획득부(410)가 얼굴 영상을 획득하는 방법은 이에 한정되지 않고, 당업자가 활용 가능한 다양한 방법을 이용할 수 있다.

영상 분석부(430)는 영상 획득부(410)에서 획득한 얼굴 영상을 분석한다. 영상 분석부(430)는 영상 처리부(431), 벡터 획득부(433), 및 영상 판단부(435)를 더 포함할 수 있다.

영상 처리부(431)는 영상 획득부(410)에서 획득한 얼굴 영상에 복수개의 서브 블록을 형성한 후 전처리한다. 이때, 영상 처리부(431)가 얼굴 영상에 형성하는 서브 블록의 개수는 상기 수학식 1로써 표현될 수 있다.

한편, 영상 처리부(431)는 얼굴 영상의 전처리의 일 예로, 블러링 작업을 이용할 수 있다. 하지만, 본 발명은 이에 한정되지 않고, 블러링과 동일한 효과를 낼 수 있는 다양한 방법을 이용하여 전처리 작업을 수행할 수 도 있고, 필요에 따라 전처리 과정을 생략할 수도 있다. 본 발명의 한 실시예에서는 영상 처리부(431)는 상기 수학식 2로 표현되는 블러링 과정을 전처리의 방법으로 사용할 수 있다.

벡터 획득부(433)는 영상 처리부(431)에서 형성한 복수의 서브 블록 각각의 특징 벡터를 획득한다. 본 발명의 한 실시예에서 하나의 서브 블록은 2×2개의 그리드로 구성되고, 각각의 그리드는 복수의 크기가 1×1인 셀을 포함한다. 일 예로, 크기가 8×8인 서브 블록의 경우, 서브 블록은 4개의 그리드를 포함하고, 각각의 그리드는 크기가 1×1인 셀을 16개 포함한다. 이때, 본 발명의 한 실시예에서는 그리드가 복수의 1×1 크기의 셀을 포함하는 것으로 표현하였지만, 본 발명은 이에 한정되지 않고 필요에 따라 셀의 개수를 증가시키거나 감소시킬 수 있다.

벡터 획득부(433)는 그리드를 구성하는 복수의 1×1 크기의 셀이 가지는 각각의 특징 벡터를 이용하여 서브 블록의 특징 벡터를 획득할 수 있다. 이때, 각각의 셀의 특징 벡터는 상기 수학식 3으로 표현되는 경사도 및 방향성을 이용하여 형성되고, 경사도는 벡터의 길이로, 방향성은 벡터의 방향으로 표현될 수 있다.

또, 벡터 획득부(433)는 본 발명의 한 실시예에서, 획득한 각각의 셀의 특징 벡터를 그리드 별로 분류하여 합함으로써 총 4개의 그리드 특징 벡터들을 획득할 수 있다. 이때, 그리드 특징 벡터는 8방향으로 표현된다. 따라서, 하나의 서브 블록은 4개의 그리드를 포함하기 때문에 벡터 획득부(433)는 2×2×8로 표현되는 32차원의 특징 벡터를 획득할 수 있다.

한편, 벡터 획득부(433)는 영상 처리부(431)에서 획득한 T개의 서브 블록 각각에 대하여 특징 벡터를 획득하기 때문에 영상 획득부(410)에서 획득한 영상을 총 T×32차원의 특징 벡터로 표현할 수 있다.

영상 판단부(435)는 벡터 획득부(433)에서 획득한 특징 벡터를 이용하여 영상을 분석한다. 이때, 영상 판단부(435)는 본 발명의 한 실시예에 따른 얼굴 영상을 분석하기 위하여 PCA, LDA, ICA, SVM, 및 랜덤 포레스트 등과 같이 일반적으로 널리 알려진 알고리즘을 이용할 수 있다.

이상에서 본 발명의 한 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.

400: 영상 분석 장치 410: 영상 획득부
430: 영상 분석부 431: 영상 처리부
433: 벡터 획득부 435: 영상 판단부

Claims (17)

1. 분석 대상 영상에서 다수개의 1x1크기의 셀로 구성되는 적어도 하나의 서브 블록을 획득하는 단계;
   상기 서브 블록을 지정된 수의 서로 인접한 상기 셀을 포함하는 복수개의 그리드로 구분하고, 상기 서브 블록에 포함되는 셀들 각각에 대하여 셀의 특징 벡터를 추출하는 단계;
   상기 셀의 특징 벡터의 벡터 합을 이용하여 상기 그리드의 특징 벡터를 결정하고, 상기 그리드의 특징 벡터의 벡터 합을 이용하여 상기 서브 블록의 특징 벡터를 결정하는 단계; 및
   상기 서브 블록의 특징 벡터를 이용하여 상기 분석 대상 영상을 분석하는 단계;를 포함하는 영상 분석 방법.
2. 제 1항에 있어서,
   상기 분석 대상 영상은, 하기 수학식 1로 표현되는 전처리 과정이 적용된 영상 분석 방법.
   수학식 1
   

   

   
   (여기서, L(x,y): 블러링 영상 함수, G(x,y,σ): 가우시안 분포 함수, I(x,y): 얼굴 영상 함수, x: 영상 폭 단위 블록, y: 영상 높이 단위 블록)
3. 제 1항에 있어서,
   상기 서브 블록은, 하기 수학식 2로 표현되는 개수만큼 획득하는 영상 분석 방법.
   수학식 2
   

   

   
   (여기서, T: 서브 블록의 개수, W: 얼굴 영상의 폭, H: 얼굴 영상의 높이, N: 서브 블록의 폭 및 높이, O: 서브 블록간 중첩의 크기)
4. 삭제
5. 제 1항에 있어서,
   상기 셀의 특징 벡터는, 경사 규모 및 방향성을 벡터로 표현하는 하기 수학식 3으로 표현되는 영상 분석 방법.
   수학식 3
   

   

   
   

   

   
   (여기서, m(x,y): 경사 규모, θ(x,y): 방향성)
6. 제 1항에 있어서,
   상기 서브 블록의 특징 벡터를 추출하는 단계는, 상기 셀의 특징 벡터를 8방향으로 합하여 상기 셀이 속하는 상기 그리드의 특징 벡터를 획득한 후, 상기 그리드의 특징 벡터를 이용하여 상기 서브 블록에 포함되는 상기 그리드의 수×8차원으로 표현되는 서브 블록의 특징 벡터를 추출하는 단계를 포함하는 영상 분석 방법.
7. 제 3항에 있어서,
   상기 상기 서브 블록의 특징 벡터를 이용하여 상기 분석 대상 영상을 분석하는 단계 는, 상기 서브 블록의 특징 벡터를 상기 서브 블록의 상기 수학식 2로 표현되는 개수와 곱하여 상기 T×상기 서브 블록에 포함되는 상기 그리드의 수 ×8차원으로 표현되는 분석 대상 영상 특징 벡터를 이용하여 영상을 분석하는 영상 분석 방법.
8. 제 1항에 있어서,
   상기 서브 블록은, 상기 크기가 32×32 또는 40×40인 영상 분석 방법.
9. 분석 대상 영상을 획득하는 영상 획득부; 및
   상기 영상 획득부에서 획득한 상기 분석 대상 영상으로부터 상기 분석 대상 영상의 특징 벡터를 추출하여 상기 분석 대상 영상을 분석하는 영상 분석부를 포함하되,
   여기서, 상기 영상 획득부는,
   다수개의 1x1크기의 셀로 구성되는 적어도 하나의 서브 블록을 획득하는 영상 처리부; 및
   상기 서브 블록을 지정된 수의 서로 인접한 상기 셀을 포함하는 복수개의 그리드로 구분하고, 상기 서브 블록에 포함되는 셀들 각각에 대하여 셀의 특징 벡터를 추출하고, 상기 셀의 특징 벡터의 벡터 합을 이용하여 상기 그리드의 특징 벡터를 결정하고, 상기 그리드의 특징 벡터의 벡터 합을 이용하여 상기 서브 블록의 특징 벡터를 결정하는 벡터 획득부;를 포함하고,
   상기 영상 분석부는, 상기 서브 블록의 특징 벡터를 이용하여 상기 분석 대상 영상을 분석하는 영상 분석 장치.
10. 삭제
11. 제 9항에 있어서,
    상기 영상 처리부는, 상기 분석 대상 영상에 하기 수학식 1로 표현되는 전처리 작업을 수행하여 전처리 된 영상을 획득하는 영상 분석 장치.
    수학식 1
    

    

    
    (여기서, L(x,y): 블러링 영상 함수, G(x,y,σ): 가우시안 분포 함수, I(x,y): 얼굴 영상 함수, x: 영상 폭 단위 블록, y: 영상 높이 단위 블록)
12. 제 9항에 있어서,
    상기 영상 처리부는, 상기 분석 대상 영상을 하기 수학식 2로 표현되는 개수의 서브 블록으로 구분하여 획득하는 영상 분석 장치.
    수학식 2
    

    

    
    (여기서, T: 서브 블록의 개수, W: 얼굴 영상의 폭, H: 얼굴 영상의 높이, N: 서브 블록의 폭 및 높이, O: 서브 블록간 중첩의 크기)
13. 삭제
14. 제 9항에 있어서,
    상기 벡터 획득부는, 경사 규모 및 방향성을 이용하는 하기 수학식 3으로 상기 셀의 특징 벡터를 표현하는 영상 분석 장치.
    
    수학식 3
    

    

    
    

    

    
    (여기서, m(x,y): 경사 규모, θ(x,y): 방향성)
15. 제 9항에 있어서,
    상기 벡터 획득부는, 상기 셀의 특징 벡터를 8방향으로 합하여 상기 셀이 속하는 상기 그리드의 특징 벡터를 획득한 후, 상기 그리드의 특징 벡터를 이용하여 상기 서브 블록에 포함되는 상기 그리드의 수×8차원의 서브 블록의 특징 벡터를 추출하는 영상 분석 장치.
16. 제 12항에 있어서,
    상기 분석 대상 영상은, 상기 서브 블록의 특징 벡터를 상기 서브 블록의 상기 수학식 2로 표현되는 개수와 곱하여 상기 T×상기 서브 블록에 포함되는 상기 그리드의 수×8차원으로 표현되는 분석 대상 영상 특징 벡터인 영상 분석 장치.
17. 제 9항에 있어서,
    상기 서브 블록은, 크기가 32×32 또는 40×40 중 어느 하나인 영상 분석 장치.

Images