KR100870724B1

KR100870724B1 - ｔ―ｔｅｓｔ를 이용한 영상 인식시스템 및 그 방법

Info

Publication number: KR100870724B1
Application number: KR1020070050779A
Authority: KR
Inventors: 이필규; 남미영
Original assignee: 인하대학교 산학협력단
Priority date: 2007-05-25
Filing date: 2007-05-25
Publication date: 2008-11-27
Also published as: WO2008147039A1

Abstract

본 발명은 t-test를 이용한 영상 인식시스템에 관한 것으로서, 영상상황인식모듈을 통해 인식된 영상상황들을 t-test를 이용하여 인식기를 분류함으로써, 각 영상상황에 알맞은 최적의 영상상황을 도출하는 인식기를 선택하고, 얼굴영상의 영상상황 분류를 통해 각각 상이한 영상상황의 얼굴영상을 효율적으로 인식하도록 하는데 그 목적이 있다.

이러한 목적을 달성하기 위한 본 발명의 t-test를 이용한 영상 인식시스템은, 얼굴영상을 로딩하는 영상인식모듈과, 로딩된 얼굴영상을 정규화하는 영상정규화모듈과, 정규화된 얼굴영상에 포함된 잡음을 히스토그램평활화를 통해 제거하고, 벡터데이터를 생성하는 영상전처리모듈과, K-평균군집화방법을 사용한 클러스터링을 통해 벡터데이터에 포함된 영상상황을 사용자가 지정한 개수로 분류하는 영상상황분류모듈과, 분류된 영상상황을 유클리디언 거리공식을 통해 중심점을 기준으로 평균을 계산하고, 계산된 평균값을 기준으로 영상상황을 인식하는 영상상황인식모듈 및 인식된 영상상황들을 t-test를 이용한 인식기 분류를 통해 각 영상상황에 알맞은 최적의 영상상황을 도출하는 인식기를 선택하는 인식기 융합모듈을 포함한다.

얼굴영상, 영상상황, 인식기, 클러스터링, K-평균군집화

Description

ｔ―ｔｅｓｔ를 이용한 영상 인식시스템 및 그 방법{SYSTEM FOR DETECTING IMAGE USING T-TEST AND METHOD THEREFOR}

도 1은 종래의 단일 인식기의 구조를 나타내는 도면,

도 2는 단일 인식기들을 융합하는 다중인식기 융합 을 나타내는 흐름도,

도 3은 본 발명에 따른 t-test를 이용한 영상 인식시스템의 구성을 나타내는 도면,

도 4는 본 발명에 따른 클러스터간의 관계를 나타내는 도면,

도 5는 본 발명에 따른 각 클러스터의 유사도 테이블을 나타내는 도면,

도 6은 본 발명에 따른 영상상황분류모듈이 영상상황을 분류한 것을 나타내는 도면,

도 7은 본 발명에 따른 각 인식기들 간의 인식률을 나타내는 도면,

도 8은 본 발명에 따른 두 인식기 CLS_A와 CLS_B가 가합된 결과를 나타내는 도면,

도 9는 본 발명에 따른 [수학식 4]를 통해 도출된 (P_A-S_A), (P_B-S_B) 및 (P_F-S_F)의 결과를 나타내는 도면,

도 10은 본 발명에 따른 t-test를 이용한 영상 인식방법을 나타내는 순서도.

** 도면의 주요 부분에 대한 부호의 설명 **

100: t-test를 이용한 영상 인식시스템 110: 영상인식모듈

120: 영상정규화모듈 130: 영상전처리모듈

140: 영상상황분류모듈 150: 영상상황인식모듈

160: 영상상황융합모듈 10: 얼굴영상

본 발명은 에 관한 것으로서, 영상 인식시스템에 관한 것으로서, 인식된 영상상황들을 t-test를 이용하여 인식기를 분류함으로써, 각 영상상황에 알맞은 최적의 영상상황을 도출하는 인식기를 선택하고, 얼굴영상의 영상상황 분류를 통해 각각 상이한 영상상황의 얼굴영상을 효율적으로 인식하도록 하는 t-test를 이용한 영상 인식시스템에 관한 것이다.

패턴인식(Pattern Recognition)이란 클래스 맴버쉽 공간(Class Membership Space)으로의 매핑과정을 말한다. 즉, 외부로부터 획득된 데이터로부터 중요한 특징들을 추출하고, 그에 따라 가장 가까운 표준패턴(template)을 분류하여 최종적인 결과물을 도출하는 것이다.

따라서 이러한 패턴인식에서 사용하고자 하는 응용분야에 알맞은 데이터를 수집하고, 수집된 각 데이터별 특성을 고려하여 인식하는 인식기의 선택은 매우 중 요한데, 기본적으로 인식기에 의해 인식되는 방법은 도 1에 도시된 바와 같이, 입력데이터(x)에 대하여 인식기에 의해 출력(y)되는 결과를 통해 분류되는 단일 인식기의 구조가 대부분이다.

그러나 이러한 단일 인식기는 각 데이터의 종류나 환경에 따라 출력되는 결과가 달라지는 문제점 때문에, 최근 들어 좋은 인식결과를 얻을 수 있는 다중인식기와 관련된 많은 연구가 진행되고 있다.

그러나 첨부도면 도 2와 같이, 다중인식기를 fusion하여 인식을 위해 출력된 결과를 조합하여 인식률을 높이기 위한 연구들을이 주류를 이루고 있으며, 여러 개의 인식기를 선택하여 사용할 경우, 어떻게 결과를 융합할 것인가에 대한 문제는 제시하지 못하고 단지 각 데이터 영역에 대하여, 어떠한 인식기를 사용하는 것이 좋을 것인가에 대한 연구에 그치고 있어 효율적인 데이터 분류와 분류된 각 데이터들간의 최적 유사도를 갖도록 분류하는 방법에 대한 연구는 미흡한 실정이다.

또한, 각 데이터 영역들이 분류되는 시점의 상황을 고려치 않음으로써 일률적으로 동일한 조건하에서 분류된 데이터 영역만이 인식의 정확도를 보장받을 수 어 그 적용범위가 몹시 제한적이다.

본 발명은 전술한 문제점들을 해결하기 위해 창안된 것으로서, 영상상황인식모듈을 통해 인식된 영상상황들을 t-test를 이용하여 해당 인식기를 분류함으로써, 각 영상상황에 알맞은 최적의 영상상황을 도출하는 인식기를 선택하고, 얼굴영상의 영상상황 분류를 통해 각각 상이한 영상상황의 얼굴영상을 효율적으로 인식도록 하는 t-test를 이용한 영상 인식시스템을 제공한다.

이와 같은 특징적인 기술적 사상을 구현하기 위한 본 발명에 따른 t-test를 이용한 영상 인식시스템은, 얼굴영상을 로딩하는 영상인식모듈과, 로딩된 얼굴영상을 정규화하는 영상정규화모듈과, 정규화된 얼굴영상에 포함된 잡음을 히스토그램평활화를 통해 제거하고, 벡터데이터를 생성하는 영상전처리모듈과, K-평균군집화방법을 사용한 클러스터링을 통해 벡터데이터에 포함된 영상상황을 사용자가 지정한 개수로 분류하는 영상상황분류모듈과, 분류된 영상상황을 유클리디언 거리공식을 통해 중심점을 기준으로 평균을 계산하고, 계산된 평균값을 기준으로 영상상황을 인식하는 영상상황인식모듈 및 인식된 영상상황들을 t-test를 이용한 인식기 분류를 통해 각 영상상황에 알맞은 최적의 영상상황을 도출하는 인식기를 선택하는 인식기 융합모듈을 포함한다.

본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

도 3을 참조하면, 본 발명에 따른 t-test를 이용한 영상 인식시스템(100)은 영상인식모듈(110)과, 영상정규화모듈(120)과, 영상전처리모듈(130)과, 영상상황분 류모듈(140)과, 영상상황인식모듈(150) 및 인식기융합모듈(160)을 포함한다.

구체적으로 영상인식모듈(110)은 디지털캠코더 등의 이미지 촬영수단으로부터 입력된 소정 크기의 얼굴영상(10)을 로딩(Loading)한다.

영상정규화모듈(120)은 로딩된 얼굴영상을 정규화 한다. 여기서 정규화란 로딩된 영상을 128 x 128크기의 영상으로 정규화하는 것으로 설정하겠으나, 본 발명이 이에 국한되는 것은 아니다.

영상전처리모듈(130)은 영상정규화모듈로부터 인가받은 정규화된 영상에 포함된 잡음(노이즈)을 히스토그램평활화(Histogram Equalization)를 통해 제거하고, 벡터(vector)데이터를 생성한다.

첨부도면 도 4를 참조하면, 영상상황분류모듈(140)은 영상전처리모듈로부터 잡음이 제거된 벡터데이터를 인가받아 K-평균군집화방법을 사용한 클러스터링을 통해 사용자가 지정한 개수로 영상상황을 분류한다. 여기서 영상상황이란, 각 영상의 밝기(명암)차에 따라 각 영상간의 구분이 가능한 형태의 정보를 가지는 것으로, 각 영상을 0에서 255까지의 명암도값으로 설정함으로써, 영상의 조명상황을 나타내는 것으로 이해할 수 있다. 이는 얼굴영상에 포함된 영상상황들이 각기 상이함에서 비롯되는 얼굴영상의 인식 성능저하를 방지하기 위함이다.

첨부도면 도 5를 살피면, 클러스터링은 각 분류기(클래시화이어)가 출력하는 유사도를 하기의 [수학식 1]을 통해 그 사람이 맞을 경우와 맞지 않을 경우의 확률로 계산하여, 각 클래시화이어마다 출력된 결과가 참 또는 거짓인지 여부를 판단하는 것으로 첨부도면 도 6과 같이 영상상황을 분류하는 것이다.

[수학식 1]

영상상황인식모듈(150)은 영상상황분류모듈을 통해 분류된 영상상황을 유클리디언 거리공식을 통해 영상상황과 중심점을 기준으로 평균을 계산하고, 계산된 평균값을 기준으로 영상상황을 인식한다.

첨부도면 도 7에 나타난 바와 같이, 사용하는 데이터의 종류마다 인식기의 성능이 다르므로 각 인식기마다 인식한 결과가 상이하며, 각 클래시화이어로부터 출력된 사후확률의 평균을 취하는 방법이 가장 좋은 성능을 보인 것을 알 수 있다.

인식기융합모듈(160)은 영상상황인식모듈을 통해 인식된 영상상황들을 기반으로 t-test를 이용한 인식기 분류를 통해 인식된 영상상황에 알맞은 인식기를 선택한다. 이 인식기 선택은 t-test를 통해 이루어지며, t-test를 이용한 인식기의 선택은 다음과 같다.

먼저 두 개의 인식기 CLS_A와 CLS_B가 존재한다고 상정한다. CLS_A는 인식률의 평균을

, 분산값을

을 가진 분포로 정의하고, 얼굴상황 분포도를

로 정의한다. CLS_B는 인식률의 얼굴상황 분포도

로 정의하고, CLS_A와 CLS_B를 가합하여 두 인식기에 대한 인식률의 표준편차를 하기의 [수학식 2]로 도출한다.

[수학식 2]

첨부도면 도 8은 두 인식기 CLS_A와 CLS_B가 가합된 결과를 나타내고, 이 결과는 하기의 [수학식 3]을 통해 도출한다.

[수학식 3]

첨부도면 도 9는 하기 [수학식 4]를 통해 도출된 각 인식기별 인식률 (P_A-S_A), (P_B-S_B) and (P_F-S_F)의 결과를 나타내고 있다. 두 인식기 CLS_A와 CLS_B를 가합한 인식기 CLS_F의 인식률(P_F-S_F)이 가장 좋은 인식률(P_A-S_A)을 나타내는 인식기 CLS_A와 두 번째 인식률(P_B-S_B)을 나타내는 인식기 CLS_B보다 더 높은 것을 알 수 있다.

[수학식 4]

상기와 같은 가장 좋은 인식률(P_A-S_A)을 나타내는 인식기 CLS_A와 두 번째 인식률(P_B-S_B)을 나타내는 인식기 CLS_B간의 거리를 하기의 [수학식 5]를 통해 도출하고, 이 거리의 표준편차를

로 정의한다.

[수학식 5]

인식기융합모듈(160)은 하기 [수학식 6]을 통해 계산된 결과를 토대로 두 인식기 CLS_A와 CLS_B를 가합한 인식기 CLS_F를 선택한다.

[수학식 6]

여기서 t_(0.05,N-1) 는 t 값이 0.95 인 경우이며, N>100 이면 t_{(0.05, N-1)}=1.96 값을 이용한다.

상기와 같은 t-test를 이용한 인식기 분류를 통해 각각의 인식기가 얻은 인식률을 기반으로 상기 영상상황인식모듈(150)을 통해 인식된 얼굴상황에 알맞은 인식기를 선택할 수 있는 것이다.

이하 본 발명에 따른 t-test를 이용한 영상 인식방법에 대해 살펴본다. 도 10을 참조하면, 영상인식모듈(110)은 이미지 촬영수단으로부터 얼굴영상을 로딩하고(S110), 영상정규화모듈(120)은 로딩된 얼굴영상을 정규화한다(S120).

영상전처리모듈(130)은 정규화된 영상에 포함된 잡음을 히스토그램평활화를 통해 제거하고, 벡터데이터를 생성한다(S130).

영상상황분류모듈(140)은 잡음이 제거된 벡터데이터를 K-평균군집화방법을 사용한 클러스터링을 통해 사용자가 지정한 개수로 영상상황을 분류한다(S140).

이어서 영상상황인식모듈(150)은 분류된 영상상황을 유클리디언 거리공식을 통해 영상상황과 중심점을 기준으로 평균을 계산하고, 계산된 평균값을 기준으로 영상상황을 인식한다(S150).

인식기융합모듈(160)은 인식된 영상상황들을 t-test를 이용한 인식기 분류를 통해 각 영상상황에 알맞은 인식기를 선택한다(S160).

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

상기와 같은 본 발명에 따르면, 영상상황인식모듈을 통해 인식된 영상상황들을 t-test를 이용하여 인식기를 분류함으로써, 각 영상상황에 알맞은 최적의 영상상황을 도출하는 인식기를 선택할 수 있고, 얼굴영상의 영상상황 분류를 통해 각각 상이한 영상상황의 얼굴영상을 효율적으로 인식할 수 있다.

Claims

영상을 인식하는 시스템에 있어서,

얼굴영상을 로딩하는 영상인식모듈(110);

상기 로딩된 얼굴영상을 정규화하는 영상정규화모듈(120);

상기 정규화된 얼굴영상에 포함된 잡음을 히스토그램평활화를 통해 제거하고, 벡터데이터를 생성하는 영상전처리모듈(130);

K-평균군집화방법을 사용한 클러스터링을 통해 상기 벡터데이터에 포함된 영상상황을 사용자가 지정한 개수로 분류하는 영상상황분류모듈(140);

상기 분류된 영상상황을 유클리디언 거리공식을 통해 중심점을 기준으로 평균을 계산하고, 계산된 평균값을 기준으로 영상상황을 인식하는 영상상황인식모듈(150); 및

상기 인식된 영상상황들을 기반으로 t-test를 이용한 인식기 분류를 통해 각 영상상황에 알맞은 인식기를 선택하는 인식기 융합모듈(160); 을 포함하는 것을 특징으로 하는 t-test를 이용한 영상 인식시스템.
청구항 1에 있어서,

상기 영상상황은,

각 영상을 0에서 255까지의 명암도값으로 설정한 것을 특징으로 하는 t-test 를 이용한 영상 인식시스템.
인식기를 이용한 영상 분류 방법에 있어서,

얼굴영상을 로딩하는 제 1과정;

로딩된 얼굴영상을 정규화하는 제 2과정;

정규화된 얼굴영상에 포함된 잡음을 히스토그램평활화를 통해 제거하고, 벡터데이터를 생성하는 제 3과정;

상기 벡터데이터를 K-평균군집화방법을 사용한 클러스터링을 통해 영상상황을 사용자가 지정한 개수로 분류하는 제 4과정;

상기 분류된 영상상황을 유클리디언 거리공식을 통해 영상상황과 중심점을 기준으로 평균을 계산하고, 계산된 평균값을 기준으로 영상상황을 인식하는 제 5과정; 및

상기 인식된 영상상황을 t-test를 이용한 인식기 분류를 통해 각 영상상황에 알맞은 인식기를 선택하는 제 6과정; 을 포함하는 것을 특징으로 하는 t-test를 이용한 얼굴영상 인식방법.