KR101035768B1

KR101035768B1 - 립 리딩을 위한 입술 영역 설정 방법 및 장치

Info

Publication number: KR101035768B1
Application number: KR1020090000124A
Authority: KR
Inventors: 황성택; 김진영
Original assignee: 전남대학교산학협력단; 삼성전자주식회사
Priority date: 2009-01-02
Filing date: 2009-01-02
Publication date: 2011-05-20
Also published as: US20100172587A1; KR20100080712A; US8290277B2

Abstract

본 발명에 따른 입술 영역 설정방법은 영상에 포함된 얼굴에서 입술이 위치한 영역을 설정하는 방법에 있어서, 얼굴이 포함된 영상에서 적어도 미리 정해진 제1영역 및 제2영역을 설정하는 과정과, 상기 미리 정해진 제1영역의 명암 정보를 확인하는 과정과, 상기 명암 정보를 이용하여 이진화를 위한 임계값을 설정하고, 상기 임계값을 기준으로 적어도 상기 미리 정해진 제2영역을 이진화하는 과정과, 상기 이진화한 영상에서, 동일한 이진수 값을 갖는 화소가 미리 정해진 수의 범위 내에서 연속적으로 분포된 영역을 눈 후보 객체로서 설정하는 과정과, 영상 내에서 눈 영역의 기하학적 특징을 고려하여, 상기 눈 후보 객체로부터 눈 영역을 추출하는 과정과, 눈 영역과 입술 영역의 기하학적 정보에 기초하여, 추출된 상기 눈 영역을 기준으로 입술 영역을 설정하는 과정을 포함한다.

립 리딩, 눈 정위, 입술, 탐지,

Description

립 리딩을 위한 입술 영역 설정 방법 및 장치{METHOD FOR SETTING LIP REGION FOR LIP READING AND APPARATUS FOR THE SAME}

본 발명은 영상 인식 기술에 관한 것으로써, 특히 얼굴을 포함하는 영상의 립 리딩을 위한 입술영역을 탐지하는 방법 및 장치에 관한 것이다.

종래의 음성인식 기술에서는 음성 신호만을 이용하기 때문에 주변 잡음이 인식성능에 영향을 미치는 문제점이 있다. 이러한 문제점을 해결하기 위하여, 영상에 포함된 화자의 입술, 혀, 치아 등에 대한 영상 정보를 이용하여 음성을 인식하는 기술, 즉 립리딩(Lip-Reading) 또는 VSR(Visual speech recognition) 기술이 연구되고 있다.

립 리딩(Lip-Reading)을 위한 영상신호 처리순서는 입술영역 검출과 입술 특징 추출의 단계로 구성된다.

입술영역 검출은 색상정보를 기반으로 입력신호의 전체영상에서 화자 입술의 중심점, 폭과 높이 등의 정보를 검출하는 과정이다. 일반적으로 입술영역의 검출은 영상에 포함된 얼굴 영역을 색상 정보를 기반으로 검출한 후, 검출된 얼굴 영역 내에서 이루어진다. 이러한, 입술 영역 검출은 얼굴의 기하학적 정보를 이용하거나, 입술의 색상 정보를 기반으로 탐지된다.

그런데, 얼굴의 색상이나 명암은 사람의 피부색에 따나 차이가 크며, 특히 인종별(예컨대, 흑인종, 황인종, 백인종) 차이가 크기 때문에, 일괄적인 색상을 기준으로 얼굴 영역을 검출하는 것이 용이하지 않다. 또한, 조명의 변화에 따라 색상 정보의 변화를 유발함에 따라, 얼굴영역 탐지 성능이 크게 저하된다는 문제가 있다. 특히 정해진 일정한 장소를 대상으로 하지 않는, 이동통신 단말의 사용 환경에서는 조명변화가 더욱 심하여, 색상 정보를 기반으로 얼굴영역을 탐지하는 성능이 크게 저하될 수 있다. 따라서, 이동통신 단말에서 립 리딩(Lip-Reading)을 위한 영상신호를 처리하는 경우, 입술영역의 탐지 성능이 현저하게 저하되는 문제가 발생한다.

본 발명은 전술한 점을 고려하여 안출된 것으로서, 이동통신 단말의 사용환 경을 고려하고, 눈 정위에 기반하여 립 리딩을 위한 입술영역을 정확하게 검출할 수 있는 방법 및 장치를 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 입술 영역 설정방법은 영상에 포함된 얼굴에서 입술이 위치한 영역을 설정하는 방법에 있어서, 얼굴이 포함된 영상에서 적어도 미리 정해진 제1영역 및 제2영역을 설정하는 과정과, 상기 미리 정해진 제1영역의 명암 정보를 확인하는 과정과, 상기 명암 정보를 이용하여 이진화를 위한 임계값을 설정하고, 상기 임계값을 기준으로 적어도 상기 미리 정해진 제2영역을 이진화하는 과정과, 상기 이진화한 영상에서, 동일한 이진수 값을 갖는 화소가 미리 정해진 수의 범위 내에서 연속적으로 분포된 영역을 눈 후보 객체로서 설정하는 과정과, 영상 내에서 눈 영역의 기하학적 특징을 고려하여, 상기 눈 후보 객체로부터 눈 영역을 추출하는 과정과, 눈 영역과 입술 영역의 기하학적 정보에 기초하여, 추출된 상기 눈 영역을 기준으로 입술 영역을 설정하는 과정을 포함한다.

상기 미리 정해진 제1영역은 상기 영상에 포함된 얼굴의 코가 위치할 것으로 예상되는 부분으로서, 상기 영상의 중심 부분이 위치한 영역일 수 있으며, 상기 미리 정해진 제2영역은 상기 영상에 포함된 얼굴의 눈 영역이 위치할 것으로 예상되 는 부분으로서, 상기 제1영역보다 상대적으로 상부에 위치한 영역일 수 있다.

상기 이진화를 위한 임계값은 중간값이 다양한 조명 변화에 강한 성능을 보이기 떼문에, 상기 미리 정해진 제1영역의 명암 값의 중간값에 따라 결정하는 것이 바람직하다.

눈 후보 객체의 중심 영역의 영상 정보를 기반으로, 눈 영역을 추출하는 것이 바람직하다.

본 발명의 일 측면에 따른 입술 영역 설정방법은 복수의 영상에 포함된 눈 영역의 영상 정보를 확인하는 과정과, 눈 영역의 영상 정보를 미리 데이터베이스화하는 과정을 더 포함하며, 상기 데이터베이스화된 눈 영역의 영상정보를 참조하여, 가우시안 혼합 모델을 설정하고 상대적으로 큰 확률을 갖는 눈 후보 객체를 눈 영역으로서 추출하는 것이 바람직하다.

나아가, 좌측눈 및 우측눈의 기하학적 정보에 기초하여, 좌측눈 및 우측눈을 한 쌍으로 하여 눈 영역을 추출하는 것이 바람직하다.

본 발명의 다른 측면에 따른 입술 영역 설정장치는 영상에 포함된 얼굴에서 입술이 위치한 영역을 설정하는 장치에 있어서, 얼굴이 포함된 영상을 입력받고, 영상에서 적어도 미리 정해진 제1영역 및 제2영역을 설정하는 기준 영역 설정부와, 상기 기준 영역 설정부에 의해 설정된 미리 정해진 제1영역의 명암 정보를 확인하고, 상기 명암 정보를 이용하여 이진화를 위한 임계값을 설정하는 이진화 임계값 설정부와, 상기 임계값을 기준으로 적어도 상기 미리 정해진 제2영역을 이진화하는 이진화 연산부와, 상기 이진화한 영상에서, 동일한 이진수 값을 갖는 화소가 미리 정해진 수의 범위 내에서 연속적으로 분포된 영역을 눈 후보 객체로서 설정하는 눈 후보 객체 추출부와, 영상 내에서 눈 영역의 기하학적 특징을 고려하여, 상기 눈 후보 객체로부터 눈 영역을 추출하는 눈 영역 추출부와, 눈 영역과 입술 영역의 기하학적 정보에 기초하여, 추출된 상기 눈 영역을 기준으로 입술 영역을 설정하는 입술영역 추출부를 포함한다.

본 발명의 입술 영역 설정장치 및 방법에 따르면, 이동통신 단말의 특수한 사용 환경을 고려하여 얼굴영역을 추정함으로써, 얼굴영역 탐지의 신뢰성을 높일 수 있으며, 얼굴에 포함된 입술 영역을 효과적으로 탐지할 수 있다.

또한, 얼굴색 개별적인 차이, 조명 환경 변화 등에 상관없이 얼굴영역을 효과적으로 탐지할 수 있으며, 얼굴영역 탐지의 신뢰성을 높일 수 있다.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명의 일 실시예에서는, 사용환경이 다양하게 변화될 수 있는 이동통신 단말에 적용되는 입술 영역 설정장치를 예시한다.

이동 통신 단말의 사용 환경에서는, 카메라를 통해 촬영되는 영상에 항상 1 인의 사용자 얼굴이 존재할 수 있으며, 상기 사용자의 얼굴은 획득 영상의 중앙 부분에 존재할 수 있다. 상기의 두 가지 조건을 가정하면, 이동통신 단말의 사용환경에서 립 리딩을 하기 위한 간편한 시나리오를 작성할 수 있다. 얼굴이 획득된 영상의 적절한 영역 내 존재한다고 하면, 주어진 좁은 영역에서 쉽게 찾을 수 있는 얼굴의 특징을 이용하는 것이다.

도 1은 본 발명의 일 실시예에 따른 입술 영역 설정장치의 구성을 대략적으로 도시하는 블록도이다. 도 1을 참조하면, 본 발명에 따른 입술 영역 설정장치는 기준 영역 설정부(10), 이진화 임계값 설정부(20), 이진화 연산부(30), 눈 후보 객체 추출부(40), 눈 영역 추출부(50), 및 입술영역 추출부(60)를 포함한다.

기준 영역 설정부(10)는 얼굴이 포함된 영상을 입력받은 후, 영상의 크기, 비율 등을 기반으로 영상 내에서의 얼굴이 위치할 수 있는 영역, 즉 영상의 중앙 부분의 소정 범위의 픽셀을 얼굴 영역으로 추정한다. 그리고, 기준 영역 설정부(10)는 얼굴의 기하학적 정보에 기초하여, 추정한 상기 얼굴 영역에서 적어도 두 개의 영역(예컨대, 제1영역(도 2의 11), 제2영역(도 2의 13))을 설정한다. 상기 제1영역(11)은 얼굴의 살색이 집중적으로 분포된 영역으로서, 예컨대 얼굴의 코가 위치할 것으로 예상되는 영역일 수 있다. 상기 제1영역(11)은 영상의 가장 중심이 되는 점으로부터 미리 정해진 범위의 픽셀일 수 있다. 상기 제1영역(11)의 미리 정해진 범위는 상기 영상을 복수의 영역으로 분할한 크기로 설정될 수 있다. 예컨대, 상기 제1영역(11)의 크기는 상기 영상을 9열 16행으로 분할하여 생성되는 하나의 셀의 크기로 설정될 수 있다. 상기 제2영역(13)은 얼굴의 눈이 위치할 것으로 예상 되는 영역으로서, 예컨대 상기 제1영역(11)보다 상대적으로 상부에 위치한 영역의 미리 정해진 범위일 수 있다. 상기 제2영역(13)의 미리 정해진 범위는 상기 영상을 4열 3행으로 분할하여 생성되는 셀의 크기로 설정될 수 있다. 상기 제1 및 제2영역(11,13)에서, 얼굴에 포함된 코 및 눈의 위치는 얼굴을 포함하는 복수의 영상에서 코 및 눈의 위치를 표준화한 값에 기초하여 설정할 수 있다.

비록, 본 발명의 일 실시예에서, 상기 제1 및 제2영역(11,13)의 미리 정해진 범위를 예시하였으나, 본 발명이 이를 한정하는 것은 아니며, 본 발명의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있음은 물론이다.

이진화 임계값 설정부(20)는 상기 제1영역(11)의 명암 정보를 확인하고, 상기 명암 정보를 이용하여 이진화를 위한 임계값을 설정한다. 이진화 임계값 설정부(20)는 상기 제1영역(11)에 포함된 픽셀들의 명암 값의 중간값 연산을 통해 이진화를 위한 임계값을 설정하는 것이 바람직하다. 예컨대, 이진화 임계값 설정부(20)는 하기의 수학식 1의 연산을 통해 상기 제1영역에 포함된 픽셀들의 명암 값의 중간값을 연산할 수 있다.

여기서, Thr_e는 이진화를 위한 임계값이고, Y는 명암 값이다.

이진화 연산부(30)는 상기 이진화를 위한 임계값(Thr_e)을 기준으로 상기 제2영역(13)에 대한 이진화 연산을 수행한다. 즉, 이진화 연산부(30)는 상기 제2영 역(13)에 포함된 픽셀들을 상기 이진화를 위한 임계값(Thr_e)과 비교하고, 상기 제2영역(13)에 포함된 픽셀의 명암 값이 상기 이진화를 위한 임계값(Thr_e)과 같거나 상대적으로 크면, 픽셀의 값을 0으로 설정하고, 상기 제2영역(13)에 포함된 픽셀의 명암 값이 상기 이진화를 위한 임계값(Thr_e)보다 상대적으로 작으면, 픽셀의 값을 1로 설정한다.

도 3은 본 발명의 일 실시예에 따른 입술 영역 설정장치에 구비된 이진화 연산부(30)가 상기 제2영역(13)을 이진화한 결과를 예시하는 도면이다. 도 3을 참조하면, 상기 이진화를 위한 임계값(Thr_e)과 같거나 상대적으로 큰 픽셀들(31)은 0으로 설정되어 백색으로 표현되고, 상기 이진화를 위한 임계값(Thr_e)보다 상대적으로 작은 픽셀들(33)은 1로 설정되어 흑색으로 표현된다.

눈 후보 객체 추출부(40)는 상기 제2영역(13)을 이진화한 영상(예컨대, 도 3)에서 백색으로 표현된 픽셀이 미리 정해진 수의 범위 내에서 연속적으로 분포된 영역을 눈 후보 객체(41,42,43,44)로 설정한다. 예컨대, 백색으로 표현된 픽셀이 10개 이상 30개 이하의 연속적으로 분포된 영역을 눈 후보 객체로 설정한다.

눈 영역 추출부(50)는 눈 후보 객체들 중, 각 객체의 중심 부분 픽셀의 영상 정보를 기반으로 오른쪽 및 왼쪽 눈 영역을 추출한다. 얼굴이 포함된 다수의 영상의 눈이 위치한 영역에 대한 데이터베이스를 구축하고, 이에 대한 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 미리 설정하고, 눈 후보 객체들을 가우시안 혼합 모델에 적용하고 눈 후보 객체들의 확률을 연산하여, 상대적으로 큰 확률을 갖는 두 개의 후보 쌍을 검색한다.

눈 영역에 대한 가우시안 혼합 모델을 학습할 때, 그리고 눈 영역을 검증할 때, 눈 영역의 검출에 대한 신뢰성을 높이기 위하여, 눈 영역 추출부(50)는 오른쪽 및 왼쪽 눈의 얼굴 내에서의 기하학적 정보에 기초하여, 오른쪽 및 왼쪽 눈 영역 하나의 쌍으로 추출하여 사용한다(도 4a 참조). 더욱 바람직하게, 눈 영역 추출부(50)는 눈이 위치한 영역뿐 아니라 눈썹이 위치한 영역을 확대하여, 두 눈과 눈썹이 포함된 영역을 추출하는 것도 가능하다(도 4b 참조).

입술영역 추출부(60)는 얼굴이 포함된 다수의 영상에서 눈과 입술 사이의 기하학적 정보, 예컨대 두 눈 사이의 거리, 두 눈의 중심점으로부터 입술까지의 최단 거리, 입술의 폭 등을 고려하여, 입술이 포함되어 있는 입술 후보 영역을 탐색한다. 그리고, 입술영역 추출부(60)는 상기 입술 후보 영역의 히스토그램, 명암 정보, 색상 정보 등을 이용하여 최종적으로 입술영역을 추출하게 된다.

도 5는 본 발명의 일 실시예에 따른 입술 영역 설정장치에서의 영상의 눈과 입술 사이의 기하학적 정보를 예시한다. 도 5를 참조하면, DbEs는 두 눈 사이의 거리를 지시하고, DbEL은 두 눈의 중심점으로부터 입술까지의 최단 거리를 지시하고, WoL은 입술의 폭을 지시한다.

나아가, 얼굴이 포함된 영상에서 눈과 입술 사이의 기하학적 정보는 다수의 영상에서 DbEs, DbEL, WoL의 관계를 이용하여 정형화할 수 있다. 예컨대, 입술 영역 설정장치가 적용되는 이동통신 단말의 카메라로부터 입력되는 영상을 처리하여, DbEs, DbEL, WoL을 각각 측정한다. 그리고, WoL/DbEs와 DbEL/DbEs을 각각 연산한다. 그리고, 연산된 값에 기초하여 눈과 입술 사이의 기하학적 정보를 정형화 한다.

하기의 표 1은 입술 영역 설정장치가 적용되는 이동통신 단말의 카메라로부터 입력되는 28개의 영상에 대해 WoL/DbEs와 DbEL/DbEs을 각각 연산한 후, 최대값 및 최소값을 연산한 결과를 예시한다.

	최대값	최소값
WoL/DbEs	0.9	0.48
DbEL/DbEs	1.51	0.95

이하, 전술한 구성요소를 참조하여 본 발명의 입술 영역 설정장치의 동작을 설명함으로써, 입술 영역 설정 방법의 순서를 설명한다.

도 6은 본 발명의 일 실시예에 따른 입술 영역 설정방법의 순서를 도시하는 흐름도이다.

우선,100단계에서 얼굴이 포함된 영상이 기준 영역 설정부(10)에 입력되면, 110단계에서 기준 영역 설정부(10)는 영상의 크기, 비율 등을 기반으로 영상 내에서의 얼굴이 위치할 수 있는 영역, 즉 영상의 중앙 부분의 소정 범위의 픽셀을 얼굴 영역으로 추정한다.

그리고, 115단계에서 기준 영역 설정부(10)는 얼굴의 기하학적 정보에 기초하여, 검출된 상기 얼굴 영역에서 적어도 두 개의 영역(예컨대, 제1영역(도 2의 11), 제2영역(도 2의 13))을 설정한다. 여기서, 상기 제1영역(11)은 얼굴의 살색이 집중적으로 분포된 영역으로서, 예컨대 얼굴의 코가 위치할 것으로 예상되는 영역일 수 있다. 상기 제1영역(11)은 영상의 가장 중심이 되는 점으로부터 미리 정해진 범위의 픽셀일 수 있다. 상기 제1영역(11)의 미리 정해진 범위는 상기 영상을 복수의 영역으로 분할한 크기로 설정될 수 있다. 예컨대, 상기 제1영역(11)의 크기는 상기 영상을 9열 16행으로 분할하여 생성되는 하나의 셀의 크기로 설정될 수 있다. 상기 제2영역(13)은 얼굴의 눈이 위치할 것으로 예상되는 영역으로서, 예컨대 상기 제1영역(11)보다 상대적으로 상부에 위치한 영역의 미리 정해진 범위일 수 있다. 상기 제2영역(13)의 미리 정해진 범위는 상기 영상을 4열 3행으로 분할하여 생성되는 셀의 크기로 설정될 수 있다. 상기 제1 및 제2영역(11,13)에서, 얼굴에 포함된 코 및 눈의 위치는 얼굴을 포함하는 복수의 영상에서 코 및 눈의 위치를 표준화한 값에 기초하여 설정할 수 있다.

120단계에서, 이진화 임계값 설정부(20)는 상기 제1영역(11)의 명암 정보를 확인하고, 상기 명암 정보를 이용하여 이진화를 위한 임계값을 설정한다. 이진화를 위한 임계값은 상기 제1영역(11)에 포함된 픽셀들의 명암 값의 중간값 연산을 통해 설정되는 것이 바람직하다. 이진화를 위한 임계값은 상기의 수학식 1의 연산을 통해 설정될 수 있다.

다음으로, 130단계에서 이진화 연산부(30)는 상기 이진화를 위한 임계값(Thr_e)을 기준으로, 상기 제2영역(13)에 포함된 픽셀들을 상기 이진화를 위한 임계값(Thr_e)과 비교하여, 상기 제2영역(13)에 포함된 픽셀의 명암 값이 상기 이진화를 위한 임계값(Thr_e)과 같거나 상대적으로 크면 0으로 설정하고, 상기 제2영역(13)에 포함된 픽셀의 명암 값이 상기 이진화를 위한 임계값(Thr_e)보다 상대적으로 작으면 1로 설정한다.

다음으로, 140단계는 눈 후보 객체 추출부(40)에 의해 수행된다. 눈 후보 객체 추출부(40)는 상기 제2영역(13)을 이진화한 영상(예컨대, 도 3)에서 백색으로 표현된 픽셀이 미리 정해진 수의 범위 내에서 연속적으로 분포된 영역을 눈 후보 객체(41,42,43,44)로 설정한다. 예컨대, 눈 후보 객체 추출부(40)는 백색으로 표현된 픽셀이 10개 이상 30개 이하의 연속적으로 분포된 영역을 눈 후보 객체로 설정한다.

눈 후보 객체가 설정되면, 눈 영역 추출부(50)는 눈 후보 객체들 중, 각 객체의 중심 부분 픽셀의 영상 정보를 기반으로 오른쪽 및 왼쪽 눈 영역을 추출한다(150단계).

150단계의 수행을 위해 눈 영역 추출부(50)는 얼굴이 포함된 다수의 영상의 눈이 위치한 영역에 대한 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 미리 설정하여 메모리에 저장한다. 그리고, 150단계의 수행이 요청되면, 눈 후보 객체를 가우시안 혼합 모델에 적용하여, 각 객체의 확률을 연산한다. 그리고, 상대적으로 큰 확률을 갖는 두 개의 후보 쌍을 검색하고, 검색된 상기 두 개의 후보 쌍을 눈 영역으로 추출한다.

나아가, 눈 영역의 검출에 대한 신뢰성을 높이기 위하여, 눈 영역 추출부(50)는 오른쪽 및 왼쪽 눈의 얼굴 내에서의 기하학적 정보에 기초하여, 오른쪽 및 왼쪽 눈 영역 하나의 쌍으로 추출하는 것이 바람직하다(도 4a 참조). 더욱 바람직하게, 눈 영역 추출부(50)는 눈이 위치한 영역뿐 아니라 눈썹이 위치한 영역을 확대하여, 두 눈과 눈썹이 포함된 영역을 추출하는 것도 가능하다(도 4b 참조).

마지막으로, 160단계는 입술영역 추출부(60)에 의해 수행된다. 150단계에서 추출된 눈 영역을 기준으로, 얼굴이 포함된 다수의 영상에서 눈과 입술 사이의 기하학적 정보, 예컨대 두 눈 사이의 거리, 두 눈의 중심점으로부터 입술까지의 최단 거리, 입술의 폭 등을 고려하여, 입술이 포함되어 있는 입술 후보 영역을 탐색한다. 그리고, 상기 입술 후보 영역의 히스토그램, 명암 정보, 색상 정보 등을 이용하여 최종적으로 입술영역을 추출하게 된다.

본 발명에 따른 입술 영역 설정방법 및 장치는 이동통신 단말 기반에서 이용될 수 있다. 본 발명에 따른 입술 영역 설정방법 및 장치는 조명 변화에 강인한 립 리딩의 전처리 단계로써, 얼굴색 기반 얼굴 탐지를 시행하지 않고 입술 후보 영역을 검출하는 방법에 대하여 제시하였다. 즉, 이동통신 단말의 특수한 사용 환경을 고려하여, 별도로 얼굴 영역을 검출하지 않고, 얼굴 중 눈이 항상 존재할 충분한 영역을 선정하였다. 그리고, 이 영역 안에서 두 눈을 찾고, 두 눈의 기하학적 정보를 이용하여 모든 경우 입술이 충분히 들어갈 입술 후보 영역을 결정하는 방법을 제시하였다. 이러한 방법은 조명의 변화 및 얼굴 색상의 변환에 대하여, 강인할 것으로 예상되는데 이는 오로지 명암 정보만을 이용한다는 점, 그리고 눈 영역의 모습은 조명에 따라 변화하지 않음에 기반하고 있다. 또한, 눈 영역 검증시 두 눈과 눈썹을 포함하는 영역을 기준으로 두 눈 검증을 제시하였는데, 이는 간단한 패턴 분류 방법을 이용하여 눈 후보 영역을 검증할 때, 종래보다 효과적인 방법이 될 것이다.

본 발명에 따른 입술 영역 설정방법 및 장치는 디지털 장비 및 장치로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 디지털 장비 및 장치로 읽을 수 있는 기록매체는 디지털 장비 및 장치 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 디지털 장비 및 장치가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것을 포함한다. 또한, 디지털 장비 및 장치가 읽을 수 있는 기록 매체는 네트워크로 연결된 디지털 장비 및 장치 시스템에 분산되어, 분산 방식으로 디지털 장비 및 장치가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.

도 1은 본 발명의 일 실시예에 따른 입술 영역 설정장치의 구성을 대략적으로 도시하는 블록도,

도 2는 본 발명의 일 실시예에 따른 입술 영역 설정장치에 구비된 기준 영역 설정부가 설정한 제1영역 및 제2영역을 예시하는 도면,

도 3은 본 발명의 일 실시예에 따른 입술 영역 설정장치에 구비된 이진화 연산부가 이진화한 결과를 예시하는 도면,

도 4a는 본 발명의 일 실시예에 따른 입술 영역 설정장치에 구비된 눈 영역 추출부가 검출한 눈 영역의 일 예시도,

도 4b는 본 발명의 일 실시예에 따른 입술 영역 설정장치에 구비된 눈 영역 추출부가 검출한 눈 영역의 다른 예시도,

도 5는 본 발명의 일 실시예에 따른 입술 영역 설정장치에서의 영상의 눈과 입술 사이의 기하학적 정보를 예시하는 도면,

도 6은 본 발명의 일 실시예에 따른 입술 영역 설정방법의 순서를 도시하는 흐름도.

Claims

영상에 포함된 얼굴에서 입술이 위치한 영역을 설정하는 방법에 있어서,

얼굴이 포함된 영상에서 적어도 미리 정해진 제1영역 및 제2영역을 설정하는 과정과,

상기 미리 정해진 제1영역의 명암 정보를 확인하는 과정과,

상기 명암 정보를 이용하여 이진화를 위한 임계값을 설정하고, 상기 임계값을 기준으로 적어도 상기 미리 정해진 제2영역을 이진화하는 과정과,

상기 이진화한 영상에서, 동일한 이진수 값을 갖는 화소가 미리 정해진 수의 범위 내에서 연속적으로 분포된 영역을 눈 후보 객체로서 설정하는 과정과,

영상 내에서 눈 영역의 기하학적 특징을 고려하여, 상기 눈 후보 객체로부터 눈 영역을 추출하는 과정과,

눈 영역과 입술 영역의 기하학적 정보에 기초하여, 추출된 상기 눈 영역을 기준으로 입술 영역을 설정하는 과정을 포함함을 특징으로 하는 영상에 포함된 입술 영역 설정방법.
제1항에 있어서, 상기 미리 정해진 제1영역은 상기 영상에 포함된 얼굴의 코가 위치할 것으로 예상되는 부분으로서, 상기 영상의 중심 부분이 위치한 영역인 것을 특징을 하는 영상에 포함된 입술 영역 설정방법.
제1항에 있어서, 상기 미리 정해진 제2영역은 상기 영상에 포함된 얼굴의 눈 영역이 위치할 것으로 예상되는 부분으로서, 상기 제1영역보다 상대적으로 상부에 위치한 영역인 것을 특징을 하는 영상에 포함된 입술 영역 설정방법.
제1항에 있어서, 상기 이진화를 위한 임계값은 상기 미리 정해진 제1영역의 명암 값의 중간값에 따라 결정하는 것을 특징으로 하는 영상에 포함된 입술 영역 설정방법.
제1항에 있어서, 눈 후보 객체의 중심 영역의 영상 정보를 기반으로, 눈 영역을 추출하는 것을 특징으로 하는 영상에 포함된 입술 영역 설정방법.
제1항에 있어서,

복수의 영상에 포함된 눈 영역의 영상 정보를 확인하는 과정과,

눈 영역의 영상 정보를 미리 데이터베이스화하는 과정을 더 포함하며,

상기 데이터베이스화된 눈 영역의 영상정보를 참조하여, 가우시안 혼합 모델을 설정하고 상대적으로 큰 확률을 갖는 눈 후보 객체를 눈 영역으로서 추출하는 것을 특징으로 하는 영상에 포함된 입술 영역 설정방법.
제1항에 있어서, 좌측눈 및 우측눈의 기하학적 정보에 기초하여, 좌측눈 및 우측눈을 한 쌍으로 하여 눈 영역을 추출하는 것을 특징으로 하는 영상에 포함된 입술 영역 설정방법.
영상에 포함된 얼굴에서 입술이 위치한 영역을 설정하는 장치에 있어서,

얼굴이 포함된 영상을 입력받고, 영상에서 적어도 미리 정해진 제1영역 및 제2영역을 설정하는 기준 영역 설정부와,

상기 기준 영역 설정부에 의해 설정된 미리 정해진 제1영역의 명암 정보를 확인하고, 상기 명암 정보를 이용하여 이진화를 위한 임계값을 설정하는 이진화 임계값 설정부와,

상기 임계값을 기준으로 적어도 상기 미리 정해진 제2영역을 이진화하는 이진화 연산부와,

상기 이진화한 영상에서, 동일한 이진수 값을 갖는 화소가 미리 정해진 수의 범위 내에서 연속적으로 분포된 영역을 눈 후보 객체로서 설정하는 눈 후보 객체 추출부와,

영상 내에서 눈 영역의 기하학적 특징을 고려하여, 상기 눈 후보 객체로부터 눈 영역을 추출하는 눈 영역 추출부와,

눈 영역과 입술 영역의 기하학적 정보에 기초하여, 추출된 상기 눈 영역을 기준으로 입술 영역을 설정하는 입술영역 추출부를 포함함을 특징으로 하는 영상에 포함된 입술 영역 설정장치.