KR20020007735A - 미래 자녀 및 미래모습 예측이 가능한 얼굴 포토 스티커시스템 - Google Patents

Abstract

3차원 얼굴 모델링 방법을 기초로 한 미래 자녀 및 미래모습 예측 기능을 가지는 얼굴 포토 스티커 시스템이 개시된다. 본 발명에 따른 얼굴 포토 스티커 시스템은 부모의 얼굴을 입력하여 소정의 3차원 형상 모델을 입력된 부모의 얼굴에 정합시키는 정합부와, 정합된 부모 얼굴의 형상 모델을 어린아이의 특징을 가지도록 수정하고, 부모의 얼굴 영상을 수정된 얼굴 형상 모델에 3차원 텍스쳐 매핑시킴으로써 수정된 부모의 얼굴을 생성하는 부모 얼굴 영상 수정부와, 복수의 남.여 어린 아이들의 얼굴 이미지를 저장하는 데이터베이스와, 상기 데이터베이스로부터 부모의 얼굴의 종횡비가 가장 유사한 아이 영상을 부모와 가장 닮은 어린 아이 영상으로써 선택하여 선택된 어린 아이 영상의 적어도 눈, 코, 입을 부모의 수정된 것으로 교환함으로써 부모를 닮은 미래 자녀의 얼굴 영상을 생성하는 미래 자녀 얼굴 영상 생성부, 및 적어도 생성된 미래 자녀 얼굴을 출력하는 프린트부를 포함하는 것을 특징으로 한다.

상기와 같은 본 발명에 따른 포토 스티커 시스템은 미래 자녀·미래 모습의 예측, 관광 명소와 인물의 합성등과 같은 고기능을 수행할 수 있다.

Description

미래 자녀 및 미래모습 예측이 가능한 얼굴 포토 스티커 시스템{Three dimensional face modeling method and facial photo sticker system for predicting the future children and the future facial shapes}

본 발명은 얼굴 포토 스티커 시스템에 관한 것으로, 특히, 미래 자녀 및 미래모습 예측이 가능한 얼굴 포토 스티커 시스템에 관한 것이다.

포토 스티커는 1994년경에 일본에서 개발되어 청소년들 사이에서 폭발적인 인기를 얻고 있다. 얼굴 포토 스티커는 카메라로 얼굴을 입력하여, 예를들어, 110mm×110mm의 비디오 프린터용지를 16등분하여, 얼굴을 출력한다. 종래 기술의 얼굴 포토 스티커 시스템은 명암 조절, 배경 합성, 문자, 숫자의 입력 등과 같은 기초적인 기술을 사용하고 있다. 하지만, 종래의 얼굴포토 스티커는 단순기능임에도 불구하고, 청소년들 사이에서는 많은 인기를 누리고 있다. 이것은 자기 자신의 모습을 바라보고, 자기 자신이 참여할 수 있고, 자기 자신의 모습을 상대방에게 전할 수 있는 용이한 수단이기 때문일 것으로 판단할 수 있다. 노래방이 지금과 같이 성행하고 있는 것은 스트레스 해소의 방법일 뿐만 아니라, 자기 음성이 스피커를 통해서 증폭되어 자연스럽게 자기 과시가 가능하기 때문일 것으로 판단할 수 있다.

얼굴포토 스티커는 사용자가 얼굴을 카메라의 앞에서면, 미리 준비된 배경에 얼굴을 합성하여, 110mm×110mm의 프린터 용지에 25mm × 25mm의 크기의 사진으로 16컷트를 출력하는 단순기능을 가진 시스템이다. 국내에서는 단순기능의 얼굴포토 스티커를 제조하는 회사는 LG산전등 10여곳에 이른다. 이 기술은 하드웨어의 기술과 소프트웨어의 기술 두가지로 나누어 생각할 수 있다.

종래의 얼굴 포토 스티커 시스템을 제조하는 회사 및 모델명과 해당 제품의 기능을 비교한다. 금호정보통신의 포토박스-천하통일이라는 모델의 제품은 스티커 사진외 증명사진, 합성사진 출력이 가능하고, CCD카메라를 이용한 증명사진 출력이 가능하며, 전문 디자이너가 제작한 다양한 그림, 영화, 및 포스터 등을 이용한 연출이 가능하고, 외부 LED 계기판을 부착함으로써 운영자에게 필요한 정보 제공한다. 해태전자의 깜찍이 포토라는 모델의 제품은 9가지 주제와 배경화면을 사용자가 선택하고, 6자 내의 원하는 문자 및 숫자를 입력할 수 있는 기능 및 확대 축소가능을 구비한다. 또한, LG산전의 LAST-20SC-MO, LAST-20SC-DN, LAST-20SC-CS, 및 LAST-20SC-TO라는 모델의 제품은 16컷트 분할 기능과 내장촬영, 문자 숫자 입력가능, 숨은 문자 기능, 숫자 입력 기능등을 구비한다.

또한, 일본산 (주) 세아물산 수입의 찌꾸 클럽-SPVM-2181이라는 모델은 16컷트 분할 기능을 내장하고, 스티커 사진이 출력되는 동안 간단한 게임을 제공하는 기능을 구비하는 것이 특징이다. 일본의 THE GIRLS CLUB이라는 모델의 제품은 16컷트 분할 기능을 내장하고, 염료 승화 프린트 방식을 채용하여 화질 성능을 개선하였으며, 사진 일부에 전화번호를 삽입할 수 있고, 사진이 인화되는 동안 게임을 제공하는 것을 특징으로 한다. 또한, 일본의 세가 & 아트라스라는 모델의 제품은 고해상 디지털 프린트를 채용하고 있다.

상기와 같은 종래의 얼굴 포토 스티커 시스템들은 서로 유사한 기능들을 보유하며, 얼굴 영상의 축소, 배경합성, 문자입력 등 초보적인 영상처리 기술을 구사하고 있고, 제품간의 차이가 있다면, 명암조절, 배경합성, 문자, 숫자의 입력 등으로, 기술적 측면에서 볼 때 초보적인 것들이므로 보다 고기능의 포토 스티커 시스템에 대한 요구가 여전히 존재한다.

또한, 얼굴의 식별에 사용되는 기술로써는 L.Sirovich와 M.Kirby에 의한 "Low-dimensional procedure for charcterization of human faces(J. Opt. Soc. Am. A. 4. 3, pp.519∼524, 1987)"과 "Application of the KarhunenLoeve Procedure for the Characterization of Human Face(IEEE Trans. Pattern Anal. & Mach. Intell. PAM1 12, 1, pp.103∼108, 1990"의 자료에 따르면 얼굴 영상을 주성분 분석하여 『Eigen Picture』라고 하는 직교된 기저 얼굴 영상을 구한다. 또한, M.Turk 및 A.Pentland에 의한 "Representing Faces for Recognition(M.I.T Media Lab Vision Modeling Group Technical Report #132, 1990)의 자료에 따르면 기저 영상을 이용해서 얼굴 영상을 분석하고, 분석된 결과로부터 얼굴을 식별하는 시험을 하였다.

하지만, 상기 방법에 따르면 얼굴의 형상을 고려하지 않았기 때문에 동일 인물이라 할지라도 얼굴 영상의 배경이나 얼굴의 방향이 달라지면 주성분분석의 결과도 달라져 버린다. 또, 분석 결과로부터 재합성된 얼굴 영상이 부자연스럽게 되기 때문에, 특징 정보의 가시화가 요구되는 분야에는 응용이 곤란하게 된다.

한편, 몽타주 작성시스템, 이산가족 찾기, 및 미아 찾기등과 같은 분야에서 범인의 모습을 모델링하거나 미아의 수십년 뒤의 모습을 모델링하는 얼굴 모델링 방법이 적용되고 있다. 하지만, 상기와 같은 종래의 얼굴 모델링 방법은 전문가에 의하여 고가의 전용 컴퓨터에서 복잡한 처리과정을 통하여 작업이 이루어지기 때문에 범용화되기가 매우 어렵다는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 상기 3차원 얼굴 모델링 방법을 적용한 얼굴 포토 스티커 시스템을 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는 미래 자녀의 예측기능이 부가된 얼굴 포토 스티커 시스템을 제공하는 것이다.

본 발명이 이루고자 하는 또 다른 기술적 과제는 미래 모습의 예측기능이 부가된 얼굴 포토 스티커 시스템을 제공하는 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 얼굴 포토 스티커 시스템의 구조를 도시한 블록도이다.

도 2는 본 발명의 실시예에 따른 얼굴 포토 스티커 시스템에 적용된 3차원 얼굴 모델링 방법의 주요 단계들을 나타낸 흐름도이다.

도 3는 대상인물의 정면상의 일예를 나타낸 도면이다.

도 4는 대상 인물의 3차원 형상 모델을 얻기 위한 유저 인터페이스 화면의 일예를 나타낸 도면이다.

도 5는 얼굴의 표준 3차원 형상모델을 도시한 도면이다.

도 6은 얼굴과 두발을 통합한 표준 3차원 형상모델을 나타낸 도면이다.

도 7은 어파인 변환전과 후의 모습을 비교 도시한 도면이다.

도 8은 수동 추출된 얼굴 영역의 예들을 나타낸 도면이다.

도 9는 두 사람의 얼굴색을YIQ공간에서 비교한 결과를 나타낸 도면이다.

도 10은 남녀를 합하여 250명을 표본으로 얼굴색에 대한 공간을 종합한 결과를 나타낸 도면이다.

도 11은 얼굴색의 확률을 기술한 테이블의 예를 나타낸 도면이다.

도 12a, 도 12b, 및 도 12c는 정밀한 설계에 의한 얼굴색 공간을 나타낸 도면이다.

도 13은 입력 원영상의 예를 나타낸 도면이다.

도 14는 얼굴색 공간을 정규분포로 간주하여, 얼굴영역을 추출한 결과의 예들을 나타낸 도면이다.

도 15는 정밀하게 설계된 얼굴색 공간테이블을 참조하여 입력영상에서 얼굴영역의 색정보를 지닌 화소들을 추출한 결과를 나타낸 도면이다.

도 16은 영상을 라벨링하여 가장 큰 영역을 얼굴 영역으로 한 예를 나타낸 도면이다.

도 17은 머리색테이블을 생성하여 머리 영역을 추출하는 것을 설명하기 위한 도면이다.

도 18은 얼굴영역과 얼굴 부위를 추출하는 순서를 나타낸 흐름도이다.

도 19는 대체적인 윤곽을 추출하기 위한 얼굴 윤곽의 특징점들의 예들을 나타낸 도면이다.

도 20은 추출된 머리 영역과 머리 템플리트의 예를 나타낸 도면이다.

도 21a는 얼굴과 머리 영역의 범위와 주성분 분석을 통하여 구한 얼굴의 중심의 예들을 나타낸 도면이다.

도 21b는 얼굴과 머리 영역의 첫 번째 회전한 결과 영상의 예들을 나타낸 도면이다.

도 21c는 회전된 머리부분과 얼굴부분을 이용하여 구한 중심축을 나타낸 도면이다.

도 21d는 구한 중심축을 사용하여 얼굴을 두 번째 회전시킨 결과의 예들을 나타낸 도면이다.

도 22는 얼굴과 머리 영역의 회전 단계들을 나타낸 흐름도이다.

도 23은 귀의 상단부와 얼굴 경계의 후보 영역을 설정하는 단계들의 결과 영상들을 나타낸 도면이다.

도 24는 귀의 상단부 검출을 위한 각도를 비교한 일예를 나타낸 도면이다.

도 25는 추출된 얼굴과 귀의 경계점들의 예들을 나타낸 도면이다.

도 26은 귀와 얼굴 경계를 추출한 얼굴 영상의 예들을 나타낸 도면이다.

도 27은 귀의 상단부와 얼굴 경계의 추출 과정의 일예를 나타낸 흐름도이다.

도 28은 상턱 경계의 추출을 위한 각도 비교의 예를 나타낸 도면이다.

도 29는 추출된 상턱의 경계의 예들을 나타낸 도면이다.

도 30은 상턱의 범위를 추출하는 과정을 나타낸 도면이다.

도 31은 하턱의 후보영역을 설정하는 과정을 설명하기 위한 도면이다.

도 32는 하턱 후보 영역에서 얼굴색으로 추출되지 않은 영역의 라벨링 결과의 예들을 나타낸 도면이다.

도 33은 하턱 후보 영역에서 라벨링된 영역의 이외의 영역에 대한 필터링 결과의 예들을 나타낸 도면이다.

도 34는 도 32의 영역과 도 33의 Sobel 필터링 결과를 종합한 결과를 나타낸도면이다.

도 35는 종합한 결과를 타원으로 근사하는 과정을 설명하기 위한 도면이다.

도 36은 상턱과 하턱의 경계를 사용한 턱의 타원형 근사의 예들을 나타낸 도면이다.

도 37은 타원의 방정식을 이용하여 턱의 범위와 턱점을 찾는 순서를 나타낸 흐름도이다.

도 38a은 우측방향으로 얼굴을 돌린 영상에 대하여 얼굴영역을 설정한 결과를 나타낸 도면이다.

도 38b는 좌측방향으로 얼굴을 돌린 영상에 대하여 얼굴영역을 설정한 결과를 나타낸 도면이다.

도 38c는 표정을 바꾸거나 얼굴을 상하로 움직인 얼굴 영상에 대하여 얼굴영역을 설정한 결과를 나타낸 도면이다.

도 39는 눈 영역의 검출 결과를 나타낸 도면이다.

도 40은 안경으로 인하여 눈 영역의 검출에 실패한 경우의 예들을 나타낸 도면이다.

도 41은 눈영역의 검출 과정을 나타낸 흐름도이다.

도 42는 눈썹 영역의 검출과정을 나타낸 도면이다.

도 43은 한 쪽 눈썹만 검출되었을 경우에 다른 눈썹을 추정한 결과의 예들을 나타낸 도면이다.

도 44는 눈썹영역의 검출에 실패한 예들을 나타낸 도면이다.

도 45a 및 도 45b는 입영역의 검출 과정을 설명하기 위한 도면이다.

도 46은 코영역을 검출하는 과정을 설명하기 위한 도면이다.

도 47a는 얼굴 영상과 얼굴의 3차원 형상 모델의 예들을 나타낸 도면이다.

도 47b는 양쪽 눈의 중심으로 평행 이동한 결과의 예들을 나타낸 도면이다.

도 47c는 가로 폭과 세로 폭의 크기를 조정한 결과의 예들을 나타낸 도면이다.

도 47d는 이마와 머리를 조장한 결과의 예들을 나타낸 도면이다.

도 47e는 얼굴 및 머리의 윤곽을 조정한 결과의 예들을 나타낸 도면이다.

도 48은 얼굴 각 부위의 템플리트를 나타낸 도면이다.

도 49a 내지 도 49d에는 템플리트 매칭에 의한 얼굴 부위의 정합을 과정별로 설명하기 위한 도면을 나타내었다.

도 50은 자동 정합에 성공한 경우의 예들을 나타낸 도면이다.

도 51은 자동 정합에 실패한 경우의 예들을 나타낸 도면이다.

도 52는 미래 자녀 얼굴 모델링부의 세부 구조를 블록도로써 나타낸 도면이다.

도 53은 본 발명의 얼굴 포토 스티커 시스템에 적용된 미래 자녀 얼굴 모델링 방법의 주요 단계들을 나타낸 흐름도이다.

도 54는 얼굴 부위의 수정 과정의 예를 나타낸 도면이다.

도 55는 텍스쳐 매핑의 과정을 설명하기 위한 도면이다.

도 56은 얼굴 부위의 분할의 일예를 나타낸 도면이다.

도 57은 중간 영역의 합성 비율의 산출과 농담치의 내삽 과정을 설명하기 위한 도면이다.

도 58a 및 도 58b는 어린아이 얼굴 데이터베이스에 저장된 남자 아이 30명의 얼굴 영상의 예들을 나타낸 도면이다.

도 59a 및 도 59b는 어린아이 얼굴 데이터베이스에 저장된 여자 아이 30명의 얼굴 영상의 예들을 나타낸 도면이다.

도 60은 수정된 부모의 얼굴과 부 또는 모, 부모의 양쪽을 닮은 얼굴 영상의 예를 나타낸 도면이다.

도 61a 및 도 61b는 여러 사람에 대하여 본 발명에 따른 미래 자녀 얼굴 모델링 방법을 수행한 결과 영상을 나타낸 도면이다.

도 62는 미래 자녀 얼굴 모델링부의 세부 구조를 나타낸 블록도이다.

도 63은 본 발명의 얼굴 포토 스티커 시스템에 적용된 미래 얼굴 모델링 방법의 주요 단계들을 나타낸 흐름도이다.

도 64는 제약 조건에 의한 평균 추정 연령을 설명하기 위한 도면이다.

도 65는 얼굴 구성 요소의 추정 부위를 나타낸 도면이다.

도 66은 유아기 얼굴 구성 요소의 상대적인 길이 변화를 분석한 결과를 나타낸 도면이다.

도 67 및 도 68은 성장기의 나이 변화에 따른 얼굴의 특징 변화를 남성의 경우와 여성의 경우에 대해서 각각 나타낸 도면이다.

도 69는 장년기의 얼굴의 특징을 설명하기 위한 도면이다.

도 70는 노화기의 얼굴의 특징을 설명하기 위한 도면이다.

도 71는 주성분분석의 개념을 설명하기 위한 도면이다.

도 72는 나이 정보의 특징 추출과 분석 및 합성의 처리 과정을 설명하기 위한 도면이다.

도 73은 실험에 사용된 원영상의 일예를 나타낸 도면이다.

도 74는 도 73의 얼굴 영상에 표준 형상 모델을 정합시켜 얻어진 대상 인물의 3차원 형상 모델을 나타낸 도면이다.

도 75는 얻어진 나이대별 평균영상을 나타낸 도면이다.

도 76은 평균 형상에 텍스쳐 매핑된 개인 얼굴색을 나타낸 도면이다.

도 77은 평균 형상과 평균 얼굴색을 나타낸 도면이다.

도 78은 얼굴색의 차를 나타낸 도면이다.

도 79는 고유치가 큰 제 1 주성분을 나타낸 도면이다.

도 80은 28매의 얼굴 영상을 나이대별로 4매씩 평균한 영상에 대한 제 1 주성분의 특징 정보(주성분 득점)를 나타낸 도면이다.

도 81은 제1 주성분을 이용한 나이 정보 조작의 개념을 설명하기 위한 도면이다.

도 82는 나이 변화시킨 얼굴 영상을 나타낸 도면이다.

도 83은 구간별 선형 결합에 의한 얼굴 영상의 합성의 개념을 설명하기 위한 도면이다.

도 84는 구간별 선형 결합에 의한 얼굴 영상 합성에 따라 합성된 얼굴 영상의 예들을 나타낸 도면이다.

도 85는 여러 인물에 대한 구간별 나이 변화된 얼굴 영상의 합성 예를 나타낸 도면이다.

도 86은 관광명소/인물 합성부의 세부 구조를 나타낸 블록도이다.

도 87은 본 발명의 얼굴 포토 스티커 시스템에 적용된 배경과 인물의 합성 방법의 주요 단계들을 도시한 흐름도이다.

도 88은 여러 가지 상황을 설정하여 수집된 배경 영상의 예를 나타낸 도면이다.

도 89는 정규 분포로써 가정하여 배경색을 추출한 영상의 예들을 나타낸 도면이다.

도 90은 배경을 제외한 영상을 나타낸 도면이다.

도 91은 정규 분포로 가정하였을 때 추출에 제외되지 않은 배경의 예들을 나타낸 도면이다.

도 92는 칼라 테이블을 정밀하게 설계하여 배경을 자동으로 제외한 영상의 예들을 나타낸 도면이다.

도 93은 귀점을 중심으로 문턱치를 달리하여 자동으로 배경을 제외한 영상의 예들을 나타낸 도면이다.

도 94는 배경 영상으로 사용된 관광명소의 영상의 예들을 나타낸 도면이다.

도 95는 관광 명소의 영상과 인물 영상을 합성한 결과의 예를 나타낸 도면이다.

상기 과제를 이루기 위하여 본 발명에 따른 얼굴 포토 스티커 시스템은 미리 준비된 표준 3차원 얼굴 형상 모델과 개인 얼굴의 정면 이미지를 입력하여 3차원 형상 모델에 개인 얼굴의 정면 이미지를 정합함으로써 개인 얼굴의 형상 모델을 출력하는 3차원 얼굴 모델링 수단;을 포함하는 것을 특징으로 한다.

상기 다른 과제를 이루기 위하여 본 발명에 따른 얼굴 포토 스티커 시스템은 부모의 얼굴을 입력하여 소정의 3차원 형상 모델을 입력된 부모의 얼굴에 정합시키는 정합부; 정합된 부모 얼굴의 형상 모델을 어린아이의 특징을 가지도록 수정하고, 부모의 얼굴 영상을 수정된 얼굴 형상 모델에 3차원 텍스쳐 매핑시킴으로써 수정된 부모의 얼굴을 생성하는 부모 얼굴 영상 수정부; 복수의 남.여 어린 아이들의 얼굴 이미지를 저장하는 데이터베이스; 상기 데이터베이스로부터 부모의 얼굴의 종횡비가 가장 유사한 아이 영상을 부모와 가장 닮은 어린 아이 영상으로써선택하여 선택된 어린 아이 영상의 적어도 눈, 코, 입을 부모의 수정된 것으로 교환함으로써 부모를 닮은 미래 자녀의 얼굴 영상을 생성하는 미래 자녀 얼굴 영상 생성부; 및 적어도 생성된 미래 자녀 얼굴을 출력하는 프린트부;를 포함하는 것을 특징으로 한다.

상기 또 다른 과제를 이루기 위하여 본 발명에 따른 얼굴 포토 스티커 시스템은 직교된 기저 공간을 이용하여 형상 정보 및 얼굴색 정보를 분석하는 분석부; 연령별 나이 변화 성분과 형상 정보 및 얼굴색정보를 사용하여 예측된 미래 모습 영상을 합성하는 합성부; 및 적어도 예측된 미래 모습 영상을 출력하는 프린트부;를 포함하는 것을 특징으로 한다.

상기 또 다른 과제를 이루기 위하여 본 발명에 따른 얼굴 포토 스티커 시스템은 배경 영상을 저장하는 데이터베이스; 인물 영상을 입력하여 인물 영상으로부터 배경을 분리하는 배경 분리부; 배경이 분리된 인물 영상을 축소하는 영상 축소부; 축소된 인물 영상과 선택된 배경 영상을 합성하여 합성된 영상을 생성하는 합성부; 및 적어도 합성된 영상을 출력하는 프린트부;를 포함하는 것을 특징으로 한다.

이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다.

도 1에는 본 발명의 바람직한 실시예에 따른 얼굴 포토 스티커 시스템의 구조를 블록도로써 나타내었다. 도 1을 참조하면, 본 발명의 실시예에 따른 얼굴 포토 스티커 시스템은 3차원 얼굴 모델링부(102), 미래자녀 얼굴 모델링부(104), 어린아이 얼굴 영상 데이터베이스(106), 부모 얼굴 영상 데이터베이스(108), 미래 얼굴 모델링부(110), 연령별 얼굴 영상 데이터베이스(112), 관광명소/인물합성부(114), 관광명소 영상 데이터베이스(116), 및 프린트부(120)를 구비한다.

상기와 같은 얼굴 포토 스티커 시스템의 동작을 설명한다. 3차원 얼굴 모델링부(102)에서는 3차원 얼굴 모델링 방법이 수행된다. 도 2에는 본 발명의 얼굴 포토 스티커 시스템에 적용된 3차원 얼굴 모델링 방법의 주요 단계들을 흐름도로써 나타내었다. 도 2를 참조하면, 먼저, 미리 준비된 표준 3차원 얼굴 형상 모델과 개인 얼굴의 정면 이미지를 입력(단계 202)하고, 입력된 표준 3차원 형상 모델의 크기 및 위치를 조정함으로써 표준 3차원 형상 모델을 대상 인물의 얼굴에 정합시킨다(단계 204). 도 3에는 대상인물의 정면상의 일예를 나타내었다. 다음으로, 특징점들을 사용하여 표준 3차원 형상 모델의 얼굴 및 머리의 윤곽을 대상 인물의 얼굴 및 머리의 윤곽에 일치하도록 조정한다(단계 206). 이제, 표준 3차원 형상 모델의 눈썹, 눈, 코, 입등을 포함한 얼굴 부위의 미세 조정을 수행함으로써 개인 얼굴의 3차원 얼굴 형상 모델을 얻는다(단계 208). 이로써, 얼굴의 3차원 형상 모델을 구성하고, 개인얼굴의 정면상에 정합하여, 개인얼굴의 3차원 형상모델을 얻는다.

상기 과정들을 보다 상세히 이하에서 설명한다. 개인얼굴의 3차원 형상모델은 미래자녀 예측, 미래모습 예측에 기반이 된다. 얼굴의 3차원 형상 모델은 수동정합과 자동 정합으로 나누어진다. 수동정합은 시스템의 개발시 정밀한 정합을 위해서 사용하고, 자동정합은 시스템 운용시 자동화를 위해서 사용한다.

먼저, 얼굴의 3차원 모델의 수동 정합을 기술한다. 먼저, 얼굴 형상모델의 정합 개요를 설명한다. 본 발명의 얼굴 포토 스티커 시스템에 적용된 미래 자녀 얼굴 모델링 방법 및 미래 얼굴 모델링 방법은 3차원 형상 모델링을 기초로 한다. 얼굴 영상을 3차원 얼굴의 2차원 화면상에 투영이라는 관점에서 볼 때, 얼굴 영상의 합성은 3차원적으로 이루어져야 한다. 미래 얼굴 모델링 , 미래 자녀 얼굴 모델링을 위해서는 다양한 인물의 사진과 그에 대한 3차원 형상 모델이 필요하다. 먼저, 표준 3차원 얼굴 형상 모델을 준비하고 전체적인 조화를 이루도록 어파인 변환한 다음, 미세 조정을 하여 개인 얼굴에 대한 3차원 형상 모델을 구성한다.

3차원 얼굴 형상 모델링은 얼굴 전체의 크기 및 위치조정, 얼굴 윤곽의 조정, 얼굴 각 부위의 미세조정의 3단계로 이루어진다. 본 발명에 따른 포토 스티커 시스템은 상기 시스템에 통합되어 얼굴 입력에서 결과 사진의 출력까지 메뉴의 선택에 따라 사용자가 직접 운용할 수 있도록 하기 위한 유저 인터페이스를 구비하고 있다. 도 4에는 대상 인물의 3차원 형상 모델을 얻기 위한 유저 인터페이스 화면의 일예를 나타내었다. 도 4를 참조하면, 화면상의 왼쪽 부분(402)에 대상인물의 정면상에 얼굴의 표준 3차원 형상모델을 덮어놓게 표시한다. 도면을 참조하면, 얼굴의 크기와 위치가 일치하고 있지 않음을 알 수 있다. 또한, 화면상의 우상단(404)에 좌측 화면 영역의 백점(□)과 대응을 이루는 얼굴부위를 흑점(■)으로 표시하고 있다. 또한, 화면상의 우하단(406)에는 상기 화면 좌측 영역의 얼굴 중에서 선택된 영역을 확대하여 표시하고 있다. 상기와 같은 유저 인터페이스 화면 상에서 수행되는 조작을 설명한다. 사용자는 화면 우상단 영역의 흑점을 참조하여 좌측의 백점을이동한다. 먼저, 좌측의 백점을 지정하면, 그 점을 이동할 수 있게 된다. 우하단에서도 마우스나 키보드를 통하여 좌측의 백점을 이동할 수 있게 된다. 또한, 상기 유저 인터페이스에는 이전단계 버튼(408)과 다음단계 버튼(410)이 구비된다. 이전단계 버튼은 이전단계의 조작이 잘못되어 있으면 이전단계로 돌아가는 기능의 버튼이고, 다음단계 버튼은 현 화면에서 조작이 완료되면 다음 단계로 이동하기 위한 버튼이다.

얼굴영상을 3차원적으로 합성하기 위해서는, 대상인물의 얼굴에 대한 3차원 형상모델을 기반으로 한다. 먼저, 얼굴의 표준 3차원 형상모델을 설명하고, 그 모델을 대상 인물에 정합하여 개인얼굴의 3차원 형상모델을 얻는다. 얼굴의 3차원 형상을 표현하는 일반적인 형상모델(three-Dimensional shape model)을 준비한다. 이 모델은 얼굴과 두발의 형상 모델로 구분된다. 먼저, 도 5에는 얼굴의 표준 3차원 형상모델을 도시하였다. 도 5를 참조하면, (a)에는 3차원 형상 모델의 정면을 (b)에는 3차원 형상 모델의 측면을 도시하였다. 이 모델은 약 648개의 교차점과 674개의 삼각형 패치로 구성되어 있다. 얼굴의 3차원 형상 모델에서는 도 5와 같이 종횡선이 교차하는 정점이x, y, z의 3차원 위치좌표로 기술되어 있다. 이 좌표계에서는 화면의 중앙을 원점으로 하고 있다. 또한, 얼굴표면을 표현하기 위해서 인접정점끼리 삼각형을 이루도록 연결되어 있다. 정점의 연결순서는 삼각형의 앞면과 뒷면을 구별하기 위해서, 반시계 방향으로 되어 있다. 얼굴 표정 변화를 잘 나타내는 부위, 즉, 눈썹, 눈, 코, 입 등은 종횡선을 좀 더 잘게 나누어, 각 형상을 표현한다.

다음으로, 상기와 동일한 방법을 사용하여 두발이 근사될 수 있는 형상 모델을 별도로 준비한다. 도 6에는 얼굴과 두발을 통합한 표준 3차원 형상모델을 나타내었다. 이하, 이들을 인물에 대한 표준 3차원 형상모델로 간주하고, 편의상 총칭하여 얼굴의 3차원 형상모델이라고 칭한다.

먼저, 표준 3차원 형상모델을 대상인물의 얼굴에 정합한다. 첫 번째로, 도 4의 5개 특징점(□)이 일치하도록 3차원 어파인 변환(Affine Transform)을 수행한다. 어파인 변환에서는 눈 안쪽의 특징점 2개의 중점을 이용하고 있기 때문에, 실제로는 4점을 이용하고 있는 셈이다. 어파인 변환에서 사용되는 얼굴영상의 4 특징점의 깊이좌표 Z _i '는 얼굴영상으로부터는 얻을 수 없기 때문에, 얼굴의 3차원 형상 모델의 깊이좌표 Z _i 를 기초로 하여,

와 같은 추정식에 따라 추정된다. 여기에서,은 각각 대상인물, 얼굴의 표준 3차원 형상모델에 대한 얼굴의 폭이다. 4개의 특징점을 이용한 3차원 어파인 변환은 다음과 같이 수행된다. 먼저, 3차원 어파인 변환을 정식화하면 다음과 같다.

여기서는 각각 변환 전, 후의 얼굴의 3차원 모델 정점의 3차원 위치벡터로이고,는 병진운동을 나타내는 벡터이다.^T(윗첨자)는 행렬 또는 벡터의 전치(Transpose)를 나타낸다. 행렬 R은,

이다.R은x, y, z축에 대한 회전과, 카메라와의 거리에 따른 확대·축소를 복합한 행렬이다. 즉,

이다. 여기서,θ _x , θ _y , θ _z ,는x, y, z축에 대한 회전각이고,S _x , S _y , S _z 는 각축에대한 확대·축소의 비율이다. 수학식 3 내지 수학식 7을 다시 정리하면,

가 된다. 따라서, 다음과 같이 정리될 수 있다.

수학식 18을 다음과 같이 정리한다.

이것은 1개의 특징점에 대해서 정리한 것이다. n개의 특징점에 대해서 적용하면 다음과 같다.

여기에서, 벡터 X는 미지이고, 형상모델의 확대 또는 축소, 회전운동, 병진운동을 나타내는 파라미터를 포함하고 있다.n 4인 경우, 수학식 20에서 최소자승법을 이용하여, 미지벡터 X를 다음과 같이 구할 수 있다.

상기 3차원 얼굴 모델링 방법에서는 4개의 특징점을 이용하여 X를 구하고 있으나, 4개 이상의 특징점을 이용하면, 인물상과 얼굴의 3차원 형상모델이 전체적으로 조화를 이루도록 할 수 있다. X를 구한 후, 3차원 형상모델의 모든 정점에 대해서 수학식 2를 적용하면, 정면상의 얼굴에 근사적으로 일치되도록 얼굴의 3차원 형상모델을 변형할 수 있게 된다. 어파인 변환전과 후의 모습을 도 7의 (a), (b)에서 비교하고 있다. 어파인 변환 후 얼굴의 높이, 넓이, 깊이의 3차원 형상이 자동 조종되어 얼굴영상에 전체적으로 조화 있게 정합되어 있음을 알 수 있다.

다음으로, 얼굴 윤곽 및 머리의 정합이 수행된다. 어파인 변환은 선형변환이기 때문에, 얼굴의 크기 및 위치가 선형적으로 조정되어 대략적으로 정합된다. 하지만, 도 7의 (b)에 나타낸 바와 같이 개인에 따라 얼굴모습과 얼굴부위의 위치 및 크기가 다르기 때문에 얼굴 윤곽과 머리의 윤곽을 아직 일치하지 않고 있음을 알 수 있다. 도 7의 (b)에 표시된 특징점을 이용하여, 얼굴 및 윤곽에 따라 얼굴의 3차원 형상모델을 조정하면 도 7의 (c)에 나타낸 바와 같이 얼굴의 윤곽을 정합할 수 있다.

다음은, 얼굴부위의 미세조정이 수행된다. 얼굴부위의 점은 복잡하고 세밀하기 때문에, 가능한 한 적은 수의 특징점을 이용하여, 미세조정을 가능하게 하고 있다. 즉, 특징점을 이동하면 그 특징점뿐만 아니라 그 주변의 점도 조화 있게 이동 할 수 있도록 하고 있다. 예를 들면 입의 특징점을 이동하면 입 주변 및 내부의 점들이 동시에 이동하고 있다. 이와 같은 방법으로 얼굴의 표준 3차원 형상 모델을 대상인물의 정면상에 일치시킴으로써 도 7의 (d)에 나타낸 바와 같은 개인에 대한 얼굴의 3차원 형상 모델을 얻게 된다. 이러한 모델을 개인 얼굴의 3차원 형상 모델이라고 칭하기로 한다.

얼굴 포토 스티커 시스템에서는 얼굴의 3차원 형상 모델에 대한 자동 정합을 적용한다. 자동 정합 과정을 설명한다. 이 과정에서는 카메라로 입력한 영상에서얼굴의 3차원 형상모델을 자동으로 정면상에 정합한다. 임의의 배경에서 얼굴의 크기와 위치를 제한하지 않은 영상에서 얼굴영역을 자동 추출하기 위하여, 얼굴 칼라공간을 생성하여 얼굴 후보영역을 추출하고, 템플리트 매칭을 이용하여 얼굴 각 부위를 미세 정합 한다.

다음으로, 얼굴 칼라정보를 사용하여 얼굴 후보영역을 추출한다. 사진 또는 카메라로 입력된 영상내에서 얼굴영역을 추출하기 위하여, 얼굴색이 다른 물체의 색과 구별되는 것에 주목한다. 즉,YIQ색 공간내에서 얼굴색의 부분공간을 생성한 후, 얼굴색의 공간내에 있는 화소를 얼굴영역으로서 추출한다.

얼굴 칼라의 공간 생성을 위해서, 먼저, 다양한 얼굴색의 수집이 선행된다. 칼라YIQ공간내에서 얼굴색의 부분공간을 생성하기 위해서는, 다양한 색을 가진 얼굴을 수집할 필요가 있다. 이는 개인에 따른 얼굴색의 편차를 충분히 포함하면서도, 얼굴이 아닌 색이 가능한 한 포함되지 않도록, 얼굴색의 공간을 생성하기 위해서이다. 얼굴색과 머리색이 현저하게 다르기 때문에, 머리색과 얼굴색을 분리하여 색의 공간을 생성하고자 한다. 본 실시예에서는, 비교적 얼굴색이 다르다고 생각되는 사람을 250명 선택하여, 조명 조건이 다른 상황에서 얼굴을 수집한 후, 얼굴색공간을 생성하기 위해 얼굴 영역만을 수동으로 추출한다. 도 8에는 수동 추출된 얼굴 영역의 예들을 나타내었다.

다음으로, 칼라영역에서 얼굴색을 분석한다. 이 과정에서는 얼굴색을YIQ공간에서 좌표로 표시하여 얼굴색의 공간을 생성한다. 도 9에는 두 사람의 얼굴색을YIQ공간에서 비교한 결과를 나타내었다. 도 9를 참조하면, 얼굴색 공간내의 백색부분은 화소의 빈도수가 높은 것을 의미한다. 이 비교에서 알 수 있듯이, 두 사람에 대한 얼굴색의 공간이 거의 유사함을 알 수 있다. 도 10에는 남녀를 합하여 250명을 표본으로 얼굴색에 대한 공간을 종합한 결과를 나타내었다. 도 10을 참조하면, 얼굴색의 공간은 특정개인보다는 상당히 넓어졌음을 알 수 있다. 이것은 다양한 얼굴색을 종합하였기 때문에 생긴 결과로, 얼굴색을 충분히 포함하고 있지만,YIQ전체 공간에 비해서는 아주 작은 부분공간이다.YIQ공간을 이용하여 얼굴칼라를 분석하고 있는 것은, 도 9 및 도 10와 같이 얼굴색에 대해Y, I, Q가 상호상관이 거의 없기 때문이다.

다음으로, 얼굴색 공간 생성 및 얼굴색 판별이 수행된다. 얼굴 후보영역을 추출하기 위해, 얼굴색 공간을 생성한다. 즉, 먼저Y,I,Q에 대한 평균를 구한다.

,,은 도 8에 나타낸 얼굴영역내의 화소이고,N은 250명 얼굴 영역내의 화소수 이다. 얼굴색 공간은 정규분포로 이루어졌다고 가정하고 어떤 화소가 얼굴 색일 확률함수를 다음과 같이 근사한다.

여기서는Y,I,Q에 대한 표준편차이다. 이와 같은 확률함수로서, 평균과 표준편차를 이용하여 얼굴색 공간을 기술한다. 이 확률함수를 판별함수로 사용하여 얼굴영역을 추출한다. 즉,이면 얼굴색을 가진 화소로 판별한다. 소정의 문턱치는 250명의 얼굴이 추출될 수 있도록 반복 실험하여 정하였다.

다음으로, 얼굴색 판별의 고속화 및 얼굴색 공간의 정밀 설계가 수행된다. 얼굴색 판별의 고속화와 얼굴색 공간의 좀더 정밀한 설계를 위해, 얼굴색 테이블을 구성한다. 이 테이블을 구성하므로써, 얼굴색을 판별할 때, 매화소마다 수학식 26을 계산하지 않고Y, I, Q값에 대해서 테이블을 검색하여 확률을 얻을 수 있기 때문에 고속화가 가능하다. 또한, 얼굴색공간을 정규분포함수로써 근사하고 있으나, 정확히 말하면 정규분포함수가 아니다. 즉, 정규분포로 근사하면, 얼굴색 공간에 얼굴색이 아닌 공간이 포함될 수도 있고, 얼굴색인 공간이 제외될 수도 있다. 이를 위해Y, I, Q에 대한 3차원 테이블을 설정하여, 테이블내부에 얼굴색일 확률을 기록한다. 도 11에는 얼굴색의 확률을 기술한 테이블의 예를 나타내었다. 즉,Y, I, Q에 대한 3차원 테이블의 번지에 D(Y,I,Q)값을 기록한다. 이와같이 테이블을 구성하므로써,Y,I,Q에 대한 확률 D(Y,I,Q)를 한번만 계산해서, 저장해 놓으면, 다음부터는 수학식 26의 확률 계산을 하지 않고, 테이블을 참조만 하기 때문에, 얼굴 영역 추출을 고속화할 수 있다. 또 하나의 잇점은 얼굴색 공간을 좀더 정밀한 설계를 용이하게 할 수 있다. 얼굴색 공간을 정규분포로 가정하고 있지만, 도 10에서와 같이 실제로 정규분포가 아니다. 이러한 이유로 얼굴색 공간 일부에는 얼굴색이 아닌 색이 포함되어 있거나, 얼굴색인 부분이 제외될 수도 있다. 이때, 얼굴색이 아닌 공간의 확률을 낮추거나, 정규분포에 포함되어 있지 않는 얼굴색 공간의 확률을 높일 수도 있다. 좀 더 정확한 얼굴색 공간의 설계방법은 다음과 같다. 먼저, 얼굴색 공간을 정규분포로 설계한 후, 얼굴색을 가진 화소를 추출한다. 만약, 얼굴색이 아닌 화소들이 추출되었을 때는, 확률 테이블에서 그 화소들에 대한 확률값 D(Y,I,Q)값을 낮춘다. 반대로, 얼굴색인 화소가 제외되었을 때는 확률값 D(Y,I,Q)를 높인다. 이것은 다수의 얼굴영상에 대해 얼굴색을 가진 화소 추출과 테이블의 수정을 반복해 가면서 얼굴색 공간을 좀더 정밀하게 설계해 간다. 이와 같이 정밀한 설계에 의한 얼굴색 공간을 도 12a, 도 12b, 및 도 12c에 나타내었다. 도 12a에는IQ공간내의 얼굴색 분포를, 도 12b에는YI공간내의 얼굴색 분포를 나타내었다. 또한, 도 12c에는YQ공간내의 얼굴색 분포를 나타내었다.

첫 번째로, 얼굴 후보영역 추출과정을 기술한다. 먼저, 얼굴색 공간을 이용한 얼굴후보영역의 추출을 수행한다. 이 과정에서는 얼굴색의 공간을 참조하여, 얼굴의 후보 영역을 추출한다. 즉, 영상내의 각 화소의 색에 대하여, 얼굴색 공간 테이블내에 있는 화소인지 아닌지를 선별하여 얼굴후보영역을 추출한다. 도 13에는 입력 원영상의 예를 나타내었다. 이들 영상에서는 배경과 얼굴크기와 위치를 제한하지 않고 있다. 도 14에는 얼굴색 공간을 정규분포로 간주하여, 얼굴영역을 추출한 결과의 예들을 나타내었다. 도 14를 참조하면, 얼굴영역뿐만 아니라 얼굴색과 유사한 배경도 추출되고 있음을 알 수 있다. 도 15에는 정밀하게 설계된 얼굴색 공간테이블을 참조하여 입력영상에서 얼굴영역의 색정보를 지닌 화소들을 추출한결과를 나타내었다. 도 14 및 도 15를 참조하면, 얼굴색 테이블을 이용한 경우, 얼굴영역을 좀더 정확히 추출할 수 있다. 또한, 얼굴 영역뿐만 아니라 목부분, 얼굴색과 유사한 색을 지닌 물체도 함께 추출된다는 것을 알 수 있다.

다음으로, 얼굴 영역 라벨링(Labeling)이 수행된다. 얼굴영역을 추출한 영상은 얼굴과 유사한 얼굴이외의 영역도 검출되고 있다. 이 경우, 도 16에 도시한 바와 같이 영상을 라벨링하여 가장 큰 영역을 얼굴 영역으로 하고 있다. 또한, 도 17에 나타낸 바와 같이 머리도 얼굴과 같은 방법으로 머리색테이블을 생성하여 머리 영역을 추출한다.

두 번째로, 얼굴 자동식별을 위한 얼굴영역의 자동설정과정을 기술한다.

먼저, 얼굴영역을 설정하는 것은 얼굴색 공간을 참조하여 얼굴 후보영역을 추출한 다음, 얼굴영역을 확정하는 것을 의미한다. 얼굴영역과 얼굴 부위를 추출하는 순서를 도 18에 도시하였다. 도 18을 참조하면, 먼저, 얼굴 후보영역에서 머리, 얼굴, 목 등의 대체적인 윤곽을 추출(단계 1802)한다. 다음으로, 얼굴을 좌우회전한다(단계 1804).

이하에서는 얼굴영역의 자동설정, 얼굴부위의 추출, 및 얼굴의 형상모델의 자동정합에 대해서 기술한다. 얼굴폭의 추출에는 귀의 특수한 형상을 이용하여 귀영역과 얼굴경계를 추출한다. 이것을 얼굴폭으로 한다(단계 1806). 얼굴폭을 기준으로 귀밑과 목사이의 상턱의 영역을 추출한다(단계 1808). 상턱추출 또한, 귀밑의 모양과 턱과 목사이의 경계 부분의 특수한 형상을 이용한다. 귀밑과 턱사이 상턱의 경계선을 타원으로 근사하여, 턱과 목 사이의 하턱부분을 추출한다(단계 1810). 얼굴폭, 턱, 머리끝 얼굴 영역을 설정한다(단계 1812). 이것은 얼굴 자동식별을 위한 타원형의 얼굴 영역을 설정하기 위함이다.

대체적인 얼굴 윤곽 추출 과정을 보다 상세히 설명한다. 이 과정에서는 라벨링 후의 얼굴영역과 머리영역으로부터 대체적인 윤곽을 추출한다. 대체적인 윤곽을 추출하기 위한 얼굴 윤곽의 특징점들의 예들을 도 19에 나타내었다. 대체적인 윤곽으로는 머리정점, 이마정점, 얼굴의 최대폭, 목부분으로 나눌 수 있다. 먼저, 이마정점을 추출한다. 이마는 머리에 가려있는 부분이 많으나, 머리에 가르마가 있어 일부분은 보이는 경우가 대부분이다. 이마정점은 이 부분의 위치로 정한다. 다음은 이마아래에서 얼굴폭이 가장 좁은 위치에서 목부분을 정한다. 나아가서, 이마와 목부분 사이에서, 얼굴경계의 최좌단과 최우단의 위치를 구하고, 그 사이를 얼굴 최대폭으로 한다. 얼굴 최대폭 사이에서 머리영역에서 머리정점을 추출하게 된다. 머리영역은 배경과 연결되어 추출되는 경우가 많아, 머리영역의 최상단을 머리정점으로 정하고 있지는 않다. 머리 상단부와 배경이 어느정도 연결되어 있어도, 안정적으로 머리정점을 추출하기 위해 머리 상단부의 템플리트를 이용한다. 먼저, 머리 상단부 모양의 템플리트를 정해놓는다. 도 20에는 추출된 머리 영역과 머리 템플리트의 예를 나타내었다. 도 20을 참조하면, (a)와 같이 정해진 머리의 상단부 템플리트와 추출된 머리영역의 상단부 모양과의 차이를 평균하여, (b)와 같이 템플리트를 평균치만큼 이동한다. 템플리트 이동후, 화소별 차이의 절대치를 구하여 평균한다. 화소별차가 절대치의 평균보다 큰 경우, 그 화소를 제외한다. 나머지 화소만을 이용하여, 상기와 같은 방법으로 재차 템플리트를 이용한다. 최후로 이동된 템플리트의 최 상단을 머리의 정점으로 한다. 또한, 템플리트의 이동거리가 이마정점에서 너무 멀어지는 경우는 머리영역과 배경영역이 혼재되어 있다고 간주하여, 추출된 머리영역과 관계없이 미리 정해진 거리만을 이동한다.

다음에는 얼굴의 회전이 수행된다. 도 21a에는 얼굴과 머리 영역의 범위와 주성분 분석을 통하여 구한 얼굴의 중심의 예들을 나타내었다. 도 21a를 참조하면, 주성분분석에 이용되는 얼굴영역과 머리영역의 경계를 표시하고, 중간선은 얼굴의 중심축을 나타내고 있다. 또한, 얼굴을 카메라로 입력하는 경우, 머리가 좌우로 회전되어 나타내어지는 경우가 발생할 수 있다는 것을 알 수 있다. 이 경우, 얼굴을 수평선과 수직이 되게 좌우로 회전시키고 있다. 얼굴을 똑바로 세우는 방법은 얼굴영역과 머리영역내의 화소위치를 이용하여 주성분분석으로 얼굴의 중심축을 구한후, 얼굴을 회전시킨다. 얼굴을 회전시키기 위해, 얼굴 영역에서 가장 넓은 곳의 얼굴 최대폭과 목부분의 대체적인 위치를 구한 후, 얼굴 최대폭을 넘지 않는 범위내에서 얼굴 영역과 머리영역을 이용한다. 도 21b에는 얼굴과 머리 영역의 첫 번째 회전한 결과 영상의 예들을 나타내었다. 상기 결과 영상은 제1주성분의 방향을 중심축으로 하여 얼굴을 회전한 후의 영상이다. 얼굴회전에 있어서는 머리 모양이 다양하고, 머리와 배경이 연결되어 추출될 가능성이 있기 때문에, 얼굴부분을 넘는 머리는 대칭이 아닐 가능성이 있어 얼굴폭을 넘는 머리부분을 이용하지 않기 위해서다. 얼굴의 중심축을 주성분분석을 이용하여 구한다. 머리를 포함한 얼굴의 중심위치를 구하고, 위치를 변수로 하여 주성분 분석을 한 후, 제1 주성분의 방향을 얼굴의 중심축으로 한다. 제1 주성분의 방향을 얼굴의 중심축으로 하는 이유는,얼굴이 세로로 긴 타원형에 가까워 제1 주성분이 타원의 장축에 해당하기 때문이다. 이 각도을 이용하여 얼굴회전을 한다. 도 21c에는 도 21b와 같은 회전된 머리부분과 얼굴부분을 이용하여 구한 중심축을 나타내었다. 도 21d에는 도 21c와 같이 구한 중심축을 사용하여 얼굴을 두 번째 회전시킨 결과의 예들을 나타내었다. 도 21d를 참조하면, 얼굴이 대부분 바르게 위치되었다는 것을 알 수 있다. 즉, 대체로 얼굴이 수평선과 수직이 되었음을 알 수 있다. 이와 같이 2회 시행하는 이유는 머리부분과 목부분의 얼굴경사에 따라 포함되는 부분이 달라지기 때문에, 수직으로 세울수록 대칭성이 좀더 유지되기 때문에, 좀더 정확히 얼굴을 수직으로 세울 수 있게 된다. 얼굴과 머리 영역의 회전 단계들을 도 22에 나타낸다. 도 22를 참조하면, 얼굴과 머리 영역의 회전 단계들은 얼굴색공간을 이용한 얼굴 후보 영역의 추출(단계 2202), 얼굴과 머리 경계의 추출(단계 2204), 얼굴폭, 머리정점, 목의 대체적인 위치 탐색(단계 2206), 얼굴과 머리 영역의 중심점 산출(단계 2208), 얼굴과 머리 영역의 위치에 대한 주성분 분석(단계 2210), 제1주성분축의 각도로 머리 회전(단계 2212) 및 2회 반복 여부 체크(단계 2214)를 수행하는 단계들로 이루어진다.

다음에는, 얼굴폭, 즉, 귀의 상단부와 얼굴경계의 추출 과정을 설명한다. 얼굴폭의 추출 과정은 귀의 특수형상을 이용한 귀의 상단부와 얼굴경계점의 추출과, 귀의 형상을 이용한 경계의 수정으로 크게 두 단계로 나눌 수 있다. 먼저, 귀의 상단부와 얼굴경계점의 추출과정에서는 얼굴폭을 추출하기 위해, 귀를 포함한 얼굴영역내에서 최 우측점과 최 좌측점 사이를 얼굴의 최대폭으로 하여, 귀의 상단부와얼굴경계의 후보영역을 설정한다. 도 23에는 귀의 상단부와 얼굴 경계의 후보 영역을 설정하는 단계들의 결과 영상들을 나타내었다. 본 실시예에서는, 얼굴 최대폭 W를 중심으로 상하 ±1/5W를 경계점의 후보영역으로 한다. 후보영역내에서 귀의 특수한 형상을 이용하여, 경계점을 추출한다. 도 24에는 귀의 상단부 검출을 위한 각도를 비교하였다. 본 실시예에서는, 먼저, 귀의 상단부와 얼굴경계의 후보 영역내에 있는 얼굴 경계화소에 대하여 접하는 직선을 구한다.은 주목화소를 포함하여 n 픽셀 전까지의 화소를 지나는 직선을 최소자승법으로 구한다.은 주목화소를 포함하고 n 픽셀 후까지의 화소를 지나는 직선이다. 이 직선들이 수평선과 이루는 각도를라고 하면, 각도차가 최소일 때 귀의 상단부와 얼굴과의 경계로 한다. 이것은 귀의 후보영역중에 귀와 얼굴과의 경계부분만이 도 24의 (a)와 같이 음(-)의 최소값을 갖기 때문이다. 또, 각도차가 영(0)에 가까울 때는 도 23의 (b)와 (c)의 얼굴 영상과 같이 얼굴 후보영역에 귀가 명확히 추출되지 않았다는 의미이므로, 도 24의 (b)와 같이 얼굴폭을 약간 잘라낸다. 즉, W의 1/5을 되도록 상하점을 구한다. 이것은 대체로 귀의 크기가 얼굴 최대폭 W의 1/5정도이기 때문이다. 이와 같은 방법으로 추출된 얼굴과 귀의 경계점들의 예들을 도 25에 나타내었다.

다음으로, 경계점 위치의 수정 과정에서, 얼굴색을 이용한 얼굴 후보영역을 추출하면, 도 25의 (a)와 같이 귀가 선명하게 추출되어 있을 때가 있는가 하면, 도 25의 (b)와 같이 귀의 일부만 추출되어 있을 때, 또는, 도 25의 (c)와 같이 귀가전혀 추출되어 있지 않을 때가 있을 수 있다. 또한, 좌우측중 하나만 추출되어 있거나, 양쪽 모두 추출되어 있지 않을 때도 있다. 이때, 귀가 좌우대칭인 점을 감안하여 귀의 위치를 수정한다. 먼저, 귀와 얼굴 경계를 추출하여, 그 위치를 검증하고, 필요에 따라 위치를 수정한다. 먼저, 귀와 얼굴경계를 추출한 점에서 수직으로 귀의 하단부를 찾는다. 귀의 경계와 하단부의 길이가 미리 정해둔 귀의 길이 W/6보다 크면, 귀가 선명하게 추출된 경우로 귀의 경계로 확정한다. 귀의 길이가 범위보다 적으면, 귀의 영역이 충분이 추출되지 않았다고 보고 얼굴폭의 1/5을 잘라낸다. 양쪽의 경계위치를 다음과 같이 수정한다. 양쪽 귀가 선명하게 추출된 경우는 양쪽의 경계를 추출된 위치의 Y 좌표로 평균하여, Y 좌표로 확정한다. 한쪽만 선명하게 추출된 경우는 대칭성을 고려하여, 경계점의 Y 좌표를 상대위치에 일치시키고, X 좌표 얼굴 경계로 한다. 양쪽이 얼굴폭을 약간 자른 경우는 두점의 X 좌표를 평균하여, 평균위치를 양쪽의 위치로 한다. 이것을 귀를 포함하지 않는 얼굴 폭으로 하고 있다. 이와 같은 방법으로 귀와 얼굴 경계를 추출한 얼굴 영상의 예들을 도 26에 나타낸다. 도 27에는 귀의 상단부와 얼굴 경계의 추출 과정의 일예를 흐름도로써 나타내었다. 도 27을 참조하면, 먼저,과로 결정되는 귀의 상단부의 후보 영역을 설정한다(단계 2702). 다음으로, 얼굴 경계에서의 각도를 구하고(단계 2704), 각도차()의 최대 지점을 탐색한다(단계 2706). 다음으로, 각도차()의 최대 지점이 각도의 소정의 임계치를 초과하는지를 체크(단계 2708)하여, 각도차()의 최대 지점이 각도의 소정의 임계치를 초과하는 경우에는, 얼굴 경계에서 귀 상단부의 X 좌표에 대응하는 귀의 하단부의 Y 좌표를 탐색(단계 2710)하고, 귀의 길이인 귀 상단부의 Y 좌표와 귀 하단부의 Y 좌표의 차가을 초과하는 지를 체크한다(단계 2712).

한편, 단계(2708)에서 각도차()의 최대 지점이 각도의 소정의 임계치를 초과하지 않는 것으로 체크된 경우와, 단계(2712)에서 귀의 길이인 귀 상단부의 Y 좌표와 귀 하단부의 Y 좌표의 차가을 초과하지 않는 것으로 체크된 경우에는 얼굴 세로폭이가 되는 얼굴 상하단점을 구한다(단계 2714).

이제, 오른쪽 귀의 탐색을 성공하였는지를 식별(단계 2716)하고, 성공한 경우에는 왼쪽 귀의 탐색을 성공하였는지를 식별(단계 2718)하여, 역시 성공한 경우에는 왼쪽 귀와 오른쪽 귀의 Y 좌표의 합의 1/2을 새로운 Y 좌표로 설정한다(단계 2720). 하지만, 오른쪽 귀의 탐색에는 성공하였지만 왼쪽 귀의 탐색에는 실패한 경우에는 왼쪽귀의 Y 좌표를 오른쪽귀의 Y 좌표로써 설정(단계 2722)한다. 하지만, 단계(2716)에서 오른쪽 귀의 탐색을 성공하지 않은 것으로 식별된 경우에는 왼쪽 귀의 탐색을 성공하였는지를 식별(단계 2724)하여, 왼쪽귀의 탐색을 성공한 경우에는 오른쪽 귀의 Y 좌표를 왼쪽 귀의 Y 좌표로써 설정(단계 2726)한다. 오른쪽 귀와 왼쪽 귀의 탐색에 모두 실패한 경우에는 귀의 탐색에 실패한 경우에 해당하는 것으로 결정(단계 2728)한다.

다음으로, 턱선의 경계 추출 과정에서는 먼저, 상턱경계의 추출이 수행된다. 귀의 상단부가 추출되면 귀이하 턱부분을 탐색한다. 턱선은 목과 얼굴의 경계부분이나, 목부분이 얼굴색과 매우 흡사하기 때문에 추출하기가 쉽지는 않다. 턱선은 귀의 하단부부터 목과 경계사이(이하에서 상턱이라 칭함)와 목과 턱의 경계(이하에서 하턱이라 칭함)로 나누어서 추출한다. 상턱의 경계는 얼굴 후보영역에서 이미 추출되어 있으나, 범위를 확정할 필요가 있다. 그 범위는 귀하단부와 얼굴경계의 각도, 목과 얼굴의 경계각도가 크다는 점을 이용하여, 귀하단부의 범위를 검출한다. 도 28에는 상턱 경계의 추출을 위한 각도 비교의 예를 나타내었다. 상턱의 경계 추출은 귀의 상단부에서와 같이 직선 L_i, L_i'가 이루는 각도를 비교하여, Q_i-Q_i'가 가장 큰 위치를 경계로 한다. 먼저, 얼굴폭추출에서 구한 귀하단부에서 약간 아래위치를 상턱추출의 시작점으로 한다. 귀하단부는 시작점에서 출발하여, 얼굴과 목의 경계를 탐색하게 된다. 즉, Q_i-Q_i'>Q_th보다 큰 곳으로, 상하방향에서 가장 처음 만난점을 상턱의 상하범위로 한다. 나아가서, 얼굴폭의 경우와 유사하게 선명하게 나타난 곳은 경계로 보고 위치를 확정하고, 선명하지 않은 곳은 대칭성을 고려하여 얼굴폭에서 귀의 위치를 수정하는 방법과 유사하게 위치를 수정한다. 도 29에는 추출된 상턱의 경계의 예들을 나타내었다. 도 29를 참조하면, 상턱의 범위가 잘 추출되어 있음을 알 수 있다.

도 30에는 상턱의 범위를 추출하는 과정을 나타내었다. 도 30을 참조하면,먼저, 상턱 탐색의 시작점을 설정(단계 3002)하고, 얼굴 경계에서의 시작점 상하로 각도를 조사(단계 3004)한 다음, 각도차(Q_i-Q_i')의 최대 지점을 탐색한다(단계 3006). 이제, 상방으로 각도차(Q_i-Q_i')가 각도의 한계치를 초과하는 지점이 탐색되었는지를 식별(단계 3008)하여, 상방으로 각도차(Q_i-Q_i')가 각도의 한계치를 초과하는 지점이 탐색된 경우에는 귀 하단부로 확정(단계 3010)한다. 반면에, 상방으로 각도차(Q_i-Q_i')가 각도의 한계치를 초과하는 지점이 탐색되지 않은 경우에는 얼굴폭에서 지정한 귀 하단부의 후보를 귀 하단부로써 결정한다(단계 3012). 다음으로, 하방으로 각도차(Q_i-Q_i')가 각도의 한계치를 초과하는 지점이 탐색되었는지를 식별(단계 3014)하여, 하방으로 각도차(Q_i-Q_i')가 각도의 한계치를 초과하는 지점이 탐색된 경우에는 목과 얼굴의 경계로 확정(단계 3016)한다. 반면에, 하방으로 각도차(Q_i-Q_i')가 각도의 한계치를 초과하는 지점이 탐색되지 않은 경우에는 오른쪽 경계 끝에서 목과 얼굴 경계의 후보를 목과 얼굴의 경계로 결정한다(단계 3018).

다음으로, 오른쪽 귀 하단부의 탐색을 성공하였는지를 식별(단계 3020)하여, 성공한 경우에는 왼쪽귀 하단부의 탐색을 성공하였는지를 식별(단계 3022)하고, 성공한 경우에는 왼쪽 귀 하단부의 탐색을 성공하였는지를 식별(단계 3022)하여, 역시 성공한 경우에는 오른쪽 귀 하단부와 왼쪽 귀 하단부의 Y 좌표의 합의 1/2을 새로운 Y 좌표로 설정한다(단계 3024). 하지만, 오른쪽 귀 하단부의 탐색에는 성공하였지만 왼쪽 귀 하단부의 탐색에는 실패한 경우에는 왼쪽 귀 하단부의 Y 좌표를 오른쪽 귀 하단부의 Y 좌표로써 설정(단계 3026)한다. 또한, 단계(3020)에서 오른쪽 귀 하단부의 탐색을 성공하지 않은 것으로 식별된 경우에는 왼쪽 귀 하단부의 탐색을 성공하였는지를 식별(단계 3028)하여, 왼쪽귀의 탐색을 성공한 경우에는 오른쪽 귀 하단부의 Y 좌표를 왼쪽 귀 하단부의 Y 좌표로써 설정(단계 3030)한다. 오른쪽 귀 하단부와 왼쪽 귀 하단부의 탐색에 모두 실패한 경우에는 상턱 범위의 탐색에 실패한 경우에 해당하는 것으로 결정(단계 3032)한다.

상턱이 추출되면, 하턱경계의 추출 과정에서 하턱의 후보영역을 타원으로 설정한다. 타원의 중심은 얼굴과 머리영역의 위치 중심이고, 타원의 단축은 얼굴폭으로 한 후, 상턱의 경계를 이용하여, 타원의 장축을 추정한다. 추정을 위한 타원 방정식은 다음과 같다.

여기서,는 얼굴경계의 좌표이고,는 얼굴과 머리영역의 중심좌표이고, a는 단축으로 얼굴폭에 해당한다. 상기 수학식 27을 정리하면,

과 같이 나타날 수 있다. 상턱의 경계에 대해서 수학식 28으로부터 최소자승법으로 b를 구할 수 있다. 상기 타원의 목사이의 부분에 대해서 도 31과 같이 하턱의 후보영역을 설정한다. 도 31에서와 같은 후보영역 내에서 목과 얼굴의 경계가 얼굴색 추출시 턱밑의 그림자로 인해, 얼굴색으로 추출되지 않는 경우가 있다. 도 32에는 하턱 후보 영역에서 얼굴색으로 추출되지 않은 영역의 라벨링 결과의 예들을 나타내었다. 얼굴색으로 추출되지 않는 경우는 그 영역을 턱의 경계로 설정한다. 그림자가 없어 얼굴색으로 추출되어 있는 영역은 Sobel 필터를 이용하여 하턱의 경계를 검출한다. 도 33에는 하턱 후보 영역에서 라벨링된 영역의 이외의 영역에 대한 필터링 결과의 예들을 나타내었다. 도 32의 영역과 도 33의 Sobel 필터링 결과를 종합한 결과를 도 34에 나타낸다. 도 35와 같이 종합한 결과를 타원으로 근사하여, 근사 경계선과 추출결과의 차를 비교하여 차의 절대치를 평균한다. 근사차이 절대치가 평균치보다 큰 경우는 그 점을 제외하고 나머지 점만을 선택한다. 이것은 도 33의 세 번째 영상과 같이 필터링 결과, 목의 경계가 아닌 부분도 검출되기 때문에, 이를 제외하기 위함이다. 하턱에서 선택된 경계위치와 상턱의 경계를 이용하여 타원으로 근사하여 목과 하턱의 경계로 한다. 도 36에는 상턱과 하턱의 경계를 사용한 턱의 타원형 근사의 예들을 나타내었다. 상기와 같은 방법을 이용하면 턱의 경계를 비교적 안정적이고 정확하게 추출할 수 있게 된다.

도 37에는 타원의 방정식을 이용하여 턱의 범위와 턱점을 찾는 순서를 나타내었다. 도 37을 참조하면, 먼저, 상턱 탐색 영역하에서 하턱 후보영역을 설정(단계 3702)하고, 타원의 방적식에 경계값을 대입(단계 3704)하며, 최소자승법(LMS: least mean square)을 사용하여 평균 에러를 구한다(단계 3706). 다음으로, 평군 에러 범위내에서 타원의 방정식을 설정한다(단계 3708). 이제, 상기 단계들을 반복하였는지를 식별(단계 3710)하여 그렇지 않은 경우에는 단계(3706) 및 단계(3708)를 다시 한번 수행한다. 상기 단계들을 2회 반복하였으면, 턱라인 후보 영역을 설정(단계 3712)하고, 얼굴색이 아닌 영역의 라벨링 및 경계선이 검출을 수행한다(단계 3714). 다음으로, 라벨이 없는 부분만 Sobel 필터링한다(단계 3716). 이제, 라벨링과 필터링을 종합(단계 3718)하여, 상턱과 하턱을 타원으로 근사화한다(단계 3720). 다음으로, 하턱 영역을 확정한다(단계 3722).

이제, 얼굴영역 설정 과정에 대하여 더 상세히 설명한다. 먼저, 얼굴영역의 설정시 머리끝과 턱끝을 상하로 하고, 얼굴폭을 좌우로 하여 타원을 설정하고 있다. 이상의 과정을 통해 얼굴폭, 머리끝, 턱끝을 추출하게 되면, 얼굴영역을 설정할 수 있게 된다. 도 38a에는 우측방향으로 얼굴을 돌린 영상에 대하여 얼굴영역을 설정한 결과를 나타내었다. 도 38a의 (a)에는 얼굴 영역을 결정하기 위한 얼굴의 경계점의 예들을 나타내었으며, (b)에는 상기 경계점들을 사용하여 설정된 타원 영상의 예들을 나타내었다. 도 38a을 참조하면, 우측방향으로 얼굴을 돌린 영상의 경우에도 얼굴영역이 자동으로 잘 설정되어 있음을 알 수 있다. 60명에 30 영상씩 1,800 영상에 대해 실험한 결과, 98.34%가 얼굴영역의 자동설정에 성공하였다.

도 38b에는 좌측방향으로 얼굴을 돌린 영상에 대하여 얼굴영역을 설정한 결과를 나타내었다. 도 38a의 (a)에는 얼굴 영역을 결정하기 위한 얼굴의 경계점의 예들을 나타내었으며, (b)에는 상기 경계점들을 사용하여 설정된 타원 영상의 예들을 나타내었다. 도 38b을 참조하면, 좌측방향으로 얼굴을 돌린 영상의 경우에도 얼굴영역이 자동으로 잘 설정되어 있음을 알 수 있다.

도 38c에는 표정을 바꾸거나 얼굴을 상하로 움직인 얼굴 영상에 대하여 얼굴영역을 설정한 결과를 나타내었다. 도 38c의 (a)에는 얼굴 영역을 결정하기 위한 얼굴의 경계점의 예들을 나타내었으며, (b)에는 상기 경계점들을 사용하여 설정된 타원 영상의 예들을 나타내었다. 도 38c을 참조하면, 표정을 바꾸거나 얼굴을 상하로 움직인 얼굴 영상의 경우에도 얼굴영역이 자동으로 잘 설정되어 있음을 알 수 있다.

다음으로, 얼굴 부위의 추출 과정에서는 추출된 얼굴영역내에서 눈, 눈썹, 입, 코의 얼굴부위를 추출한다. 귀의 상단부가 추출되면, 눈 영역의 검출 과정에서는,

도 39에는 눈 영역의 검출 결과를 나타내었다. 도 39를 참조하면, (a)에는 눈의 후보 영역의 검출 결과를 나타내었다. 눈의 후보영역에는 눈과 눈썹이 포함될 수 있다. 또한, 도 39의 (b)에 도시한 바와 같이 설정 영역내에서 얼굴색으로 추출되지 않은 영역중 고립된 영역을 라벨링을 통해 추출한다. 도 39의 (b)에는 고립 영역의 검출 결과를 나타내었다.

이제, 라벨링된 영역에서, 눈의 상하 폭, 좌우길이, 면적의 중심을 구한 후,눈의 폭에 대한 길이의 비, 면적이 미리 정해놓은 비와 면적을 비교하여 적합여부를 조사한다. 눈의 후보영역이 여러개 추출되면, 눈영역의 중심을 구하여, 눈의 중심의 Y 좌표가 거의 같은 위치에 있고, 면적과 눈폭에 대한 길이의 비가 비슷하면 눈의 영역으로 한다. 도 39의 (a)의 좌측상단과 같이 눈썹이 동시에 추출된 경우는 눈이 아래 쪽에 있으므로 위치관계로 아랫부분에 있는 영역을 눈영역으로 한다. 탐색된 눈의 중심, 상하좌우의 최단점을 도 39의 (c)에 나타낸다. 이와 같은 방법으로 102개의 영상에 대해서 실험한 결과, 98개 영상에 대하여 눈영역을 검출했고, 안경을 쓴 경우에는 눈영역의 검출에 실패하는 경우가 있었다. 도 40에는 안경으로 인하여 눈 영역의 검출에 실패한 경우의 예들을 나타내었다.

도 41에는 눈영역의 검출 과정을 흐름도로써 나타내었다. 도 41을 참조하면, 먼저, 양 귀점으로부터 눈 후보 영역을 설정한다(단계 4102). 다음으로, 얼굴색이 아닌 고립 영역의 라벨링을 수행한다(단계 4104). 다음으로, 영역 크기순으로 조사 및 분류를 수행한다(단계 4106). 이제, 영역의 중심 상하좌우점의 탐색을 수행한다(단계 4108). 다음으로, 영역의 가로, 세로, 비, 및 면적이 적합한지를 판단(단계 4110)하여, 적합하지 않은 영역을 삭제한다(단계 4112). 이제, 가로, 세로, 비, 및 면적이 적합한 것으로 판단된 영역에 대하여 눈의 후보가 2개 이상인지를 식별(단계 4114)하여 눈의 후보가 2개 이상이 아닌 경우에는 눈 영역을 확정한다(단계 4116). 반면에, 눈의 후보가 2개 이상인 것으로 식별된 경우에는 중심이 대칭이고 유사한 수평 위치에 있는지를 식별(단계 4118)하여, 중심이 대칭이고 유사한 수평 위치에 있지 않은 것으로 식별된 경우에는 눈 찾기에 실패한 것으로 결정한다(단계 4120). 또한, 단계(4118)에서 중심이 대칭이고 유사한 수평 위치에 있는 것으로 식별된 경우에는 눈의 후보가 3 개 이상인지를 식별한다(단계 4122). 만일, 눈의 후보가 3 개 이상인 것으로 식별된 경우에는 아래 영역을 선택(단계 4124)하여 눈 영역으로 확정한다.

눈썹 영역의 검출 과정에서, 눈썹 영역은 눈영역의 검출을 전제로 후보영역을 설정한 후, 눈영역과 유사한 방법으로 검출한다. 먼저, 눈위에 눈썹이 있으므로 눈위에서 후보영역을 설정한다. 도 42에는 눈썹 영역의 검출과정을 나타내었다. 먼저, 도 41의 (a)와 같이 설정된 눈썹의 후보 영역 중에서 도 42의 (b)와 같이 고립된 영역을 검출한다. 다음으로, 고립된 영역 중에서 눈썹의 중심, 상하좌우의 최단점을 구한 후, 길이대 폭비, 좌우대칭, 수평위치의 유사성 등을 눈에서와 같이 조사한 후, 눈썹의 위치를 확정한다. 도 42의 (c)에는 확정된 눈썹 영역의 예들을 나타내었다. 하지만, 눈썹은 머리로 가리워진 경우가 많으므로, 눈의 좌우 범위내에서 우측 눈썹은 우단, 좌측눈썹은 좌단이 고립되어 있지 않더라도 고립영역으로 간주한다. 눈썹이 하나밖에 검출되지 않았을 경우, 다른 한쪽을 추정하여 검출한다. 도 43에는 한 쪽 눈썹만 검출되었을 경우에 다른 눈썹을 추정한 결과의 예들을 나타내었다. 또한, 도 44에는 눈썹영역의 검출에 실패한 예들을 나타내었다.

입영역의 검출과정에서는, 먼저, 턱선을 이용하여 입의 후보 영역을 설정한다. 다음으로, 설정된 후보 영역내에서 얼굴색으로 추정되지 않은 영역중 가장 큰 영역을 입으 후보 영역으로 설정하고, 논의 경우에서와 유사하게 입의 길이, 폭 면적, 및 중심을 구하여 입의 적합 여부를 조사한다. 도 45a 및 도 45b에는 영역의 검출 과정을 설명하기 위한 도면을 나타내었다. 도 45a에는 입의 후보 영역의 예들을 나타내었으며, 도 45b에는 입의 후보 영역을 나타내었다.

코영역의 검출 과정에서는, 검출된 입과 눈의 영역을 이용하여 코의 후보영역을 검출한다. 두 개의 코구멍의 영역이 선명하게 추출되어 길이, 폭, 면, 좌우대칭성, 수평위치의 유사성을 조사하여, 적합하면 코의 위치를 확정한다. 코구멍이 검출되어 있지 않으면 후보영역내에서 Sobel 필터를 통해 코의 밑선과 옆선을 검출한다. 도 46에는 코영역을 검출하는 과정을 설명하기 위한 도면을 나타내었다. 도 46을 참조하면, (a)에는 코의 후보 영역의 예를, (b)에는 코이 고립 영역의 검출의 예를 나타내었다.

얼굴 영역 검출을 통한 형상모델의 자동정합 과정에서는, 먼저, 얼굴윤곽을 이용한 얼굴 3차원 형상모델의 크기 및 위치조정이 수행된다. 이 과정에서는 얼굴의 윤곽을 이용하여 얼굴의 3차원 형상모델의 크기 및 위치를 조정한다. 도 47a에는 얼굴 영상과 얼굴의 3차원 형상 모델의 예들을 나타내었다. 도 47a에 나타내어진 바와 같이, 일반적으로 영상내의 얼굴과 얼굴형상모델은 크기와 위치가 서로 일치하지 않는다. 따라서, 눈 또는 얼굴폭의 중점이 일치하도록 평행이동한다. 도 47b에는 양쪽 눈의 중심으로 평행 이동한 결과의 예들을 나타내었다. 다음으로, 얼굴폭과 일치하도록 얼굴형상모델의 X 축방향, 눈의 위치와 턱끝을 이용하여 얼굴형상모델의 Y축 방향을 확대 또는 축소한다. 도 47c에는 가로 폭과 세로 폭의 크기를 조정한 결과의 예들을 나타내었다. 다음으로, 이마와 머리의 끝점의 Y 좌표를이용하여, 이마와 머리의 Y 방향을 확대 또는 축소한다. 도 47d에는 이마와 머리를 조장한 결과의 예들을 나타내었다. 다음으로, 턱의 윤곽선과 귀의 상단부와 하단부를 이용하여 귀 이하의 윤곽선을 일치시킨다. 머리모양은 매우 다양하고, 검은색배경과 머리가 접해있을 때는 머리가 아닌 영역도 머리영역으로 추출되어 있을 때가 있다. 이를 고려하여, 일단 크기 조정된 머리모양에서 일정범위를 두어, 이 범위 내에서 윤곽선이 추출되면, 이 윤곽을 따라서 머리모양을 일치시키되, 이 범위를 넘는 경우는 원래모양을 그대로 둔다. 도 47e에는 이러한 방법으로 얼굴 및 머리의 윤곽을 조정한 결과의 예들을 나타내었다.

다음에는, 얼굴 템플리트를 사용한 얼굴 부위의 정밀 탐색이 수행된다. 이 과정에서는 얼굴색 공간을 이용하여, 추출한 얼굴 후보영역에서 얼굴의 기하학적 위치를 고려하여, 얼굴부위(눈, 눈썹, 코, 입)의 영역을 추출하고 있다. 얼굴부위의 영역은 대부분 추출되나, 추출되지 않은 영역도 다소 존재할 수 있다. 추출된 영역에 대해서는 좁은 범위에서, 추출되지 않은 영역은 보다 넓은 범위에서, 얼굴 템플리트를 이용하여, 눈썹, 눈, 코, 입 등의 얼굴부위를 좀 더 정밀하게 탐색한다.

이 과정에서는 먼저 변형 가능한 얼굴 템플리트의 구성이 수행된다. 즉, 얼굴부위의 정밀한 탐색을 위해 형상과 휘도치를 동시에 가지는 변형 가능한 템플리트를 구성한다. 변형 가능한 템플리트는 6개의 얼굴 각 부위의 템플리트(좌·우눈, 좌·우눈썹, 코, 입)를 이용한다. 도 48에는 얼굴 각 부위의 템플리트를 나타내었다. 상기 템플리트의 크기를 변화시키면서 다양한 크기와 모양의 얼굴영상을 탐색한다.

다음으로, 휘도치의 정규화가 수행된다. 자동 정합을 하기 위한 얼굴 영역의 탐색순서는, 먼저 얼굴후보영역을 설정한 후, 휘도치를 정규화하고, 눈, 눈썹, 코, 및 입의 영역 순으로 탐색을 한다. 먼저, 얼굴후보영역 내의 각 화소의 휘도치를 더하여 평균을 구한다. 다음으로, 얼굴 전체 템플리트도 동일하게 각 화소의 평균 휘도치를 구한다. 즉, 다음과 같이 평균 휘도치의 비를R이라 하면,

이다. 여기서L _I 와L _T 는 추출된 얼굴 후보영역과 템플리트의 영역내의 화소수이다.F _I 와F _T 는 얼굴후보영역과 템플리트의 얼굴영역을 나타낸다.는 각각 얼굴영상과 템플리트내의에서의 휘도치이다. 휘도치의 비를 다음 식과 같이 휘도치를 정규화하면, 템플리트의 조명조건이 입력영상의 조명조건과 거의 유사하게 된다. 정규화 된 템플리트는 다음과 같이 생성한다.

다음으로, 얼굴 부위의 템플리트 매칭이 수행된다. 이 과정에서는 얼굴 부위의 템플리트를 이용하여 얼굴후보영역내의 얼굴영역을 탐색한다. 탐색방법은,

의 수학식을 사용하여 템플리트 매칭을 한다.E는 템플리트와 얼굴영상과 휘도치 차의 절대치의 합으로, 오차의 크기를 나타낸다.x _m 과y _n 의 범위는-M ≤ x _m ≤ M, -N ≤ y _n ≤N 이다.M과N은 탐색범위이다. 이러한 조작은,E가 최소치를 갖는 위치에서의 템플리트 영역을 입력영상의 얼굴영역으로 결정한다.

입력얼굴영상의 각 부위를 탐색하기 위해서는 얼굴 각 부위 템플리트를 이용한다. 눈, 눈썹, 코, 입의 영역을 각 부위의 템플리트를 이용하여 탐색한다. 여기서, 탐색범위는 얼굴부위가 잘 추출되었을 경우는 범위를 좁게하고, 잘 추출되지 않았을 경우는 탐색의 범위를 넓게 한다. 추출여부는 얼굴부위의 길이, 폭, 길이대 폭의비, 면적, 중심위치 등을 이용하여 판정한다. 도 49a 내지 도 49d에는 템플리트 매칭에 의한 얼굴 부위의 정합을 과정별로 설명하기 위한 도면을 나타내었다. 도 49a에는 눈의 매칭 결과, 도 49b에는 눈썹의 매칭 결과, 도 49c에는 코의 매칭 결과, 도 49d에는 입의 매칭 결과의 예들을 나타내었다. 도 49a 내지 도 49d를 참조하면, 얼굴의 3차원 형상모델이 얼굴에 잘 정합되어 있음을 알 수 있다. 도 50에는 자동 정합에 성공한 경우의 예들을 나타내었다.

이상의 방법을 이용하여, 카메라로 입력된 정면상에 얼굴의 3차원 형상모델을 자동으로 정합하는 실험을 하였다. 정면상 292개의 영상을 입력하여, 278 개의 영상을 성공하고, 14개의 영상을 실패함으로써 인식율이 95.2%를 나타내었다. 도51에는 자동 정합에 실패한 경우의 예들을 나타내었다. 도 51을 참조하면, 자동 정합에 실패한 경우는 (a)와 같이 얼굴이 지나치게 돌아가 있는 경우, (b)와 같이 조명이 어두운 경우, (c)와 같이 얼굴을 머리카락이 많이 가리고 있는 경우, 눈의 후보가 여러개 발생되는 경우, 진한색 굵은테의 안경을 쓴 경우, 조명이 한쪽만 너무 밝은 경우, 머리가 노란 경우, 및 얼굴을 너무 숙이거나 드는 경우로 나타났다.

이상을 요약하면, 3차원 얼굴 모델링부(102)는 YIQ색 공간에서 얼굴색 부분공간을 생성하고, 임의의 얼굴크기와 배경영상에서 얼굴후보영역 추출하며, 템플리트 매칭에 대한 얼굴부위 탐색을 수행하고, 얼굴의 3차원 모델링 및 얼굴 영상의 정규화를 수행한다.

상기와 같은 3차원 얼굴 모델링 방법은 얼굴의 표준 3차원 형상 모델을 준비하고, 개인 얼굴의 정면상에 정합하여, 개인 얼굴의 3차원 형상 모델을 얻는다. 정합 방법은 수동 정합과 자동 정합의 두 가지의 방법을 제공한다. 수동 정합은 시스템 개발에, 자동 정합은 시스템 운용의 자동화에 응용할 수 있다. 상기와 같은 3차원 얼굴 모델링 방법에 따라 모델링된 개인 얼굴의 3차원 형상 모델은 미래 자녀, 미래 모습 예측의 기반 기술로써 응용될 수 있다.

또한, 기술적 측면으로 볼 때, 상기 3차원 얼굴 모델링 방법은 얼굴을 이용한 개인식별에 응용될 수 있다. 즉, 개인을 구별하는데 얼굴을 이용하는 것보다 확실하고, 비교적 용이한 수단은 없을 것이다. 신분증명서에는 얼굴을 이용하여 개인을 구별하고 있다. 얼굴을 이용한 개인식별에 있어서 얼굴 영역 추출은 중요한 핵심기술이다. 이러한 기술은 보안시설에 출입자 감시 및 통제, 은행 출입자 감시및 현금 인출기 보조키, 컴퓨터의 개인 ID 및 패스워드, 자동차 보조키, 공항 등에서 테러리스트 및 범인의 색출, 아파트의 출입관리 분야에 응용하는 것이 가능하다.

상기 3차원 얼굴 모델링 방법은 사이버 아나운서를 운용하는데 응용하는 것이 가능하다. 최근에 사이버 가수, 학생 등 사이버 인간이 많이 등장하고 있다. 사이버 인간에게 말하고 표정짓는 기능을 부가하면 사이버 아나운서의 등장이 가능하다. 아나운서의 역할이 뉴스원고를 읽는 일이기 때문이다. 즉, TTS(Text - To - Speech)의 음성합성기술과 한글발음에 따라 입모양을 연속적으로 변화시키면 사이버 아나운서를 만들 수 있다. 즉, 얼굴사진이 한 장이 있으면, 주어진 텍스트에 따라 표정짓고 말하는 것이 실시간으로 가능하다.

또한, 상기 3차원 얼굴 모델링 방법은 성형수술 시뮬레이션에 응용하는 것이 가능하다. 즉, 성형수술 전에 성형수술후의 모습을 시뮬레이션 해보는 것이 가능하기 때문에 성형수술 후의 모습을 환자와 상의한 후에 성형수술을 하는 것이 가능하다.

또한, 본 발명에 따른 포토 스티커 시스템은 얼굴의 3차원 모델링을 기초로 부모의 얼굴조합을 통한 미래자녀의 예측 기능을 구비한다. 도 52에는 미래 자녀 얼굴 모델링부의 세부 구조를 블록도로써 나타내었다. 도 52를 참조하면, 미래 자녀 얼굴 모델링부(104)는 정합부(5202), 부모 얼굴 수정부(5204), 및 미래 자녀 얼굴 영상 생성부(5206)를 구비한다. 도 53에는 도 52의 미래 자녀 얼굴 모델링부내에서 수행되는 미래 자녀 얼굴 모델링 방법의 주요 단계들을 나타내었다. 도 52 및도 53을 참조하면, 먼저, 정합부(5202)는 부모의 얼굴을 입력(단계 5302)하여 소정의 3차원 형상 모델을 입력된 부모의 얼굴에 정합(단계 5304)시킨다. 다음으로, 부모 얼굴 수정부(5204)는 정합된 부모 얼굴의 형상 모델을 어린아이의 특징을 가지도록 수정한다(단계 5306). 다음으로, 미래 자녀 얼굴 영상 생성부(5206)는 부모의 얼굴 영상을 수정된 얼굴 형상 모델에 3차원 텍스쳐 매핑시킴으로써 수정된 부모의 얼굴을 생성(단계 5308)하고, 복수의 남.여 어린 아이들의 얼굴 이미지를 저장하는 데이터베이스로부터 부모의 얼굴의 종횡비가 가장 유사한 아이 영상을 부모와 가장 닮은 어린 아이 영상으로써 선택(단계 5310)하여, 선택된 어린 아이 영상의 적어도 눈, 코, 입을 부모의 수정된 것으로 교환함으로써 부모를 닮은 미래 자녀의 얼굴 영상을 생성한다(단계 5312). 즉, 미래 자녀 얼굴 모델링부(104)는 입력된 부모의 얼굴에 얼굴의 3차원 형상모델을 자동정합한 후, 남·여의 눈, 코, 입의 얼굴부위 모양을 어린아이의 특징을 갖도록 수정한다. 또한, 10세 전후의 남여 어린 아이의 얼굴영상이 저장되어 있는 어린아이 얼굴 영상 데이터베이스(106)로부터 부모 얼굴의 종횡비가 유사한 아이를 선택하고, 다음으로, 선택된 어린아이의 눈, 코, 입의 얼굴부위를 부모의 변형된 부위로 교환함으로써, 부모와 닮은 미래자녀의 모습을 예측한다. 얼굴부위 교환시 부모의 선택은 얼굴형상모델의 정합정도에 따라 정해진다.

이상의 과정을 이하에서 보다 상세히 설명한다.

얼굴 부위의 수정과정에서는 부모와 닮은 미래자녀를 예측하기 위하여, 부모의 눈썹, 눈, 코, 입 등의 얼굴 부위를 선택된 어린아이의 얼굴 부위와 교환한다.부모의 얼굴부위는 어른의 형상을 하고 있으므로, 어린아이의 얼굴에 부모의 얼굴부위를 그대로 교환하면, 어른의 얼굴부위가 합성되어, 전체적으로 조화된 얼굴 모습을 얻을 수 없게 된다. 이때, 부모의 얼굴부위를 어린아이의 특징을 갖도록 수정하여 교환하는 것을 생각할 수 있다. 즉, 어린아이는 일반적으로 동그란 눈에, 좁고 짧은 코에, 조그만 입을 가지고 있다. 이 경우, 얼굴의 3차원 형상모델을 변형하여 텍스쳐 매핑으로 얼굴부위를 수정할 수 있다.

이 과정에서는, 먼저, 부모의 얼굴에 얼굴의 3차원 형상모델을 자동 정합한다. 자동정합된 부모 얼굴의 형상모델을 변형한다. 얼굴형상모델의 눈, 코, 입 등의 얼굴부위에 해당하는 꼭지점을 정의한 후, 정의된 꼭지점에 대해서 가로 밑/또는 세로를 축소 또는 확대함으로써 얼굴부위를 변형한다. 변형된 얼굴의 형상모델에 텍스처 매핑함으로써, 수정된 얼굴을 얻을 수 있다. 도 54에는 얼굴 부위의 수정 과정의 예를 나타내었다. 도 54를 참조하면, (a)에는 입력 영상을, (b)에는 정합된 형상 모델을, (c)에는 형상 모델의 변형을, (d)에는 수정된 얼굴을 나타내었다. 도 54의 (a)와 (d)를 비교하면, 입력 영상의 얼굴부위가 어린아이의 특징을 갖도록 수정되어 있음을 알 수 있다.

다음으로, 텍스처 매핑이 수행된다. 이 과정에서는 부모의 얼굴 3차원 형상 모델을 어린아이의 특징을 갖도록 변형 한 후, 텍스처 매핑으로 얼굴 영상을 합성하여 다양한 얼굴을 얻는다. 텍스처 매핑에 대해서 상세히 설명한다. 텍스처 매핑(Texture Mapping)이란 어떤 형상의 텍스처를 다른 또 하나의 형상에 매핑 하는 기술이다. 본 실시예에서는 삼각형에 대한 선형매핑을 이용하기로 한다. 얼굴의형상 모델은 다각형으로 이루어져 있으나, 궁극적으로는 삼각형으로 나누어서 텍스쳐 매핑이 이루어지기 때문이다. 텍스처 매핑을 사용한 얼굴부위의 수정에서 필요한 3차원 텍스쳐 매핑은 화소의 대응위치의 산출, Z-버퍼링, 및 휘도치 보간 과정으로 이루어진다.

도 55에는 텍스쳐 매핑의 과정을 설명하기 위한 도면을 나타내었다. 먼저, 화소의 대응위치를 산출하는 과정에서는 도 55의 (a)와 같이 어떤 삼각형 ABC가 삼각형 A'B'C'에 변형되었다고 가정한다. 삼각형 ABC내에 속해 있는 화소를 변형된 삼각형 A'B'C'내에 있는 화소로 매핑 하는 것을 생각한다. 각각의 삼각형에 대한 두변의 벡터를와라 정의하면 다음 식과 같이 쓸 수 있다.

여기서,이고,이며, 나머지는 유사하게 정의된다.는 절대좌표이고,는에 대한 상대좌표이다. 삼각형 ABC를 삼각형 A'B'C'에 매핑하기 위해서 다음과 같은 식을 사용하고 있다.

삼각형 A'B'C'내의 화소를 빠짐없이 텍스쳐 매핑하기 위하여,x축을 따라 스캔해가면서 역 매핑을 사용한다. 즉, 수학식 35로부터,s,t를 구한 다음, 수학식 34를 이용하여 p'의 대응점 p를 구한다.

이제, Z-버퍼링이 수행된다. Z버퍼링을 위해, P'에서 상대좌표의 Z값은 점A',B',C'의 Z좌표로부터 구한다. 수학식 35로부터,

로 쓸 수 있다. 각 화소에서 Z값을 비교하여, Z값이 가장 큰 경우에만 화소를 그리게 된다.

이제, 휘도치의 보간을 수행한다. 일반적으로 점 P의 위치는 도 55의 (b)와 같이 정수화소 위치가 아니기 때문에, 점 P의 휘도치는 주변 정수위치의 화소치로부터 쌍1차 보간을 이용하여 구한다. 이것을 식으로 나타내면, 수학식 37 내지 수학식 39와 같다.

여기서,는 점에서의 휘도치이고,은 각각를 넘지 않는 정수이다.

다음으로, 얼굴부위의 교환 과정을 수행한다. 이 과정에서는 수정된 부모얼굴의 부위를 선택된 어린아이의 얼굴부위와 교환한다. 이때, 교환된 얼굴부위가 매끄럽게 처리함으로써, 고품질의 미래자녀 얼굴을 얻을 수 있다. 즉, 얼굴부위는 부모의 것으로 교환되어 있으면서, 교환된 흔적이 없도록 고품질의 얼굴영상을 합성할 필요가 있다. 이를 위해, 교환할 얼굴부위를 분할하고, 가중 텍스처 매핑 방법을 적용한다.

먼저, 얼굴부위의 분할이 수행된다. 이 과정에서는 교환할 얼굴부위인 눈, 코, 입을 분할한다. 부위의 분할에는 얼굴의 형상모델을 사용한다. 우선, 형상모델에 착안하여, 어느 정점이 어느 영역에 속하는가 속성정보를 부여함으로써 부위를 분할한다. 다음에, 형상모델을 구성하는 삼각형에 착안한다. 삼각형의 3정점이 모두 같은 영역에 속하고 있는 경우, 이것을 특징영역이라고 부르기로 한다. 또 삼각형의 3정점의 일부가 특징영역에 속하는 영역을 중간영역이라고 부르기로 한다. 도 56에는 얼굴 부위의 분할의 일예를 나타내었다. 도 56을 참조하면, 진한 흑색부분이 특징영역이고, 흑색에서 점점 흰색으로 되는 부분이 중간영역이다.

다음으로, 얼굴부위의 합성이 수행된다. 얼굴부위의 합성 과정은 형상모델의 합성 과정과 얼굴 텍스처의 합성 과정으로 나눌 수 있다. 형상모델의 합성에 있어서는 교환할 얼굴부위의 꼭지점의 좌표를 교환한다. 얼굴텍스처의 합성은 특징영역의 합성과 중간영역의 합성으로 나누어진다. 특징영역의 합성은 위에서 설명한 얼굴수정에서와 같이 특징영역을 텍스처 매핑한다. 중간영역의 경우는 다음과 같이 가중 텍스처 매핑을 한다.

합성 영상의 형상 모델의 j번째 삼각형 ABC의 내부에서의, k번째의 정수 화소 위치의 휘도치를 구하는 것을 생각한다. 각 정점에서의 i번째의 원영상에 대한 합성 비율을 각각,,으로 한다. 삼각형의 2변 AB, AC를 축으로 하는 사교좌표계에서 이 화소의 s, t좌표를 구해, 그 화소에 대한 합성 비율을 다음 식과 같이 산정 한다.

이 화소에 대응하는 i번 째의 원영상에서의 화소 위치는 삼각형의 사교좌표를 사용한 역매핑으로 구한다. 도 57에는 중간 영역의 합성 비율의 산출과 농담치의 내삽 과정을 설명하기 위한 도면을 나타내었다.

다음에는, 이 화소 위치의 휘도치를 주위 4점의 휘도치를 쌍일차 보간을 사용해서 구한다. 구하는 농담치는 이와로 부터 다음 식에 의해서 산출할 수 있다.

의 값은 삼각형내의 화소가 각 정점에 접근함에 따라, 그 정점에 주어진 합성 비율의 값에 서서히 접근하므로, 각 영역은 부드럽게 접속된다. 도 57에는 중간 영역의 합성 비율의 산출과 농담치의 내삽 과정의 일예를 나타내었다. 도 57을 참조하면, 얼굴 영상에서의 모든 화소에 대해서, 합성 비율이 어떻게 결정되는지를 알 수 있다. 특징 영역과 특징 영역의 경계부에서는, 합성 비율이 점차로 변화해가고 있음을 알 수 있다. 또한, 도 57을 참조하면, P번 째의 형상모델 및 Q번 째의 형상모델과 합성영상의 형상모델을 나타내었다. P번 째의 형상모델과 Q 번째 영상 모델에 대한 합성 비율과 구하고자 하는 농담치는 각각,

과 같이 나타내어진다.

상기와 같은 방법을 이용하여 미래자녀 모습을 예측하기 위해, 어린아이의 남여 각 30명씩의 얼굴 데이터베이스를 준비한다. 도 58a 및 도 58b에는 어린아이 얼굴 데이터베이스(106)에 저장된 남자 아이 30명의 얼굴 영상의 예들을 나타내었다. 또한, 도 59a 및 도 59b에는 어린아이 얼굴 데이터베이스(106)에 저장된 여자 아이 30명의 얼굴 영상의 예들을 나타내었다.

또한, 도 60에는 수정된 부모의 얼굴과 부 또는 모, 부모의 양쪽을 닮은 얼굴 영상의 예를 나타내었다. 도 60의 (a)는 수정된 남자의 얼굴 영상이고, (b)는 수정된 여자의 얼굴이며, (c)에는 선택된 아이의 얼굴 영상이다. 도 60의 (d)는 미래 자녀 얼굴 모델링 방법에 의하여 생성된 남자의 얼굴을 닮은 미래 자녀의 얼굴 영상의 예이고, (e)는 여자의 얼굴을 닮은 미래 자녀의 얼굴 영상의 예이며, (f)는 남녀 모두의 얼굴을 닮은 미래 자녀의 얼굴 영상의 예이다. 도 61을 참조하면, 눈, 코, 입이 수정된 부모의 형상을 닮은 미래자녀를 얻을 수 있음을 알 수 있다. 도 61에는 여러 사람에 대하여 미래 자녀 얼굴 모델링 방법을 수행한 결과 영상을 나타내었다. 도 60 및 도 61로부터, 미래 자녀 얼굴 모델링 방법에 따라 부모의 특징이 교환된 부위가 매끄럽게 처리되어 고품질의 영상을 얻을 수 있음을 알 수 있다.

즉, 미래자녀 얼굴 모델링부(104)는 얼굴색의 정규화를 수행하고, 10세 전후 아동얼굴 데이터베이스내에서 부모와 닮은 얼굴을 추출하며, 부모의 과거모습을 예측하여 부모의 눈, 코, 입 등의 얼굴 부분을 재조합한다. 이로써, 미래 자녀 얼굴 모델링부(104)는 남.여 어린 아이에 대한 각 30명의 어린아이 얼굴 영상을 저장하는 데이터베이스(106)로부터 부모와 가장 닮은 어린 아이를 선택하고, 선택된 어린 아이의 눈, 코, 입을 부모의 수정된 얼굴 영상으로 교환함으로써, 부모를 닮은 미래 자녀의 얼굴 영상을 고품질로 출력한다.

본 발명의 얼굴 포토 스티커 시스템에 적용된 미래 자녀 얼굴 예측 방법에서는 남자의 얼굴을 입력하고, 여자 모델을 선택하여 미래 자녀의 얼굴을 예측하는 방법과, 여자의 얼굴을 입력하고, 남자 모델을 선택하여 미래 자녀의 얼굴을 예측하는 방법과, 남자의 얼굴을 입력하고 여자의 얼굴 입력하여 미래 자녀의 얼굴을예측하는 방법, 및 미래 자녀의 성별을 선택할 수 있다.

본 발명에 따른 포토 스티커 시스템은 얼굴의 3차원 모델링을 기초로 미래의 얼굴 모습을 예측할 수 있는 기능을 구비한다. 도 62에는 미래 자녀 얼굴 모델링부의 세부 구조를 블록도로써 나타내었다. 도 62를 참조하면, 미래 자녀 얼굴 모델링부(110)는 분석부(6202), 특징추출부(6204), 및 합성부(6206)를 구비한다. 도 63에는 도 62의 미래 얼굴 모델링부내에서 수행되는 미래 얼굴 모델링 방법의 주요 단계들을 나타내었다. 도 62 및 도 63을 참조하면, 먼저, 특징추출부(6202)는 연령별 얼굴 영상 데이터베이스(112)로부터 연령별 얼굴 영상을 나이대별로 복수 개를 수집(단계 6302)하고, 주성분 분석을 이용하여 수집된 얼굴 영상로부터 나이변화 성분을 추출한다(단계 6304). 다음으로, 분석부(6202)는 사용자 얼굴 영상을 입력하여 직교된 기저 공간을 이용하여 형상 정보 및 얼굴색 정보를 분석한다(단계 6306). 이제, 합성부(6206)는 복수인의 얼굴로부터 추출된 나이 변화 성분과 형상 정보 및 얼굴색정보를 사용하여 예측된 미래 모습 영상을 합성한다(단계 6308).

상기와 같은 미래 얼굴 모델링 방법을 이하에서 보다 상세히 성명한다. 얼굴은 나이 정보를 가진다. 따라서, 어떤 사람의 얼굴을 살펴보면, 그 사람의 나이가 대략 몇 살 정도인지 짐작할 수 있다. 이것은 얼굴에는 나이에 관한 공통적인 특징이 있어 그것을 근거로 나이를 짐작한다고 생각된다. 즉, 인간의 얼굴은 나이가 들어감에 따라 많은 변화를 하게 되며, 이러한 변화는 어느 정도 일정한 규칙이 있고, 이러한 규칙을 근거로 얼굴만 관찰하여도 그 사람의 나이를 어느 정도 추측할 수 있다.

예를들어, 인간이 나이가 들어감에 따라 나타나는 변화를 살펴보면, 일반적으로 얼굴의 형상은 두개골의 형태, 피하 지방의 분포, 얼굴 근육의 발달 등에 의해 크게 영향을 받게 된다. 두개골의 변화는 주로 태어나면서부터 20세에 이르기까지의 성장기 얼굴 변화를 주도하고, 그 이후의 얼굴 형상의 변화는 주로 얼굴 근육 및 피부의 발달과 퇴화의 과정을 통해서 나이에 관한 정보를 얼굴에 나타내고 있다. 이러한 과정은 개인마다 약간의 차이가 있고, 피하 지방의 발달 유무에 따라서도 커다란 차이를 보인다. 그리고, 성장기의 변화는 단기간에 많은 변화를 하기 때문에 더욱 세밀한 관찰이 필요하다. 이러한 이유 때문에 얼굴의 나이 정보를 효과적으로 취급하기 위해서는 두개골의 형상 변화가 중심이 되는 성장기 모델과 얼굴에 개인 특징들이 완숙함을 더해가는 장년기 모델, 그리고 피부 노화가 중심이 되는 노화기 모델로 나누어 취급할 필요가 있게 된다. 따라서, 본 발명의 얼굴 포토 스티커 시스템에 적용된 미래 얼굴 모델링 방법에서는 연령별로 합성을 처리한다.

또한, 얼굴에 의한 나이의 인식은 구성 요소의 한 부위나 윤곽 등 어느 하나에 의존하지 않고 얼굴 전체의 복합적인 관계에 의해 나타나고, 얼굴 영상의 정확한 나이 추정을 위해서는 단순한 파라미터의 측정만이 아닌 얼굴을 대표할 수 있는 종합적인 지표가 필요하다. 도 64에는 제약 조건에 의한 평균 추정 연령을 나타내었다. 또한, 도 65에는 얼굴 구성 요소의 추정 부위를 나타내었다. 도 65를 참조하면, B/A는 두부의 길이, C/A는 눈의 길이, D/C 는 눈의 종횡비, E/A는 코의 길이, E/F는 코의 종횡비, G/A는 입의 넓이, G/H는 입의 종횡비, I/A는 중하안의 길이, J/A는 하안의 길이, K/A는 턱의 길이, L은 턱의 각도이다. 도 66에는 유아기 얼굴구성 요소의 상대적인 길이 변화를 분석한 결과를 나타내었다.

한편, 나이에 관한 다양한 얼굴 특징의 변화를 살펴본다. 나이가 변화되는 모습은 유전적인 요인, 성장 및 생활 환경, 남녀의 성별에 따라서 차이가 있다. 즉, 가계에 따라서는 대머리가 되는 경우가 있고, 그렇지 않은 경우가 있다. 또한, 생활 환경 즉, 생산직에 종사하였는가, 사무직에 종사하였는가, 농촌에서 생활하였는가에 따라서도 다르다. 이러한 요인들을 전부 고려하여야만 과거 또는 미래의 얼굴을 비교적 정확하게 추정하여 합성할 수 있다. 예상되는 특징 변화의 종류는 다음과 같다.

먼저, 유전적인 요인에 따른 얼굴 특징의 변화가 있다. 즉, 인간의 모든 특징은 부모로부터 물려받은 유전인자에 의해 크게 영향을 받고, 이들이 성장하면서 죽을 때까지의 외부적인 요인에 의해 다소의 변화가 생길 수 있다. 그러므로, 얼굴의 나이 변화 과정을 고찰하기 위해서는 부모에게 물려받은 유전인자에 의해 결정된 유전 형질을 무시하고서는 정확한 나이 변화의 특징 추출이 불가능하다. 부모에게 물려받은 유전인자 중 어느 쪽에 지배되어 특징이 변화되는가는 우성인 유전인자에 의해 어느 한쪽의 특징을 닮아가는 경우가 있고, 그 외의 대부분의 유전인자는 정확한 비례 관계는 알 수 없지만 부모의 형질을 비례적으로 수용하여 변화하고 있다. 이러한 유전인자에 의한 얼굴 특징의 변화중에 얼굴에 나타나는 특징은, 예를들어, 머리카락의 형태(곧은 머리, 반곱슬 머리, 곱슬 머리), 머리카락의 색(백색, 황색, 갈색, 흑색), 피부색(백색, 황색, 흑색), 눈동자의 색(청색, 갈색, 흑색), 대머리 현상, 눈썹의 쌍꺼풀 현상등이 있다.

또한, 성장 및 생활 환경에 따른 얼굴 특징의 변화가 있다. 성장 및 생활 환경에 따른 얼굴 특징의 변화는 거시적으로 볼 때 인류의 기원에서 현재의 인류에 이르기까지 다윈의 진화론에 의거한 두개골의 발달을 예로 들 수 있고, 미시적으로 볼 때는 현생 인류에서 전세계에 지역적으로 넓게 분포되어 생활을 영위함에 따른 지역적 환경의 변화에 따른 얼굴 특징의 변화를 들 수 있으며, 더욱 더 그 범위를 축소하면 동일 국가 내에서 생활하는 사람이라 하더라도 그들이 소속된 집단의 경제력이나 사고 방식, 교육의 정도, 문화의 정도에 따라 얼굴 특징은 크게 달라질 수 있다. 이것을 동일한 유전 인자를 갖고 태어난 일란성 쌍생아도 성장 환경이나 생활 환경이 다른 곳에서 살고 있을 경우에 그들의 얼굴 특징은 일치하지 않는다는 보고에 의해서도 증명되었다.

또한, 종사하는 직업에 따른 얼굴 특징의 변화가 있다. 우리는 사람들의 얼굴을 보고 개략적으로 그 사람의 직업을 어느 정도 추측할 수 있다. 이것은 인간이 어느 한 직업에 오랫동안 종사하게 되면 인간이 그 직업의 특성에 맞게 적응해 갈 것이라 생각되고, 만약 이러한 가정이 사실이라면 얼굴에 나타난 특징들만을 가지고도 직업의 성격을 규명할 수 있을 것이라 생각된다. 구체적으로 살펴보면, 항상 웃는 얼굴을 많이 보여주는 직업(배우, 코메디언 등)에 종사하는 사람은 일반적으로 얼굴에 부드러운 감각이 느껴지고, 거칠거나 난폭한 사람들을 자주 접하게 되는 직업(경찰, 판검사 등)에 종사하는 사람은 스스로의 위엄을 세우고 중압감을 주기 위한 노력에 의해서인지는 몰라도 어쩐지 딱딱한 얼굴 표정을 짓는 경우가 많다. 이와 같이 인간은 환경에 적응하는 능력이 우수하고 이러한 적응 과정에 자신의 직업을 유지하기에 편리한 방향으로 또는 자신의 직업에서 오는 스트레스나 직업적 특성 차이에 의해서 인간 행동이 어느 한 방향으로 단순화됨에 따라 나타나는 많은 증상들이 나타나고 있다. 이것의 병적인 요인을 우리는 직업병이라 부르고 있고, 얼굴에 나타나는 정보도 이러한 직업적인 영향이 크게 미칠 것이라고 생각된다.

또한, 남녀 구별에 따른 얼굴 특징의 변화가 있다. 사람의 얼굴은 골격 구조와 얼굴 근육의 발달에 의해 모습이 다르게 된다. 그리고, 나이가 들어감에 따라 이러한 특징 또한 바뀌게 되며 골격 구조의 변화는 성형수술 따위의 강제적인 요인을 배제하면 남녀의 차이는 거의 나타나지 않지만, 얼굴 근육의 구조는 남녀의 성별 차이가 확실히 나타난다. 일반적으로 남성에 비해서 여성의 얼굴에는 피하 지방이 발달되어 있고, 이러한 이유로 남성의 경우에는 발달된 얼굴 근육이 곧바로 얼굴 표피에 나타나서 근육의 경계가 어느 정도 뚜렷해 보이지만, 여성의 경우 얼굴 근육과 표피 사이에 피하 지방이 발달하여 근육의 경계가 잘 나타나지 않고, 보통 모나지 않는 부드러운 느낌을 준다. 이외의 특징이라면 남녀의 호르몬의 차이에 의해 남성의 경우 눈썹이 진하고 두껍게 발달하고 여성의 경우는 눈썹이 옅고 가늘게 나타난다. 이것은 털의 발달에 많은 영향을 주는 남성 호르몬 분비에 의해서라고 생각된다. 또한, 여성의 얼굴은 화장 등에 의해 표피의 보존 관리가 잘 이루어지고 있고, 이러한 이유 때문에 일반적으로 남성에 비해 노화의 징후가 잘 나타나지 않는다. 그리고, 현대에 들어서는 성형수술과 피부 관리 기술의 발달에 의해 인위적인 노화징후의 억제 및 제거가 많이 이루어지기 때문에 여성의 나이 추측을 어렵게 하는 요인이 되고 있다.

이제, 상기와 같은 관점에서 연령 변화에 의한 얼굴의 나이 정보를 살펴본다. 인간의 얼굴은 태어나서 나이가 들어감에 따라 많은 변화를 갖는데, 성장기의 얼굴 변화는 두개골의 발달에 따른 얼굴의 형태 변화가 아주 중요한 요소가 되며, 부수적으로 사춘기를 통한 피부 변색(여드름 등)과 털(모발, 눈썹)의 발달 등이 성장기 얼굴의 변화를 주도한다. 성장기의 얼굴 특징을 부위별로 살펴보면, 머리털은 태어나서 점차적으로 발달함에 따라 머리털의 영역이 증가하고, 이마는 어른에 비하여 넓은 편이며, 코와 입은 약간 작아 보이고, 귀와 눈은 커 보이고, 두 눈의 사이가 멀어 보인다. 그리고, 얼굴의 전체적인 형태는 골격이 아직 발달하지 않아 전체적으로 둥글게 보이는 것이 특징이다. 이러한 특징들은 나이가 들어감에 따라 점차로 성인의 얼굴 모습과 닮아간다. 장년기 얼굴이 나이 변화는 성별 차이에 의한 2차적 특성이 나타나고, 얼굴에 개인의 특성이 잘 반영되는 시기이며 비교적 얼굴 특징의 변화가 느리게 진행된다. 노화기 얼굴의 나이 변화는 얼굴 근육의 발달 및 퇴화 과정에 의한 얼굴의 형태 변화와 피하 지방의 분포 상황에 의해 나타나는 골이 깊은 주름의 생성과 피부 노화에 의한 잔주름의 생성에 의존한다. 그 외의 요인으로는 털의 발달 및 퇴화 과정, 예를 들면, 수염의 발달과 두발의 발달 및 이들의 변색 과정을 들 수 있고, 피부의 처짐, 표피 세포의 궤멸에 따른 반점 등이 주로 나타나고 유전적인 요인에 따라 머리털이 빠지는 대머리 현상 등이 보인다.

도 67 및 도 68에는 성장기의 나이 변화에 따른 얼굴의 특징 변화를 남성의 경우와 여성의 경우에 대해서 각각 나타내었고, 도 69에는 장년기의 얼굴, 도 70에는 노화기의 얼굴의 특징을 나타내었다. 1세 이하의 유아는 눈썹 위치까지의 얼굴면적이 머리 부분 전체의 1/4을 차지한다. 또한, 작은 코는 위를 향하고, 콧등이 둥글다. 또한, 윗 입술은 좀 길고 발달이 덜된 턱이 들어가서 모가 나지 않는다. 또한, 눈의 홍채가 충분히 발달하여 두 눈이 크다. 또한, 골격이 두드러지지 않고 두리뭉실하며, 남녀의 성별 차이가 거의 나타나지 않는다. 2∼3세의 어린이의 경우는 눈과 코 등의 간격이 적당히 넓어지고, 턱은 작고 상당히 밑쪽에 있으며 대개는 도톰하다. 또한, 귀는 둥글고 커 보이며, 어른보다 밑에 있다. 눈썹은 대개 희미하고 뚜렷하지 않거나 때로는 전혀 보이지 않는다. 코는 작고 위를 향하며 둥글고, 콧등은 발달이 덜되어 둥글다. 볼은 매우 팽창되어 있으며, 눈썹이 머리의 세로 길이의 2등분 선상에 있다. 4∼7세의 어린이의 경우는 얼굴은 좁아지지만 눈의 크기는 변하지 않는다. 턱은 성장 중이므로 아래턱이 조금 튀어나온다. 콧등이 높아지고 길어지며 콧망울이 커져서 윗 입술이 약간 짧다. 귀는 눈에 뜨이게 커지고 속눈썹은 매우 길며 머리카락이 많아진다. 8∼12세의 어린이의 경우는 눈의 위치가 올라가 얼굴의 중앙 부근에 위치한다. 입은 유아의 모습을 간직하지 않는다. 콧망울이 뚜렷해지고 코의 연골이 튼튼해진다. 콧등의 뼈는 늦게 발달하기 때문에 위로 향한 채로 있다. 턱의 앞쪽은 발달하지만, 귀쪽의 아래턱은 그대로이다. 얼굴이 전체적으로 길어 보인다. 13∼19세의 청년이 경우, 콧등은 이때부터 평생동안 변하지 않는다. 턱과 두개골의 성장으로 귀가 얼굴 전체에 비하여 작게 보인다. 또한, 귀의 연골이 뚜렷해지기 때문에 요철이 잘 나타난다. 머리털은 약간 뒤로 이동하고 눈썹은 뚜렷하고 두꺼워진다. 입술은 충분한 크기로 되고 아래턱은 더 이상 변하지 않는다. 턱은 짧은 기간에 현저히 발달한다. 턱의 모서리 부분의 뼈는 아직도 완전한 발육이 되지 않는다. 20∼50세의 경우, 얼굴의 피부가 늘어져 턱 아래, 볼, 눈초리가 처진다. 웃을 때의 주름이 남기도 한다. 젊을 때에 비해 살집이 좋아진다. 60대 이후에는 남성은 골격과 힘줄이 두드러지고, 피하 지방이 적어진다. 또한, 피부의 탄력이 없어지는 것도 특징이다. 주름은 단순한 표면 주름이 아니라 깊고 두터운 골이 생긴다. 대머리가 되는 경향이 있고, 이마는 널찍하고 뼈만 남는다. 관자놀이의 골격은 현저하게 되고, 혈관이 두드러진다. 안구와 눈두덩이 움푹 들어가고 눈 윗쪽에 뼈가 두드러지게 돌출된다. 눈 주위의 주름과 피부의 이완 현상이 나타나며, 광대뼈는 한층 두드러진다. 코뼈가 두드러지며, 입술이 얇게 된다. 이러한 얼굴 특징은 나이 변화 성분으로써 작용한다.

따라서, 본 발명의 얼굴 포토 스티커 시스템에 적용된 미래 얼굴 모델링 방법에 따르면, 주성분분석을 이용하여 나이변화 성분을 추출한다. 즉, 몇 개의 기저 얼굴 영상에 가중치를 주어 선형합을 취함으로서 얼굴 영상을 합성하는 것을 생각할 수 있다. 역으로, 얼굴 영상의 분석에서는 기저 얼굴 영상을 사용해서 목표의 얼굴 영상에 대한 특징 정보를 추출한다. 이 때, 기저가 되는 얼굴 영상의 수를 점차 늘려 간다면, 모든 얼굴의 합성 및 분석이 가능할 것이다. 그러나, 이 경우 기저가 되는 얼굴 영상을 어떻게 선택하느냐가 매우 중요하게 된다. 비슷한 얼굴만 모아서 기저 얼굴로 사용한다면 얼굴 영상의 합성 및 분석의 효율이 저하된다. 그러므로, 보다 효율적으로 얼굴 영상을 취급하기 위해서는 직교된 기저 얼굴 영상이 필요하다. 즉, 직교된 얼굴 영상에 의해서 얼굴 영상의 분석 및 합성을 하면 기저로 사용된 얼굴 영상의 수를 줄일 수 있다는 의미가 된다.

본 실시예에서는, 얼굴 영상을 얼굴의 형상 정보와 얼굴의 농담 정보로 나누어 각각에 대해서 주성분 분석하여 직교된 기저 얼굴 영상을 구한다. 이와 같이, 얼굴의 형상을 고려하는 것에 의해서 얼굴의 회전이나 이동, 배경 등 얼굴 영상의 촬영 조건에 영향을 받지 않고 얼굴 영상의 분석 및 합성을 할 수 있다. 나아가서, 얼굴의 3차원 모델을 이용하여 얼굴 각 부위의 대응을 정확히 맞출 수 있기 때문에 보다 자연스러운 재합성 영상이 얻어질 것이라 기대된다. 그리고, 주성분분석에 의해서 얻어진 직교된 기저를 사용해서 얼굴 영상을 분석하고, 그 분석 결과로부터 얼굴 영상을 재합성하는 방법에 대해서도 서술한다.

주성분분석은, 많은 변량의 값을 가능한 한 정보의 손실없이, 소수개의 총합적인 지표(주성분)로 대표시키는 방법을 칭한다. 즉, n 변량의 p개의 데이터는 n차원 공간에서 p개의 점으로서 나타낼 수 있지만, p>3인 경우, 즉, 3차원 이상인 경우에는 이들 p개의 점들의 위치 관계를 정확히 판단하기 힘들다. 이 방법은 3차원 이상인 경우에 p개의 점들의 위치 관계를 될 수 있는 한 보존하면서 낮은 차원으로 나타내는 방법이라고도 할 수 있다. 다시 말하면, 주성분분석은 n차원 공간에 점들이 분포하고 있을 때, 이 점들을 가장 효율적으로 기술할 수 있는 직교된 축을 생성하는 방법이다.

주성분분석의 과정은 먼저, 분포하고 있는 모든 점의 위치에 대하여 벡터 평균을 구하고, 각 점에 대하여 평균과의 차벡터를 산출한다. 다음에, 이들 차벡터와 내적의 자승의 총합을 최대로 하는 벡터를 구한다. 이 벡터는 분포하고 있는 각 점의 분산 정보를 가장 잘 나타내는 벡터로서 이것을 제 1 주성분이라 한다. 제 1 주성분 벡터로 위치 표시를 한 값을 주성분 득점, 위치 표시를 하지 못한 값을 손실 정보량이라 한다. 다시, 제 1 주성분에 직교하는 벡터 중에서 차벡터와의 내적의 자승의 총합을 최대로 하는 벡터를 구해서 이것을 제 2 주성분이라 한다. 이와 같은 방법으로 제 3 주성분, ···, 제 n 주성분을 구한다. 이렇게 주성분 벡터를 구해 나가면, 결국 n개의 주성분 벡터가 구해지는데, 주성분 벡터의 성질상 마지막에 구해진 주성분 벡터를 사용하지 않아도 이들 점의 위치 벡터는 대부분 표현할 수 있다. 따라서, 보다 적은 차원의 공간에서 이들 점을 효율 좋게 기술할 수 있게 된다. 도 71에는 주성분분석의 개념을 설명하기 위한 도면을 나타내었다. 여기서,는 최대,는 원래의 정보,는 주성분득점,는 손실된 정보를 나타낸다.

다음으로, 얼굴 영상의 나이변화 성분을 추출한다. 얼굴의 형상정보는 형상모델의 약 680개의 꼭지점들이 각각 3차원 데이터로 표현이 되어 있으므로, 모든 얼굴 형상은 680×3＝2,040 차원 공간내의 한 점에 위치하게 된다. 결국, 이 공간내에서 위치 벡터의 선형합을 구하면 얼굴 형상이 합성되는 것이다.

얼굴 형상은 개인마다 각각 다르지만 형상모델의 각 꼭지점의 위치 관계는 상당한 연관성이 있다. 따라서, 임의의 얼굴의 형상 정보는 2,040 차원보다 적은 차원의 공간으로 분석하여 표현하는 것이 가능할 것이다. 그러면, 몇차원까지 구하면 얼굴 형상의 분석이 가능할 것인가라는 질문에 대한 최적의 해답은 주성분분석이 될 수 있다. 얼굴 영상의 나이변화 성분은 이하에서 상세히 기술될 형상 정보와 농담 정보로 나누어 추출된다.

먼저, 얼굴형상의 나이변화 성분추출하는 과정을 설명한다. 직교된 몇 개의 얼굴 형상에 적당한 가중치를 주어 임의의 얼굴의 형상을 합성하는 것을 생각한다. 이 직교된 얼굴 형상을 『얼굴의 고유 형상』이라 부른다. 이하, 주성분분석을 이용하여 얼굴의 고유 형상을 생성하는 방법을 서술한다.

얼굴 형상은 형상 모델에 의해 표현되므로 그것을 이용해서 주성분분석을 한다. 먼저 수학식 45와 같이 개인의 얼굴 형상을 나타내는 벡터를 정의한다.

이 벡터를 개인 얼굴의 형상 벡터라고 칭하기로 한다. 여기에서 얼굴의 3차원 형상 모델은 꼭지점의 좌표의 3차원으로 기술하고 있으며, 이 꼭지점의 위치가 얼굴 형상의 특징을 나타내고 있기 때문에 얼굴의 형상 벡터를 정의할 수 있다. 여기서, n은 형상 모델의 꼭지점의 수가 된다.

다음에는 차형상 벡터를 작성한다. 이 과정에서는 개인 형상 벡터의 평균을 취하여 평균 형상 벡터를 구한다.

여기에서, m은 개인 형상의 수이다. 개인 형상 벡터들과의 평균 형상 벡터의 차를 구하여, 이것을 차형상 벡터라 한다.

이것은 개인 형상과 평균 형상의 차가 되기 때문에, 개인의 특징을 나타낸다.

다음에는, 직교된 고유 형상 벡터를 추출한다. 이 과정에서는, 각 개인의 차형상 벡터를 m보다 적은 수의 직교하는 몇 개의 벡터로 대표시키는 것을 생각한다. 이 벡터를라 하면,

가 된다. 이를 구하는 것은 차형상 벡터의 분산 행렬의 고유 벡터를 구하는 문제로 귀착된다. 즉,

가 된다. 단,

가 된다.는 고유값이고,는에 대응하는 고유 벡터이다. 여기에서, 고유값가 클수록 그것에 대응하는 고유 벡터가 차형상 벡터를 보다 잘 대표하게 된다. 즉, 각 고유 벡터에 대한 주성분 벡터가 직교하는 얼굴의 고유 형상 벡터가 된다.

다음으로, 얼굴색의 나이 변화 성분을 추출한다. 이 과정에서는 얼굴 형상의 경우와 같은 방법으로 주성분분석에 의해 직교된 얼굴색 정보의 특징 성분을 추출한다. 이것을 얼굴의 고유색이라 부른다. 이 경우, 개개인의 형상이 서로 다르기 때문에, 개인 얼굴의 색 정보는 화소끼리 대응이 되지 않는다. 이러한 이유로 『Eigen Picture』 및 재합성 영상을 부자연스럽게 하는 원인이 된다. 이와 같은 문제를 해결하기 위하여 각 개인 사이의 화소의 대응을 취하여 개인의 얼굴색 정보를 적절히 변경시킨 후에 고유 색을 구할 필요가 있다. 따라서, 본 발명의 얼굴 포토 스티커 시스템에 적용된 미래 얼굴 모델링 방법에서는 각 개인의 얼굴색 정보를 평균 형상으로 텍스처 매핑해서 같은 형상에 대한 각 개인의 얼굴색 정보를 얻는다. 그러므로, 모든 형상이 같게 되어 화소의 대응이 이루어지기 때문에 이 얼굴색 정보를 이용해서 고유 형상 벡터와 같은 방법으로 고유 얼굴색을 구한다.

이를 위하여, 먼저, 개인 얼굴색 정보를 평균 형상에 매핑한다. 이 과정에서는 개인 얼굴색 정보를 평균 형상의 삼각형마다 텍스쳐 매핑하므로써 평균 형상에 대한 개인 얼굴색 정보가 얻어진다. 이것은 화소끼리의 대응을 취하기 위해 각 개인의 색 정보를 공통된 형상으로 매핑할 필요가 있기 때문이다. 여기서는 공통의 형상으로 평균 형상을 이용하기로 한다. 매핑은 평균 형상의 삼각형별로 한다. 앞에서 기술한 방법과 마찬가지로, 삼각형의 사교좌표계를 이용한 역매핑과 쌍일차 보간을 사용해서 각 개인의 얼굴색 정보를 평균 형상에 매핑한다.

다음으로, 얼굴색 정보의 특징 성분을 추출한다. 평균 형상에 텍스쳐매핑함으로써 얻어진 개인 얼굴의 색 정보는 같은 형상에 대한 얼굴색 정보이므로, 화소끼리는 대응이 이루어지게 된다. 이들 화소의 휘도치를 요소로 하는 얼굴의 색 벡터를 정의한다. 이 벡터가 얻어지면 형상 정보의 주성분 분석하는 방법과 같이 얼굴 색 정보의 특징 성분을 구할 수 있다.

이 때, 얼굴색 벡터는 얼굴 형상의 영역에 속한 화소로만 표현되기 때문에 배경에 영향을 받지 않고 얼굴색 정보의 특징 성분을 얻을 수 있다. 또, 화소끼리의 대응이 이루어지기 때문에 현실감있는 고품질의 얼굴 영상을 재합성할 수 있게 된다.

평균 형상에 매핑된 각 개인의 얼굴색 정보에서, 화소의 휘도치를 늘어 놓음으로써 개인 얼굴 얼굴색 벡터를 생성한다. 이것을이라 하면

가 된다. L은 평균 얼굴 영상의 영역에 속하는 화소의 수이다. 즉, 이 단계에서 얼굴 이외의 부분의 휘도 정보(배경 정보 등)는 배제된다. 그러므로, 주성분분석의 결과가 배경에 의해 영향을 받는 일은 없어지게 된다.

각 개인의 얼굴색 벡터가 구성되면, 나머지는 앞에서 기술한 방법과 마찬가지로 해서, 『얼굴의 고유색 벡터』를 계산할 수 있다.

이제, 직교된 기저 공간을 이용한 얼굴 영상의 분석이 수행된다. 얼굴 영상의 분석은 직교된 고유 형상과 고유색을 기저로 한 공간내에 개인의 얼굴 영상의위치를 구하는 일이다. 이 위치 좌표가 개인의 얼굴 영상을 나타내는 변수가 된다. 이 기저 공간은 주성분분석에 의해 생성되었기 때문에 분석에 사용하는 변수를 기저 공간의 차원수보다 적게 하여도 얼굴 영상은 거의 분석할 수 있다고 생각된다.

첫 번째로, 형상 정보의 분석이 수행된다. 얼굴 영상에 대해서 주성분분석을 할 때에는 얼굴을 형상 정보와 색 정보로 나누어서 취급하기 때문에, 주성분분석에 의해 만들어진 직교된 얼굴의 기저 공간은 형상 정보에 관한 기저 공간과 색 정보에 관한 기저 공간의 2개가 존재한다. 따라서, 얼굴 영상을 분석할 때에도 각각에 대해서 분석 변수를 구할 필요가 있다. 도 72에는 나이 정보의 특징 추출과 분석 및 합성의 처리 과정을 설명하기 위한 도면을 나타내었다. 도 72를 참조하면, 먼저, 얼굴 영상의 형상 모델의 좌표값을 사용해서 수학식 45에 의해 형상 벡터를 구성한다. 주성분분석을 할 때에 계산한 평균 형상 벡터와 대상이 되는 얼굴 형상의 차를 취해, 차형상 벡터로 한다.

이 차형상 벡터가 고유 형상 벡터의 선형합으로 표시된다고 생각할 수 있다. 얼굴 형상의 분석 변수는 차형상 벡터와 정규화된 각 고유 형상 벡터의 내적을 취하여 계산할 수 있다. 이것은 각 고유 형상 벡터를 정규화함으로써, 기저 공간이 정규직교계를 이루기 때문이다. 따라서, 각 고유 형상 벡터에 대한 가중치 변수(즉, 이 벡터에 대한 위치)는,

이 된다. 여기에서는 k번째의 고유 형상 벡터(k번째의 주성분 벡터)이며,는 그 벡터에 대한 위치(즉, 주성분 득점)이다.

두 번째로, 얼굴색 정보의 분석이 수행된다. 이 과정에서, 얼굴 영상에 대한 색 정보의 분석은 얼굴 영상을 평균 형상에 매핑하여 형상을 일치시킬 필요가 있다. 평균 형상에 매핑된 분석 대상의 얼굴의 색 정보에서, 수학식 51과 같이 얼굴색 벡터를 생성한다. 나머지는 형상 정보를 기술할 때에 사용한 방법과 같이 하면, 각 고유의 얼굴색 벡터에 대한 위치를 구할 수 있다. 이렇게 함으로써 임의의 얼굴 영상을 주성분분석으로 얻어진 직교된 얼굴 기저의 공간 내에 한 점으로 자리잡을 수 있다.

이제, 얼굴 영상의 합성이 수행된다. 임의의 얼굴 영상은 주성분 공간 내의 한 점으로 나타낼 수가 있는데, 이것은 반대로 주성분 공간 내의 임의의 1점에 대응하는 얼굴 영상을 구할 수 있음을 의미한다. 여기에서는 고유 벡터에 의해 그려진 직교된 기저 공간 내의 1점에 대응하는 얼굴 영상을 합성하는 방법을 이하에서 보다 상세히 설명한다.

첫 번째로, 형상 정보의 합성이 수행된다. 이 과정에서는 먼저 각 고유 형상 벡터와 형상 정보에 관한 기저 공간 내의 위치 좌표에서 형상 벡터를 계산한다. 각 고유 형상 벡터의 그 축에 대한 좌표값(형상 정보)을 가중치로 하여 선형 결합을 하고, 거기에 평균 형상 벡터를 더하면, 기저 공간 내의 1점에 대응하는 형상 벡터가 얻어진다. 위치 좌표를라고 할 때 구하는 형상 벡터는,

이 된다. 여기에서는 k번째의 고유 형상 벡터이고,는 평균 형상 벡터, k(≤n)는 분석에 사용되는 고유 형상 벡터의 수이다.

두 번째로, 얼굴색 정보의 합성이 수행된다. 얼굴의 색 벡터에 대해서도 형상 정보의 경우와 마찬가지로 정규화된 각각의 고유 얼굴색 벡터를 위치 좌표의 가중치를 주어 선형 결합을 하고, 거기에 평균 얼굴색을 더해서 얼굴색 벡터를 얻는다.

세 번째로, 얼굴색 정보를 합성 형상으로 매핑한다. 이 과정에서, 얼굴의 색 벡터를 합성할 때에 사용한 고유 얼굴색 벡터는 평균 형상에 매핑된 얼굴색 정보를 이용해서 생성한 것이므로 여기에서 구해진 얼굴색 벡터도 평균 형상에 매핑된 상태가 된다. 따라서, 상기 얼굴색 벡터를 위에서 구한 합성 형상에 매핑하므로서 재합성 영상이 생성된다.

이하에서는 상술한 얼굴 영상의 분석 및 합성 시스템의 이론적 타당성을 실험을 통해서 확인하기 위하여 얼굴에 나타나는 다양한 특징 정보 중에 나이에 관한 정보에 주목하여 나이 정보의 분석 및 합성을 수행하는 방법을 설명한다. 즉, 주성분분석을 이용하여 얼굴 영상에서 나이 정보를 추출하는 방법과 추출된 나이 정보를 변형하여 나이가 변화된 얼굴 영상을 합성하는 방법을 제안한다. 그리고 나이성분의 선형 변화에 의해서 나타나는 문제점을 해결하기 위해서 성장기, 장년기, 노화기에 대한 나이 성분을 각각 추출하여 구분 선형적으로 나이를 변화시키는 방법에 대해서도 기술한다.

먼저, 나이 정보의 선형 결합에 의하여 얼굴 영상을 합성한다. 이 과정에서는 상술한 주성분분석에 의해 추출된 직교 기저 영상을 사용하여 나이정보를 분석 및 합성한다. 첫 번째로, 나이에 대한 특징 성분을 추출한다. 이 과정에서는 얼굴 영상의 나이에 대한 특징 성분을 추출하기 위해서 10대에서 70대까지 10대 단위로, 연령별 각각 4매, 총 28매의 얼굴 영상을 준비한다. 나이정보의 특징 추출에 사용된 주성분분석은 분석 데이터에서 어떠한 규칙성을 찾아내는 바텀-업(botton-up)적인 알고리즘이기 때문에 실험에 사용할 데이터의 선택이 매우 중요하다. 그러므로 나이 정보의 효과적인 추출을 위해서 실험에 사용된 얼굴 영상의 나이 분포를 균일하게 하고, 28매의 얼굴 영상은 모두 다른 인물의 얼굴 영상을 사용하고 있다. 도 73에는 실험에 사용된 원영상의 일예를 나타내었다.

두 번째로, 입력된 얼굴 영상에 미리 준비된 얼굴의 표준 형상 모델을 정합시켜 얼굴의 3차원 모델을 생성한다. 도 73의 얼굴 영상에 표준 형상 모델을 정합시켜 얻어진 대상 인물의 3차원 형상 모델을 도 74에 나타내었다.

세 번째로, 나이대별로 개인얼굴 특징을 완화하고, 나이정보를 손상하지 않기 위해서 나이대별 4명씩 평균영상을 구한다. 이러한 과정에 의하여 얻어진 나이대별 평균영상을 도 75에 나타낸다. 이들 평균영상 7매를 주성분 분석하여 나이변화 성분을 추출한다.

네 번째로, 나이대별 평균얼굴 형상을 평균하여 얼굴의 평균 형상을 만들고, 7매 얼굴 영상의 각각의 농담 정보를 평균 형상에 텍스쳐매핑하여 평균 형상을 갖는 7매의 얼굴 색을 생성한다. 이것을 같은 형상을 갖기 때문에, 7매 얼굴 색의 각 화소 위치의 휘도값의 평균을 취하여 평균 얼굴색을 만든다. 이렇게 만들어진 평균 형상에 텍스쳐매핑된 개인 얼굴색을 도 76에 나타내었으며, 평균 형상과 평균 얼굴색을 도 77에 나타내었다.

다섯 번째로, 개인 형상에서 평균 형상을 제거해서 차형상을 만들고, 같은 방법으로 얼굴색의 차를 얻는다. 얼굴색의 차를 도 78에 나타내었다. 이것이 개인 고유의 얼굴색 성분이라 할 수 있다. 차얼굴색은 휘도값이 -255∼255의 값이 되기 때문에 영상으로 나타내기가 곤란하지만, 대부분은 -10∼10사이의 값이기 때문에 10배하여 128을 더하여 가시화한 값이다.

여섯 번째로, 이들 차형상과 차얼굴색을 사용해서 주성분분석하여 각각에 대한 특징 성분을 추출한다. 형상과 농담에 대한 특징 성분은 각각 7개 추출될 수 있으나 여기에서는 고유치가 큰 제 1 주성분을 도 79에 나타내었다.

다음으로, 나이 정보의 분석을 수행한다. 나이 정보의 분석 과정은 앞에서 추출된 형상과 얼굴색의 특징 성분을 기저로 하는 공간 상에 얼굴 영상의 위치를 구하는 과정이다.

첫 번째로, 위에서 기술한 방법으로 차형상과 차얼굴색을 얻는다.

두 번째로, 이 차형상과 차얼굴색을 각각의 고유 형상과 고유 얼굴색을 내적을 취하므로써 각 고유 형상과 고유 얼굴색에 대한 주성분 득점 즉, 특징 정보를얻는다. 이들 특징 정보를 비교하여 보면, 특징 성분의 성질을 알 수 있다. 즉, 어떤 얼굴 영상에 대한 특징 정보가 크면, 그에 대한 특징 성분이 많이 들어 있다는 의미이고, 특징 정보가 작으면 적게 들어 있다는 의미가 된다.

7매의 얼굴 영상 중에서 나이가 많은 사람의 얼굴 영상에 대한 특징 정보가 크고, 나이가 적은 얼굴 영상에 대한 특징 정보가 작은 특징 성분을 선택하면, 이것이 바로 나이에 관한 특징 성분이 된다. 예를 들면, 도 80에는 28매의 얼굴 영상을 나이대별로 4매씩 평균한 영상에 대한 제 1 주성분의 특징 정보(주성분 득점)를 나타내었다. 도 80을 참조하면, (a)에는 얼굴 형상에 대한 특징정보를, (b)에는 얼굴 농담에 대한 특징 정보를 나타내었다. 상기 특징 정보는 주성분으로 이루어진 공간 상에서 내적을 이용하여 분석한 특징 정보(주성분 득점)이며. 또한, 영상을 나이대별로 평균한 이유는 얼굴의 개인차를 가능한 배제하기 위함이다. 또한, 특징 정보의 크기가 나이에 따라 선형적으로 비례하는 것이 가장 바람직하지만, 얼굴의 개인차 등이 있기 때문에 선형 비례에서 약간 벗어났지만 대체로 나이에 비례하는 경향을 나타내고 있다. 이것으로부터 제 1 주성분이 나이에 대한 특징 성분임을 알 수 있다. 이와 같이 생각하면 임의의 얼굴 영상도 제 1 주성분을 이용하여 분석하면 주성분 득점에 따라, 나이를 추정할 수 있게 된다. 사실은 나이에 대한 특징 성분을 제 1 주성분으로 추출하기 위해 10대부터 70대까지 나이별로 균등하게 얼굴 영상을 선택했다. 왜냐하면, 제 1 주성분이 28매의 얼굴 영상을 가장 잘 대표하는 특징 성분이 되기 때문이다.

다음으로, 나이 정보의 합성이 수행된다. 임의의 얼굴 형상의 합성은 형상에대한 특징 성분에 가중치를 주어 선형합을 취하므로써 얻어진다. 제 1 주성분이 나이에 대한 특징 성분임을 알았다면, 원영상에 제 1 주성분에 대한 특징 정보만을 가감함으로써, 나이가 변화된 얼굴 영상을 재합성할 수 있다. 즉, 임의의 얼굴 영상의 주성분 공간 상의 현재 위치를 분석에 의해서 구하고, 구해진 얼굴 영상의 위치에서 제 1 주성분 축을 따라 평행하게 좌우 이동하게 되면 나이 이외의 다른 정보를 변하지 않고 제 1 주성분축과 평행하게 이동된 만큼 나이 정보를 조작할 수 있게 된다. 도 81에는 제1 주성분을 이용한 나이 정보 조작의 개념을 설명하기 위한 도면을 나타내었다. 이러한 과정을 통해서 나이 변화시킨 얼굴 영상을 도 82에 나타내었다. 이상의 결과에서 알 수 있듯이 한장의 사진을 이용하여 과거 미래의 모습을 추정하여 고품질로 합성할 수 있음을 알 수 있다.

상기의 방법은 얼굴 영상의 나이 변화 과정이 경향의 변화 없이 모든 구간에서 선형이고 직선적인 경우에는 적합한 방법이 되겠지만, 실제로 얼굴의 나이 변화 과정이 선형적이지 못할 경우에는 적합한 방법이 되지 못할 것이다. 실제로 인간의 얼굴이 나이가 들어감에 따라 변화되는 특징 정보가 전체적으로 선형적이지 못하다는 예는 발견할 수 있다. 그 구체적인 예로서 얼굴 형상의 변화를 주도하는 두 개골의 발달을 살펴보면 인간의 두 개골은 소아기에는 아주 활발한 발달을 하게 되지만 나이가 들어감에 따라 그 변화의 속도가 점차로 느려지게 되고, 약간의 개인차는 있지만 대략 20세에 이르면 두 개골의 발달이 정지한다고 알려지고 있다. 결국 얼굴의 형상을 좌우하는 두 개골의 변화과정은 20세 근처에서 하나의 전환점이 생기게 되고, 이러한 특징의 변화를 하나의 직선적인 특징으로 대표한다는 것은 큰무리가 따르게 된다. 이러한 이유가 앞에서의 10대 이하로 합성 된 얼굴 영상에서 얼굴 형상의 부자연스러움을 가져오는 이유가 되었다고 생각된다. 이러한 문제점을 해결하기 위해서 본 발명의 얼굴 포토 스티커 시스템에 적용된 미래 얼굴 모델링 방법에서는 인간의 나이 변화 과정에서 나타낼 수 있는 전환점을 기준으로 얼굴의 나이 변화의 과정을 몇 개의 구간으로 나누어 취급한다. 이하에서는 구간별 선형 결합에 의한 얼굴 영상의 합성을 수행하는 과정을 상세히 설명한다.

나이 변화 과정에서 나타날 수 있는 전환점은 크게 나누면, 두 개골의 성장이 정지하는 20세와 환경의 변화와 심적갈등에 의해 노화의 속도가 급격히 빨라진다고 보고되고 있는 60세를 들 수 있다. 그러므로 이러한 2개의 전환점을 기준으로 나이 변화의 구간을 10세∼20세, 20세∼50세, 50세∼70세의 3개로 분할하고 각각의 구간에 대해서 얼굴 영상의 주성분분석을 하여 구간별 나이 변화에 대한 특징 성분을 추출하고 이러한 특징 성분들을 연결하여 나이 변화된 얼굴 영상을 합성하므로서 실제의 인간의 나이 변화 과정에 좀더 가까운 합성 얼굴 영상을 얻을 수 있다. 도 83에는 구간별 선형 결합에 의한 얼굴 영상의 합성의 개념도를 나타내었으며, 도 84에는 구간별 선형 결합에 의한 얼굴 영상 합성에 따라 합성된 얼굴 영상의 예들을 나타내었다. 도 84를 참조하면, 구간별로 나눔으로써 소년기로부터 노년기에 이르기까지 나이 변화가 자연스럽게 이루어졌음을 알 수 있다. 도 85에는 여러 인물에 대한 구간별 나이 변화된 얼굴 영상의 합성 예를 나타내었다.

상기와 같이 미래 얼굴 모델링부(110)는 나이에 따른 얼굴변화의 성분 분석 및 추출을 수행하고, 나이의 변화성분의 수치화를 수행하며, 미래모습의 합성을 수행한다. 상기와 같은 미래 얼굴 모델링 방법에서는 10대에서 70대까지 나이 변화가 가능하고, 남·여 나이 변화 가능하며, 10대에서 70대까지의 얼굴 영상을 나이대별로 4매씩 수집하여 주성분 분석을 이용하여, 나이 변화 성분을 추출한다. 나아가서, 청소년기, 장년기, 노년기의 얼굴이 변화하는 양상이 각각 달라, 이들 구간에 대한 나이 변화 성분을 각각 추출하여, 미래 모습을 예측하고 있다.

또한, 본 발명에 따른 포토 스티커 시스템은 배경과 인물의 합성 기능을 구비한다. 본 실시예에서는 배경으로써 관광명소의 영상을 사용한다. 도 86에는 관광명소/인물 합성부(114)의 세부 구조를 블록도로써 나타내었다. 도 86을 참조하면, 관광명소/인물 합성부(114)는 배경 분리부(8602), 영상 축소부(8604), 및 합성부(8606)를 구비한다. 상기와 같은 관광명소/인물 합성부(114)에서는 도 87에 도시한 바와 같은 배경과 인물의 합성 방법이 수행된다. 도 87은 이하에서 수시로 참조된다.

영상 합성 관련 소프트웨어에 있어서 핵심기술은 배경으로부터 얼굴을 분리해내는 기술로 흔히들 크로마키(Chromachy)로 불리고 있다. 이 기술은 오래 전부터 발전되어온 기술로 포토스티커 뿐만 아니라 방송가에서도 널리 사용되어 오고 있다. 즉, 뉴스 앵커 뒤에 뉴스에 어울리는 화면이 흐르는 것은 이 크로마키의 방법이다. 본 발명의 얼굴 포토 스티커 시스템에 적용된 배경과 인물의 합성 방법도 이러한 크로마키의 방법을 기초로 한다.

상기와 같은 관광 명소/인물 합성부(114)에서 수행되는 배경과 인물의 합성방법을 설명하면, 먼저, 관광 명소 데이터베이스(116)에는 세계 대륙별로 5개소씩을 선택하여, 총 25개소의 관광 명소 영상이 저장되어 있다. 이로써, 본 발명에 따르면 관광 명소와 인물의 합성이 가능하다. 즉, 입력된 얼굴 영상을 배경과 분리 한 후, 배경을 관광 명소로 대치하여, 관광 명소와 인물을 합성하고 있다. 이는 관광 명소에 여행하지 않고서도, 가상적으로 관광을 여행한 사진을 얻을 수 있다.

배경분리부(8602)는 인물 영상을 입력(단계 8702)하고, 인물 영상으로부터 배경을 분리한다(단계 8704). 인물 영상으로부터 배경을 분리하는 단계(8704)는 예를들어 다음과 같이 이루어진다. 먼저, 크로마키를 배경으로 한 크로마키 영상을 수집하고 크로마키의 칼라공간을 생성하고, 인물과 배경을 용이하게 분리하기 위해 인물을 제외한 배경영상을 소정 매수 수집하여, 수집된 영상을 정규분포로 취급하여 크로마키의 칼라공간을 설정한다. 다음으로, 크로마키의 칼라공간에서 추출되지 못한 배경을 별도로 수집하여 칼라 테이블을 설정하고, 크로마키의 칼라공간을 정밀하게 설계한다. 마지막으로, 칼라테이블을 이용하여 배경을 자동으로 제외시킨다.

즉, 본 발명에 따른 포토 스티커 시스템은 관광명소와 인물을 합성하는 기능을 제공한다. 즉, 카메라로 입력된 인물사진에서 배경을 분리하여, 관광명소와 대치함으로써, 가상적으로 관광명소에서 촬영한 사진을 얻을 수 있다.

본 발명에 따르면, 인물과 배경의 분리에 있어서 크로마키의 개념을 적용한다. 즉, 먼저, 크로마키 영상의 수집 및 공간생성을 수행하고, 칼라 YIQ공간내에서 크로마키를 나타내는 부분공간을 생성하기 위해서, 크로마키를 배경으로 한 인물사진을 수집한다. 크로마키는 단색이나 인물에의 그림자가 생기거나 빛의 반사에 의해 크로마키의 색이 달라진다. 이러한 경우에도 인물과 배경을 용이하게 분리하기 위해 도 88에는 여러 가지 상황을 설정하여 수집된 배경 영상의 예를 나타내었다. 본 실시예에서는 이러한 인물을 제외한 배경영상을 256매 수집하였다.

얼굴포토 스티커에서는 주로 크로마키를 뒷배경으로 사용하고 있기 때문에, 크로마키와 상반신의 인물을 분리하여, 인물사진을 적당한 크기로 축소하여 관광명소와 합성한다. 이들 영상은 조명이 양쪽에 있는 경우, 한쪽만 있는 경우, 양쪽이 없는 경우 등 여러 가지 상황에 대처할 수 있도록 수집한다. 이들 영상을 수학식 25 및 수학식 26과 같이 정규분포로 취급하여 크로마키의 칼라공간을 설정한다. 이와 같이 정규 분포로써 가정하여 배경색을 추출한 영상의 예들을 도 89에 나타내었다. 도 90에는 배경을 제외한 영상을 나타내었다. 도 90을 참조하면, 배경의 대부분은 추출되었으나, 일부 추출되지 못한 배경도 있음을 알 수 있다.

이때, 추출되지 못한 배경을 별도로 모아, 칼라 테이블을 설정하여, 크로마키의 칼라공간을 정밀하게 설계한다. 도 91에는 정규 분포로 가정하였을 때 추출에 제외되지 않은 배경의 예들을 나타내었으며, 도 92에는 칼라 테이블을 정밀하게 설계하여 배경을 자동으로 제외한 영상의 예들을 나타내었다. 도 91 및 도 92를 참조하면, 도 90에서보다 배경 제외 효과가 우수함을 알 수 있다. 그러나 인물의 그림자로 인해 크로마키가 어두어져, 일부 배경이 추출이 되지 않거나, 머리색에 크로마키가 반사되어 머리의 일부분이 배경으로 추출되는 경우도 있다. 이들 경우는 크로마키가 반사된 머리색과 그림자가 있는 크로마키가 거의 비슷한 색이 되어, 문턱치를 조절하여 배경을 전부 추출하려고 하면, 머리색의 많은 부분이 배경으로 추출되어지는 문제가 있다.

이러한 문제를 해결하기 위해, 귀를 중심으로 상하부분의 문턱치를 달리 적용함으로써, 머리부분은 배경으로 추출되지 않고, 그림자 부분은 배경으로 추출될 수 있도록 처리할 수 있다. 도 93에는 귀점을 중심으로 문턱치를 달리하여 자동으로 배경을 제외한 영상의 예들을 나타내었다. 도 93을 참조하면, 이상에서 설명한 경우들보다 배경이 아주 잘 제외되었음을 알 수 있다.

다음으로, 영상 축소부(8604)는 배경이 분리된 인물 영상을 축소한다(단계 8706). 다음으로, 합성부(8606)는 관광명소 데이터베이스(116)로부터 배경 영상을 선택하여, 축소된 인물 영상과 배경 영상을 합성하여 합성된 영상을 생성한다(단계 8708). 본 실시예에서, 상기 배경 영상은 관광 명소 영상을 사용한다. 도 94에는 배경 영상으로 사용된 관광명소의 영상의 예들을 나타내었으며, 도 95에는 관광 명소의 영상과 인물 영상을 합성한 결과의 예를 나타내었다. 도 95를 참조하면, 합성영상이 현실감있게 관광명소를 배경으로 합성되었음을 알 수 있다.

이상에서 설명한 바와 같이 본 발명에 따른 포토 스티커 시스템은 얼굴의 3차원 모델링을 기초로 부모의 얼굴조합을 통한 미래자녀의 예측, 10년 내지 60년후의 미래 얼굴 모습의 예측, 및 얼굴과 배경의 분리를 통한 관광명소와 얼굴의 합성 기능을 구비한다. 또한, 본 발명에 따른 포토 스티커 시스템은 전자동으로 시스템 운용이 가능하고 사용자가 직접 메뉴를 선택할 수 있다. 또한, 상기와 같은 본 발명에 따른 고기능 얼굴 포토 스티커 시스템에 사용되는 기술은 고기능 얼굴 포토 스티커 시스템 뿐만 아니라 얼굴을 이용한 개인식별, 가상현실, 차세대 휴먼 인터페이스,몽타주 작성시스템, 사이버 아나운서, 성형수술 시뮬레이션, 얼굴 정보처리를 통한 게임기, 영화 및 예술 산업에의 응용, 및 이산가족 찾기 및 미아 찾기등과 같이 다양한 분야에 응용하는 것이 가능하다. 또한, 1991년에 표준으로써 채택된 ISO/IEC MPEG-4에서 얼굴을 3차원 객체로 정의한 이후로 얼굴 연구 분야에서 얼굴의 3차원 모델링, 얼굴표정, 몸체의 동작 등의 실현이 연구의 초점인 바, 이러한 분야의 기술에 응용하는 것도 가능하다.

또한, 본 발명에 따른 포토 스티커 시스템은 얼굴 포토스티커를 무인 자동판매기처럼 운용하기 위하여, 얼굴입력시기, 출력의 화면의 선택, 문자입력 등 사용자의 기호에 맞는 포토스티커를 얻기 위한 사용자 인터페이스를 구비하는 것을 특징으로 한다. 또한, 상기 포토 스티커 시스템의 하드웨어 구성은 카메라의 아날로그 신호를 디지털로 변환하는 아날로그-디지털 변환 기능을 수행하는 기능을 포함한 카메라(도시하지 않음)와 컴퓨터 사이의 인터페이스 기능을 수행하는 카메라 인터페이스 수단(도시하지 않음), 지폐인식기와 컴퓨터 사이에서 입금액을 카운트하는 지폐인식기 인터페이스 수단(도시하지 않음), 프린터와 컴퓨터 사이에서 얼굴을 인화지에 프린팅하고 인화지의 유무와 프린터의 상태 등을 점검하는 프린터 인터페이스 수단(도시하지 않음), 및 지하철, 공원, 오락실, 시내 중심가 등에 설치하기 위한 구조물(도시하지 않음)을 구비한다.

또한, 본 발명에 따른 포토 스티커 시스템은 일반적인 불특정 다수인을 대상으로 하고 있다. 따라서, 사용자가 컴퓨터에 대한 초심자라 하더라고 직관적으로 메뉴를 선택하여, 운용자의 도움없이 혼자서 시스템을 운용할 수 있도록 유저 인터페이스를 설계하여, 간단한 버튼 조작으로 시스템을 운용할 수 있다. 시스템이 제공하는 메뉴는 미래 자녀 예측, 미래 모습 예측, 관광명소와 인물의 합성의 3가지로 이루어져 있다. 선택 메뉴는 화면상에 표시된다. 미래 자녀 예측 메뉴에는 남자 또는 여자가 혼자 사용자가 되어 배우자의 영상을 선택하여 미래 자녀의 얼굴을 예측하지 위한 메뉴와 남자 및 여자가 모두 사용자가 되어 미래 자녀의 얼굴을 예측하기 위한 메뉴로 구분되는 것이 바람직하다. 또한, 카메라에 본인의 얼굴을 입력하고, 입력된 본인의 영상을 화면상에 표시하며, 본인의 얼굴이 제대로 입력되었는지의 여부를 선택할 수 있도록 하는 것이 보다 바람직하다. 만일, 입력이 잘못되었다고 판단한 경우에는 재입력도 가능하다. 또한, 자녀의 성별을 선택할 수 있도록 하는 것이 보다 바람직하다. 그러면, 시스템은 자동으로 선택된 성별의 어린아이 영상을 사용하여 미래자녀의 얼굴을 예측 및 합성하게 된다. 합성된 영상은 이미지 프린터로 출력되어 사용자에게 제공된다.

상기와 같은 미래자녀·미래모습의 예측이 가능한 얼굴포토 스티커 시스템은 종래의 단순기능에서 벗어나 다음과 같은 고기능을 구비한다. 첫 번째로, 얼굴의 3차원 형상모델의 정합 기능을 구비한다. 이로써, 얼굴정면상에 얼굴의 3차원 모델을 정합한다. 얼굴의 3차원 모델의 정합은 미래자녀, 미래모습의 예측에 기반이 된다. 정합하는 방법은 수동정합과 자동정합의 두가지를 연구하고 있다. 수동정합은 얼굴의 특징점을 대화적으로 지정하여, 얼굴의 형상모델을 정합하는 방법으로 정밀한 정합이 가능하여 시스템의 개발시 이용하고 있다. 자동정합은 얼굴색과 얼굴의 기하학적 구조에 주목하여 얼굴부위를 탐색하여, 자동으로 얼굴의 3차원 모델을 정합하고 있다. 자동정합시 성공률은 292영상을 실험하여, 278영상을 성공하여, 성공률은 95.2%이다. 두 번째로, 미래자녀의 예측 기능을 수행한다. 미래자녀는 부모의 얼굴을 닮게 예측하고 있다. 남자 또는 여자가 혼자서 입력되는 경우와 남·여 둘다 입력되는 경우가 있다. 혼자입력되는 경우는 입력된 얼굴에 얼굴의 3차원 모델을 정합한 후, 어린아이 얼굴 영상 데이터베이스에서 부모와 가장 닮은 얼굴을 선택하여, 선택된 어린아이 얼굴에 부모의 눈, 코, 입을 교환하여 미래자녀의 얼굴을 예측하고 있다. 이를 위해 남·여 어린아이영상을 각 30매씩을 데이터베이스에 저장한다. 세 번째로, 미래모습의 예측 기능을 구비한다. 즉, 나이에 따라 얼굴이 변화하는 성분을 여러사람의 얼굴영상으로부터 주성분분석을 이용하여 추출한 후, 나이변화성분을 나이에 비례하게 더해줌으로써 미래모습을 예측하고 있다. 한편, 나이변화의 양상은 청소년기, 장년기, 노년기에 따라 다르다. 이러한 점을 고려하여, 각 구간별로 나이변화성분을 추출하여, 10세∼70세 사이에서 자연스런 나이변화 방법을 개발하고 있다. 네 번째로, 관광 명소를 인물의 배경으로 합성하는 기능을 구비한다. 즉, 직접 여행하지 않고서도, 가상적으로 여행지에서 사진 활영한 효과를 얻기 위해서, 관광명소와 인물을 합성하고 있다. 먼저, 크로마키를 배경으로 한 인물사진을 입력하면, 인물과 크로마키를 분리하여, 배경부분을 관광명소로 대치하고 있다. 이를 위해, 25개소의 관광명소 데이터베이스를 준비하고 있다.

또한, 상기 3차원 얼굴 모델링 방법과 미래 얼굴 모습 예측 모델링 방법은 몽타주 작성 시스템에 응용하는 것이 가능하다. 몽타주는 강도, 강간 사진에 있어서 결정적인 열쇠가 된다. 몽타주는 목격자의 증언에 따라 논, 코, 입 등의 얼굴 부품을 조합 재구성해야 하기 때문에, 얼굴을 컴퓨터로 조합하는 기술은 몽타주 작성시스템의 핵심기술이 된다. 이 기술을 이용하여 몽타주작성시스템을 완성하여 많은 성과를 올리고 있다.

또한, 상기 3차원 얼굴 모델링 방법과 미래 자녀 얼굴 예측 모델링 방법 및 미래 얼굴 모습 예측 모델링 방법은 얼굴 정보처리를 통한 게임기에 응용하는 것이 가능하다. 지금의 게임기는 정해진 인물의 행동을 제어하여 상대방과 여러 가지 사건을 일으키며 진행해 가고 있다. 그러나, 자기의 얼굴이 주인공으로 등장하면, 더욱더 재미있는 게임효과를 거둘 수 있을 것이다.

또한, 상기 3차원 얼굴 모델링 방법과 미래 자녀 얼굴 예측 모델링 방법 및 미래 얼굴 모습 예측 모델링 방법은 영화, 예술 산업에 응용하는 것이 가능하다. 영화에서는 배우가 연기를 한다. 그러나, 얼굴사진과 몸체-사진이 있으면, 과거의 인물이라 할지라도 현재의 배우들과 공연을 할 수 있을 것이다. 즉, 대본만 있으면, 과거 배우들을 등장시켜 영화를 제작할 수 있는 영화 제작 기술에 응용될 수 있다.

또한, 상기 3차원 얼굴 모델링 방법과 미래 자녀 얼굴 예측 모델링 방법 및 미래 얼굴 모습 예측 모델링 방법은 이산가족 찾기 및 미아 찾기에 활용하는 것이 가능하다. 특히, 미래모습 예측기술은 이산가족 찾기 및 미아 찾기에 활용이 가능하다.

상기와 같은 본 발명에 따른 포토 스티커 시스템은 미래 자녀·미래 모습의 예측, 관광 명소와 인물의 합성등과 같은 고기능을 수행할 수 있다.

Claims (9)

1. 얼굴 영상을 입력하여 포토 스티커를 출력하는 얼굴 포토 스티커 시스템에 있어서,

   미리 준비된 표준 3차원 얼굴 형상 모델과 개인 얼굴의 정면 이미지를 입력하여 3차원 형상 모델에 개인 얼굴의 정면 이미지를 정합함으로써 개인 얼굴의 형상 모델을 출력하는 3차원 얼굴 모델링 수단;을 포함하는 것을 특징으로 하는 얼굴 포토 스티커 시스템.
2. 얼굴 영상을 입력하여 포토 스티커를 출력하는 얼굴 포토 스티커 시스템에 있어서,

   부모의 얼굴을 입력하여 소정의 3차원 형상 모델을 입력된 부모의 얼굴에 정합시키는 정합부;

   정합된 부모 얼굴의 형상 모델을 어린아이의 특징을 가지도록 수정하고, 부모의 얼굴 영상을 수정된 얼굴 형상 모델에 3차원 텍스쳐 매핑시킴으로써 수정된 부모의 얼굴을 생성하는 부모 얼굴 영상 수정부;

   복수의 남.여 어린 아이들의 얼굴 이미지를 저장하는 데이터베이스; 및

   상기 데이터베이스로부터 부모의 얼굴의 종횡비가 가장 유사한 아이 영상을부모와 가장 닮은 어린 아이 영상으로써 선택하여 선택된 어린 아이 영상의 적어도 눈, 코, 입을 부모의 수정된 것으로 교환함으로써 부모를 닮은 미래 자녀의 얼굴 영상을 생성하는 미래 자녀 얼굴 영상 생성부; 및

   적어도 생성된 미래 자녀 얼굴을 출력하는 프린트부;를 포함하는 것을 특징으로 하는 얼굴 포토 스티커 시스템.
3. 얼굴 영상을 입력하여 포토 스티커를 출력하는 얼굴 포토 스티커 시스템에 있어서,

   직교된 기저 공간을 이용하여 형상 정보 및 얼굴색 정보를 분석하는 분석부;

   연령별 나이 변화 성분과 형상 정보 및 얼굴색정보를 사용하여 예측된 미래 모습 영상을 합성하는 합성부; 및

   적어도 예측된 미래 모습 영상을 출력하는 프린트부;를 포함하는 것을 특징으로 하는 얼굴 포토 스티커 시스템.
4. 제3항에 있어서,

   연령별 얼굴 영상을 저장하는 데이터베이스; 및

   주성분 분석을 이용하여 연령별 얼굴 영상로부터 나이변화 성분을 연령별 나이변화 성분으로써 추출하는 특징추출부;를 더 포함하는 것을 특징으로 하는 얼굴 포토 스티커 시스템.
5. 제3항에 있어서, 상기 합성부는,

   추출된 형상과 얼굴색의 특징 성분을 기저로 하는 공간 상에 얼굴 영상의 위치를 구함으로써 나이 정보의 분석을 수행하고, 형상에 대한 특징 성분에 가중치를 주어 선형합을 취함으로써 임의의 얼굴 형상에 대한 나이 정보의 합성을 수행하는 것을 특징으로 하는 얼굴 포토 스티커 시스템.
6. 얼굴 영상을 입력하여 포토 스티커를 출력하는 얼굴 포토 스티커 시스템에 있어서,

   배경 영상을 저장하는 데이터베이스;

   인물 영상을 입력하여 인물 영상으로부터 배경을 분리하는 배경 분리부;

   배경이 분리된 인물 영상을 축소하는 영상 축소부;

   축소된 인물 영상과 선택된 배경 영상을 합성하여 합성된 영상을 생성하는 합성부; 및

   적어도 합성된 영상을 출력하는 프린트부;를 포함하는 것을 특징으로 하는 얼굴 포토 스티커 시스템.
7. 제6항에 있어서, 상기 데이터베이스는,

   관광 명소 영상을 배경 영상으로써 저장하는 것을 특징으로 하는 얼굴 포토 스티커 시스템.
8. 제6항에 있어서, 상기 배경 분리부는,

   크로마키를 배경으로 한 복수개의 크로마키 영상을 사용하여 크로마키의 칼라공간을 생성하고, 인물을 제외한 배경영상을 소정 매수 수집하며, 수집된 영상을 정규분포로 취급하여 크로마키의 칼라공간을 설정하고, 크로마키의 칼라공간에서 추출되지 못한 배경을 별도로 수집하여 칼라 테이블을 설정하고, 칼라테이블을 이용하여 배경을 자동으로 제외시키는 것을 특징으로 하는 얼굴 포토 스티커 시스템.
9. 얼굴 영상을 입력하여 포토 스티커를 출력하는 얼굴 포토 스티커 시스템에 있어서,

   부모의 얼굴을 입력하여 소정의 3차원 형상 모델을 입력된 부모의 얼굴에 정합시키고, 정합된 부모 얼굴의 형상 모델을 어린아이의 특징을 가지도록 수정하고, 부모의 얼굴 영상을 수정된 얼굴 형상 모델에 3차원 텍스쳐 매핑시킴으로써 수정된 부모의 얼굴을 생성하고, 복수의 남.여 어린 아이들의 얼굴 영상 중에서 부모의 얼굴의 종횡비가 가장 유사한 아이 영상을 부모와 가장 닮은 어린 아이 영상으로써 선택하여 선택된 어린 아이 영상의 적어도 눈, 코, 입을 부모의 수정된 것으로 교환함으로써 부모를 닮은 미래 자녀의 얼굴 영상을 생성하는 미래 자녀 얼굴 모델링부;

   직교된 기저 공간을 이용하여 형상 정보 및 얼굴색 정보를 분석하고, 연령별 나이 변화 성분과 형상 정보 및 얼굴색정보를 사용하여 예측된 미래 모습 영상을 합성하는 미래 얼굴 모델링부; 및

   크로마키를 배경으로 한 복수개의 크로마키 영상을 사용하여 크로마키의 칼라공간을 생성하고, 인물을 제외한 배경영상을 소정 매수 수집하며, 수집된 영상을 정규분포로 취급하여 크로마키의 칼라공간을 설정하고, 크로마키의 칼라공간에서 추출되지 못한 배경을 별도로 수집하여 칼라 테이블을 설정하고, 칼라테이블을 이용하여 배경을 자동으로 제외시키고 배경이 분리된 인물 영상을 축소하여 축소된 인물 영상과 선택된 관광 명소 영상을 합성하여 합성된 영상을 생성하는 관광명소/인물 합성부; 및

   적어도 합성된 영상을 출력하는 프린트부;를 포함하는 것을 특징으로 하는 얼굴 포토 스티커 시스템.