KR20090098798A - 비디오 이미지들의 시퀀스의 가상 시뮬레이션을 위한 방법 및 디바이스 - Google Patents

Abstract

본 발명은 실제 비디오 시퀀스의 얼굴/머리 이미지의 포착 및 초기화 단계; 상기 이미지로부터 추출되고 초기 프라이밍 포인트들로서 이용되는 특징적인 포인트들로부터 특정 파라메트릭 모델들을 결정하고, 분석된 얼굴의 피처들의 아웃라인들에 적응되도록 상기 특정 모델들을 디포밍하고, 상기 얼굴/머리의 하나 이상의 영역들의 피부 구조를 검출 및 분석하는 에볼루션 단계; 및 상기 비디오 시퀀스에서 다른 이미지들의 특징적인 피처들 및 상기 피부 구조의 컬러들을 변경시키는 추적 및 변형 단계를 포함하고, 상기 변경 단계들은 적어도 하나의 데이터베이스에 저장된 소정 기준들 및/또는 0+ 또는 1 차의 적어도 하나의 전문가 시스템의 결정 기준들에 따라 수행되는, 움직이는 얼굴/머리의 비디오 이미지의 시퀀스로부터의 비디오 이미지들의 시퀀스의 가상 시뮬레이션을 위한 방법에 관한 것이다.

비디오 시퀀스, 특징적인 포인트, 파라메트릭 모델, 이미지, 가상 시뮬레이션

Description

비디오 이미지들의 시퀀스의 가상 시뮬레이션을 위한 방법 및 디바이스{METHOD AND DEVICE FOR THE VIRTUAL SIMULATION OF A SEQUENCE OF VIDEO IMAGES}

본 발명은 실제 오브젝티브(objective)의 하나 또는 여러 에스테틱 이미지(esthetic image)들, 예를 들어, 장면에서 움직이는 사람의 얼굴 및/또는 머리가 그의 특징적인 피처들(features)을 검출 및 추적함으로써 자동적으로, 그리고 실시간에 시뮬레이팅(simulating) 및 프로세싱(processing)될 수 있도록 하는 방법 및 디바이스에 관한 것이다.

얼굴의 피처들은 인간들 사이의 의사소통 행위(communitive act)에 관여한다. 그러나, 얼굴을 특징적인 피처들을 시각화하는 것이 이러한 피처들이 충분한 정밀도로 추출되는 경우에만 커뮤니케이션(communication)을 지원할 것이라는 점이 주의되어야 한다. 반대의 경우에, 너무 원형의 분석에 의해 생성되는 정보는 특히 예를 들어, 얼굴/머리의 에스테틱 강화를 위한 고-레벨의 산업적 애플리케이션들에 대해, 도움보다는 더 많은 방해를 구성할 것이다.

예를 들어, 디지털 메이크-업(digital make-up), 헤어 염색(hair coloration), 헤어-피스(hair-piece) 형태의 헤어 스타일(hair style)을 적용하기 위해 에스테틱 자기-이미지를 가상으로 시각화하기 위한 일정한 수의 장비들이 미용 업계에서 존재하고, 이의 이용된 방법이 포인트(point)들을 아웃라인(outline)들에 가능한 한 가깝게 설정하는 컴퓨터화된 툴들에 따르는 통제되어 자동화되지 않은 버전을 유지한다는 것이 공지되어 있다. Bezier 커브 또는 다항 파라메트릭 커브(polynomial parametric curve)가 이들 포인트들을 서로 연결한다. 그 후, 툴박스(toolbox)가 탐색된 변형들이 수동으로 적용되도록 하며, 이들의 제어는 운영자 및/또는 사용자 자신에 의해 수동으로 행해진다.

더 큰-규모의 프로세스에 대하여, 사용자는 인터넷 상에서 온라인으로 자신의 PC 또는 Mac으로부터 24시간 이상의 지연과 함께, 그리고 JPEG 포맷(format)의 자신의 컬러 인물 사진(color photograph portrait)을 인터넷 상에서 포스팅(posting)한 후에, 그리고 일정한 수의 제약들과 함께, 제3자 웹사이트의 사용자들에 대해 컨투어(contour)들의 윤곽을 그리고, 헤어 컬러, 피부 톤(skin tone) 및 눈들을 검출하는 기능들을 수행하는 애플리케이션 서비스 공급자(application service provider: ASP)로서의 웹 서버(OS)의 서비스들을 이용할 수 있고, 이는 인간 기술적 팀(human technical team)들의 중재(intervention)를 통하여 수행되는 통계적 및 수동적 방법들을 이용하여 달성된다.

사진은 또한 상이한 오버레이 기술들(overlay techniques)로 터치-업(touch up)될 수 있다. 따라서, 각각의 요소는 상이한 오버레이 상에 배치될 수 있고, 최종적인 결과는 오버레이들 모두를 중첩함으로써 획득되는데, 이는 이용될 수 있는 최종적인 터치-업된 사진을 획득할 수 있도록 한다. 작품은 이 방식으로 분석될 수 있는데, 이는 사용자에 의해 수행될 태스크(task)를 더 용이하게 한다. 그 후, 터치-업된 사진은 active X Microsoft®과 같은 전용 애플리케이션에서 로컬(local)로 이용될 수 있다. Microsoft®에 의해 개발된 이 기술 및 툴들의 세트는 특히 Windows® 운영 시스템으로, 웹 페이지의 컨텐트들이 사이버서퍼(cybersurfer)의 PC-타입 컴퓨터 상에서 실행 가능한 애플리케이션들과 상호작용할 수 있도록 하는 컴포넌트(component)들의 프로그래밍(programming)을 가능하게 한다. 또 다른 등가의 기술이 Java® 애플리케이션을 이용하여 구성된다.

이러한 애플리케이션들은 PC 또는 MAC 상에서의 로컬 이용에 대하여 "가상 메이크오버(Virtual Makeover)"라고 칭해지고, 인터넷에 대하여 "가상 메이크오버 온라인(Virtual Makeover Online)"이라고 칭해진다. 이 타입의 시스템들의 장점은 Adobe Photoshop® 또는 Paintshop Pro® 또는 임의의 다른 타입의 컴퓨터-보조 터치-업, 프로세싱 및 및 드로잉 소프트웨어(computer-assisted touching-up, processing and drawing software)와 같은 전문가용 컴퓨터화된 소프트웨어의 명백한 조종 없이, 에스테틱 이미지들을 획득하는 것을 가능하게 한다는 것이다. 이들은 주로 디지털 사진들을 프로세싱하는데 이용되지만, 무에서의 이미지의 생성에도 도움이 된다.

최근에, 디지털화된 이미지들로부터, 다른 디지털 이미지들을 생성하는 것, 또는 이들로부터 정보를 추출하는 것을 가능하게 하는 자동화된 이미지-프로세싱 기술들을 이용하는 장비가 개발되었는데, 이는 이용을 로컬로 개선시킨다. 그러나, 얼굴의 특징적인 피처들의 세그먼테이션(segmentation)에 관련된 인코딩 품 질(encoding quality)은 포맷들 JPEG(Joint Photographic Exterts Group) 및 BMP(Bitmap)에서의 정적인 컬러 이미지로부터 프로세싱 로버스트니스(processing robustness)를 개선시키기 위하여 부스 타입(booth type)의 표준화된 포토그래피 파라미터들(photography parameters)을 필요로 한다. 시뮬레이션은 통제된 채로 유지되며, 2-차원 에스테틱 이미지를 획득하기 위하여 5에서 10분까지 및 3-차원 이미지, 예를 들어, 메이크-업의 시뮬레이션을 위하여 약 60분까지의 가변하는 프로세싱 시간으로 순차적으로 수행된다.

문서 WO01/75796은 얼굴의 사진과 같은 고정된 이미지가 가상으로 변형되도록 하는 시스템을 설명한다.

그러나, 위에 열거된 모든 이러한 방법들 및 디바이스들은 물리적 및/또는 인공적 세계의 다양한 환경적 조건들 및 피사체(subject)의 포스팅에 관한 다양한 제약들에 비교되는 이들의 불량한 로버스트니스로 인하여, 이들의 정밀도가 너무 랜덤(random)하고 이들이 즉각성(instantaneity)이 없기 때문에 비실용적인 채로 유지된다. 더욱이, 상기 기술들은 현재 사람의 얼굴/머리가 선험적으로 임의의 종류로 이루어질 수 있는 장면에서 움직이는 경우는 말할 것도 없이, 실시간에서 얼굴을 분석 및 변형하는 로버스트하고 양호한-품질의 방법들을 제안할 수 없다.

개인들 및 포착 조건들의 큰 다이버시티(diversity), 특히 사람의 포스팅에서의 상이한 프리젠테이션(presentation)들, 물질들, 불확실한 조명 조건들, 상이한 고정되거나 움직이는 배경들 등에 대한 로버스트니스는 중대한 문제이고, 전문가용 또는 가정용 디바이스들의 형태로 이와 같은 방법들의 대규모 산업화를 고려 하기 위하여 극복할 필요가 있는 일정한 수의 기계적 및 과학적 장애물(stumbling block)들을 나타낸다.

본 발명의 목적은 종래 기술의 결점들을 재현하지 않는 이미지 프로세싱 방법 및 디바이스를 제안하는 것이다.

본 발명의 목적은 특히 움직이는 피사체들에서 비디오 이미지 시퀀스들을 프로세싱하는 이와 같은 방법 및 디바이스를 제안하는 것이다.

본 발명의 부가적인 목적은 또한 구현 및 이용하기가 간단하고, 신뢰 가능하며 비용-효율적이어야 하는 이와 같은 방법 및 디바이스를 제안하는 것이다.

따라서, 본 발명은 컴퓨터화된 수단에 의하여 그리고 실시간에서 획득될, 얼굴, 헤어, 눈 컬러, 피부 톤 및 헤어 컬러의 특징적인 피처들 모두의 아웃라인들의, 연속적인 이미지들, 예를 들어, 초당 25 내지 30개의 이미지들로 이루어진 비디오 플럭스(video flux)에서의, 자동적이고 정확한 추출을 가능하게 하고, 움직임의 환영(illusion)을 생성하고, 어떤 폐색(occlusion)들을 고려하는 방법 및 매우 효율적인 디지털 디바이스에 관한 것이다. 이것 모두는 로버스트하고 실시간의 또는 지연된 또는 플레이-백(play-back) 프로세싱을 통하여 비디오 플럭스에서, 초기 오브젝티브, 예를 들어, 장면에서 움직이는 사람의 얼굴/머리의 에스테틱이고 개인화된 가상 시뮬레이션을 행하도록 한다. 이 시뮬레이션은 인코딩 및 이후 시퀀스를 다시 판독하는 것에 의한 변형을 포함할 수 있다.

따라서, 본 발명은 포착 및 초기화 단계 동안: 실제 비디오 시퀀스에서 얼굴/머리의 이미지의 형상들 및/또는 아웃라인들 및/또는 동적 컴포넌트들을 검출 및 분석하는 단계, 미리 규정된 파라메트릭 모델들에 의하여, 입 및 눈들의 코너(corner)들과 같은 얼굴/머리의 특징적인 포인트들을 추출하는 단계; 에볼루션(evolution) 단계 동안, 초기 프라이밍 포인트(priming point)들의 역할을 하는 상기 추출된 특징적인 포인트들로부터 특정 파라메트릭 모델들을 규정하는 단계, 상기 분석된 얼굴 상에 존재하는 피처들의 컨투어들에 적응되도록 상기 특정 모델들을 디포밍하는 단계, 상기 얼굴/머리의 하나 또는 여러 영역들의 피부 구조를 검출 및 분석하는 단계; 및 추적 및 변형 단계 동안: 상기 비디오 시퀀스에서 다른 이미지들의 특징적인 피처들을 변경하는 단계, 상기 피부 구조의 컬러들을 변경하는 단계를 포함하고, 상기 변경들은 적어도 하나의 데이터베이스에 저장된 기준들 및/또는 0+ 또는 1 차의 적어도 하나의 전문가 시스템의 결정 기준들에 따라 수행되는, 움직이는 얼굴/머리의 실제 비디오 이미지 시퀀스로부터 달성될 수 있는, 각각의 사용자에 대해 개별화된 비디오 이미지들의 시퀀스의 가상 시뮬레이션을 위한 자동적인 방법에 관한 것이다.

유리하게는, 영역/아웃라인 공간적 및 시간적 정보를 결정하는 검출 및 분석 단계는 루미넌스(luminance) 및/또는 크로미넌스(chrominance)의 그래디언트 플로우들(gradient flows)을 최대화함으로써 수행된다.

유리하게는, 상기 변경 단계들은 이전 이미지의 특징적인 포인트들의 이웃들을 다음 이미지로 트랜슬레이팅(translating)함으로써 달성되고, 특징적인 피처들의 이웃들이 또한 디포메이션(deformation)을 겪을 수 있을 때 디포메이션 매트릭스(deformation matrix)를 포함하는 아핀 모델(affine model)들이 이용될 수 있다.

유리하게는, 상기 추적 단계는 상기 특징적인 포인트들을 하나의 이미지로부터 다른 이미지로 추적하는 알고리즘(algorithm)을 이용한다.

유리하게는, 상기 알고리즘은 특징적인 피처들의 이웃들만을 이용한다.

유리하게는, 추적 에러들의 축적을 피하기 위하여, 상기 특징적인 피처는 액티브 아웃라인(active outline)들의 간소화된 버전을 이용하고/이용하거나, 이전 이미지에서 획득된 모델의 커브들을 디포밍함으로써 재조정된다.

유리하게는, 상기 방법은 복수의 큐빅 커브들(cubic curves)에 의해 연결된 복수의 특징적인 포인트들에 의하여 닫혀 있고/닫혀 있거나 열려 있는 입을 모델링하는 단계를 포함한다.

본 발명은 또한 컴퓨터 시스템, 광원, 전자 메시지들을 관리하는 시스템, 로컬이거나 인터넷(internet)과 같은 디지털 네트워크들 상으로 디포트(deport)되는 적어도 하나의 데이터베이스, 및/또는 바람직하게는 초당 25개의 이미지들의 속도로, 실제 디지털 이미지 시퀀스를 획득하여 가상 이미지 시퀀스로 변형하도록 하는 0+ 또는 1 차의 적어도 하나의 전문가 시스템을 포함하는, 상술된 방법을 구현하는 디바이스에 관한 것이며, 상기 가상 이미지 시퀀스는 0+ 또는 1 차의 적어도 하나의 전문가 시스템의 결정 기준들에 따라 변형된다.

유리하게는, 상기 컴퓨터 시스템은 CPU(중앙 처리 장치) 타입의 싱글-코어(single-core), 듀얼-코어(dual-core), 쿼드-코어(quad-core) 또는 그 이상의 마이크로프로세서, 또는 펜티엄(Pentium), 애슬론(Athlon) 또는 그 이상의 타입의, 또는 8개까지의 특정 코어들과 메인 코어가 구비된 SPU(스트리밍 프로세서 장치) 타입의 종래의 멀티-코어 프로세서들에 기초하고, 부스, 컨솔(console), 자기-서비스 장치, 포켓 및 이동 디바이스(pocket and mobile device), 디지털 텔레비전(digital television), 로컬이거나 또는 인터넷과 같은 디지털 네트워크들 상으로 디포트되는 서버, 적어도 하나의 디지털 비디오 카메라, 적어도 하나의 스크린, 적어도 하나의 프린터 및/또는 인터넷과 같은 디지털 네트워크들로의 접속에 배치되고, 이미지 프로세싱을 수행하는 상기 컴퓨터 시스템은 바람직하게는 적어도 500 킬로바이트와 동일한 용량의 하드 드라이브, 디지털 저장 메모리, 특히 CD-ROM, DVD, Multimedia Card®, Memory Stick®, MicroDrive®, XD Card®, SmartMedia®, SD Card®, CompactFlash® 타입 1 및 2, USB 키 타입의 하나 또는 여러 서포트(support)들, 인터넷과 같은 디지털 네트워크들로의 모뎀 또는 고정-라인 또는 무선 주파수 접속 모듈, 및 이더넷, Bluetooth®, 적외선, wifi®, wimax® 등의 타입의 로컬 네트워크들에 대한 하나 또는 여러 접속 모듈들을 가지고 있는 컴퓨터를 포함한다.

유리하게는, 스크린 상에 가상 이미지 시퀀스를 디스플레이한 후, 프린터는 상기 가상 이미지 시퀀스의 일부 또는 모두 가운데서 선택된 적어도 하나의 사진의 바람직하게는, 컬러로 로컬 또는 원격으로 인쇄를 진행한다.

유리하게는, 상기 포착, 검출, 변형 및 추적 단계들을 수행하기 위하여, 이미지-프로세싱 모듈은 DSP(디지털 신호 프로세서) 타입의 신호 프로세싱에 전문화된 하나 또는 여러 프로세서들 내로 통합된다.

따라서, 본 발명은 자동적인 프로세싱에 의하여, 그리고 모든 환경적인 그리고 움직이는 피사체의 포스팅 조건들에서, 실제 오브젝티브, 예를 들어, 장면에서 움직이는 사람의 얼굴/머리의 하나 또는 여러 이미지들로부터, 비디오 플럭스에서 에스테틱 이미지들의 시퀀스 또는 하나의 에스테틱 이미지의 시뮬레이션을 허용하는 방법 및 디바이스에 관한 것으로서, 움직이는 사람의 얼굴/머리의 동적 컴포넌트들의 컨투어들은 로컬이고/이거나 인터넷과 같은 디지털 네트워크들로 디포트된 적어도 하나의 데이터베이스 내에 제공되는 다수의 기준들, 및/또는 0+ 또는 1 차의 적어도 하나의 전문가 시스템의 지식-기반 시스템에서 이전에 규정된 결정 기준들에 따라서, 예를 들어, 눈들, 눈썹들, 입 및 이웃들의 에어리어에서 가상의 에스테틱 변형 툴들을 동기화하는 관련 파라미터들을 발생시키기 위하여, 실시간 레이트에서, 바람직하게는 디지털 컬러 비디오 카메라에 의하여 캡처(capture)된 실제 이미지 및/또는 이미지들의 시퀀스로부터 추출된다.

이용된 컴퓨터 시스템은 부스 또는 컨솔 또는 자기-서비스 장치 또는 포켓 또는 이동 디바이스 또는 디지털 텔레비전 또는 로컬 서버 또는 인터넷과 같은 디지털 네트워크 상으로 디포트된 서버, 또는 미래의 모든 형태들의 가능한 장치 내에 설치될 수 있다.

자신의 제 1 데스티네이션(destination)에서, 상기 컴퓨터 시스템은 컴퓨터 또는 CPU(중앙 처리 장치) 타입의 프로세싱을 위한 싱글-코어, 듀얼-코어, 쿼드-코어 또는 그 이상의 마이크로프로세서, 또는 펜티엄, 애슬론 또는 그 이상의 타입의, 또는 8개까지 또는 그 이상의 특정 코어들 및 메인 코어를 구비하는 SPU(스트리밍 프로세서 장치) 타입의 종래의 멀티-코어 프로세서들을 포함할 수 있고, 적어도 500 킬로바이트의 하드 및/또는 디지털 저장 메모리, 특히 CD-ROM, DVD, Multimedia Card®, Memory Stick®, MicroDrive®, XD Card®, SmartMedia®, SD Card®, CompactFlash® 타입 1 및 2, USB 키 타입 등 하나 또는 여러 서포트들, 인터넷과 같은 디지털 네트워크들로의 모든 타입들의 모뎀들 및 고정-라인 또는 무선 주파수 접속 모듈, Bluetooth®, 적외선, wifi®, wimax® 타입의, 및 미래의 로컬 네트워크들을 위한 하나 또는 여러 접속 모듈들, 모노 CCD(전하 결합 디바이스) 또는 그 이상의 타입의 고정된 컬러 비디오 카메라 또는 디지털 텔레비전, 개별적이거나 개별적이 아닌 광원, 현재 및 미래의 모든 타입들의 스크린들(바람직하게는 컬러), 현재 및 미래의 모든 종류들의 모노크롬 또는 컬러 프린터들, 로컬이거나 인터넷을 포함하는 디지털 네트워크 상으로 디포트되는 하나 또는 여러 데이터베이스, 경우에 따라서, 0+ 또는 1 차의 전문가 시스템을 갖는다.

제 2 데스티네이션에서, 적어도 가능한 한 성가시거나 심지어 활동적이도록 하기 위하여 이와 같은 시뮬레이션 시스템을 화장품 가게의 소매 디스플레이 공간, 전문 기관 또는 취급소에 설치하는 것이 희망되는 경우에, 고객의 크기에 따라, 및 고객의 안락함을 위하여 상기 시뮬레이터를 가지며, 고객의 얼굴의 높이에 맞추어 이동시키는 것이 바람직할 수 있다. 이것은 상기 시뮬레이터가 그라운드(ground)에서 임의의 공간 요건을 갖지 않는다는 것을 의미한다.

이 경우에, 상기에 규정된 비전 시스템(vision system)은 개별 일광 또는 백색 광 LED, 모노 CCD 또는 그 이상의 카메라, 그래픽 카드, 평탄하고 촉각적인 컬러 스크린, 및 티겟 또는 A4 및 A3 컬러 페이퍼(color paper) 또는 훨씬 더 큰 컬러 페이퍼 타입의 프린터로 구성될 수 있다. 그 후, 전체가 그 크기가 모든 타입들의 평탄한 스크린들(바람직하게는 컬러)의 디멘전(dimension)들에 의해 제공되는 초소형 광 PC 패널 내로 완전히 통합될 수 있다. 프로세싱은 로컬이고, 유지보수와 같은 모든 기술적 또는 컨텐트 갱신들은 인터넷과 같은 디지털 네트워크로의 고정-라인 또는 무선 주파수 접속을 통하여 수행될 수 있다.

상기 시스템은 자신의 카메라를 통해 디바이스를 가상으로 서보-제어(servo-control)하고 사람의 얼굴/머리를 검출 및 추적하는 모듈을 이용하여 사용자의 얼굴 상에 자동적으로 세틀링(settling)됨으로써 기능을 한다. 평형이라고 칭해질 위치로부터, 사용자가 시뮬레이션을 희망할 때, 상기 시스템은 자신이 자신의 오브젝티브, 예를 들어, 얼굴/머리의 이미지를 검출할 때를 고정시킬 것이다. 환경적 조건들에 따라서, 비전 시스템은 거의 일정한 최적 품질의 얼굴의 이미지 크기 및 이미지 코드를 스크린 상에서 가지기 위하여 카메라의 조명 및 줌(zoom)을 자동적으로 조절할 수 있다.

제 3 데스티네이션에서, 상기 방법의 기능들을 제어하는 시스템은 문자숫자식 키보드, 마우스와 같은 단말기 또는 모든 다른 수단일 수 있다. 카메라는 단말기에 따라서, 바람직하게는 사용자 다음의 단일 디바이스 내로 어셈블링(assembling)된 페이퍼 및/또는 컬러 스크린 상으로의 출구 버스(exit bus)와, 에디팅 시스템(editing system)으로의 모든 타입의 디지털 네트워크들 또는 모든 접속들에 의하여 접속될 수 있다. 프로세싱 및 컴퓨팅 파트는 로컬이거나 인터넷을 포함하는 디지털 네트워크들 상으로 디포트되는 하나 또는 여러 서버들에 의해 관리되고, 예를 들어, CPU(중앙 처리 장치) 타입의 32 또는 64 비트 싱글-코어, 듀얼-코어, 쿼드-코어 또는 그 이상의 마이크로프로세서 또는 펜티엄, 애슬론 타입의, 또는 SPU(스트리밍 프로세서 장치)의 종래의 멀티-코어 프로세서, 또는 메인 코어 및 8개까지의 특정 셀-타입 코어들, 및 모든 타입들의 전자 또는 자기 메모리들을 구비할 수 있다.

어떤 디바이스가 이용되든지 간에, 컬러로 이미지들을 캡처하는 것이 유리하게는, 얼굴의 기하학적 및 동적 컴포넌트들의 고-품질 검출 및 적절한 이미지 프로세싱에 의하여 적절한 에스테틱 시뮬레이션을 실시간에 공급하기 위하여, 디지털 컬러 비디오 카메라 모노 또는 CCD, 또는 CCD 및 그 이상의 디바이스, CMOS(상보성 금속-산화물 반도체) 디지털 컬러 비디오 카메라 등, 예를 들어, 웹캠과 같은 모든 타입들의 디지털 비디오 카메라들(바람직하게는 컬러)에 의하여 실시간에 달성된다. 충분히 이용하기 편하도록 하기 위하여, 프로세싱은 로컬 또는 원격 서버 상에서, 그리고 컴퓨팅 속도에 따라서, 실시간으로 수행될 수 있거나, 이와 같이 간주되거나 리드-백 모드(read-back mode)로 간주될 수 있다.

프로세싱 전체는 불확실한 고정되거나 움직이는 배경 또는 일정 수의 폐색들을 고려하면, 이미지에 존재하는 각각의 사람에 대한 포스팅 및 조명에 관한 너무 많은 제약들 없이 수행될 수 있다.

따라서, 물리적 및/또는 인공적 세계의 다양한 환경적 조건들에서, 본 발명에 따라 구현된 방법이 탐색된 에스테틱 변형 등에 따라서, 얼굴/머리의 영구적인 피처들, 즉, 특히 눈들, 눈썹들, 입술들, 헤어 및 다른 형태론적 요소들의 아웃라인들의 추출 및 에볼루션의 단계 동안 로버스트하고 충분히 정확하게 유지된다는 것이 실험을 통해 증명되었다.

고려된 피처들 각각, 예를 들어, 미소짓거나 말하고 있는 입에 대하여, 모든 가능한 디포메이션들을 제공할 수 있는 다양한 특정 파라메트릭 모델들이 데이터베이스 전문가 시스템의 결정 기준에 따라 미리 규정되고 구현될 수 있다.

상기 방법은 이롭게는 3개의 동기화된 단계들을 포함한다:

1. 포착 및 초기화 단계: 시퀀스의 제 1 이미지에 대응하는 디지털 비디오 시퀀스에서의 얼굴/머리의 형상들 및/또는 컨투어들이 검출된다. 얼굴/머리의 특징적인 포인트들 및 관심 에어리어들, 예를 들어, 눈들 및 입의 코너들이 추출되고, 적응되는 미리 규정된 파라메트릭 모델들 각각에 대한 초기 프라이밍 포인트들의 역할을 한다. 에볼루션 단계에서, 각각의 모델은 분석된 얼굴 상에 존재하는 피처의 아웃라인들과 가장 양호하게 일치하도록 하기 위하여 디포밍된다. 이 디포메이션은 모델의 각각의 커브에 의해 규정된 아웃라인들을 따라 루미넌스 및/또는 크로미넌스의 그래디언트 플로우를 최대화함으로써 행해진다. 모델들의 규정은 레귤러라이징 제약(regularizing constraint)이 희망하는 아웃라인들 상에 자연적으로 도입되도록 한다. 그러나, 선택된 모델들은 눈, 눈썹 및 입 컨투어들의 실제적인 추출을 허용하도록 충분히 유연하게 유지된다.

2. 추적 및 변형 단계: 추적은 비디오 시퀀스의 다음 이미지들에서 세그먼테이션이 더 로버스트하고 더 빠른 방식으로 수행되도록 한다. 변형은 데이터베이스 내에 제공된 다수의 기준들에 따라, 그리고/또는 경우에 따라서는, 0+ 또는 1 차의 적어도 하나의 전문가 시스템의 결정 기준에 따라 비디오 시퀀스에서 추적되는 얼굴/머리의 특징적인 파인 존(fine zone)들의 변경을 유도한다.

3. 복구 단계는 전체 비디오 시퀀스에 대한 변형 단계의 결과들을 모든 디지털 네트워크들 상의 서버를 통하여 그리고/또는 스크린 및/또는 페이퍼 상에 제공한다.

제 1 단계 동안, 비디오 시퀀스 프로세싱 시스템은 여러 연속적인 동작들을 조정한다.

처음에는, 상기 시스템은 시퀀스의 제 1 이미지 상에서 피부와 관련된 전형적인 크로미넌스 정보를 고려함으로써 장면에서 움직이는 사람의 얼굴/머리를 로컬화(localizing)하는 것으로 진행한다. 검출된 얼굴/머리는 이미지에서의 관심 존에 대응한다.

이 추출 다음에, 상기 방법은 관심 존에 대하여, 망막의 비헤이비어(beharior)에 적응된 필터링을 이용함으로써 조명 변화들을 제거하도록 한다.

그 후, 상기 시스템은 이와 같이 필터링된 관심 존에 대하여, 바람직하게는 적응된 파라메트릭 모델들의 도움으로, 얼굴의 특징적인 피처들, 즉, 홍채들, 눈들, 눈썹들, 입술들, 얼굴 컨투어들 및 헤어의 크라운(crown)의 추출로 진행한다.

홍채에 대하여, 얼굴을 둘러싸는 직사각형의 각각의 우측 및 좌측 쿼터(quarter)에서 루미넌스의 표준화된 그래디언트 플로우들을 최대화하는 반원이 탐색될 것이다.

프로세싱될 이미지 상으로의 각각의 모델의 초기 포지셔닝(positioning)은 얼굴의 특징적인 포인트들의 자동적인 추출 이후에 발생한다.

최대 루미넌스의 그래디언트 포인트들을 추적하는 프로세스는 눈들의 코너를 검출하는데 이용될 수 있다. 눈의 하부 컨투어의 형상을 자연적으로 따르도록 자신의 말단을 향해 구부러지는 개선된 것을 포함하며, 상부 및 하부 눈 컨투어들에 대해 선택된 모델들인, 2개의 Bezier 커브들은 눈들의 2개의 코너들 및 하부 컨투어에 대한 홍채에 대해 검출되는 원의 최저 포인트에 의해, 그리고 눈들의 2개의 코너들 및 상부 컨투어에 대한 홍채에 대해 검출되는 원의 중심에 의해 초기화될 수 있다.

눈썹들에 관련된 Bezier 커브를 초기화하기 위하여, 각각의 눈썹의 2개의 내부 및 외부 코너들이 추출될 수 있다.

입술들을 모델링하기 위하여 제안된 모델은 유리하게는 5개의 독립적인 커브들로 구성되며, 이들 각각은 내부 컨투어들에 대한 적어도 2개의 커브들 및 외부 입술모양 컨투어의 파트를 자연적으로 따른다. 상기 모델을 초기화하기 위한 입의 특징적인 포인트들은 루미넌스 및 크로미넌스를 결합한 구별 정보 뿐만 아니라, 아웃라인 파라미터들 뿐만 아니라, 초기 위치에 대한 이의 높은 의존성을 조정하는 것을 피하도록 하는 액티브 아웃라인 타입의 컨버전스(convergence)를 공동으로 이용함으로써 분석될 수 있다.

얼굴 아웃라인을 모델링하는 것은 유리하게는 이 아웃라인 상에 위치된 8개의 특징적인 포인트들을 이용한다. 이러한 8개의 포인트들은 시간 차원에서 얼굴의 위치에 따라 디포밍 가능한 타원 쿼터들에 의해 모델링된 아웃라인을 초기화한다.

헤어의 크라운은 이미지 배경 필터링을 액티브 아웃라인들의 이용에 관련시킴으로써 얼굴 아웃라인의 검출로부터 세그먼팅될 수 있다. 따라서, 헤어 아웃라인 상에 위치된 특징적인 포인트들이 검출된다. 이러한 포인트들 각각 사이에서, 이용된 모델은 큐빅 다항 커브일 수 있다.

그 후, 모든 제안된 초기 모델들은 각각의 탐색된 아웃라인이 한 세트의 최대 루미넌스 그래디언트 포인트들이도록 디포밍될 수 있다. 선택된 커브들은 바람직하게는 아웃라인 전체에 걸쳐 루미넌스의 표준화된 그래디언트 플로우를 최대화하는 것들일 것이다.

제 2 단계 동안, 추적 단계는 비디오 시퀀스의 다음 이미지들에서의 세그먼테이션이 수행되도록 한다. 이 단계 동안, 이전 이미지들에서 획득된 결과들은 세그먼테이션을 더 로버스트하고 더 빠르게 할 수 있는 부가적인 정보를 공급한다. 본 발명의 유리한 실시예에 따르면, 정확한 추적 절차는 특징적인 포인트들이 하나의 이미지로부터 또 다른 이미지까지 추적되도록 하는 알고리즘을 이용한다. 포인트들의 이웃만을 이용하는 이 차별적인 방법은 직접적인 추출 기술에 비하여, 상당한 시간 이득을 제공한다. 추적 에러들의 축적을 피하기 위하여, 특징적인 피처들은 액티브 아웃라인들의 간소화된 버전을 이용하고/하거나 이전 이미지에서 획득된 모델의 커브들을 디포밍함으로써 재조정된다.

변형 단계는 데이터베이스(들) 내에 제공된 다수의 기준들에 따라, 및/또는, 경우에 따라서는, 0+ 또는 1 차의 적어도 하나의 전문가 시스템의 결정 기준에 따라, 비디오 시퀀스에서 추적되는 얼굴/머리의 특징적인 파인 존들의 변경을 유도할 수 있다. 본 발명은 사용자의 얼굴 상에 시각화되도록 데이터베이스에 존재하는 상이한 모습, 팰릿(pallet)들을 사용자에게 제시할 수 있다. 프로세싱된 얼굴에 따라 정확하고 실제적인 에스테틱 시뮬레이션을 제안하기 위하여, 상기 시스템은 0+ 또는 1 차의 전문가 시스템에 의해 수행된 인체측정학적 비들에 기초하여, 변형될 특징적인 존들, 예를 들어, 광대뼈들을 탐색할 수 있다. 더욱이, 각각의 얼굴에 대하여, 상기 전문가 시스템은 얼굴의 형상(둥글거나 길거나 정사각형이거나 삼각형이거나 타원형)에 따르고 어떤 특징(넓게 이격되거나 서로 가깝거나 동일한 눈들, 코의 크기 등)에 따르는 메이크-업 절차들을 규정할 수 있다. 이러한 규칙들은 실제적이고 변형될 각각의 얼굴에 따르는 시뮬레이션을 위해 변형 모듈로 전달될 수 있다. 상기 방법은 이 단계 동안, 또한 특히 남자, 여자, 아이, 청년과 같이 얼굴들을 분류한다.

최종적으로, 복구 단계는 전체 비디오 시퀀스 및/또는 이 시퀀스의 파트에 대하여 변형의 결과들을 모든 디지털 네트워크들 상의 서버를 통하여 그리고/또는 스크린 및/또는 페이퍼 상에 제공한다.

본 발명의 다른 양상들 및 장점들은 비제한적인 예로서 제공되는 첨부 도면을 참조하여 다음의 상세한 설명 동안 나타날 것이다.

도 1은 본 발명의 유리한 실시예에 따른 가상 이미지 시뮬레이션 시스템의 블록도.

도 2는 본 발명의 유리한 실시예에 따른 사람들의 얼굴들/머리들 및 특징적인 존들의 추출 단계를 도시한 블록도.

도 3은 망막 필터링의 블록도.

도 4는 움직이는 입술들을 추적하도록 적응된 파라메트릭 모델들 중 하나의 도면.

도 5는 이 동일한 도면 상에 기호화된 방향 축들(X, Y 및 Z)을 따라서 카메라의 대물렌즈 앞에서 움직이는 머리를 갖는 한 명의 사람을 나타내는 비디오 시퀀스로부터 얼굴의 특징적인 존들, 즉, 얼굴의 컨투어, 홍채들, 눈들, 입, 눈썹들 및 헤어의 크라운의 자동적인 추출의 결과를 도시한 도면.

도 6은 변형 이전 및 이후의 모습과 같은 에스테틱 시뮬레이션의 결과를 도시한 도면.

도 1은 가상 이미지 시뮬레이션의 가능성을 갖는, 장면에서 움직이는 사람의 얼굴/머리와 같은 실제 오브젝티브의 특징적인 피처들의 실시간 자동 검출 및 추적 시스템의 예를 도시하며, 상기 시스템은 이미지 포착 및 초기화 모듈(1), 추적 및 변형 모듈(2) 및 복구 모듈(3)을 포함한다. 각각의 모듈은 이하에 더 상세히 설명된다.

이미지 포착 및 초기화 모듈(1)은 디지털 컬러 비디오 카메라 모노 또는 CCD 또는 CCD 및 그 이상의 디바이스, CMOS(상보성 금속-산화물 반도체) 디지털 컬러 비디오 카메라 등과 같은 모든 타입들의 디지털 컬러 비디오 카메라들에 의하여 구 현된다.

얼굴/머리의 특징적인 존들 및 포인트들을 검출하기 위하여 포착 모듈에 의해 찍힌 이미지들의 시퀀스가 분석된다. 이 분석은 CPU, SPU 타입의 32 또는 64 비트 싱글-코어, 듀얼-코어, 쿼드-코어 또는 그 이상의 마이크로프로세서 또는 메인 코어 및 8개까지의 특정 셀-타입 코어들 또는 펜티엄, 애슬론 타입의 종래의 멀티-코어 프로세서들, 또는 개인용 컴퓨터 또는 디지털 신호 프로세싱 프로세서의 형태로 수행된다. 이와 같이 추출되고 이미지들의 플럭스에 결합되는 장면에서 움직이는 사람의 얼굴/머리의 특징적인 존들 및 포인트들은 하나 또는 여러 데이터베이스(들)에서 제공된 다수의 기준에 따라, 및/또는 경우에 따라서는, 하나 또는 여러 전문가 시스템(들)(21)의 결정 기준에 따라 자신의 결과들: 예를 들어, 메이크-업 페이스를 갖는 비디오 시퀀스를 복구 모듈(3)로 리턴시키는 추적 및 변형 모듈로 송신된다. 복구 모듈은 본 발명에 따르면, 모든 디지털 네트워크들, 예를 들어, 인터넷 상의 서버를 통하여 그리고/또는 임의의 타입의 스크린(캐소드, LCD, 플라즈마 등) 및/또는 임의의 포맷의 페이퍼 상에 상기 결과들을 제공한다.

도 2는 본 발명에 따른 사람들의 얼굴들/머리들 및 특징적인 존들의 추출 단계를 도시한 블록도를 나타낸다.

초기화 모듈(1)에 관하여, 디지털 비디오 센서의 포착 속도로 동작하는 비디오 시퀀스 프로세싱 소프트웨어가 본 발명에 따라 여러 연속적인 동작들을 조정할 것이다.

제 1 단계에서, 이것은 장면에서 사람의 얼굴/머리의 로컬 화(localization)(11)로 진행할 것이다. 이를 위해, 피부와 관련된 전형적인 크로미넌스 정보를 고려한다. 따라서, 이미지의 관심 존은 둘러싸는 직사각형에 의해 범위가 정해진다. 이 관심 존의 사전-프로세싱 단계(12)는 망막의 비헤이비어에 의해 영감을 받은 적응된 필터링을 이용함으로써 조명 변화들을 피하는 것을 가능하게 한다. 이 필터링은 연속적인 적응형 필터링들 및 압축들을 수행함으로써, 조명 변화들의 로컬 스무딩(local smoothing)이 달성되도록 한다. G를 크기 15×15의 가우시안 필터(Gaussian filter)라고 하고, 표준 편차 σ=2라고 하자. I_in을 초기 이미지라고 하고, I₁을 G에 의한 자신의 필터링의 결과라고 하자. 이미지(I₁)로부터, 이미지(X₀)는 관계:

에 의해 규정될 수 있다.

이미지(X₀)는 압축 함수(C)가 관계:

에 의해 규정될 수 있도록 한다.

도 3은 망막 필터링의 블록도를 제공하며, 이 필터링의 출력은 I_out으로 표기된다. 예를 들어, 필터링의 끝에서, 자신 때문에 얼굴의 좌측 및 우측 사이의 루미넌스의 상당한 변화를 나타내는 측방향으로 빛나는 얼굴 상에, 루미넌스의 변화들은 상당히 감소될 것이다.

얼굴의 영구적인 피처들의 아웃라인들, 즉 동질성이 고려되는 얼굴 아웃라 인, 홍채들, 눈들, 눈썹들, 입술들, 헤어의 크라운의 자동적인 추출이 제 2 단계에서 뒤따른다. 고려된 피처들 각각에 대하여, 모든 가능한 디포메이션들을 제공할 수 있는 특정한 파라메트릭 모델(큐빅 다항 커브들, Bezier 커브들, 원 등)이 규정된다.

홍채에 대하여, 홍채의 아웃라인이 눈의 어두운 존(dark zone), 즉 홍채, 및 밝은 존(light zone), 즉 흰자위 사이에서 더 넓기 때문에, 얼굴을 둘러싸는 직사각형의 각각의 우측 및 좌측 쿼터에서 루미넌스의 표준화된 그래디언트 플로우를 최대화하는 반원이 탐색될 것이다. 루미넌스의 표준화된 그래디언트 플로우를 최대화하는 방법은 파라미터 조정 없이 매우 빠르다는 장점을 가지며, 표준화된 그래디언트 플로우가 항상 탐색된 반원에 대한 정확한 위치에 대응하는 매우 두드러진 피크(peak)를 가지기 때문에, 모호함이 없이, 정확한 반원의 선택을 유도한다.

얼굴의 특징적인 포인트들이 추출되고, 13개의 다른 모델들 각각에 대한 초기 앵커 포인트(anchor point)들의 역할을 한다.

자신의 말단을 향해 구부러지는 것을 포함하며, 상부 및 하부 눈 컨투어들에 대해 선택된 모델들인, Bezier 커브들은 최대 루미넌트 그래디언트 포인트들의 취적 프로세스에 의해 검출된 눈들의 2개의 코너들, 및 하부 컨투어에 대한 홍채에 대해 검출되는 원의 최저 포인트에 의해, 그리고 눈들의 2개의 코너들 및 상부 컨투어에 대한 홍채에 대해 검출되는 원의 중심에 의해 초기화된다.

눈썹들에 관련된 Bezier 커브를 초기화하기 위하여, 각각의 눈썹의 2개의 내부 및 외부 코너들이 유리하게는 추출된다. 각각의 눈썹에 대하여, 이러한 포인트 들의 탐색 존은 검출된 홍채 위에 위치된 이미지의 존으로 감소된다. 내부 및 외부 코너들의 횡좌표들(X-좌표들)을 계산하기 위해서는, 부호의 변화가 존재하거나 라인들을 따르는 이미지 밸리(image valley)의 수평적 투영(projection)의 미분 계수가 지워지는 포인트들의 횡좌표들을 탐색한다. 이러한 포인트들의 좌표들(Y-좌표들)을 계산하기 위해서는, 컬럼(column)들을 따르는 이미지 밸리의 수직적 투영의 최대값의 횡좌표들을 탐색한다. 2개의 내부 및 외부 코너들 및 2개의 코너들의 중심은 각각의 눈썹과 관련된 Bezier 커브에 대한 초기 제어 포인트들의 역할을 한다. 이 방법이 잡음을 겪게 되기 때문에, 이와 같이 검출된 포인트들은 눈썹들과 관련된 모델의 디포메이션 단계 동안 재조정된다.

입술들을 모델링하기 위하여 제안된 모델은 5개의 독립적인 큐빅 커브들로 구성되며, 이들 각각은 외부 입술모양 컨투어의 파트를 따른다. 도 4는 닫혀 있는 입에 대한 이 모델의 도면을 나타낸다. 종래 기술에서 제안된 대부분의 모델들과 대조적으로, 이 원래 모델은 매우 상이한 입술들의 특수성들을 충실하게 나타내도록 충분히 디포밍 가능하다. Q₂ 및 Q₄ 사이에, 큐피드의 곡선이 펙킹된 라인(pecked line)으로 표시되어 있는 반면, 아웃라인의 다른 부분들은 큐빅 다항 커브들로 표시되어 있다. 더욱이, 포인트(Q₂, Q₄ 및 Q₆)에서 제로의 미분 계수를 가지는 제약들을 설정한다. 예를 들어, Q₁ 및 Q₂ 사이의 큐빅은 Q₂에서 제로의 미분 계수를 가져야 한다. 모델을 초기화하는 것의 도움으로 입의 특징적인 포인트들(Q₁, Q₂, Q₃, Q₄, Q₅ 및 Q₆)을 추출하는 것이 루미넌스 및 크로미넌스를 결합한 구별 정보 뿐만 아니라, 아웃라인 파라미터들 뿐만 아니라, 초기 위치에 대한 이의 높은 의존성을 조정하는 것을 피하는 액티브 아웃라인 타입의 컨버전스를 공동으로 이용함으로써 행해진다. 이것은 2개의 커브들이 내부 컨투어들이 완전히 추적되도록 하는 내부 입술모양 컨투어들에 적용된다.

내부 컨투어를 검출하는 것은 입 내부의 명백하게 비-선형적인 변화들 때문에 입이 열려 있을 때 더 어렵다. 실제로, 대화 중에, 입술들 사이에 위치된 존은 상이한 구성들: 치아, 구강, 잇몸 및 혀를 드러낼 수 있다.

입이 열려 있을 때 내부 컨투어에 대한 파라메트릭 모델은 4개의 큐빅들로 이루어질 수 있다. 열려 있는 입에 대하여, 내부 큐피드의 곡선은 닫혀 있는 입에 대해서보다 덜 명백하다; 따라서, 2개의 큐빅들이 입술들의 상부 내부 컨투어를 정확하게 추출하는데 충분하다. 4개의 큐빅들에 의하여, 상기 모델은 유연하고, 비대칭 입들에 대한 내부 컨투어의 세그먼테이션의 문제가 극복되도록 한다.

"점핑 스네이크(jumping snake)들"이라고 칭해지는 2개의 액티브 아웃라인들; 상부 컨투어에 대한 제 1 액티브 아웃라인 및 하부 컨투어에 대한 제 2 액티브 아웃라인이 상기 모델을 조정하는데 이용될 수 있다.

"점핑 스네이크"의 컨버전스는 연속적인 성장 및 점핑 단계들이다. "스네이크"는 시드(seed)로부터 초기화되고 나서, 시드의 좌측 및 우측에 포인트들을 추가함으로써 성장한다. 각각의 새로운 포인트는 추가될 현재 포인트 및 이전 포인트에 의해 형성된 세그먼트를 통해 그래디언트 플로우를 최대화함으로써 발견된다. 최종적으로, 시드는 탐색된 아웃라인에 더 가까운 새로운 위치로 점핑한다. 성장 및 점핑 프로세스들은 점핑 진폭이 일정 임계값보다 더 낮을 때까지 반복된다. 2개의 "스네이크"의 초기화는 상부 및 하부 컨투어들 상에 있고 도 4에서 Q₃을 통해 진행하는 수직선에 속하는 2개의 포인트들을 탐색함으로써 시작된다. 상기 태스크의 어려움은 입이 열려 있을 때의 특징들과 유사하거나 완전히 상이한 특징들(컬러, 텍스처(texture) 또는 루미넌스)을 가질 수 있는, 입술들 사이의 상이한 존들이 존재할 수 있다는 사실에 있다.

검출된 키 포인트들로부터, 최종적인 하부 컨투어가 4개의 큐빅들에 의해 제공될 수 있다. 상부 컨투어에 대한 2개의 큐빅들이 최소 자승 방법에 의해 계산될 수 있다. 유사하게, 하부 컨투어의 2개의 큐빅들이 또한 최소 자승 방법에 의해 계산될 수 있다.

얼굴 아웃라인을 모델링하는 것은 유리하게는 얼굴이 이마 및 아마도 눈썹들과 눈들을 전적으로 커버하는 매우 긴 헤어를 가질 수 있기 때문에 선험적으로 이 아웃라인 상에 위치된 8개의 특징적인 포인트들: 이미지의 HSV(색조, 채도, 값) 표현의 평면(V)에서의 쓰레스홀딩(thresholding)으로부터 추출되는, 눈들의 레벨에서의 2개의 포인트들, 눈썹들의 레벨에서의 2개의 포인트들, 입의 레벨에서의 2개의 포인트들, 아래턱의 레벨에서의 하나의 포인트 및 이마의 레벨에서의 하나의 포인트를 이용한다. 이러한 8개의 포인트들은 타원 쿼터들에 의해 모델링된 아웃라인을 초기화한다.

헤어의 크라운은 이미지 배경 필터링을 액티브 아웃라인들의 이용에 관련시킴으로써 얼굴 아웃라인의 검출로부터 세그먼팅될 수 있다. 따라서, 헤어 아웃라인 상에 위치된 특징적인 포인트들이 검출된다. 이러한 포인트들 각각 사이에서, 이용된 모델은 큐빅 다항 커버이다.

하나 또는 여러 포인트들의 자동적인 추출이 실패하는 것이 가능하며, 이 경우에, 포인트(들)는 모델(들)을 정확하게 교체하고 이들의 에볼루션 단계를 개시하기 위하여 매우 용이하게 수동으로 교체될 수 있다.

모델들의 에볼루션 단계에서, 각각의 모델은 분석된 얼굴 상에 존재하는 피처들의 아웃라인들과 가장 양호하게 일치하도록 디포밍된다(14). 이 디포메이션은 모델의 각각의 커브에 의해 규정된 아웃라인들을 따라 루미넌스 및/또는 크로미넌스의 그래디언트 플로우를 최대화함으로써 행해진다.

모델들의 규정은 레귤러라이징 제약이 희망하는 아웃라인들 상에 자연적으로 도입되도록 한다. 그러나, 선택된 모델들은 눈, 눈썹 및 입 컨투어들의 실제적인 추출을 허용하도록 충분히 유연하게 유지된다. 도 5는 본 발명의 한 양상에 따른, 얼굴의 인체측정학적 모듈들을 각각 형성하는 얼굴의 특징적인 존들, 즉 얼굴의 아웃라인, 홍채, 눈들, 입, 눈썹들 및 헤어의 크라운의 자동적인 추출의 결과를 나타낸다.

제 3 단계에서, 소프트웨어는 비디오 시퀀스에서 얼굴/머리 및 얼굴의 특징적인 피처들을 추적하는 것으로 진행한다. 추적 동안, 이전 이미지들에서 획득된 결과들은 세그먼테이션을 더 로버스트하고 더 빠르게 할 수 있는 부가적인 정보를 공급한다.

본 발명의 유리한 실시예에 따르면, 정확한 추적 절차는 특징적인 포인트들이 하나의 이미지로부터 또 다른 이미지까지 추적되도록 하는 알고리즘을 이용한다. 포인트들의 이웃만을 이용하는 이 차별적인 방법은 직접적인 추출 기술에 비하여, 상당한 시간 이득을 제공한다. 이 방법은 다음 식:

I_t(x-d(x))=I_t+1(x)의 테일러에 의한 전개로부터 발생하는 명백한 움직임 제약 식에 의존한다.

이미지(I_t)에서 추적된 포인트의 이웃이 트랜슬레이션(translation)에 의해 다음 이미지(I_t+1)에서 다시 발견될 것이라고 가정된다. d(x)는 좌표(x)의 픽셀의 변위 벡터이고, 여기서 x는 벡터이다. 시간(t)에서 찍힌 기준 이미지에서 크기 n×n의 이웃(R)을 고려하자. 따라서, 그 목적은 R을 가장 닮은 영역을 다음 이미지에서 다시 발견하는 것이다. 이러한 2개의 이미지들에서 그레이의 레벨들의 값들인 I_t(x) 및 I_t+1(x)를 주의하면, 상기 방법은 정사각형으로 픽셀들간 차이들의 합과 동일한 비용 함수를 최소화한다.

더욱이, 대략적인 결과들을 산출하는 추적 에러들의 축적을 피하기 위하여, 상기 방법은 유리하게는 액티브 아웃라인들의 간소화된 버전을 이용하고/하거나 이전 이미지에서 획득된 모델의 커브들을 디포밍함으로써 특징적인 포인트들의 재조정을 이용한다. 최종적으로, 최종적인 아웃라인들이 추출된다. 이를 위해, 이전 이 미지에서의 특징적인 존들의 형상 뿐만 아니라, 특징적인 포인트들이 상이한 모델들을 구성하는 최적의 커브들을 계산하기 위하여 이용된다.

변형 단계 동안, 이미지에서 얼굴의 인체측정학적 존들의 인식 및 추적 툴들은 자신들이 변형 단계 동안 추출하였던 모든 데이터를 전달한다. 그 후, 데이터베이스 내에 제공된 다수의 기준들에 따라, 및/또는 경우에 따라서는, 0+ 또는 1 차의 전문가 시스템의 결정 기준들에 따라, 모듈은 행해질 프로세싱을 결정할 것이다. 후자는 사용자가 선택할 테마(theme) 또는 테마들에 의해 결정될 것이다. 그러므로, 예를 들어, 이것이 메이크-업 동작인 경우에, 추출 결과들에 따라 그리고 사용자에 의해 선택된 함수에 따라 규정되는 얼굴의 특징적인 존들은 하모닉(harmonic) 및 개인화된 선택들에 따라 연속적인 이미지들의 시퀀스에서 자동적으로 변경될 것이다. 예를 들어, 둥근 얼굴에 대하여, 상기 방법은 더 어두운 톤에서 얼굴의 측면들을 톤 다운(town down)한다. 반대로, 삼각형 얼굴에 대하여, 상기 방법은 더 밝은 톤에서 얼굴의 측면들을 쉐이드 오프(shade off)한다. 사용자는 자신이 연속적인 이미지들에서 나타나는 얼굴에 적용하고 싶은, 데이터베이스에 존재하는 모습을 선택할 수 있다. 상기 모습은 특히 당업자들에 의해 이전에 규정된 특정 드로잉(drawing)들이다. 이러한 적절한 드로잉들 및 형태들은 이들이 제안하고자 하는 효과들 및 이미지의 컨텍스트(context)로부터, 추출 및 추적 모듈로부터 발생하는 정보에 따라, 이들이 적용되는 얼굴의 존들로 재계산 및 재조정될 미리 규정된 가상 템플릿(templet)들인 것으로 특징지워진다.

사용자는 또한 자신이 적용하고자 하는 컬러를 한 존씩(입술들, 눈들, 광대 뼈들, 얼굴 등) 선택할 수 있다. 이러한 컬러들은 얼굴의 특징들과 조화되어 있을 것이다. 따라서, 전문가 시스템은 초기화 및 에볼루션 단계로부터 발생하는 데이터에 따라, 자신의 데이터베이스(들)에서 이용 가능한 범위의 것들과 상관된 이용 가능한 컬러의 팔레트(palette)를 결정한다.

따라서, 복구 단계 동안, 상기 툴은 예를 들어, 얼굴과 조화되어 있는 컬러화 제안(coloring suggestion)을 행할 수 있지만, 또한 얼굴과 완전히 조화되어 있는 범위로부터 컬러들의 선택을 또한 제안할 것이다. 이들의 원래 텍스처들로 완성된 컬러들이 이들의 특정 컨텍스트(특히, 립스틱들 또는 글로스(gloss) 또는 파우더들)에서 분석, 계산, 및 규정된다.

그 후, 상기 툴은 존(입, 뺨, 헤어 등)의 텍스처에 따라, 메이크-업에 대응하는 컬러를 적용할 것이지만, 또한 투명한 방식으로, 화장품의 효과, 즉, 이것의 실제 모양, 예를 들어, 이것의 빛나거나, 이것의 파우더를 바르거나 반짝이는 모양(도 6에서 반짝이는 립스틱), 특히 이것의 메이트 모양(mate aspect)이 재생될 것이다. 이 동작은 알고리즘 툴들의 도움으로, 이들의 텍스처들이 계산되도록 하고, 이들이 자신들이 실제로 재생되는 것과 같이, 자신들의 실제 모양에서 규정되도록 하는 이들의 각각의 존들(밝음, 광명, 음영들, 반사들 등) 각각에서 연속적인 이미지들의 시퀀스의 텍스트를 고려한다.

이 방법으로, 연속적인 이미지들의 시퀀스의 품질 및 실제적인 특성들이 상당히 개선될 것이다. 더욱이, 얼굴의 어떤 상세성들이 개선된다. 따라서, 예를 들어, 이마 라인들, 눈가주름, 눈들 아래의 링(ring), 양미간을 찌푸리는 라인들, 비 구순 주름들, 마리오네트 라인(marionette line)들, 입주변 주름들, 주근깨, 여드름 및 브로큰 베인(broken vein)들이 상당히 제거된다.

또한, 얼굴의 미백, 태닝(tanning), 치아의 미백, 눈꺼풀 리프팅(eyelid lifting), 입술 증가/강화, 얼굴 타원체의 약간의 수정, 아래턱 및/또는 코의 약간의 수정, 광대뼈들의 들어올림 및 증가와 같은 에스테틱 처리들이 비디오 시퀀스에서 나타나는 얼굴에 대하여 자동적으로 시뮬레이팅된다.

새로운 헤어-스타일 및/또는 헤어 컬러에 관하여 얼굴의 에스테틱을 개선시키는 것이 또한 가능하다. 안경테들, 보석 및/또는 얼굴에 대한 장식 액세서리들의 컬러, 재료, 형상 및/또는 적절한 디멘전들을 조정하고, 홍채 음영을 적합하게 하기 위하여 컬러 또는 펀 컨택트 렌즈(color or fun contact lens)들을 조정하는 것이 또한 가능하다. 예를 들어, 그 특징적인 정보가 전문가 시스템의 데이터베이스 내에 로딩되는 공지된 얼굴을 최적의 신뢰율로 식별하기 위하여, 얼굴의 생체측정 기술에 본 발명을 적용하는 것이 또한 가능하다. 생체측정 여권 표준에 대한 디지털 아이덴티티 사진(digital identity photo)들을 만드는 것이 또한 가능하다.

본 발명은 또한 말하는 입의 상이한 구성들 또는 상이한 발음된 음들을 기술하는 바이스메스(visemes)를 허용한다. 따라서, 본 발명은 예를 들어, 마리오네트 라인들의 존재, 눈들의 크기 및 간격, 코와 귓볼들의 크기 및 형상과 같은 사람의 얼굴/머리의 형태학적 관측으로부터 조사된 사람의 성격 및 특성을 결정하는 것을 가능하게 하며, 얼굴들의 관측에 대응하는 데이터베이스는 그 후에 고려된 분야에서 형태-심리학자들, 정신병의사들, 프로파일러(profiler)들 및 분석자들에 의해 이용된 기술들에 의하여 완성된다.

사용자의 이미지의 에스테틱이 메이크-업되거나, 개선되거나 안정될 수 있도록 하는, 순간 디지털 사진들의 자동적인 현상 단말기들, 이미지들을 터치 업하고 현상하는 컴퓨터화된 시스템들 상에서, 특히 아이덴티티 사진 또는 펀 사진 부스들에서 만들어진 디지털 사진에 본 발명을 적용하는 것이 또한 구상 가능하며, 데이터베이스는 그 후에 메이크-업, 펀, 헤어-스타일, 헤어 기술들, 피부 텍스처 및 액세서리화에 관한, 동시적으로 이용 가능하거나 또는 그렇지 않은, 에스테틱 규칙들 및 메이크-업 모습들의 컬렉션(collection)으로 완성된다.

예를 들어, 팔레트에서 립스틱의 자연적인 시각화 또는 "모습"의 생성을 구성하는, 드로잉, 쓰레스홀딩 및 좌표 표시들로 완성된 RGB(적색, 녹색, 청색) 요소들 모두는 인터넷과 같은 디지털 네트워크들 상에서 서버로부터 다운로딩되거나 모든 디지털 서포트들 상에서 확산될 수 있는 경량 문자숫자식 체인으로 구성되는 간단한 파일의 형태로 구현 및 기록될 수 있다. 이 파일은 유연하고 고속의 방식으로 전문가 시스템 또는 데이터베이스의 예술적인 갱신에 도움이 될 수 있거나, 예를 들어, 웹 페이지로부터의 간단한 다운로드를 통하여 사용자에 의해 즉시 이용될 수 있다.

일반적으로, 전문가 시스템에 관련된 데이터베이스는 본 발명의 애플리케이션, 예를 들어, 화장품 및/또는 피부병학, 성형외과학 및/또는 에스테틱 의학, 안과학, 스타일리스트(stylist)들 및/또는 미용사들의 기술들, 얼굴 생체측정학 등에 관련된 특정한 규칙들로 풍부해진다.

따라서, 프로세싱은 컨텐트와 무관하며, 이는 상기 방법이 산업적인 규모로 이용되도록 하고, 이의 이용이 매우 증가된 성능으로 매우 광범위하게 확산되도록 한다.

더 일반적으로, 비디오 시퀀스에서의 얼굴의 특징적인 피처들은 데이터베이스 및/또는 전문가 시스템의 결정들에 따라 변경된다. 도 6은 컬러 비디오 카메라에 의해 포착된 비디오 시퀀스로부터 추출된 이미지에 대한 메이크-업(모습), 액세서리화(컬러 렌즈들, 피어싱) 및 헤어 컬러화의 이전/이후의 시뮬레이션 결과를 나타낸다.

본 발명에 따르면, 복구 모듈은 임의의 타입의 컬러 스크린 상에 변형된 이미지들의 시퀀스를 디스플레이하고 나서, 모든 디지털 네트워크들 상의 서버를 통하여, 그리고/또는 임의의 종류의 페이퍼 포맷 상에 하나 또는 여러 시뮬레이팅된 이미지들을 인쇄함으로써 트랜슬레이팅시킨다.

시뮬레이션에 대하여, 복구 단계는 희망하는 에스테틱 변경들이 완전히 일치하여 나타나는 새로운 가상 비디오 시퀀스로의 초기 비디오 시퀀스의 변형에 의해 특징지워지는 에스테틱 제안으로 트랜슬레이팅시킨다. 예를 들어, 메이크-업은 액세서리들과 헤어 컬러화, 그리고 하나 또는 여러 브랜드들에서의 대응하는 제품들의 판매가들과 레퍼런스들로 완성된다.

그 후, 비디오 시퀀스로부터 사용자에 의해 선택된 정적인 이미지가 A4 포맷 도는 임의의 다른 기술적으로 이용 가능한 포맷에서, 컬러 도트-매트릭스(color dot-matrix), 잉크 젯(ink jet), 고체 잉크 젯, 레이저 또는 염료 승화 전사 프린 터 상에서 로컬로 에디팅될 수 있다.

이 정보의 컨텐트는 초기 이미지 및 변형된 이미지, 기술적 및 과학적 어드바이스(advice), 트레이드(trade)의 트릭(trick)들, 얼굴 특징들(형상, 컬러 등), 제품들의 픽처(picture), 변형된 얼굴의 특징들과 조화되어 있는 개인의 컬러 팔레트, 팔레트와 관련된 의류 컬러 어드바이스 등을 포함하는 미용 처방을 포뮬레이팅(formulating)한다. 그 결과들은 그 후에 사용자의 우편 주소에 이것들을 재-발송할 인터넷 서버의 로컬화해제된 고선명 프린터들 상에서 동일한 방식으로 에디팅될 수 있다.

이러한 동일한 결과들은 서버 애플리케이션들을 통해 이용 가능한, 사전-인쇄되거나 되지 않은 상이한 서포트들(CV, 가상 우편엽서, 멀티미디어 클립, 비디오, 캘린더, 배너, 포스터, 사진 앨범 등) 상 또는 내에서, 동일한 방식으로, 트랜슬레이팅될 수 있다. 이 결과들은 나중에 이용하기 위하여 인터넷 서버 상에서, 또는 단말기의 모든 종류들의 메모리들에서 아카이빙(archiving)될 수 있다.

상기 정보로 완성되거나 완성되지 않은 새로운 이미지 및/또는 새로운 비디오 시퀀스가 이메일 기능에 의하여, 그리고 이메일-타입의 전자 주소를 갖는 하나 또는 여러 커레스펀던트(correspondent)들로의 "부착(attach)" 명령의 도움으로 송신될 수 있다.

이 시스템이 특정한 과학적 및 기술적 데이터로 로컬 또는 원격 데이터베이스(들) 및/또는 전문가 시스템(들)을 완성함으로써 매우 많은 애플리케이션을 가질 수 있다는 점이 용이하게 이해될 것이다.

본 발명은 2 또는 3 차원에서의 이미지 프로세싱에 대한 애플리케이션을 찾을 수 있다. 3D 애플리케이션에서, 3D 메이크-업을 정확하게 적용하기 위하여 얼굴의 3D 모델링을 구성하는 것이 가능하다. 얼굴 이미지들의 플럭스의 얼굴의 정적 이미지로부터, 얼굴의 3D 재구성이 음영들, 텍스처, 움직임의 분석, 얼굴들의 일반적인 3D 모델들의 이용, 또는 부가적으로 입체적 시스템의 이용과 같은 종래의 알고리즘들 및 절차들의 도움으로 달성된다.

본 발명이 다양한 유리한 실시예들을 참조하여 설명되었을지라도, 본 발명이 이 설명에 의해 제한되지 않고 당업자들이 첨부된 청구항들에 의해 규정된 본 발명의 구조를 벗어남이 없이 임의의 방식으로 본 발명을 변경할 수 있다는 점이 이해된다.

Claims (11)

1. 움직이는 얼굴/머리의 실제 비디오 이미지 시퀀스로부터 달성될 수 있는, 각각의 사용자에 대해 개별화된 비디오 이미지들의 시퀀스의 가상 시뮬레이션을 위한 자동적인 방법에 있어서:

   포착 및 초기화 단계 동안:

   상기 실제 비디오 시퀀스에서 상기 얼굴/머리의 이미지의 형상들 및/또는 아웃라인들 및/또는 동적 컴포넌트들을 검출 및 분석하는 단계,

   미리 규정된 파라메트릭 모델들에 의하여, 입 및 눈들의 코너들과 같은 상기 얼굴/머리의 특징적인 포인트들을 추출하는 단계;

   에볼루션 단계(evolution phase) 동안:

   초기 프라이밍 포인트들(initial priming points)의 역할을 하는 상기 추출된 특징적인 포인트들로부터 특정 파라메트릭 모델들을 규정하는 단계,

   상기 분석된 얼굴 상에 존재하는 피처들(features)의 컨투어들(contours)에 적응되도록 상기 특정 모델들을 디포밍(deforming)하는 단계,

   상기 얼굴/머리의 하나 또는 여러 영역들의 피부 구조를 검출 및 분석하는 단계; 및

   추적 및 변형 단계 동안:

   상기 비디오 시퀀스에서 다른 이미지들의 특징적인 피처들을 변경하는 단계,

   상기 피부 구조의 컬러들을 변경하는 단계를 포함하고,

   상기 변경 단계들은 적어도 하나의 데이터베이스에 저장된 기준들 및/또는 0+ 또는 1 차의 적어도 하나의 전문가 시스템의 결정 기준들에 따라 수행되는 것을 특징으로 하는, 가상 시뮬레이션을 위한 자동적인 방법.
2. 제 1 항에 있어서,

   상기 영역/아웃라인 공간적 및 시간적 정보를 결정하는 상기 검출 및 분석 단계는 루미넌스 및/또는 크로미넌스의 그래디언트 플로우들을 최대화함으로써 수행되는, 가상 시뮬레이션을 위한 자동적인 방법.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 변경 단계들은 이전 이미지의 특징적인 포인트들의 이웃들을 다음 이미지로 트랜슬레이팅(translating)함으로써 달성되고, 상기 특징적인 포인트들의 이웃들이 또한 디포메이션(defomation)을 겪을 수 있을 때 디포메이션 매트릭스를 포함하는 아핀 모델들(affine models)이 이용될 수 있는, 가상 시뮬레이션을 위한 자동적인 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   상기 추적 단계는 상기 특징적인 포인트들을 하나의 이미지로부터 다른 이미지로 추적하는 알고리즘을 이용하는, 가상 시뮬레이션을 위한 자동적인 방법.
5. 제 4 항에 있어서,

   상기 알고리즘은 상기 특징적인 포인트들의 이웃만을 이용하는, 가상 시뮬레이션을 위한 자동적인 방법.
6. 제 4 항 또는 제 5 항에 있어서,

   추적 에러들의 축적을 피하기 위하여, 상기 특징적인 포인트들은 액티브 아웃라인들의 간소화된 버전을 이용하고/이용하거나, 이전 이미지에서 획득된 모델의 커브들을 디포밍함으로써 재조정되는, 가상 시뮬레이션을 위한 자동적인 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

   복수의 큐빅 커브들에 의해 연결된 복수의 특징적인 포인트들에 의하여 닫혀 있고/닫혀 있거나 열려 있는 입을 모델링하는 단계를 포함하는, 가상 시뮬레이션을 위한 자동적인 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 따른 상기 가상 시뮬레이션을 위한 자동적인 방법을 실행하는 디바이스에 있어서:

   컴퓨터 시스템, 광원, 전자 메시지들을 관리하는 시스템, 로컬이거나 인터넷과 같은 디지털 네트워크들 상으로 디포트(deport)되는 적어도 하나의 데이터베이스, 및/또는 바람직하게는 초당 25개의 이미지들의 속도로, 실제 디지털 이미지 시퀀스를 획득하여 가상 이미지 시퀀스로 변형하는 것을 가능하게 하는 0+ 또는 1 차 의 적어도 하나의 전문가 시스템을 포함하고, 상기 가상 이미지 시퀀스는 0+ 또는 1 차의 적어도 하나의 전문가 시스템의 결정 기준들에 따라 변형되는 것을 특징으로 하는, 디바이스.
9. 제 8 항에 있어서,

   상기 컴퓨터 시스템은 CPU(중앙 처리 장치) 타입의 싱글-코어, 듀얼-코어, 쿼드-코어 또는 그 이상의 마이크로프로세서, 또는 펜티엄, 애슬론 또는 그 이상의 타입의, 또는 8개까지의 특정 코어들과 메인 코어가 구비된 SPU(스트리밍 프로세서 장치) 타입의 종래의 멀티-코어 프로세서들에 기초하고, 부스, 컨솔, 자기-서비스 장치, 포켓 또는 이동 디바이스, 디지털 텔레비전, 로컬이거나 또는 인터넷과 같은 디지털 네트워크들 상으로 디포트되는 서버, 적어도 하나의 디지털 비디오 카메라, 적어도 하나의 스크린, 적어도 하나의 프린터 및/또는 인터넷과 같은 디지털 네트워크들로의 접속에 배치되고,

   이미지 프로세싱을 수행하는 상기 컴퓨터 시스템은 바람직하게는 적어도 500 킬로바이트와 동일한 용량의 하드 드라이브, 및/또는 디지털 저장 메모리, 특히 CD-ROM, DVD, Multimedia Card®, Memory Stick®, MicroDrive®, XD Card®, SmartMedia®, SD Card®, CompactFlash® 타입 1 및 2, USB 키 타입의 하나 또는 여러 서포트들, 인터넷과 같은 디지털 네트워크들로의 모뎀 또는 고정-라인 또는 무선 주파수 접속 모듈, 및 이더넷, Bluetooth®, 적외선, wifi®, wimax® 등의 타입의 로컬 네트워크들에 대한 하나 또는 여러 접속 모듈들을 가지고 있는 컴퓨터 를 포함하는, 디바이스.
10. 제 8 항 또는 제 9 항에 있어서,

    스크린 상에 상기 가상 이미지 시퀀스를 디스플레이한 후, 프린터는 상기 가상 이미지 시퀀스의 일부 또는 모두 가운데서 선택된 적어도 하나의 사진을 바람직하게는, 컬러로 로컬로 또는 원격으로 인쇄를 진행하는, 디바이스.
11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,

    상기 포착, 검출, 변형 및 추적 단계들을 수행하기 위하여, 상기 이미지-프로세싱 모듈은 DSP(디지털 신호 프로세서) 타입의 신호 프로세싱에 전문화된 하나 또는 여러 프로세서들 내로 통합되는, 디바이스.

Images