KR20030041131A - 무표정 얼굴 이미지 상의 정밀 랜드마크 발견을 사용하여얼굴 특징 추적을 맞춤화하기 위한 방법 및 시스템 - Google Patents

무표정 얼굴 이미지 상의 정밀 랜드마크 발견을 사용하여얼굴 특징 추적을 맞춤화하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20030041131A
KR20030041131A KR10-2003-7001107A KR20037001107A KR20030041131A KR 20030041131 A KR20030041131 A KR 20030041131A KR 20037001107 A KR20037001107 A KR 20037001107A KR 20030041131 A KR20030041131 A KR 20030041131A
Authority
KR
South Korea
Prior art keywords
face image
actor
front face
faceless
image
Prior art date
Application number
KR10-2003-7001107A
Other languages
English (en)
Other versions
KR100827939B1 (ko
Inventor
에프. 버덴미어울리치
네벤하무트
Original Assignee
아이매틱 인터페이시즈, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이매틱 인터페이시즈, 인크. filed Critical 아이매틱 인터페이시즈, 인크.
Publication of KR20030041131A publication Critical patent/KR20030041131A/ko
Application granted granted Critical
Publication of KR100827939B1 publication Critical patent/KR100827939B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 배우의 무표정의 얼굴 이미지를 사용한 얼굴 특징 추적을 위한 시각 센서를 맞춤화하는 방법 및 시스템으로 실현된다. 본 방법은 배우의 얼굴 특징들을 추적함에 있어 센서의 성능을 향상시키기 위한 정정 그래프를 생성하는 것을 포함한다.

Description

무표정 얼굴 이미지 상의 정밀 랜드마크 발견을 사용하여 얼굴 특징 추적을 맞춤화하기 위한 방법 및 시스템{Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image}
아바타들로 채워지는 가상공간들은 공유 환경을 체험할 수 있게 하는 흥미를 끄는 방법이다. 그러나, 일반적으로, 사진처럼 실제적인 아바타의 애니메이션은 배우의 움직임들의 확고한 추적, 특히 얼굴 특징들을 추적을 요한다.
따라서, 개선된 얼굴 특징 추적의 현저한 필요성이 존재한다. 본 발명은 이러한 필요성을 만족시킨다.
관련된 출원들의 크로스 레퍼런스
본 출원은 2000년 7월 24일에 출원된 발명의 명칭이 "METHOD AND SYSTEM FOR CUSTOMIZING FACIAL FEATURE TRACKING USING PRECISE LANDMARK FINDING ON A NEUTRAL FACE IMAGE"인 US 임시 출원 시리얼 번호60/220,288에 대한 U.S.C. §119(e)(1) 및 37 C.F.R. §1.78(a)(4) 하의 우선권을 주장하고, 1998년 11월 6일에 출원된 발명의 명칭이 "WAVELET-BASED FACIAL MOTION CAPTURE FOR AVATAR"인 US 특허출원 시리얼 넘버 09/188,079에 대한 부분 계속출원으로서 35 U.S.C. §120 및 37 C.F.R. §1.78(a)(2) 하의 우선권을 주장한다. US 특허 출원 시리얼 번호 09/188,079의 전체 개시는 참조문헌으로써 본 명세서에 포함된다.
본 발명은 아바타 애니메이션에 관한 것으로, 특히 얼굴 특징 추적에 관한 것이다.
도 1은 본 발명에 따라서, 무표정의 얼굴 이미지 상의 정밀 랜드마크 발견을 사용하여 얼굴 특징 추적을 맞춤화하기 위한 방법을 도시한 흐름도.
도 2는 배우의 카메라 이미지 및 일반적인 모델 이미지를 갖는 시각 센서 맞춤화 위자드의 이미지를 보여주는 도면.
도 3은 배우의 얼굴의 카메라 이미지의 자동 감지 및 이 이미지 상의 노드 위치들의 배치 후의 시각 센서 맞춤화 위자드의 이미지를 보여주는 도면.
도 4는 본 발명에 따라서, 정정 그래프를 생성하는 정정된 노드 위치들을 r자는 시각 센서 맞춤화 위자드(visual sensor customization wizard)의 이미지를 보여주는 도면.
도 5는 본 발명에 따라서, 무표정의 얼굴 이미지를 사용하여 정정 그래프를 생성하기 위한 기술의 블록도.
발명의 요약
본 발명은 배우의 무표정(neutral)의 얼굴 이미지를 사용하여 시각 센서를 맞춤화(customizing)하는 방법, 및 관계된 시스템으로 실현된다. 본 방법은 배우의 무표정의 앞 얼굴 이미지를 획득하고 일래스틱 번치 그래프 매칭(elastic bunch graph matching)을 사용하여 무표정의 앞 얼굴 이미지 상의 얼굴 특징 위치들을 자동으로 찾는 것을 포함한다. 노드들은 배우의 무표정의 앞 얼굴 이미지 상의 얼굴 특징 위치들에 자동으로 위치된다. 이어서 노드 위치들은 배우의 무표정의 앞 얼굴 이미지 상에서 자동으로 정정된다.
또한, 본 방법은 정정된 노드 위치들에 근거하여 정정 그래프를 생성하는 것을 포함한다.
본 발명의 다른 특징들 및 이점들은 본 발명의 원리를 예로서 도시한 첨부한 도면들과 연계하여 취해진 바람직한 실시예들에 대한 다음의 설명으로부터 명백할 것이다.
본 발명은 배우의 무표정의 얼굴 이미지를 사용한 얼굴 특징 추적을 위한 시각 센서를 맞춤화하는 방법 및 시스템으로 실현된다. 본 방법은 배우의 얼굴 특징들을 추적함에 있어 센서의 성능을 개선하기 위해 정정 그래프를 생성하는 것을 포함할 수 있다.
도 1에 도시한 바와 같이, 본 방법은 배우의 앞 얼굴 이미지를 포착한다(블록 12). 무표정의 앞 얼굴 이미지는 도 2에 도시된 바와 같이 시각 센서 맞춤화 위자드(22)를 사용하여 포착될 수 있다. 포착된 이미지(26)의 정렬(aligment)을나타내기 위해서 배우에 대한 이미지(24)가 도시되었다. 다음에, 일래스틱 번치 그래프 매칭을 사용하여 자동으로 얼굴의 특징 위치들을 찾는다(블록 14). 일래스틱 번치 그래프 매칭을 사용하여 얼굴의 특징을 찾는 것은 미국특허 출원번호 09/188,079에 기재되어 있다. 일래스틱 번치 그래프 매칭에서, 이미지는 가보 웨이브렛들(Gabor wavelets)에 근거한 웨이브렛 변환들을 사용하여 가보 공간으로 변환된다. 변환된 이미지는 원 이미지의 각각의 화소에 연관된 복소(complex) 웨이브렛 성분의 값들로 나타내어 진다. 도 3에 도시된 바와 같이, 노드들(28)은 특정의 얼굴 특징들의 위치들에 앞 얼굴 이미지 상에 자동으로 놓여진다(블록 16). 배우의 특정한 이미지 특질들 때문에, 배우의 앞 얼굴 이미지 상에 놓여지는 얼굴 특징 그래프는 앞 얼굴 이미지 상에 적합하게 놓여지지 않는 노드들의 위치들을 가질 수 있다. 예를 들면, 배우의 양 눈썹에 대한 4개의 노드들은 앞 얼굴 이미지 상의 양 눈썹 약간 위에 놓여진다.
시스템 조작자는 시각 센서 맞춤화 위자드(22)를 사용해서 노드들(28)을 취하여 이동시킬 수 있다. 노드들은 노드를 선택하여 원하는 위치로 가져가기 위해서, 마우스와 같은 포인팅(pointing) 디바이스를 사용하여 무표정의 얼굴 이미지(26) 상에 수동으로 이동된다(블록 18). 예를 들면, 도 4에 도시된 바와 같이, 배우의 이미지의 양 눈썹 상에 노드의 배치는 예시적인 이미지(24)에 따라 배우의 양 눈썹에 더 가깝게 정렬되도록 조정되었다.
도 5에 도시된 바와 같이, 특징들에 대한 노드들(A 내지 E)이 무표정의 앞 얼굴 이미지(24) 상에 정확하게 놓여진 후에, 각각의 얼굴 특징에 대해 이미지 제트(jet)들이 다시 계산되고 번치 그래프의 갤러리(gallery:32) 내 대응하는 제트들과 비교될 수 있다. 번치 그래프 갤러리는 매우 많은 사람들의 서브-갤러리들(N)을 포함한다. 서브-갤러리 내 각각의 사람은 무표정의 얼굴 이미지(34)에 대한 제트ㄷ르과, 이를테면 미소짓는 얼굴 혹은 감탄을 나타내는 얼굴 등의 표정을 짖는 얼굴 이미지들(36 내지 38)에 대한 제트들을 포함한다. 정정된 배우 이미지(24)로부터의 각각의 특징 제트는 몇몇의 서브-갤러리들 내 무표정 제트들로부터의 대응하는 특징 제트와 비교된다. 정정 그래프(40)의 특징(A)에 대한 제트를 생성하기 위해서, 이미지 특징(A)에 대한 제트와 가장 밀접하게 매치(match)하는 특징(즉, 특징(A))에 대한 서브-갤러리의 무표정 제트가 선택된다. 보다 특정한 예로서, 특징(E)에 대해서, 사람에 대한 서브-갤러리(N)는 무표정 이미지(24)로부터의 특징(E)에 대한 제트에 가장 밀접하게 대응하는, 특징(E)에 대한 무표정 제트를 갖는다. 얼굴 특징(E)에 대한 정정 그래프 제트들은 서브-갤러리(N) 중에서, 표정 특징 제트들(36 내지 38)의 각각으로부터 특징(E)에 대한 제트들과 함께 무표정 제트들로부터의 특징(E)에 대한 제트를 사용하여 생성된다. 따라서, 정정 그래프(40)는 무표정 얼굴 이미지(24)에 관하여, 번치 그래프를 형성하는 갤러리(32)로부터 최상의 제트들을 사용하여 형성된다.
결과적인 정정 그래프(40)는 노드 위치들의 추적에 훨씬 더 확실한 센서를 제공한다. 정정 그래프를 포함하는 맞춤 얼굴 특징 추적 센서는 보다 사진처럼 실제적인 아바타와 개선된 시각적 공간 경험을 제공할 수 있다.
비록 전술한 바는 본 발명의 바람직한 실시예들을 개시한 것이지만, 이 기술에 숙련된 자들은 본 발명의 범위에서 일탈함이 없이 바람직한 실시예들에 여러 가지 변경들을 행할 수 있음을 알 것이다. 본 발명은 다음의 청구범위들에 의해서만 정해진다.

Claims (8)

  1. 얼굴 특징 추적(facial feature tracking)을 맞춤화하기 위한 방법에 있어서,
    배우의 무표정의 앞 얼굴 이미지를 포착하는 단계;
    일래스틱 번치 그래프 매칭(elastic bunch graph matching)을 사용하여 상기 무표정의 앞 얼굴 이미지 상의 얼굴 특징 위치들을 자동으로 찾는 단계;
    상기 배우의 상기 무표정의 앞 얼굴 이미지 상의 상기 얼굴 특징 위치들에 노드들(nodes)을 자동으로 위치설정하는 단계; 및
    상기 배우의 무표정의 앞 얼굴 이미지 상의 상기 노드들의 위치설정을 수동으로 정정하는 단계를 포함하는, 얼굴 특징 추적 맞춤화 방법.
  2. 제1항에 있어서, 상기 정정된 노드 위치들에 근거하여 정정 그래프(corrector graph)를 생성하는 단계를 더 포함하는, 얼굴 특징 추적 맞춤화 방법.
  3. 얼굴 특징 추적을 맞춤화하는 시스템에 있어서,
    배우의 무표정의 앞 얼굴 이미지를 포착하기 위한 수단;
    일래스틱 번치 그래프 매칭을 사용하여 상기 무표정의 앞 얼굴 이미지 상의 얼굴 특징 위치들을 자동으로 찾기 위한 수단;
    상기 배우의 상기 무표정의 앞 얼굴 이미지 상의 상기 얼굴 특징 위치들에 노드들을 자동으로 위치설정하기 위한 수단; 및
    상기 배우의 무표정의 앞 얼굴 이미지 상의 상기 노드들의 위치설정을 수동으로 정정하는 수단을 포함하는, 얼굴 특징 추적 맞춤화 시스템.
  4. 제3항에 있어서, 상기 정정된 노드 위치들에 근거하여 정정 그래프를 생성하기 위한 수단을 더 포함하는, 얼굴 특징 추적 맞춤화 시스템.
  5. 얼굴 특징 추적을 맞춤화하는 방법에 있어서,
    배우의 무표정의 앞 얼굴 이미지를 포착하는 단계;
    상기 무표정의 앞 얼굴 이미지의 웨이브렛 변환들(wavelets transformations)로부터 생성된 웨이브렛 성분 값들에 근거한 이미지 분석을 사용하여 상기 무표정의 앞 얼굴 이미지 상의 얼굴 특징 위치들을 자동으로 찾는 단계;
    상기 배우의 상기 무표정의 앞 얼굴 이미지 상의 상기 얼굴 특징 위치들에 노드들을 자동으로 위치설정하는 단계; 및
    상기 배우의 무표정의 앞 얼굴 이미지 상의 상기 노드들의 위치설정을 수동으로 정정하는 단계를 포함하는, 얼굴 특징 추적 맞춤화 방법.
  6. 제5항에 있어서, 상기 웨이브렛 변환들은 가보(Gabor) 웨이브렛들을 사용하는 것인, 얼굴 특징 추적 맞춤화 방법.
  7. 얼굴 특징 추적을 맞춤화하는 방법에 있어서,
    배우의 무표정의 앞 얼굴 이미지를 포착하는 단계;
    상기 무표정의 앞 얼굴 이미지의 웨이브렛 변환들로부터 생성된 웨이브렛 성분 값들에 근거한 이미지 분석을 사용하여 상기 무표정의 앞 얼굴 이미지 상의 얼굴 특징 위치들을 찾는 단계; 및
    상기 무표정의 앞 얼굴 이미지 상의 상기 얼굴 특징 위치들에 상기 웨이브 성분 값들에 근거한 표정 얼굴 특징들에 대한 정정 그래프를 생성하는 단계를 포함하는, 얼굴 특징 추적 맞춤화 방법.
  8. 제7항에 있어서, 상기 웨이브렛 변환들은 가보 웨이브렛들을 사용하는 것인, 얼굴 특징 추적 맞춤화 방법.
KR1020037001107A 2000-07-24 2001-07-24 무표정한 얼굴 이미지 상의 정밀 랜드마크 발견을 사용하여 얼굴 특징 추적을 맞춤화하기 위한 방법 및 시스템 KR100827939B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22028800P 2000-07-24 2000-07-24
US60/220,288 2000-07-24
PCT/US2001/023337 WO2002009038A2 (en) 2000-07-24 2001-07-24 Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image

Publications (2)

Publication Number Publication Date
KR20030041131A true KR20030041131A (ko) 2003-05-23
KR100827939B1 KR100827939B1 (ko) 2008-05-13

Family

ID=22822939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037001107A KR100827939B1 (ko) 2000-07-24 2001-07-24 무표정한 얼굴 이미지 상의 정밀 랜드마크 발견을 사용하여 얼굴 특징 추적을 맞춤화하기 위한 방법 및 시스템

Country Status (5)

Country Link
EP (1) EP1303842A2 (ko)
JP (1) JP2004505353A (ko)
KR (1) KR100827939B1 (ko)
AU (2) AU2001277148B2 (ko)
WO (1) WO2002009038A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823611B1 (ko) 2015-10-05 2018-01-31 주식회사 감성과학연구센터 Au 기반의 감성 표정 정보 추출 방법
KR101783453B1 (ko) 2015-10-05 2017-09-29 (주)감성과학연구센터 Au 기반의 안면 움직임 정보 추출 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031539A (en) * 1997-03-10 2000-02-29 Digital Equipment Corporation Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology
WO1999053443A1 (en) * 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation

Also Published As

Publication number Publication date
AU7714801A (en) 2002-02-05
WO2002009038A2 (en) 2002-01-31
KR100827939B1 (ko) 2008-05-13
AU2001277148B2 (en) 2007-09-20
EP1303842A2 (en) 2003-04-23
JP2004505353A (ja) 2004-02-19
WO2002009038A3 (en) 2002-06-27

Similar Documents

Publication Publication Date Title
US6714661B2 (en) Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
JP2023175052A (ja) ３次元空間内の姿勢推定
KR101424942B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
CN105210368B (zh) 背景差分提取装置以及背景差分提取方法
CN105187723B (zh) 一种无人飞行器的摄像处理方法
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN109145788A (zh) 基于视频的姿态数据捕捉方法和系统
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
KR20180102639A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
US20210241422A1 (en) Image processing for reducing artifacts caused by removal of scene elements from images
CN111353355A (zh) 动作追踪系统及方法
KR102118937B1 (ko) 3d 데이터서비스장치, 3d 데이터서비스장치의 구동방법 및 컴퓨터 판독가능 기록매체
US11328436B2 (en) Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map
JPH10240908A (ja) 映像合成方法
KR100827939B1 (ko) 무표정한 얼굴 이미지 상의 정밀 랜드마크 발견을 사용하여 얼굴 특징 추적을 맞춤화하기 위한 방법 및 시스템
JP3940690B2 (ja) 画像処理装置及びその方法
KR20030029638A (ko) 무표정 얼굴 이미지를 사용하여 아바타 애니메이션 변환을생성하기 위한 방법 및 시스템
KR100916588B1 (ko) 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한합성을 위한 모션 캡쳐 시스템 및 방법
JP7288792B2 (ja) 情報処理装置およびデバイス情報導出方法
AU2001277148A1 (en) Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
JPH10149447A (ja) ジェスチャー認識方法および装置
CN109859268A (zh) 基于生成查询网络的物体被遮挡部分成像方法
CN110853130A (zh) 三维图像的生成方法、电子设备及存储介质
Schreer et al. Real-time avatar animation steered by live body motion
US11430132B1 (en) Replacing moving objects with background information in a video scene

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140409

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160412

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170414

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190703

Year of fee payment: 12