KR100896643B1 - Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치 - Google Patents

Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치 Download PDF

Info

Publication number
KR100896643B1
KR100896643B1 KR1020070059590A KR20070059590A KR100896643B1 KR 100896643 B1 KR100896643 B1 KR 100896643B1 KR 1020070059590 A KR1020070059590 A KR 1020070059590A KR 20070059590 A KR20070059590 A KR 20070059590A KR 100896643 B1 KR100896643 B1 KR 100896643B1
Authority
KR
South Korea
Prior art keywords
face
image
aam
region
model
Prior art date
Application number
KR1020070059590A
Other languages
English (en)
Other versions
KR20080111325A (ko
Inventor
오석표
이준우
오현준
정원석
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020070059590A priority Critical patent/KR100896643B1/ko
Publication of KR20080111325A publication Critical patent/KR20080111325A/ko
Application granted granted Critical
Publication of KR100896643B1 publication Critical patent/KR100896643B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 AAM을 이용한 3차원 얼굴 모델링 방법 및 시스템, 그리고 이에 적용되는 장치를 개시한다. 본 발명에 따른 장치는, 객체의 영상을 얼굴인식 실행할 수 있는 영상으로 변환 처리하는 영상전처리부, 전처리된 영상을 기초로 얼굴검출인식 알고리즘을 실행하여 해당 얼굴영역을 추출하기 위한 얼굴영역 검출부, 얼굴영역과 대비되기 위한 통계학적 얼굴모델을 저장하는 데이터베이스부, 얼굴영역을 형태 및 텍스쳐로 구분하여 얼굴특징 요소를 추출하고, 추출한 얼굴특징 요소를 토대로 통계학적 얼굴모델을 변환하여 얼굴영역과 매칭하는 합성 얼굴영상을 모델링하기 위한 AAM 모델링부 및 합성 얼굴영상에 렌더링 처리를 통해 3차원 얼굴영상을 자동 형성하기 위한 3차원 얼굴영상 생성부를 포함하는 것을 특징으로 한다. 따라서, 본 발명은 단일의 2차원 얼굴영상을 기반으로 하여 AAM을 통해 3차원 얼굴영상을 자동 생성할 뿐만 아니라, 생성되는 3차원 얼굴영상의 캐릭터에 다양한 감정상태를 효율적으로 반영하도록 3차원 얼굴 모델링 기법을 제공하여 해당 인물의 감정표현이 반영된 3차원 영상을 이용하는 다양한 응용 서비스의 창출을 할 수 있다.
AAM, 3차원 영상

Description

ＡＡＭ을 이용한 3차원 얼굴 모델링 방법 및 시스템, 그리고 이에 적용되는 장치{METHOD AND SYSTEM FOR MODELING FACE IN THREE DIMENSION BY MEANS OF AAM, AND APPARATUS APPLIED TO THE SAME}
도 1은 본 발명의 일실시 예에 따른 AAM을 이용한 3차원 얼굴 모델링 시스템의 구성도,
도 2는 도 1에 도시된 AAM을 이용한 3차원 얼굴 모델링 시스템의 개념도, 및
도 3은 도 1에 도시된 AAM을 이용한 3차원 얼굴 모델링 시스템의 동작과정을 도시한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 영상 입력수단 200 : 3차원 영상변환 수단
210 : 영상전처리부 220 : 얼굴영역 검출부
230 : 데이터베이스부 240 : AAM 모델링부
250 : 3차원 얼굴영상 생성부 300 : 영상 출력수단
본 발명은 3차원 얼굴 모델링과 관련한 기술에 관한 것으로, 더욱 상세하게는 단일의 2차원 얼굴영상을 기반으로 하여 AAM을 통해 3차원 얼굴영상을 자동 생성할 뿐만 아니라, 생성되는 3차원 얼굴영상의 캐릭터에 다양한 감정상태를 효율적으로 반영하고자 하는 AAM을 이용한 3차원 얼굴 모델링 방법 및 시스템, 그리고 이에 적용되는 장치에 관한 것이다.
일반적으로, 얼굴의 특징 검출에 관한 최근의 연구는 에지 정보를 이용한 방법, 휘도(Luminance), 색차(Chrominance), 얼굴의 기하학적인 외형 및 대칭에 기반한 접근법, 주성분 분석법(PCA; Principal Component Analysis), 템플릿 매칭을 이용한 방법, 얼굴의 곡률을 이용하는 접근법, 신경망을 이용하는 방법 등이 있다.
에지 정보를 이용하는 방법은 대부분 이진화 과정을 거쳐야 하므로 조명이 불균일할 경우 에지 정보 손실로 인해 안정적인 결과를 산출해내기가 어렵다.
또한, 주성분 분석법은 실시간 구현이 용이한 장점이 있으나 영역분리와 배경영상에 민감하며, 신경망에 의한 접근방식은 제한된 조건하에서는 안정적으로 작동할 수 있으나, 새로운 입력을 학습할 때 네트워크 변수의 조정이 어렵고 시간이 많이 걸린다는 단점이 있다.
더 나아가, 얼굴의 특징 검출에 관한 기술을 더욱 확장하여 평면상의 2차원 영상에 포함된 얼굴영역을 인식한 후, 이를 통해 3차원 영상으로 구현하기 위한 연구도 활발하게 진행되고 있다.
이러한 연구에서의 대부분은 4방향, 8방향, 또는 16방향 등에서의 여러 방향에 대한 2차원 영상을 합성하여 파노라마 형태의 얼굴 영상을 텍스쳐 영상으로 사 용함에 따라, 특정 사람의 3차원 얼굴모델 영상을 하는 것이 대부분이다.
이와 같은 종래의 2차원 영상으로부터의 3차원 영상얼굴 모델링 방법은 특정 사람의 얼굴을 적어도 4방향에서 촬영한 여러 장의 2차원 텍스쳐 영상이 입력되면, 3차원 일반얼굴 모델을 텍스쳐 영상의 촬영 각도와 동일한 각도에서 2차원 영상평면 상에 프로젝션시키는 제 1 단계, 텍스쳐 영상에서 특징점들을 연결하는 특징선들을 구하는 제 2 단계, 프로젝션된 일반 얼굴 모델에서 특징점들을 연결하여 텍스쳐 영상의 특징선들과 대응되는 특징선들을 구하는 제 3 단계, 텍스쳐 영상의 특징선과 일치하도록 상기 일반 얼굴 모델의 특징선들을 변형시키는 제 4 단계, 모든 텍스쳐 영상에 대하여 제 1 단계 내지 제 4 단계를 반복하여 특정 사람의 얼굴과 비슷한 얼굴 모델을 구하는 제 5 단계, 모든 텍스쳐 영상을 반지름이 R인 실린더에 투영하는 제 6 단계, 인접한 두 텍스쳐 영상을 이용하여 임의의 각도에 대한 시각 영상을 구하는 제 7 단계, 임의의 각동 대한 두 개의 시각 영상을 보간하여 임의의 각도에서의 영상을 구하는 제 8 단계, 모든 각도(0도 내지 359도)에서 제 6 단계 내지 제 8 단계를 수행하여 파노라마 영상을 구하는 제 9 단계 및 특정사람의 얼굴과 비슷하게 변형된 얼굴 모델에 파노라마 영상을 텍스쳐 매핑하는 제 10 단계를 수행하여 3차원 영상얼굴 모델링 영상을 구하게 된다.
상기에서 확인할 수 있듯이, 종래의 3차원 영상얼굴 모델링 방법은 다양한 각도에서의 2차원 영상을 다수 획득하여야 하며, 이를 재조합하여 3차원 영상을 구현하기 위한 별도의 프로세싱을 구현하여야 한다. 이에 따라, 이러한 기법은 다양한 주변장치를 필요로 할 뿐만 아니라, 많은 시간을 필요로 하기 때문에 비효율적 인 측면이 다분하여 이를 개선하기 위한 연구가 진행중에 있다.
따라서, 본 발명은 상기의 문제점들을 해결하기 위해 창출된 것으로, 본 발명의 목적은 단일의 2차원 얼굴영상을 기반으로 하여 AAM을 통해 3차원 얼굴영상을 자동 생성할 뿐만 아니라, 생성되는 3차원 얼굴영상의 캐릭터에 다양한 감정상태를 효율적으로 반영하고자 하는 AAM을 이용한 3차원 얼굴 모델링 방법 및 시스템, 그리고 이에 적용되는 장치를 제공하는 데 있다.
이러한 목적을 이루기 위한 본 발명의 장치는 특정 사람의 얼굴영상을 제공받아 얼굴인식 프로세싱에서 적용가능한 형태로 변환 처리하기 위한 영상전처리부, 전처리된 영상을 기초로 Adaboost 알고리즘 및 SVM 알고리즘을 통합하여 구현되는 얼굴검출인식 알고리즘을 실행하여 해당 얼굴영역을 추출하기 위한 얼굴영역 추출부, 검출한 얼굴영역과 대비되는 위한 통계학적 얼굴모델을 저장하는 데이터베이스부, 상기 얼굴영역을 형태 및 텍스쳐로 구분하여 얼굴특징점 및 고른 밝기값을 포함하는 얼굴특징 요소를 토대로 통계학적 얼굴모델을 변환하여 상기 얼굴영역과 매칭하는 합성 얼굴영상을 모델링하기 위한 AAM 모델링부, 및 상기 모델링한 합성 얼굴영상에 맵핑 소스를 결합하는 렌더링 처리과정을 거쳐 3차원 얼굴영상을 자동 형성하기 위한 3차원 얼굴영상 생성부를 포함하여 구현될 수 있다.
상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 AAM을 이용한 3차원 얼굴 모델링 방법은, (가) 3차원 영상변환 수단이 소정의 객체에 대한 영상을 제공 받아 얼굴인식을 위한 영상 전처리를 실행하는 단계, (나) 상기 전처리된 영상을 기초로 얼굴검출인식 알고리즘을 실행하여 해당 얼굴영역을 추출하는 단계, (다) 상기 얼굴영역을 형태(Shape) 및 텍스쳐(Texture)로 구분하여 얼굴특징 요소를 추출하고, 상기 추출한 얼굴특징 요소를 토대로 기 저장중인 통계학적 얼굴모델(AAM; Active Appearance Model)을 변환하여 상기 얼굴영역과 매칭하는 합성 얼굴영상을 모델링하기 위한 단계 및 (라) 상기 합성 얼굴영상에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴영상을 자동 형성하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 방법은 (마) 상기 객체에 대한 영상이 반복 입력될 경우, 상기 영상을 이루는 객체를 추적하기 위한 트래킹 알고리즘을 오브젝트 및 얼굴영역에 대한 트래킹으로 구분하여 실행하며 이 실행결과를 토대로 상기 3차원 얼굴영상을 실시간 자동 형성하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 오브젝트 트래킹은 상기 반복 입력되는 영상 중 현재 영상에 대한 영상분할을 실행하여 기 설정된 블록 수의 분할영역이 설정되고, 이전 영상를 토대로 형성된 상기 객체의 움직임 상태정보를 통해 상기 현재 영상으로부터 대응하는 분할영역을 추출하는 과정을 반복하여 상기 객체의 움직임을 추적하는 것을 특징으로 한다.
바람직하게는, 상기 얼굴영역 트래킹은 상기 반복 입력되는 영상 중 현재 영상으로부터 형성된 상기 얼굴영역 및 상기 얼굴영역을 토대로 형성되는 얼굴특징 요소를 기준으로 상기 객체의 움직임과 대응하는 트래킹 초기값을 설정하고, 상기 통계학적 얼굴모델을 통해 상기 얼굴특징 요소의 에러값을 산출하며, 상기 에러값을 토대로 상기 트래킹 초기값을 변경하여 상기 얼굴영역을 재형성하도록 하는 것을 특징으로 한다.
바람직하게는, 상기 (가) 단계는 상기 영상을 그레이 값으로 변환하고, 상기 영상을 이루는 정수값을 차후 얼굴인식을 위한 플로팅 값으로 변환하는 과정을 포함하여 상기 영상 전처리를 실행하는 것을 특징으로 한다.
바람직하게는, 상기 (가) 단계는 상기 객체에 대한 영상은 2차원 영상인 것을 특징으로 한다.
바람직하게는, 상기 (나) 단계는 상기 전처리된 영상으로부터 상기 얼굴영역을 추출하기 위한 분류자가 예정된 레벨 이하로 미비할 경우 대응하는 분류자의 형성을 위한 Adaboost 알고리즘 및 상기 전처리된 영상의 데이터를 최적의 특징 패턴으로 분류하기 위한 SVM(Support-Vector Machine) 알고리즘을 결합한 형태로 상기 얼굴검출인식 알고리즘을 구현하는 것을 특징으로 한다.
바람직하게는, 상기 (나) 단계는 상기 전처리된 영상에 대한 기하학적인 정규화, 밝기값 분포를 위한 히스토그램 평활화 및 마스킹(Masking)을 포함하는 과정을 거쳐 상기 얼굴영역을 추출하는 것을 특징으로 한다.
바람직하게는, 상기 (다) 단계는 (다-1) 상기 얼굴영역을 이루는 포맷을 형태 및 텍스쳐로 구분하는 단계, (다-2) 상기 얼굴특징 요소를 이루는 얼굴특징점을 상기 얼굴영역의 형태에 마킹하여 상기 통계학적 얼굴모델과의 비교를 통해 얼굴형태 모델을 형성하는 단계, (다-3) 상기 얼굴특징 요소를 이루는 상기 얼굴영역 내 의 픽셀에 대한 밝기값 및 상기 얼굴영역의 형태에 대한 평균값을 토대로 하는 뤄핑(Warping) 기법을 통해 텍스쳐 모델을 형성하는 단계, (다-4) 상기 얼굴형태 모델 및 상기 텍스쳐 모델을 결합하여 상기 합성 얼굴영상을 모델링하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 (다) 단계는 상기 합성얼굴 영상이 상기 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 상기 통계학적 얼굴모델의 형태 및 텍스쳐를 이루는 파라미터를 변경하여 상기 합성얼굴 영상을 모델링하는 과정을 반복하여 실행하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 AAM을 이용한 3차원 얼굴 모델링 시스템은, 객체의 영상을 입력하기 위한 영상 입력수단, 상기 영상을 전처리하여 해당 얼굴영역을 검출하고 상기 얼굴영역을 형태 및 텍스쳐로 구분하여 얼굴특징 요소를 추출하며, 상기 추출한 얼굴특징 요소를 토대로 기 저장중인 통계학적 얼굴모델을 변환하여 상기 얼굴영역을 이루는 영상과 매칭하는 합성 얼굴영상을 모델링한 후, 상기 합성 얼굴영상에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴영상을 자동 형성하기 위한 3차원 영상변환 수단 및 상기 3차원 얼굴영상을 제공받아 대응하는 응용 프로그램을 실행하기 위한 영상 출력수단을 포함하는 것을 특징으로 한다.
바람직하게는, 상기 3차원 영상변환 수단은 상기 영상을 얼굴인식 실행할 수 있는 영상으로 변환 처리하는 영상전처리부, 상기 전처리된 영상을 기초로 얼굴검출인식 알고리즘을 실행하여 해당 얼굴영역을 추출하기 위한 얼굴영역 검출부, 상 기 얼굴영역과 대비되기 위한 통계학적 얼굴모델을 저장하는 데이터베이스부, 상기 얼굴영역을 형태 및 텍스쳐로 구분하여 얼굴특징 요소를 추출하고, 상기 추출한 얼굴특징 요소를 토대로 상기 통계학적 얼굴모델을 변환하여 상기 얼굴영역과 매칭하는 합성 얼굴영상을 모델링하기 위한 AAM 모델링부 및 상기 합성 얼굴영상에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴영상을 자동 형성하기 위한 3차원 얼굴영상 생성부를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 AAM 모델링부는 상기 얼굴특징 요소를 이루는 얼굴특징점을 MPEG-4의 FAP(Face Animation Parameter) 표준에 기반하여 적어도 76개 이상 추출하는 것을 특징으로 한다.
그리고, 상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 AAM을 이용한 3차원 영상변환 장치는, 객체의 영상을 얼굴인식 실행할 수 있는 영상으로 변환 처리하는 영상전처리부, 상기 전처리된 영상을 기초로 얼굴검출인식 알고리즘을 실행하여 해당 얼굴영역을 추출하기 위한 얼굴영역 검출부, 상기 얼굴영역과 대비되기 위한 통계학적 얼굴모델을 저장하는 데이터베이스부, 상기 얼굴영역을 형태 및 텍스쳐로 구분하여 얼굴특징 요소를 추출하고, 상기 추출한 얼굴특징 요소를 토대로 상기 통계학적 얼굴모델을 변환하여 상기 얼굴영역과 매칭하는 합성 얼굴영상을 모델링하기 위한 AAM 모델링부 및 상기 합성 얼굴영상에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴영상을 자동 형성하기 위한 3차원 얼굴영상 생성부를 포함하는 것을 특징으로 한다.
이하, 첨부도면들을 참조하여 본 발명에 따른 AAM을 이용한 3차원 얼굴 모델링 시스템의 바람직한 실시예를 보다 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일실시 예에 따른 AAM을 이용한 3차원 얼굴 모델링 시스템의 구성도이다. 도 1에 도시된 바와 같이, AAM을 이용한 3차원 얼굴 모델링 시스템은 객체(예컨데, 특정 사람의 얼굴)의 영상을 촬영하여 촬영한 영상을 취득하기 위한 영상 입력수단(100), 상기 영상 입력수단(100)으로부터 제공되는 영상을 그레이 값으로 변환하고 상기 영상을 이루는 정수값을 차후 얼굴인식을 위한 플로팅 값으로 변환하는 과정을 포함하는 영상 전처리 과정을 거쳐 해당 얼굴영역을 검출하고, 상기 얼굴영역의 형태(Shape) 및 텍스쳐(Texture)로 구분하여 얼굴특징점, 밝기값 등을 포함하는 얼굴특징 요소를 추출하며, 추출한 얼굴특징 요소를 토대로 기 저장중인 통계학적 얼굴모델을 변환하여 상기 얼굴영역을 이루는 영상과 매칭하는 합성 얼굴영상을 모델링한 후, 이렇게 형성한 합성 얼굴영상에 맵핑 소스를 결합하는 랜더링 처리를 통해 상기 영상 입력수단(100)으로부터 제공된 영상을 3차원 얼굴영상으로 자동 형성하기 위한 3차원 영상변환 수단(200), 및 상기 3차원 영상변환 수단(200)으로부터 3차원 얼굴영상을 제공받아 대응하는 소정의 응용 프로그램을 실행하기 위한 영상 출력수단을 포함한다.
더 나아가, 3차원 영상변환 수단(200)은 영상 입력수단(100)으로부터 제공되는 영상(예를 들면, 2차원 영상인 사진, 그림 등)을 얼굴인식 실행할 수 있는 영상으로 변환 처리하는 영상전처리부(210), 전처리된 영상을 기초로 상기 얼굴영역을 추출하기 위한 분류자가 예정된 레벨 이하로 미비할 경우 대응하는 분류자의 형성 을 위한 Adaboost 알고리즘 및 상기 전처리된 영상의 데이터를 최적의 특징 패턴으로 분류하기 위한 SVM(Support-Vector Machine) 알고리즘을 결합한 형태로 상기 얼굴검출인식 알고리즘을 실행하여 해당 얼굴영역을 추출하기 위한 얼굴영역 검출부(220), 상기 얼굴영역과 대비되기 위한 통계학적 얼굴모델(AAM; Active Appearance Model)을 저장하는 데이터베이스부(230), 상기 얼굴영역을 형태 및 텍스쳐로 구분하여 얼굴특징 요소를 추출하고, 추출한 얼굴특징 요소를 토대로 통계학적 얼굴모델을 변환하여 상기 얼굴영역과 매칭하는 합성 얼굴영상을 모델링하기 위한 AAM 모델링부(240), 및 합성 얼굴영상에 형태, 위치, 조명 등 외부의 정보에 따라 다르게 나타나는 그림자, 색상, 농도 등을 고려하여 입체감을 나타내기 위한 맵핑 소스를 결합하는 렌터링 처리를 통해 3차원 얼굴영상을 자동 형성하기 위한 3차원 얼굴영상 생성부(250)를 포함한다.
상기 AAM 모델링부(240)는 합성얼굴 영상이 상기 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 상기 통계학적 얼굴모델의 형태 및 텍스쳐를 이루는 파라미터를 변경하여 상기 합성얼굴 영상을 모델링하는 과정을 반복하여 실행한다. 또한, 얼굴특징 요소를 이루는 얼굴특징점은 MPEG-4의 FAP(Face Animation Parameter) 표준에 기반하여 적어도 76개 이상 추출하는 것이 바람직하다.
이를 통해, 사람의 다양한 얼굴근육 분석이 가능하고, 이에 의해 다양한 얼굴표정이 있는 3차원 얼굴영상의 구현이 가능하게 된다.
도 2는 도 1에 도시된 AAM을 이용한 3차원 얼굴 모델링 시스템의 개념도이다. 도 2에 도시된 바와 같이, 상기 AAM을 이용한 3차원 얼굴 모델링 시스템은 단일의 2차원 영상을 통해 3차원 영상을 구현하기 위한 것으로써, 카메라 또는 휴대폰 등과 같은 영상 입력수단(100)을 제공되는 2차원 영상을 전처리 과정을 거친 후, Adaboost 알고리즘과 SVM 알고리즘을 결합하여 구현되는 얼굴검출인식 알고리즘을 실행하여 해당 얼굴영역을 추출한다. 이후, 기 저장중인 통계학적 얼굴모델을 상기 얼굴영역으로부터 검출한 얼굴특징 요소를 토대로 변환하여 상기 얼굴영역과 매칭하는 합성 얼굴영상을 모델링한다. 이렇게 모델링된 합성 얼굴영상에 렌더링 처리를 하여 3차원 얼굴영상을 형성하게 된다.
더 나아가, 3차원 영상 변환하기 영상이 반복 입력될 경우, 입력되는 영상을 이루는 객체를 추적하기 위한 트래킹 알고리즘을 오브젝트 및 얼굴영역에 대한 트래킹으로 구분하여 실행하며, 상기 오브젝트 트래킹은 반복 입력되는 영상 중 현재 영상에 대한 영상분할을 실행하여 기 설정된 블록 수의 분할영역이 설정되고, 이전 영상를 토대로 형성된 상기 객체의 움직임 상태정보를 통해 상기 현재 영상으로부터 대응하는 분할영역을 추출하는 과정을 반복하여 상기 객체의 움직임을 추적하게 된다.
또한, 상기 얼굴영역 트래킹은 상기 반복 입력되는 영상 중 현재 영상으로부터 형성된 상기 얼굴영역 및 상기 얼굴영역을 토대로 형성되는 얼굴특징 요소를 기준으로 상기 객체의 움직임과 대응하는 트래킹 초기값을 설정하고, 상기 통계학적 얼굴모델을 통해 상기 얼굴특징 요소의 에러값을 산출하며, 상기 에러값을 토대로 상기 트래킹 초기값을 변경하여 상기 얼굴영역을 재형성하도록 하게 한다.
이하에서는, 첨부도면을 참조하여 본 발명에 따른 AAM을 이용한 3차원 얼굴 모델링 시스템의 동작과정에 대해 보다 상세히 설명하면 다음과 같다.
도 3은 도 1에 도시된 AAM을 이용한 3차원 얼굴 모델링 시스템의 동작과정을 도시한 순서도이다. 도 3에 도시된 바와 같이, AAM을 이용한 3차원 얼굴 모델링 방법은 3차원 영상변환 장치가 소정의 2차원 영상을 제공받아 얼굴인식을 영상 전처리를 실행하고(S100 및 S102), 이렇게 실행된 결과로 제공되는 전처리된 영상을 기초로 얼굴검출인식 알고리즘을 실행하여 특정 사람의 얼굴영역을 추출하게 된다(S104).
이후, 상기 얼굴영역을 형태 및 텍스쳐로 구분하여 각각 별도의 모델링을 실행하고(S106), 이러한 별도의 모델링 과정에서 얼굴특징 요소를 이루는 얼굴특징점을 얼굴영역의 형태에 마킹하여 통계학적 얼굴모델과의 비교를 실행하여 얼굴형태 모델을 형성한다(S108).
한편, 텍스쳐로 구분되는 모델링 과정에서 얼굴특징 요소를 이루는 얼굴영역 내의 픽셀에 대한 밝기값 및 얼굴영역의 형태에 대한 평균값을 토대로 하는 뤄핑(Warping) 기법을 통해 텍스쳐 모델을 형성한다(S110).
이후, 상기 얼굴형태 모델 및 상기 텍스쳐 모델을 결합하여 합성 얼굴영상을 형성하게 되며(S112), 모델링되어 형성된 합성 얼굴영상이 상기 얼굴영역에서의 영상과 기 설정된 맵핑값 이내로 수렴하지 않으면, 이는 아직 통계학적 얼굴모델이 특정 사람의 얼굴과 오차범위 내로 일치하지 않는 것이므로 상기 통계학적 얼굴모델의 형태 및 텍스쳐를 이루는 파라미터를 상기 기 설정된 맵핑값과 벗어나는 정도와 대응하도록 하는 연산을 통해 변경한 후(S116), 이를 반영하는 합성얼굴 영상의 모델링하는 과정(S108 내지 S114)를 반복 실행한다.
상기 S114 단계에서, 합성 얼굴영상이 기 설정된 맵핑값 이내로 수렴하면, 해당 맵핑 소스와 상기 합성 얼굴영상을 결합하는 렌더링 과정을 실행하여 3차원 얼굴영상을 형성한다(S118 및 S120).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
따라서, 본 발명에서는 단일의 2차원 얼굴영상을 기반으로 하여 AAM을 통해 3차원 얼굴영상을 자동 생성할 뿐만 아니라, 생성되는 3차원 얼굴영상의 캐릭터에 다양한 감정상태를 효율적으로 반영할 수 있는 3차원 얼굴 모델링 기법을 제공함으로써, 2차원의 사진을 통해 자동으로 3차원 얼굴영역의 캐릭터를 생성할 수 있으며, 상기 2차원의 사진 속에 인물의 감정도 표현할 수 있으므로 해당 인물의 감정표현이 반영된 3차원 영상을 이용하는 다양한 응용 서비스의 창출이 가능하며, 특히 상기 다양한 응용 서비스 중에서도 아바타 메신저 서비스, 아바타 화상전화 및 모바일 에이전트, 개인홈피 서비스, 캐릭터 대체 게임 서비스 및 mVR 얼굴 생성지 원 등에 서비스 이용자의 2차원 얼굴사진을 3차원 얼굴영상으로 변환하여 반영할 수 있음에 따라, 각종 커뮤니케이션 매체에서 개인 특성화 경향을 보이는 현 추세에서 각종 응용 서비스를 활성화할 수 있는 이점이 있다.

Claims (14)

  1. (가) 3차원 영상변환 수단이 소정의 객체에 대한 영상을 제공받아 얼굴인식을 위한 영상 전처리를 실행하는 단계;
    (나) 상기 전처리된 영상을 기초로 얼굴검출인식 알고리즘을 실행하여 해당 얼굴영역을 추출하는 단계;
    (다) 상기 얼굴영역을 형태(Shape) 정보 및 텍스쳐(Texture) 정보로 구분하여 얼굴특징 요소를 추출하고, 상기 형태(Shape) 정보를 토대로 얼굴의 형태를 유지한 상태에서, 상기 텍스쳐 정보를 토대로 기 저장중인 통계학적 얼굴모델(AAM; Active Appearance Model)을 변환하여 상기 얼굴영역과 매칭하는 합성 얼굴영상을 모델링하기 위한 단계; 및
    (라) 상기 합성 얼굴영상에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴영상을 자동 형성하는 단계를 포함하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  2. 제 1 항에 있어서, 상기 방법은
    (마) 상기 객체에 대한 영상이 반복 입력될 경우, 상기 영상을 이루는 객체를 추적하기 위한 트래킹 알고리즘을 오브젝트 및 얼굴영역에 대한 트래킹으로 구분하여 실행하며 이 실행결과를 토대로 상기 3차원 얼굴영상을 실시간 자동 형성하는 단계를 더 포함하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  3. 제 2 항에 있어서, 상기 오브젝트 트래킹은
    상기 반복 입력되는 영상 중 현재 영상에 대한 영상분할을 실행하여 기 설정된 블록 수의 분할영역이 설정되고, 이전 영상를 토대로 형성된 상기 객체의 움직임 상태정보를 통해 상기 현재 영상으로부터 대응하는 분할영역을 추출하는 과정을 반복하여 상기 객체의 움직임을 추적하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  4. 제 2 항에 있어서, 상기 얼굴영역 트래킹은
    상기 반복 입력되는 영상 중 현재 영상으로부터 형성된 상기 얼굴영역 및 상기 얼굴영역을 토대로 형성되는 얼굴특징 요소를 기준으로 상기 객체의 움직임과 대응하는 트래킹 초기값을 설정하고, 상기 통계학적 얼굴모델을 통해 상기 얼굴특징 요소의 에러값을 산출하며, 상기 에러값을 토대로 상기 트래킹 초기값을 변경하여 상기 얼굴영역을 재형성하도록 하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  5. 제 1 항 또는 제 2 항에 있어서, 상기 (가) 단계는
    상기 영상을 그레이 값으로 변환하고, 상기 영상을 이루는 정수값을 차후 얼굴인식을 위한 플로팅 값으로 변환하는 과정을 포함하여 상기 영상 전처리를 실행하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  6. 제 1 항 또는 제 2 항에 있어서, 상기 (가) 단계는
    상기 객체에 대한 영상은 2차원 영상인 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  7. 제 1 항 또는 제 2 항에 있어서, 상기 (나) 단계는
    상기 전처리된 영상으로부터 상기 얼굴영역을 추출하기 위한 분류자가 예정된 레벨 이하로 미비할 경우 대응하는 분류자의 형성을 위한 Adaboost 알고리즘 및 상기 전처리된 영상의 데이터를 최적의 특징 패턴으로 분류하기 위한 SVM(Support-Vector Machine) 알고리즘을 결합한 형태로 상기 얼굴검출인식 알고리즘을 구현하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  8. 제 1 항 또는 제 2 항에 있어서, 상기 (나) 단계는
    상기 전처리된 영상에 대한 기하학적인 정규화, 밝기값 분포를 위한 히스토그램 평활화 및 마스킹(Masking)을 포함하는 과정을 거쳐 상기 얼굴영역을 추출하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  9. 제 1 항 또는 제 2 항에 있어서, 상기 (다) 단계는
    (다-1) 상기 얼굴영역을 이루는 포맷을 형태 및 텍스쳐로 구분하는 단계;
    (다-2) 상기 얼굴특징 요소를 이루는 얼굴특징점을 상기 얼굴영역의 형태에 마킹하여 상기 통계학적 얼굴모델과의 비교를 통해 얼굴형태 모델을 형성하는 단 계;
    (다-3) 상기 얼굴특징 요소를 이루는 상기 얼굴영역 내의 픽셀에 대한 밝기값 및 상기 얼굴영역의 형태에 대한 평균값을 토대로 하는 뤄핑(Warping) 기법을 통해 텍스쳐 모델을 형성하는 단계;
    (다-4) 상기 얼굴형태 모델 및 상기 텍스쳐 모델을 결합하여 상기 합성 얼굴영상을 모델링하는 단계를 포함하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  10. 제 1 항 또는 제 2 항에 있어서, 상기 (다) 단계는
    상기 합성얼굴 영상이 상기 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 상기 통계학적 얼굴모델의 형태 및 텍스쳐를 이루는 파라미터를 변경하여 상기 합성얼굴 영상을 모델링하는 과정을 반복하여 실행하는 단계를 더 포함하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 방법.
  11. 객체의 영상을 입력하기 위한 영상 입력수단;
    상기 영상을 전처리하여 해당 얼굴영역을 검출하고 형태(Shape) 정보 및 텍스쳐(Texture) 정보로 구분하여 얼굴특징 요소를 추출하며, 상기 형태(Shape) 정보를 토대로 얼굴의 형태를 유지한 상태에서, 상기 텍스쳐 정보를 토대로 기 저장중인 통계학적 얼굴모델(AAM; Active Appearance Model)을 변환하여 상기 얼굴영역을 이루는 영상과 매칭하는 합성 얼굴영상을 모델링한 후, 상기 합성 얼굴영상에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴영상을 자동 형성하기 위한 3차원 영상변환 수단; 및
    상기 3차원 얼굴영상을 제공받아 대응하는 응용 프로그램을 실행하기 위한 영상 출력수단을 포함하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 시스템.
  12. 제 11 항에 있어서, 상기 3차원 영상변환 수단은
    상기 합성 얼굴영상이 상기 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 상기 통계학적 얼굴모델의 형태 및 텍스쳐를 이루는 파라미터를 변경하여 상기 합성 얼굴영상을 모델링하는 프로세싱을 반복 실행하는 것을 특징으로 하는 AAM을 이용한 3차원 얼굴 모델링 시스템.
  13. 객체의 영상을 얼굴인식 실행할 수 있는 영상으로 변환 처리하는 영상전처리부;
    상기 전처리된 영상을 기초로 얼굴검출인식 알고리즘을 실행하여 해당 얼굴영역을 추출하기 위한 얼굴영역 검출부;
    상기 얼굴영역과 대비되기 위한 통계학적 얼굴모델(AAM; Active Appearance Model)을 저장하는 데이터베이스부;
    상기 얼굴영역을 형태(Shape) 정보 및 텍스쳐(Texture) 정보로 구분하여 얼굴특징 요소를 추출하고, 상기 형태(Shape) 정보를 토대로 얼굴의 형태를 유지한 상태에서, 상기 텍스쳐 정보를 토대로 기 저장중인 통계학적 얼굴모델을 변환하여 상기 얼굴영역과 매칭하는 합성 얼굴영상을 모델링하기 위한 AAM 모델링부; 및
    상기 합성 얼굴영상에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴영상을 자동 형성하기 위한 3차원 얼굴영상 생성부를 포함하는 것을 특징으로 하는 AAM을 이용한 3차원 영상변환 장치.
  14. 제 13 항에 있어서, 상기 AAM 모델링부는
    상기 얼굴특징 요소를 이루는 얼굴특징점을 MPEG-4의 FAP(Face Animation Parameter) 표준에 기반하여 적어도 76개 이상 추출하는 것을 특징으로 하는 AAM을 이용한 3차원 영상변환 장치.
KR1020070059590A 2007-06-18 2007-06-18 Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치 KR100896643B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070059590A KR100896643B1 (ko) 2007-06-18 2007-06-18 Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070059590A KR100896643B1 (ko) 2007-06-18 2007-06-18 Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치

Publications (2)

Publication Number Publication Date
KR20080111325A KR20080111325A (ko) 2008-12-23
KR100896643B1 true KR100896643B1 (ko) 2009-05-08

Family

ID=40369603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070059590A KR100896643B1 (ko) 2007-06-18 2007-06-18 Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치

Country Status (1)

Country Link
KR (1) KR100896643B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482656B2 (en) 2015-12-01 2019-11-19 Samsung Electronics Co., Ltd. 3D face modeling methods and apparatuses
US10540540B2 (en) 2014-11-07 2020-01-21 Samsung Electronics Co., Ltd. Method and device to determine landmark from region of interest of image

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011040653A1 (ko) * 2009-09-30 2011-04-07 주식회사 한울네오텍 3차원 객체를 제공하는 사진 장치 및 그 제공방법
KR20110053166A (ko) 2009-11-13 2011-05-19 삼성전자주식회사 3ｄ 오브젝트 렌더딩 방법 및 장치
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
US9110501B2 (en) 2012-04-17 2015-08-18 Samsung Electronics Co., Ltd. Method and apparatus for detecting talking segments in a video sequence using visual cues
CN103530900B (zh) * 2012-07-05 2019-03-19 北京三星通信技术研究有限公司 三维人脸模型的建模方法、人脸跟踪方法以及设备
KR101936802B1 (ko) * 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
US10326972B2 (en) 2014-12-31 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional image generation method and apparatus
KR101725808B1 (ko) 2015-08-27 2017-04-26 연세대학교 산학협력단 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치
KR102335356B1 (ko) 2019-10-07 2021-12-03 현대자동차 주식회사 체결공구 시스템 및 그 제어 방법
CN117409148A (zh) * 2023-11-15 2024-01-16 北京汇畅数宇科技发展有限公司 一种人脸自动建模方法、装置及计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074271A (ja) 1996-08-30 1998-03-17 Nippon Telegr & Teleph Corp <Ntt> ３次元似顔作成方法および装置
KR20010084996A (ko) * 2001-07-09 2001-09-07 한희철 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074271A (ja) 1996-08-30 1998-03-17 Nippon Telegr & Teleph Corp <Ntt> ３次元似顔作成方法および装置
KR20010084996A (ko) * 2001-07-09 2001-09-07 한희철 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540540B2 (en) 2014-11-07 2020-01-21 Samsung Electronics Co., Ltd. Method and device to determine landmark from region of interest of image
US10482656B2 (en) 2015-12-01 2019-11-19 Samsung Electronics Co., Ltd. 3D face modeling methods and apparatuses

Also Published As

Publication number Publication date
KR20080111325A (ko) 2008-12-23

Similar Documents

Publication Publication Date Title
KR100896643B1 (ko) Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치
Zeng et al. Df2net: A dense-fine-finer network for detailed 3d face reconstruction
JP6956252B2 (ja) 顔表情合成方法、装置、電子機器及びコンピュータプログラム
Pishchulin et al. Learning people detection models from few training samples
US8624901B2 (en) Apparatus and method for generating facial animation
US7623687B2 (en) Three-dimensional face recognition
KR101198322B1 (ko) 얼굴 표정 인식 방법 및 시스템
JP4950787B2 (ja) 画像処理装置及びその方法
JP5505409B2 (ja) 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
Shamai et al. Synthesizing facial photometries and corresponding geometries using generative adversarial networks
WO2006034256A9 (en) System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
JP2002024811A (ja) 影成分除去装置
Anbarjafari et al. 3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media
Banerjee et al. Fast face image synthesis with minimal training
Wang et al. Digital twin: Acquiring high-fidelity 3D avatar from a single image
Pini et al. Learning to generate facial depth maps
Liu et al. Superimposition-guided facial reconstruction from skull
KR100902995B1 (ko) 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치
Cushen et al. Markerless real-time garment retexturing from monocular 3d reconstruction
JP2022522429A (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのｉｄを検証するための方法
CN114862716B (en) Image enhancement method, device, equipment and storage medium for face image
Li et al. 3d facial expression recognition using delta faces
Wu et al. An automatic approach to facial feature extraction for 3-D face modeling
FERKOVÁ Multimodal Landmark Detection for Anthropology

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170404

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee