KR20120138627A - 안면 추적 장치 및 방법 - Google Patents

안면 추적 장치 및 방법 Download PDF

Info

Publication number
KR20120138627A
KR20120138627A KR1020120036728A KR20120036728A KR20120138627A KR 20120138627 A KR20120138627 A KR 20120138627A KR 1020120036728 A KR1020120036728 A KR 1020120036728A KR 20120036728 A KR20120036728 A KR 20120036728A KR 20120138627 A KR20120138627 A KR 20120138627A
Authority
KR
South Korea
Prior art keywords
dimensional
face
frame image
image
constraints
Prior art date
Application number
KR1020120036728A
Other languages
English (en)
Inventor
샤오류 쉔
슈에타오 펑
중배 김
후이 장
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/523,221 priority Critical patent/US20120321134A1/en
Publication of KR20120138627A publication Critical patent/KR20120138627A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08G—MACROMOLECULAR COMPOUNDS OBTAINED OTHERWISE THAN BY REACTIONS ONLY INVOLVING UNSATURATED CARBON-TO-CARBON BONDS
    • C08G59/00—Polycondensates containing more than one epoxy group per molecule; Macromolecules obtained by polymerising compounds containing more than one epoxy group per molecule using curing agents or catalysts which react with the epoxy groups
    • C08G59/18—Macromolecules obtained by polymerising compounds containing more than one epoxy group per molecule using curing agents or catalysts which react with the epoxy groups ; e.g. general methods of curing
    • C08G59/182—Macromolecules obtained by polymerising compounds containing more than one epoxy group per molecule using curing agents or catalysts which react with the epoxy groups ; e.g. general methods of curing using pre-adducts of epoxy compounds with curing agents
    • C08G59/184—Macromolecules obtained by polymerising compounds containing more than one epoxy group per molecule using curing agents or catalysts which react with the epoxy groups ; e.g. general methods of curing using pre-adducts of epoxy compounds with curing agents with amines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Polymers & Plastics (AREA)
  • Multimedia (AREA)
  • Organic Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Polyurethanes Or Polyureas (AREA)
  • Paints Or Removers (AREA)

Abstract

본 발명은 안면 추적 장치 및 방법을 제공한다. 상기 안면 추적 장치는 비디오 이미지를 수신하고 상기 수신된 비디오 이미지에 있는 현재 프레임 이미지를 예측부에 출력하는 이미지 수집부; 안면 피팅(fitting)부를 통해 획득된 이전 프레임 이미지에 있는 안면의 2차원 특성 및 3차원 특성에 기초하여 상기 이미지 수집부를 통해 출력된 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하고, 상기 예측된 키 포인트의 2차원 위치를 안면 피팅부에 출력하는 예측부; 및 하나 또는 복수의 제약 조건을 이용하여 상기 예측부를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅함으로써 안면의 2차원 특성과 3차원 특성을 획득하는 안면 피팅부를 포함한다.

Description

안면 추적 장치 및 방법{A FACE TRACKING METHOD AND DEVICE}
본 발명은 비디오 이미지에 있는 대상을 추적하는 기술에 관한 것으로, 특히 비디오 이미지에서 안면의2차원(2D) 특성 및 3차원 특성(3D)을 지속적으로 추적하는 장치와 방법에 관한 것이다.
정보처리 기술(특히 비디오 이미지 기술)의 발달로 인해 최근에 많은 시스템과 장치는 비디오 이미지에서 어느 특정 대상(예를 들어: 안면)을 추적 및 식별할 필요가 있다. 예컨대, 여러 비디오 카메라 감시 시스템에서 연속적인 비디오 이미지에 있는 안면을 추적해야 현장의 실제 상황을 식별 및 분석을 할 수 있다. 또한, 추적된 안면의 2차원 정보 및 3차원 정보가 사람의 표정 또는 형태를 반영됨으로 인해 HCI (Human Computer Interaction) 시스템에서 연속 추적된 안면의 특성에 대해 사용자의 감정을 식별할 수 있고, 해당 감정이 사용자가 입력된 작동 지시에 대응되며 더욱 스마트 및 우호적인 교류를 실현할 수 있다. 따라서 추적된 안면의 특성이 안면 부위의 애니메이션 작성, 초점 검측 및 자동 감시 등에 적용될 수 있다.
안면의 추적을 실현하기 위해, 기준의 기술에서는 구조형 광 프로젝터(Structured light projector), 방향을 바꾼 스트로보(stroboscopic) 광원, 및 페이스트 표지 등 부가적인 수단을 이용해서 추적된 안면을 위한 쉽게 식별할 수 있는 공간 정보를 추가하고, 그 다음에 비디오에서 상기 정보를 포착하여 추적 분석을 실현한다. 예컨대, 중국 특허 출원 제200610085748호 '구조형 광에 기초하여 안면의 위치를 정하는 방법'에서는 구조형 광을 이용하여 안면에 대한 자동 투사를 실현하며 비디오 시스템에 있는 이미지 섭취 장치를 통해 구조형 광 줄무늬를 추출함으로써 안면의 중심 위치를 확정한다. 상기 방법은 초기 단계의 준비 시간이 길고 사용자의 협조를 필요하기 때문에 적용할 수 있는 장소가 한정된다(예: 상기 방법은 일반 가정용 장치에 적용되지 않고 감시 시스템에 나타나는 안면을 추적하는 것에도 적용되지 않는다).
또한, 기존의 기술에서 일반적으로 사용된 다른 방식은 이미지 특징(예: 컬러, 그레이 스케일 히스토그램, 에지(edge) 형상 등)을 추적의 근거로 하며 일정한 검색 전략을 사용하여 이미지에서 안면 또는 안면 기관의 위치를 고정한다. 예컨대, 중국 특허 출원 제200910080962호 '안면 기관을 식별하는 방법, 장치 및 비디오 프로세싱 칩'에서는 그레이 스케일 통계 모델을 이용하여 식별된 이미지에 있는 안면 기관에 대해 초기로 위치를 고정하며, 안면 에지 정보 검색 방법으로 아래 턱의 윤곽 포인트를 확정 및 조절하여 식별된 이미지의 컬러 공간을 빨강, 초록, 파랑 모드에서 색상 포화 모드로 전환하고, 크로매틱 밸류(chromatic value) 검색 방법으로 입술의 윤곽 포인트를 확정 및 조절하여 식별된 이미지에 있는 안면 기관의 윤곽 포인트에 기초하여 안면 기관의 위치를 확정한다. 상기 방법의 단점은 빛 및 형태 변화에 대한 적응성이 부족하고 계산도 복잡하고 전체의 추적에 적용되지 않는다.
또한, 기존의 기술에서 안면 모델에 기초하여 안면 이미지의 위치를 고정하는 방법도 있다. 예컨대, 중국 특허 출원 제200910143325호 '2차원 안면 이미지의 위치를 고정하는 방법'에서는 미리 설정된 데이터 베이스를 이용하여 2차원 안면 형상 모텔 및 2차원 안면 부분 텍스처 모텔을 구성하고 정확하게 2차원 안면 이미지의 위치를 고정한다. 그러나 상기 방법으로 3차원 위치 또는 형태에 관련된 정보를 획득할 수 없고 데이터 베이스 외에 샘플 처리 능력이 부족하여 표정 또는 형태 변화 크게 나타나는 경우에 적용되지 않는다.
전술한 바와 같이, 기존의 기술에서는, 비디오 이미지에서 안면의 추적을 실현하면 부가적인 장치(예: 구조형 광 프로젝터)또는 안면에 추가된 페이스트(paste) 표지를 필요함으로써 추적 장치의 원가가 상승되고, 복잡한 추적 시스템을 구축해야 하여 안면 추적의 사용 환경이 제한된다.
또한 정확한 안면 추적을 실현하기 위해 많은 계산을 필요하고 복잡한 계산은 실 시간 추적을 만족시키지 못한다.
또한, 기존에 있는 추적 방법은 대부분 안면의 2차원 특성만 획득하고, 상응하는 3차원 특성을 동시에 효율적으로 획득할 수 없다. 이에 따라 추적 결과의 사용은 한정되어, 즉, 안면의 2차원 특성과 3차원 특성을 동시에 효율적으로 획득할 수 없다.
또한, 추적된 안면이 생소하거나, 즉, 입력된 안면이 트레이닝 베이스에 있는 안면과 크게 차이가 나타나면 기존에 있는 추적 방법은 각도의 변화가 크거나, 표정이 강렬 또는 비대칭, 빛이 불균형, 배경이 복잡하고 또는 동작의 속도가 빠른 경우에 효율적인 추적 결과를 획득할 수 없다.
본 발명은 안면 추적 장치 및 방법을 제공한다. 상기 안면 추적 장치 및 방법에서, 우선 비디오 이미지에 있는 안면 부분을 예측하고, 예측된 결과에 기초하여 하나 또는 복수의 제약 조건을 이용하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅함으로써 추적된 안면의 2차원 특성과 3차원 특성을 획득한다.
본 발명의 예시 실시예를 따라, 비디오 이미지에서 안면 추적을 위한 장치를 제공한다. 상기 장치는 비디오 이미지를 수신하고 상기 수신된 비디오 이미지에 있는 현재 프레임 이미지를 예측부에 출력하는 이미지 수집부; 안면 피팅(fitting)부를 통해 획득된 이전 프레임 이미지에 있는 안면의 2차원 특성 및 3차원 특성에 기초하여 상기 이미지 수집부를 통해 출력된 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하고, 상기 예측된 키 포인트의 2차원 위치를 안면 피팅부에 출력하는 예측부; 및 하나 또는 복수의 제약 조건을 이용하여 상기 예측부를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅함으로써 안면의 2차원 특성과 3차원 특성을 획득하는 안면 피팅부를 포함한다.
2차원 특성은2차원 형상을 포함하고, 3차원 특성은 3차원 구조를 포함한다.
안면 피팅부는 예측부를 통해 예측된 키 포인트를 초기값으로 정하여 하나 또는 복수의 제약 조건을 이용하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅한다.
예측부는 이미지 수집부로부터 출력된 현재 프레임 이미지에서 안면 부위의 특징 포인트를 추출하고, 추출된 특징 포인트를 이전 프레임 이미지의 특징 포인트와 매칭하여 안면 피팅부를 통해 획득한 이전 프레임 이미지에 있는 안면의 2차원 위치와 3차원 구조에 기초하여 이전 프레임 이미지에 있는 안면의 3차원 형태를 계산하며, 추출된 이전 프레임 이미지에 있는 특징 포인트의 2차원 위치, 상기 안면 피팅부를 통해 획득된 이전 프레임 이미지에 있는 안면의 키 포인트의 3차원 구조, 및 이전 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 3차원 구조에 있는 상기 특징 포인트의 위치를 계산하고, 현재 프레임 이미지에 있는 안면의 매칭된 특징 포인트의 2차원 위치 및 3차원 구조에 있는 상기 특징 포인트의 위치에 기초하여 현재 프레임 이미지에 있는 안면의 3차원 형태를 계산하며, 안면 피팅부를 통해 획득한 이전 프레임 이미지에 있는 안면의 키 포인트의 3차원 구조 및 계산된 현재 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 현재 프레임 이미지에 있는 안면의 키 포인트의 2차원 위치를 계산하고, 상기 키 포인트의 2차원 위치를 상기 안면 피팅부에 출력한다.
제1프레임 이미지에 대해 상기 예측부는 제1 프레임 이미지에 추출된 안면 부위의 특징 포인트를 직접 예측된 키 포인트의 2차원 위치로 정한다.
예측부는 이미지 수집부로부터 출력된 현재 프레임 이미지에서 안면 부위의 특징 포인트를 추출(pick-up)하면, 특징 포인트 여부를 판단하는 문턱값(threshold value)을 실제 상황의 변화 따른 셀프 적응 문턱값으로 설정한다.
예측부는 추출된 특징 포인트를 이전 프레임 이미지의 특징 포인트와 매칭하면, RANSAC 기법의 사용 및 거리 문턱의 설정을 통해 비정상적인 매칭된 것을 제거한다.
안면 피팅부는 2차원 외관 제약 조건 및 3차원 구조 제약 조건이 포함된 복수의 제약 조건으로 상기 예측부를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅한다.
안면 피팅부는 2차원 변형 제약 조건, 특징 포인트 제약 조건, 피부색 제약 조건, 개성 텍스처 제약 조건 중에 적어도 하나의 제약 조건을 따라 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅한다.
2차원 형상은 아래의 등식으로 표현 되고:
Figure pat00001
,
Figure pat00002
는 2차원 가요성(flexible) 형상을 의미하고
Figure pat00003
식으로 표현되고,
Figure pat00004
는 2차원 모델에 있는 평균 형상을 의미하고,
Figure pat00005
는 2차원 모델에 있는 일련의 형상 프리미티브(primitive)
Figure pat00006
이며 각 형상 프리미티브는 2차원 형상의 한 변화 방식을 의미하고,
Figure pat00007
는2차원 가요성 형상 파라미터(parameter)이며 각 형상 프리미티브의 변화 강도을 의미하고,
Figure pat00008
는 2차원 강성 형상 파라미터의 의미이며,
Figure pat00009
및
Figure pat00010
는 평면에 안면 2차원 형상의 변위를 의미하고
Figure pat00011
및
Figure pat00012
는 평면에 안면 2차원 형상의 회전 및 수축과 확대를 의미하고, T는 상기 변위, 회전, 수축과 확대에 기초하여 2차원 형상에 대한 강성 변형을 의미한다.
상기 3차원 구조는 아래의 등식으로 표현 되고:
Figure pat00013
,
Figure pat00014
는 3차원 가요성 구조를 의미하고
Figure pat00015
식으로 표현되고,
Figure pat00016
는 3차원 모델에 있는 평균 구조를 의미하고,
Figure pat00017
는 3차원 모델에 있는 일련의 구조 프리미티브
Figure pat00018
이며 각 구조 프리미티브는 3차원 구조의 한 변화 방식을 의미하고,
Figure pat00019
는3차원 가요성 구조 파라미터이며 각 구조 프리미티브의 변화 강도를 의미하고,
Figure pat00020
는3차원 강성 구조 파라미터 설정의 의미이며,
Figure pat00021
는 안면의 3차원 구조가 공간에서 X, Y, Z축에 따라 회전된 각도를 의미하고
Figure pat00022
는 공간에서 안면 3차원 구조의 변위를 의미하고, T는 상기 회전 및 변위에 기초하여 3차원 구조에 대한 강성 변형을 의미한다.
안면 피팅부는 2차원 변형 제약 조건을
Figure pat00023
로 설정하고, 2차원 가요성 형상 파라미터에 대응하는 변형 정도
Figure pat00024
가 작을수록 안면 모델 피팅을 통해 획득한 2차원 구조가 더욱 이상적이다.
안면 피팅부는 특징 포인트 제약 조건을
Figure pat00025
로 설정하고,
Figure pat00026
는 현재 프레임 이미지에 검측된 매칭된 특징 포인트가 평균 형상
Figure pat00027
로 변형할 때 획득된 특징 포인트 위치를 의미하고,
Figure pat00028
는 이전 프레임 이미지에 매칭된 특징 포인트가 변형 후의 위치를 의미하고, 인접한 2 프레임 이미지에 매칭된 특징 포인트들의 차이점인
Figure pat00029
가 작을수록 안면 모델 피팅을 통해 획득한 2차원 구조가 더욱 이상적이다.
안면 피팅부는 피부색 제약 조건을
Figure pat00030
로 설정하고,
Figure pat00031
는 현재 프레임 이미지에 있는
Figure pat00032
위치의 점과 피부색의 비슷한 정도를 의미하고, 2차원 형상
Figure pat00033
에 있는 각 키 포인트와 피부색의 차이점인
Figure pat00034
가 작을수록 안면 모델 피팅을 통해 획득한 2차원 구조가 더욱 이상적이다.
안면 피팅부는 비디오 이미지에 있는 키 프레임을 통해 함수
Figure pat00035
을 확정하고, 상기 키 프레임은 비디오 이미지를 대표하는 한 프레임 이미지를 의미한다.
안면 피팅부는, 우선 제1프레임 이미지를 키 프레임으로 정하고, 그 다음에 더욱 대표적인 이미지를 검측되면 상기 더욱 대표적인 이미지 프레임을 사용하여 전에 사용된 키 프레임을 갱신한다.
안면 피팅부는 개성(personality) 텍스처 제약 조건을
Figure pat00036
로 설정하고,
Figure pat00037
는 추적된 안면의 개성 텍스처를 의미하고,
Figure pat00038
는 현재 프레임 이미지가 평균 형상
Figure pat00039
로 변형할 때 획득된 2차원 개성 텍스처를 의미하고, 변형 처리를 통해 획득된 개성 텍스처
Figure pat00040
와 추적된 안면의 개성 텍스처
Figure pat00041
의 차이점인
Figure pat00042
가 작을수록 안면 모델 피팅을 통해 획득한 2차원 형상이 더욱 이상적이다.
구분적으로 아핀(Affine)의 변환 방식을 사용하여 상기 변형을 진행한다.
안면 피팅부는 비디오 이미지에 있는 키 프레임을 통해 안면의 개성 텍스처
Figure pat00043
을 결정하고, 상기 키 프레임은 비디오 이미지를 대표하는 한 프레임 이미지를 의미한다.
안면 피팅부는, 우선 제1프레임 이미지를 키 프레임으로 정하고, 그 다음에 더욱 대표적인 이미지를 검측되면 상기 더욱 대표적인 이미지 프레임을 사용하여 전에 사용된 키 프레임을 갱신한다.
상기 하나 또는 복수의 제약 조건은 아래 등식에 따라 코스트함수(cost function)를 구성하고:
Figure pat00044
Figure pat00045
는 2차원 가요성 형상 파라미터의 개수를 의미하고,
Figure pat00046
는 매칭된 특징 포인트의 개수을 의미하고,
Figure pat00047
는 3차원 구조 제약 조건의 웨이트(weight)를 의미하고,
Figure pat00048
는 2차원 변형 제약 조건의 웨이트를 의미하고,
Figure pat00049
는 특징 포인트 제약 조건의 웨이트를 의미하고,
Figure pat00050
는 피부색 제약 조건의 웨이트를 의미하고,
Figure pat00051
는 개성 텍스처 제약 조건의 웨이트를 의미한다. 안면 피팅부는 예측부를 통해 예측된 키 포인트를 초기값으로 정하여 상기 코스트함수가 최소값의 경우에 대응하는 파라미트
Figure pat00052
을 구하고 추적된 안면의 2차원 형상 및 3차원 구조를 확정한다.
상기 안면 피팅부는 실체 필요 및 추적된 비디오 이미지 특징에 따라 상기 제약 조건을 위해 각각의 웨이트를 설정한다.
본 발명의 다른 측면에 따라, 비디오 이미지에서 안면 추적을 위한 방법을 제공한다. 상기 방법은 이미지 수집부를 통해 비디오 이미지를 수신하고 상기 수신된 현재 프레임 이미지를 예측부에 출력하는 단계; 예측부를 통해 안면 피팅(fitting)부에 획득된 이전 프레임 이미지에 있는 안면의 2차원 특성 및 3차원 특성에 기초하여 상기 이미지 수집부를 통해 출력된 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하고 예측된 키 포인트의 2차원 위치를 안면 피팅부에 출력하는 단계; 및 안면 피팅부를 통해 하나 또는 복수의 제약 조건을 이용하여 상기 예측부에 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하여 안면의 2차원 특성과 3차원 특성을 획득하는 단계를 포함한다.
상기 예측부를 통해 상기 이미지 수집부를 통해 출력된 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하는 단계에는, 상기 이미지 수집부로부터 출력된 현재 프레임 이미지에서 안면 부위 의 특징 포인트를 추출하고 추출된 특징 포인트를 이전 프레임 이미지의 특징 포인트와 매칭하여 안면 피팅부를 통해 획득한 이전 프레임 이미지에 있는 안면의 2차원 위치와 3차원 구조에 기초하여 이전 프레임 이미지에 있는 안면의 3차원 형태를 계산하며, 추출된 이전 프레임 이미지에 있는 특징 포인트의 2차원 위치, 상기 안면 피팅부를 통해 획득된 이전 프레임 이미지에 있는 안면의 키 포인트의 3차원 구조, 및 이전 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 3차원 구조에 있는 상기 특징 포인트의 위치를 계산하고, 현재 프레임 이미지에 있는 안면의 매칭된 특징 포인트의 2차원 위치 및 3차원 구조에 있는 상기 특징 포인트의 위치에 기초하여 현재 프레임 이미지에 있는 안면의 3차원 형태를 계산하며, 안면 피팅부를 통해 획득한 이전 프레임 이미지에 있는 안면의 키 포인트의 3차원 구조 및 계산된 현재 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 현재 프레임 이미지에 있는 안면의 키 포인트의 2차원 위치를 계산하는 것을 포함한다.
본 발명에 따라, 동작 예측을 통해 추적된 안면의 키 포인트 위치를 우선적으로 획득할 수 있다. 따라서 안면 추적 처리의 속도가 향상되고 이런 방식은 단일의 비디오 이미지 입력 소스만 필요하며 공간 정보에 관한 비디오 카메라 장치 또는 센싱(sensing) 장치는 추가적으로 설치 필요 없다. 따라서 일반 장치에서도 사용할 수 있다.
또한, 본 발명의 예시 실시예에 따라, 여러 참신하는 제약 조건을 이용하여 전체에 대해 교정함으로써 추적 방안의 안정성이 향상되고, 안면이 생소하거나, 빛이 불균형, 각도 크거나, 또는 표정이 강렬/비대칭 등의 다양한 자연적으로 입력된 경우에도 가능하다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세한 설명을 통해 본 발명의 상기와/또는 기타 목적과 장점을 더욱 명확하게 나타난다.
도 1은 본 발명의 예시 실시예에 따른 안면 추적 장치를 도시한 블록도이다.
도 2는 본 발명의 예시 실시예에 따른 안면 추적 방법을 도시한 흐름도이다.
도 3은 본 발명의 예시 실시예에 따라 예측부를 사용하여 동작 예측을 수행하는 방법을 도시한 흐름도이다.
도 4는 본 발명의 예시 실시예에 따른 동작 예측 방법을 도시한 것이다.
도 5은 본 발명의 예시 실시예에 따른 2차원 외관 변형처리의 예를 도시한 것 이다.
도 6는 본 발명의 예시 실시예에 따라 기존 기술과 비교하여 안면 추적 방안의 성능 개선을 도시한 것이다.
이에, 본 발명의 실시예에 대해 상세하게 기술한다. 실시예의 예시는 도면에 표시되어있어서, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 이하, 첨부된 도면들을 참조하여 본 발명에 따른 실시예를 설명한다.
도 1은 본 발명의 예시 실시예에 따른 안면 추적 장치를 도시한 블록도이다. 도1에 도시된 바와 같이, 본 발명의 예시 실시예에 따른 안면 추적 장치는 비디오 이미지를 수신하고 수신된 비디오 이미지에 있는 현재 프레임 이미지를 예측부(20)에 출력하는 이미지 수집부(10); 안면 피팅(fitting)부(30)를 통해 획득된 이전 프레임 이미지에 있는 안면의 2차원 특성 및 3차원 특성에 기초하여 이미지 수집부(10)를 통해 출력된 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하고, 예측된 키 포인트의 2차원 위치를 안면 피팅부(30)에 출력하는 예측부(20); 및 하나 또는 복수의 제약 조건을 이용하여 예측부(20)를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅함으로써 안면의 2차원 특성과 3차원 특성을 획득하는 안면 피팅부(30)를 포함한다. 예시로, 본 발명의 예시 실시예에 따른 2차원 특성은 안면의 2차원 형상을 의미하고 3차원 특성은 안면의 3차원 구조를 의미한다.
본 발명의 예시 실시예에 따른 안면 추적 장치에서는, 안면 피팅을 실행하기 위해 기본 조건으로 예측부(20)을 통해 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하기 때문에, 추적 알고리즘의 속도를 증가할 수 있고 실 시간의 조건을 만족시킬 수 있다. 동시, 예측을 실행하기 위해 단순히 비디오 이미지에 있는 현재 프레임 이미지와 이미 피팅된 이전 프레임 이미지에 있는 안면 특성을 예측부(20)에 입력하면 된다. 즉, 본 발명의 예시 실시예에 따른 안면 추적 장치에서는, 단일의 비디오 이미지 소스만 사용하고 추가적인 비디오 카메라 장치 또는 추가적인 이미지 정보 획득 수단을 이용할 필요 없다.
또한 예측 결과에 더욱 정확한 안면 특성을 획득하기 위해 제약 조건을 이용하여 안면 피팅부(30)를 통해 예측된 키 포인트의 2차원 위치에 기초하여 2차원 모델과 3차원 모델을 피팅한다.
본 발명의 예시 실시예에 따른 안면 추적 장치에서는, 하나 또는 복수의 제약 조건을 이용하여 비디오 이미지에 있는 동작 예측 결과에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅함으로써 안면의 2차원 특성과 3차원 특성을 동시 획득하고 획득한 상기 2차원 특성과 3차원 특성에 기초하여 다음 프레임의 비디오 이미지에 대해 예측한다. 따라서, 본 발명의 방안은 특정한 예측 방식 또는 피팅 방식에 한정되지 않는다. 본 발명에 제시된 동작 예측 및 피팅 과정에 대한 예시 실시방식을 제외하고, 이 분야에 공개된 각 예측 방식 및 피팅 방식은 상응하는 내용에 대한 예측 및 피팅을 실현할 수 있다면 본 발명의 방안에 사용되어 안면 추적의 기술 문제를 해결할 수 있다.
이하, 도2를 참조하면, 도1에 도시된 안면 추적 장치를 사용하여 본 발명의 안면 추적 방법을 실현하는 예시를 설명하겠다.
도 2는 본 발명의 예시 실시예에 따른 안면 추적 방법을 도시한 흐름도이다. 도2를 참조하면, 단계S100에서, 이미지 수집부(10)를 통해 비디오 이미지를 수신하고 수신된 현재 프레임 이미지를 예측부(20)에 출력한다. 예시로, 여기서 상기의 비디오 이미지는 일반적인 비디오 카메라를 사용하여 촬영된 비디오 이미지를 의미할 수 있다. 단계S200에서, 예측부(20)를 통해 안면 피팅부(30)에 획득된 이전 프레임 이미지에 있는 안면의 2차원 특성 및 3차원 특성에 기초하여 이미지 수집부(10)를 통해 단계S100에 출력된 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하고 예측된 키 포인트의 2차원 위치를 안면 피팅부(30)에 출력한다. 단계S300에서, 안면 피팅부(30)를 통해 하나 또는 복수의 제약 조건을 이용하여 상기 예측부(20) 를 통해 단계S200에 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하여 안면의 2차원 특성과 3차원 특성을 획득한다.
상기와 같이, 본 발명의 예시 실시예에 따른 안면 추적 방법에서는, 하나 또는 복수의 제약 조건을 이용하여 비디오 이미지에 있는 동작 예측 결과에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅함으로써 안면의 2차원 특성과 3차원 특성을 동시 획득하고 획득한 상기 2차원 특성과 3차원 특성에 기초하여 다음 프레임의 비디오 이미지에 대해 예측한다. 따라서, 본 발명의 방안은 특정한 예측 방법 또는 피팅 방법에 한정되지 않으며 본 발명에 제시된 동작 예측 및 피팅 과정에 대한 예시 실시방식을 제외하고, 이 분야에 공개된 각 예측 방식 및 피팅 방식은 상응하는 내용에 대한 예측 및 피팅을 실현할 수 있다면 본 발명의 방안에 사용되어 안면 추적의 기술 문제를 해결할 수 있다.
이하, 우선 단계S200에서 예측부(20)를 통해 동작 예측을 실행하는 처리에 대해 설명한다. 도 3은 본 발명의 예시 실시예에 따라 예측부(20)를 사용하여 동작 예측을 수행하는 방법을 도시한 흐름도이다. 도3를 참고하면, 단계S210에서, 예측부(20)는 이미지 수집부(10)로부터 출력된 현재 프레임(예: 제t 프레임) 이미지에서 안면 부위의 특징 포인트를 추출하면, 예시로, 예측부(20)는 멀티 스케일(multi scale) SURF 및 FAST 연산자(operator)를 이용하여 안면 부위의 특징 포인트를 추출한다(상기의 특징 포인트는 이미지에 있는 특수 위치 또는 특수 외관을 구비하는 포인트). 바람직하게는, 특징 포인트를 추출하는 과정 중에 특징 포인트 여부를 판단하는 문턱값(threshold value)을 실제 상황의 변화 따른 셀프 적응 문턱값으로 설정한다. 예를 들어, 대비도 저하 또는 동작으로 인해 비디오 이미지가 명확하지 않는 경우에, 상응하는 특징 포인트가 상기와 같이 상황에서 도 추출될 수 있도록 셀프 적응 문턱값의 밸류(value)를 조절할 수 있다. 그러나, 안면 부위의 특징 포인트를 추출하는 방식은 멀티 스케일SURF 및 FAST 연산자에 한정되어있지 않으며 셀프 적응 문턱값을 설치하는 것도 꼭 필요한 것이 아니다.
이후, 단계 S220에서, 예측부(20)는 단계 S220에 추출된 현재 프레임(제 t 프레임)의 특징 포인트를 전에 추출된 이전 프레임(제 (t-1) 프레임) 의 특징 포인트와 매칭한다. 예를 들어, 예측부(20)는 특진 포인트를 추출 시 획득한 특징 포인트의 종류에 따라 2 프레임 이미지에 있는 같은 종류의 특징 포인트를 매칭한다. 예시로, 예측부(20)는 RANSAC 기법을 사용 할 수 있으며 거리 문턱의 설정을 통해 비정상적인 매칭된 것을 제거하여 안전한 전체 매칭된 특징 포인트를 획득할 수 있다. 그러나, 인접한 2 프레임 이미지에 있는 안면 부위의 특징 포인트를 매칭하는 방식은 상기의 예시 실시방식에 한정되어있지 않으며, 이 분야에 공개된 어느 특징 추출 및 매칭 방식을 본 발명의 방안에 사용하여 상기 기술 문제를 해결될 수 있다.
이후, 단계 S230에서, 예측부(20)은 안면 피팅부(30)를 통해 획득된 제 (t-1) 프레임 이미지에 있는 안면의 키 포인트의 2차원 위치 및 3차원 구조에 기초하여 제 (t-1) 프레임 이미지에 있는 안면의 3차원 형태를 계산한다. 예시로, 예측부(20)는 POSIT 알고리즘을 사용하여 상기 단계를 실현할 수 있다. 그러나, 본 발명은POSIT 알고리즘에 한정되어있지 않고 제 (t-1) 프레임 이미지에 있는 안면의 키 포인트의 2차원 위치 및 3차원 구조로부터 제 (t-1) 프레임 이미지에 있는 안면의 3차원 형태를 계산할 수 있는 공개된 방식 또는 기타 방식이 모두 본 발명의 방안에 사용될 수 있으며 상기 기술 문제를 해결할 수 있다.
이후, 단계 S240에서, 예측부(20)은 추출된 제 (t-1) 프레임 이미지에 있는 안면의 매칭 특징 포인트의 2차원 위치, 안면 피팅부(30)를 통해 획득된 제 (t-1) 프레임 이미지에 있는 안면의 키 포인트의 3차원 구조, 및 단계 S230에 계산된 제 (t-1) 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 3차원 구조에 있는 상기 특징 포인트의 위치를 계산한다.
일반적으로, 인접한 2 프레임 이미지의 사이에, 특징 포인트는 3차원 구조에서 위치 변동이 작기 때문에, 단계 S240에 획득된 특징 포인트가 3차원 구조에서 제t 프레임 이미지에 있는 안면의 특징 포인트의 3차원 정보로 사용 될 수 있다. 상응하게는, 단계S250에서, 예측부(20)를 통해 단계S210에 추출된 제 t 프레임 이미지에 있는 안면 매칭 특징 포인트의 2차원 위치, 및 단계S240에 획득된 제 t 프레임 이미지에 있는 안면의 키 포인트가 3차원 구조에 있는 위치에 기초하여 제 t 프레임 이미지에 있는 안면의 3차원 형태를 계산한다. 예시로, 예측부(20)는 POSIT 알고리즘을 사용하여 상기 단계를 실현할 수 있다.
이후, 단계 S260에서, 예측부(20)가 안면 피팅부(30)를 통해 획득된 제 (t-1) 프레임 이미지에 있는 안면의 키 포인트의3차원 구조 및 단계 S250에 계산된 제 t 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 제 t 프레임 이미지에 있는 안면의 키 포인트의 2차원 위치를 계산하고 상기 키 포인트의 2차원 위치를 안면 피팅부(30)에 출력한다. 상기의 키 포인트는 안면에 있는 어느 특정 위치(예: 입가, 입술에 가운데, 눈 구석, 눈썹 꼬리 등) 의 포인트를 의미하고 키 포인트가 존재하는 위치는 대표적인 구조를 의미한다. 동시, 상기의 키 포인트는 미리 결정된 안면의 2차원 모델 및 3차원 모델에 포함된 키 포인트와 상응한다. 이에 대해, 이하 자세하게 설명하도록 하겠다.
상기와 같이, 도3을 참조하여 예측부(20)를 통해 동작 예측을 실행하는 방식에 대해 설명하였다. 그러나, 상기 순서에 따라 설명된 각 단계S210-S260은 실행하는 과정에 한정되지 않는다. 구체적으로, 도4에 도시된 바와 같이, 본 발명의 예시 실시예에 따른 동작 예측 방식은 도4에 따라 동작 예측 과정을 완성하면 본 발명의 기술문제를 해결할 수 있다. 또한, 도4에 표시된POSIT는 한 예시로서 본 발명에 대해 한정되지 않는다.
또한, 상기와 같이 예측부(20)가 제t 프레임 이미지를 수신한 다음에 어떻게 제（t-1）프레임 이미지에 있는 안면의 2차원 특성 및 3차원 특성에 기초하여 제t프레임 이미지에 있는 안면의 키 포인트의 2차원 위치를 예측하는지에 대해 설명하였다. 그러나, 제1프레임 이미지에는, 이전의 프레임을 예측 근거로 하지 않기 때문에, 따라서, 선택 할 수 있는 방식으로, 본 발명의 예시 실시예에 따른 동작 예측에서는, 예측부(20)를 통해 단계 S210에서 제1 프레임 이미지에 추출된 안면 부위의 2차원 특징 포인트를 직접 예측된 키 포인트의 2차원 위치로 정하여 안면 피팅부(30)에 제공할 수 있다.
상기와 같이, 예측부(20)를 통해 동작 예측을 실행하는 예시에 대해 설명하였다. 이하, 안면 피팅부(30)가 어떻게 하나 또는 복수의 제약 조건을 이용하여 예측부(20)를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하고 안면의 2차원 특성과 3차원 특성을 획득하는 것에 대해 설명한다.
본 발명의 예시 실시예에 따라, 예측부(20)에 동작 예측을 통해 획득된 키 포인트의 2차원 위치는 안면 피팅부(30)에 사용되어 미리 결정된 안면 2차원 모델 및 3차원 모델을 피팅한다. 즉, 2차원 및 3차원 모델에 있는 각 키 포인트를 비디오 이미지에 있는 키 포인트에 매칭되어 실제적인 안면 2차원 특성과 3차원 특성을 획득한다.
예시로, 아래 방식으로 본 발명의 예시 실시예에 따른 안면 모델을 구성할 수 있다.
우선, 본 발명의 예시 실시예에 따른 안면 모델에 사용된 용어에 대해 설명하도록 하겠다.
2차원 형상S: 안면에 있는 미리 정의되어 개수가 미리 결정된 2차원 키 포인트의 위치를 의미한다. 예를 들어, 입가, 입술에 가운데, 눈 구석, 눈썹 꼬리 등 위치.
2차원 외관 A: 안면 범위에 있는 외관 정보를 의미한다. 예를 들어, 안면 부위에 있는 이미지의 그레이이케일 밸류(value), 경사도(gradient) 등 정보.
3차원 구조
Figure pat00053
: 안면에 있는 미리 정의되어 개수가 미리 결정된 3차원 키 포인트의 위치를 의미한다. 예를 들어, 입가, 입술에 가운데, 눈 구석, 눈썹 꼬리 등 위치.
상기의 기준으로 아래 와 같이 안면의 2차원 형상 모델, 2차원 외관 모델 및 3차원 구조 모델을 구성할 수 있다.
2차원 형상 모델: 평균 형상
Figure pat00054
및 일련의 형상 프리미티브(primitive)
Figure pat00055
로 구성된다. 여기서, 각 형상 프리미티브
Figure pat00056
는2차원 형상의 한 변화 방식을 의미한다. 예를 들어, 안면의 입을 열어 또는 눈살을 찌푸리다.
2차원 외관 모델: 평균 외관
Figure pat00057
및 일련의 외관 프리미티브
Figure pat00058
로 구성된다. 여기서, 각 외관 프리미티브
Figure pat00059
는2차원 외관의 한 변화 방식을 의미한다. 예를 들어, 안면의 좌측이 어두워지고 우측이 밝아진다.
3차원 구조 모델: 평균 구조
Figure pat00060
및 일련의 구조 프리미티브
Figure pat00061
로 구성된다. 여기서, 2차원 형상 모델과 같이, 각 구조 프리미티브
Figure pat00062
는3차원 구조의 한 변화 방식을 의미한다. 예를 들어, 안면의 입을 열어 또는 눈살을 찌푸리다.
예시로, 본 발명은 기존 기술에 있는 자동 외관 모델과 같은 방식을 사용하여 안면의 2차원 형상과 3차원 구조를 계산할 수 있다.
2차원 가요성(flexible) 형상 파라미터(parameter)를
Figure pat00063
로 설정하여
Figure pat00064
는 각 형상 프리미티브의 변화 강도을 의미함으로써 2차원 가요성 형상은
Figure pat00065
식으로 표현될 수 있다.
2차원 강성 형상 파라미터를
Figure pat00066
로 설정하여,
Figure pat00067
및
Figure pat00068
는 평면에 안면 2차원 형상의 변위를 의미하고
Figure pat00069
및
Figure pat00070
는 평면에 안면 2차원 형상의 회전 및 수축과 확대를 의미한다. 상기의 변위, 회전, 및 수축과 확대를 2차원 형상에 대한 강성 변형T이라고 총칭한다. 강성 변형은 가요성 변형한 다음에 실행되어 2차원 형상
Figure pat00071
을 획득한다.
2차원 가요성(flexible) 형상 파라미터(parameter)를
Figure pat00072
로 설정하여
Figure pat00073
는 각 구조 프리미티브의 변화 강도을 의미함으로써 3차원 가요성 구조는
Figure pat00074
식으로 표현될 수 있다.
3차원 강성 구조 파라미터를
Figure pat00075
로 설정하여,
Figure pat00076
는 안면의 3차원 구조가 공간에서 X, Y, Z축에 따라 회전된 각도를 의미하고
Figure pat00077
는 공간에서 안면 3차원 구조의 변위를 의미한다. 상기의 변위 및 회전을 3차원 구조에 대한 강성 변형
Figure pat00078
이라고 총칭한다. 강성 변형은 가요성 변형한 다음에 실행되어 3차원 구조
Figure pat00079
을 획득한다.
여기서, 2차원 외관은 자동 외관 모델에 있는 상응 알고리즘을 통해 획득될 수 있다. 그러나 본 발명의 주제 내용에 관한 것이 아니라서, 이에 대해 상세한 설명을 하지 않는다.
상기와 같이, 미리 결정된 안면의 2차원 형상 모델과 3차원 구조 모델의 기준으로 상기 파라미터
Figure pat00080
의 밸류를 통해 어느 2차원 형상과 3차원 구조를 획득할 수 있다. 그 중에 파라미터
Figure pat00081
는 2차원 형상을 결정으로 사용되어
Figure pat00082
는 3차원 구조를 결정으로 사용된다.
따라서, 예시로, 본 발명의 예시 실시예에 따른 안면 피팅부(30)는 하나 또는 복수의 제약 조건을 이용하여 예측부(20)를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅함으로써 안면의 2차원 특성과 3차원 특성을 획득한다.
본 발명의 예시 실시예에 따라, 안면 피팅부(30)의 사용 목적은 예측부(20)를 통해 예측된 키 포인트를 초기값으로 정하여 하나 또는 복수의 제약 조건을 이용하여 매칭 코스트(matching cost)가 제일 작은 피팅 결과를 구한다. 상기 제약 조건은 예측 결과에 대해 적절한 교정을 하기 위해 사용됨으로써 아래와 같이 제약 조건은 예시로서 본 발명에 대한 한정이 되지 않는다. 어느 예측 결과에 대해 적절한 교정을 할 수 있는 제약 조건은 모두 다 본 발명의 방안에 사용될 수 있으며, 상기 기술 문제를 해결할 수 있다. 또한 더욱 더 효율적인 제약 효과는 본 발명의 기술 효과에 대한 개선이다.
예시로, 안면 피팅부(30)는 2차원 외관 제약 및 3차원 구조 제약을 통해 안면으 2차원 모델과 3차원 모델을 피팅할 수 있다.
2차원 외관의 제약 조건은
Figure pat00083
로 설정 될 수 있다. 여기서,
Figure pat00084
는 2차원 외관을 의미하고,
Figure pat00085
는 2차원 형상을 의미하고,
Figure pat00086
는 입력된 이미지
Figure pat00087
가 목표 형상(즉 평균 형상)
Figure pat00088
로 변형할 때 획득된 2차원 텍스처를 의미한다. 예시로, 상기 변형 단계는 구분적인 와핑（piece-wise warping）방식을 사용할 수 있다. 도 5은 본 발명의 예시 실시예에 따른 2차원 외관 변형처리의 예를 도시한 것 이다. 도5를 참조하면, 안면 피팅부(30)는 이미지 수집부(10)를 통해 수진된 비디오 이미지
Figure pat00089
를 수신할 수 있다. 예측부(20)를 통해 예측된 키 포인트의 2차원 위치 및 미리 결정된 2차원 모델에 있는 평균 형상
Figure pat00090
에 기초하여 구분적인 와핑（piece-wise warping）의 변형 처리를 통해 2차원 형상
Figure pat00091
가 대응하는 2차원 텍스처
Figure pat00092
를 획득한다. 예시로, 자동 외관 모델 알고리즘에 따라, 상기 획득한 2차원 텍스처
Figure pat00093
와 2차원 외관
Figure pat00094
의 차이점이
Figure pat00095
가 작을수록 안면 모델 피팅을 통해 획득한 2차원 형상이 더욱 이상적이다.
3차원 구조의 제약 조건은
Figure pat00096
로 설정 될 수 있다. 여기서,
Figure pat00097
는 2차원 형상을 의미하고,
Figure pat00098
는 3차원 구조을 의미하고,
Figure pat00099
는 3차원 구조
Figure pat00100
가 2차원 평면에 있는 투영을 의미하다. 상기 획득한 2차원 투영
Figure pat00101
와 2차원 형상
Figure pat00102
의 차이점이
Figure pat00103
가 작을수록 안면 모델 피팅을 통해 획득한 3차원 구조가 더욱 이상적이다.
상기 설명된 제약 조건을 제외하고 예측의 결과에 대해 더욱 효율적인 교정을 실행하기 위해, 본 발명의 예시 실시예는 추가적인 전체 제약 조건을 설정할 수 있으므로 안면에서 과도한 동작 또는 표정 등 발생할 경우에 예측 결과의 안전성을 향상시킬 수 있다.
예시로, 안면 피팅부(30)는 아래와 같이 제약 조건에 포함된 하나 또는 복수의 제약 조건을 사용하여 안면의 2차원 모델과 3차원 모델을 피팅할 수 있다.
본 발명의 예시 실시예에 따른 2차원 변형 제약 조건은
Figure pat00104
로 설정될 수 있으며,
Figure pat00105
는 2차원 가요성 형상 파라미터를 의미한다. 상기 제약 조건의 설정을 통해 2차원 변형 정도가 상대적으로 작다는 피팅 결과를 구할 수 있고 안면 추적의 안전성을 확보할 수 있다. 즉, 2차 가요성 형상 파라미터에 상응하는 변형 정도가 작을수록 안면 모델 피팅을 통해 획득한 2차원 구조가 더욱 이상적이다.
본 발명의 예시 실시예에 따른 특징 포인트 제약 조건은
Figure pat00106
로 설정 될 수 있다. 여기서,
Figure pat00107
는 2차원 가요성 형상을 의미하고,
Figure pat00108
는 입력된 이미지에서 검측된 매칭된 특징 포인트가 평균 형상
Figure pat00109
로 변형할 때 획득된 특징 포인트 위치를 의미하고,
Figure pat00110
는 이전 프레임 이미지에 매칭된 특징 포인트가 변형 후의 위치를 의미한다. 이때, 안면 피팅부(30)는 예측부(20)를 통해 예측된 특징 포인트를 수신할 수 있으며, 변형 처리를 통해 2차원 가요성 형상
Figure pat00111
이 대응하는 특징 포인트 위치
Figure pat00112
를 획득할 수 있다. 또한, 안면 피팅부(30)에서는 이전 프레임 이미지에 매칭된 특징 포인트가 변형 후의 위치
Figure pat00113
를 보유하고 있다. 인접한 2 프레임 이미지에 매칭된 특징 포인트들의 차이점인
Figure pat00114
는 예측부(20)가 특징 포인트에 대한 검측이 서로 일치하는지 것을 반영할 수 있으므로, 차이점이 작을수록 안면 모델 피팅을 통해 획득한 2차원 구조가 더욱 이상적이다.
본 발명의 예시 실시예에 따른 피부색 제약 조건은
Figure pat00115
로 설정 될 수 있다. 여기서,
Figure pat00116
는 2차원 형상을 의미하고,
Figure pat00117
는 현재 프레임 이미지에 있는
Figure pat00118
위치의 점과 피부색의 비슷한 정도를 의미한다. 위치의 점이 피부색과 비슷하면 (예: 피부 구역 내 또는 피부 구역의 가까운 위치),
Figure pat00119
값은 작고, 그렇지 않으면
Figure pat00120
값은 크다. 예시로, 추적된 비디오 이미지에 있는 키 프레임을 통해 함수
Figure pat00121
을 확정할 수 있다. 여기서, 키 프레임은 비디오 이미지를 대표할 수 있는 한 프레임 이미지를 의미하고, 키 프레임에 있는 피부 구역은 함수
Figure pat00122
을 확정으로 사용될 수 있다. 이 분야의 기술자가 여러 방식을 사용하여 일정한 비디오 이미지에 있는 대표적인 키 프레임을 획득할 수 있다. 예시로, 본 발명의 예시 실시예에 따른 안면 추적 방안을 실행하면, 우선, 제1프레임 이미지를 키 프레임으로 정할 수 있고, 그 다음에 더욱 대표적인 이미지를 검측되면 상기 더욱 대표적인 이미지 프레임을 사용하여 전에 사용된 키 프레임을 갱신하여 새로운 피부색 검측 모드로 사용된다. 2차원 형상에 있는 각 키 포인트가 피부 구역에 위치하는지 것을 제약 조건으로 정하고 안면 추적의 안전성과 신뢰성을 향상시킬 수 있다. 즉, 2차원 형상
Figure pat00123
에 있는 각 키 포인트와 피부색의 차이점이
Figure pat00124
가 작을수록 안면 모델 피팅을 통해 획득한 2차원 구조가 더욱 이상적이다.
본 발명의 예시 실시예에 따른 개성 텍스처 제약 조건은
Figure pat00125
로 설정 될 수 있다. 여기서,
Figure pat00126
는 추적된 안면의 개성 텍스처를 의미하고,
Figure pat00127
는 2차원 형상을 의미하고,
Figure pat00128
는 입력된 이미지
Figure pat00129
가 목표 형상(즉 평균 형상)
Figure pat00130
로 변형할 때 획득된 2차원 텍스처를 의미한다. 예시로, 상기 변형 단계는 구분적인 와핑（piece-wise warping）방식을 사용할 수 있다. 도 5와 같은 방법으로
Figure pat00131
를 획득할 수 있다. 예시로, 추적된 비디오 이미지에 있는 키 프레임을 통해 안면의 개성 텍스처
Figure pat00132
를 확정할 수 있다. 여기서, 키 프레임은 비디오 이미지를 대표할 수 있는 한 프레임 이미지를 의미하고, 키 프레임에 있는 텍스처 특징은
Figure pat00133
로 사용될 수 있다. 이 분야의 기술자가 여러 방식을 사용하여 일정한 비디오 이미지에 있는 대표적인 키 프레임을 획득할 수 있다. 예시로, 본 발명의 예시 실시예에 따른 안면 추적 방안을 실행하면, 우선, 제1프레임 이미지를 키 프레임으로 정할 수 있고, 그 다음에 더욱 대표적인 이미지를 검측되면 상기 더욱 대표적인 이미지 프레임을 사용하여 전에 사용된 키 프레임을 갱신하여 새로운 텍스처 모드로 사용된다. 변형 처리를 통해 획득된 개성 텍스처
Figure pat00134
와 추적된 안면의 개성 텍스처
Figure pat00135
의 차이점인
Figure pat00136
가 작을수록 안면 모델 피팅을 통해 획득한 2차원 형상이 더욱 이상적이다.
상기 예시로 본 발명의 예시 실시예에 따른 각 제약 조건에 대해 설명하였다. 상기 제약 조건이 본 발명에 사용되면 안면 피팅부(30)는 하나 또는 복수의 제약 조건의 조합을 사용하거나 상기 제약 조건을 전체로 함께 사용함으로써 미리 결정된 안면 2차원 모델 및 3차원 모델을 피팅할 수 있다. 또한, 상기와 같이 각 제약 조건에 대한 구체적인 수학식을 제공했지만 본 발명은 구제적인 수학식에 한정되지 않으며 2차원 변형, 특징 포인트의 일치성, 키 포인트가 피부색 구역에 위치하는지, 개성 텍스처가 매칭되는지 등을 제약 조건으로 정하는 수학 표현은 모두다 본 발명에 사용될 수 있다.
예를 들어, 안면 피팅부(30)가 전체 제약 조건의 조합을 사용으로 예측부(20)를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하면, 상기 안면 피팅부(30)는 실체 필요 및 추적된 비디오 이미지 특징에 따라 상기 제약 조건을 위해 각각의 가중치 (weight)를 설정하여, 보다 사용 필요에 부합하는 피팅 결과를 획득할 수 있다.
조합된 복수의 제약 조건은 아래 등식에 따라 코스트함수(cost function)를 구성할 수 있다:
Figure pat00137
Figure pat00138
는 2차원 가요성 형상 파라미터의 개수를 의미하고,
Figure pat00139
는 매칭된 특징 포인트의 개수을 의미하고,
Figure pat00140
는 3차원 구조 제약 조건의 가중치 (weight)를 의미하고,
Figure pat00141
는 2차원 변형 제약 조건의 가중치를 의미하고,
Figure pat00142
는 특징 포인트 제약 조건의 웨이트를 의미하고,
Figure pat00143
는 피부색 제약 조건의 웨이트를 의미하고,
Figure pat00144
는 개성 텍스처 제약 조건의 웨이트를 의미한다. 안면 피팅부(30)는 상기 예측부(20)를 통해 예측된 키 포인트를 초기값으로 정하여 상기 코스트함수가 최소값의 경우에 대응하는 파라미트
Figure pat00145
을 구하고 추적된 안면의 2차원 형상 및 3차원 구조를 확정한다.
각 제약 조건은 안면 피팅부(30)에 설치된 상응하는 제약 모드를 통해 각각 실현될 수 있으나, 안면 피팅부(30)를 통해 통일적으로 도 실현될 수 있다. 또한 제1프레임 이미지에는, 이전 입력된 이미지 또는 예측 결과가 존재하지 않으므로, 일부 제약 조건이 실행할 수 없는 가능성도 있다(예, 특징 포인트 제약 조건, 피부색 제약 조건, 개성 텍스처 제약 조건). 이때, 제 1 프레임 이미지를 피팅할 때 상기 제약 조건을 생략하며, 제2 프레임 이미지로부터 다시 상기 제약 조건을 사용한다.
본 발명의 예시 실시예에 따라, 동작 예측을 통해 추적된 안면의 키 포인트 위치를 우선적으로 획득할 수 있다. 따라서 안면 추적 처리의 속도가 향상되고 이런 방식은 단일의 비디오 이미지 입력 소스만 필요하며 공간 정보에 관한 비디오 카메라 장치 또는 센싱(sensing) 장치는 추가적으로 설치 필요 없다. 따라서 일반 장치에서도 사용할 수 있다.
또한, 본 발명의 예시 실시예에 따라, 여러 참신하는 제약 조건을 이용하여 전체에 대해 교정함으로써 추적 방안의 안정성이 향상되고, 안면이 생소하거나, 빛이 불균형, 각도 크거나, 또는 표정이 강렬/비대칭 등의 다양한 자연적 입력하는 경우에도 가능하다.
도 6는 본 발명의 예시 실시예에 따라 기존 기술과 비교하여 안면 추적 방안의 성능 개선을 도시한 것이다. 도6를 참조하면, 도6의 (a)에서는 동작 예측을 사용하지 않는 것(상도)과 동작 예측을 사용하는 것(하도) 의 추적 효과 비교를 도시했다. 따라서 동작 예측을 사용하면 추적의 안정성이 향상된다. 도6의 (b)에서는 개성 텍스처 제약을 사용하지 않는 것(상도)과 개성 텍스처 제약을 사용하는 것(하도) 의 추적 효과 비교를 도시했다. 따라서 개성 텍스처 제약을 사용하면 추적의 안정성이 향상된다. 도6의 (c)에서는 2차원 변형 제약을 사용하지 않는 것(상도)과 2차원 변형 제약을 사용하는 것(하도) 의 추적 효과 비교를 도시했다. 따라서 2차원 변형 제약을 사용하면 추적의 정확성이 향상된다.
본 발명의 예시 실시예에 따른 안면 추적 방법 및 장치는 자동 감시, 애니메이션 작성, 초점 검측 또는 스마트 오디오 비디오 (audio video)의 시스템 등에 적용될 수 있다. 상기의 시스템에서는, 본 발명의 예시 실시예에 따른 안면 추적 장치를 제외하고 상응하는 데이터 입력부, 데이터 분석부, 내용 생성부 또는 내용 표시부를 더 포함한다. 이런 구성은 본 발명 외에 기존 있는 기술이라서 본 발명의 주제와 분간할 수 있도록 여기서 상세하게 설명하지 않는다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (27)

  1. 비디오 이미지를 수신하고 상기 수신된 비디오 이미지에 있는 현재 프레임 이미지를 예측부에 출력하는 이미지 수집부;
    안면 피팅(fitting)부를 통해 획득된 이전 프레임 이미지에 있는 안면의 2차원 특성 및 3차원 특성에 기초하여 상기 이미지 수집부를 통해 출력된 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하고, 상기 예측된 키 포인트의 2차원 위치를 안면 피팅부에 출력하는 예측부; 및
    하나 또는 복수의 제약 조건을 이용하여 상기 예측부를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅함으로써 안면의 2차원 특성과 3차원 특성을 획득하는 안면 피팅부
    를 포함하는 비디오 이미지에서 안면 추적을 위한 장치.
  2. 제1항에 있어서,
    상기 2차원 특성은,
    2차원 형상을 포함하고,
    상기 3차원 특성은,
    3차원 구조를 포함하는 비디오 이미지에서 안면 추적을 위한 장치.
  3. 제1항에 있어서,
    상기 안면 피팅부는,
    상기 예측부를 통해 예측된 키 포인트를 초기값으로 정하여 하나 또는 복수의 제약 조건을 이용하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하는 비디오 이미지에서 안면 추적을 위한 장치.
  4. 제3항에 있어서,
    상기 예측부는,
    상기 이미지 수집부로부터 출력된 현재 프레임 이미지에서 안면 부위의 특징 포인트를 추출하고, 추출된 특징 포인트를 이전 프레임 이미지의 특징 포인트와 매칭하여 안면 피팅부를 통해 획득한 이전 프레임 이미지에 있는 안면의 2차원 위치와 3차원 구조에 기초하여 이전 프레임 이미지에 있는 안면의 3차원 형태를 계산하며,
    추출된 이전 프레임 이미지에 있는 특징 포인트의 2차원 위치, 상기 안면 피팅부를 통해 획득된 이전 프레임 이미지에 있는 안면의 키 포인트의 3차원 구조, 및 이전 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 3차원 구조에 있는 상기 특징 포인트의 위치를 계산하고,
    현재 프레임 이미지에 있는 안면의 매칭된 특징 포인트의 2차원 위치 및 3차원 구조에 있는 상기 특징 포인트의 위치에 기초하여 현재 프레임 이미지에 있는 안면의 3차원 형태를 계산하며,
    안면 피팅부를 통해 획득한 이전 프레임 이미지에 있는 안면의 키 포인트의 3차원 구조 및 계산된 현재 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 현재 프레임 이미지에 있는 안면의 키 포인트의 2차원 위치를 계산하고,
    상기 키 포인트의 2차원 위치를 상기 안면 피팅부에 출력하는 비디오 이미지에서 안면 추적을 위한 장치.
  5. 제4항에 있어서,
    상기 제1프레임 이미지에 대해 상기 예측부는,
    제1 프레임 이미지에 추출된 안면 부위의 특징 포인트를 직접 예측된 키 포인트의 2차원 위치로 정하는 비디오 이미지에서 안면 추적을 위한 장치.
  6. 제4항에 있어서,
    상기 예측부는,
    상기 이미지 수집부로부터 출력된 현재 프레임 이미지에서 안면 부위의 특징 포인트를 추출하면, 특징 포인트 여부를 판단하는 문턱값(threshold value)을 실제 상황의 변화 따른 셀프 적응 문턱값으로 설정하는 비디오 이미지에서 안면 추적을 위한 장치.
  7. 제6항에 있어서,
    상기 예측부는,
    추출된 특징 포인트를 이전 프레임 이미지의 특징 포인트와 매칭하면, RANSAC 기법의 사용 및 거리 문턱의 설정을 통해 비정상적인 매칭된 것을 제거하는 비디오 이미지에서 안면 추적을 위한 장치.
  8. 제5항에 있어서,
    상기 안면 피팅부는,
    2차원 외관 제약 조건 및 3차원 구조 제약 조건이 포함된 복수의 제약 조건으로 상기 예측부를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하는 비디오 이미지에서 안면 추적을 위한 장치.
  9. 제5항에 있어서,
    상기 안면 피팅부는,
    2차원 변형 제약 조건, 특징 포인트 제약 조건, 피부색 제약 조건, 개성 텍스처 제약 조건 중에 적어도 하나의 제약 조건을 따라 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하는 비디오 이미지에서 안면 추적을 위한 장치.
  10. 제9항에 있어서,
    상기 2차원 형상은 아래의 등식으로 표현 되고:
    Figure pat00146
    ,
    Figure pat00147
    는 2차원 가요성(flexible) 형상을 의미하고
    Figure pat00148
    식으로 표현되고,
    Figure pat00149
    는 2차원 모델에 있는 평균 형상을 의미하고,
    Figure pat00150
    는 2차원 모델에 있는 일련의 형상 프리미티브(primitive)
    Figure pat00151
    이며 각 형상 프리미티브는 2차원 형상의 한 변화 방식을 의미하고,
    Figure pat00152
    는2차원 가요성 형상 파라미터(parameter)이며 각 형상 프리미티브의 변화 강도을 의미하고,
    Figure pat00153
    는 2차원 강성 형상 파라미터의 의미이며,
    Figure pat00154
    및
    Figure pat00155
    는 평면에 안면 2차원 형상의 변위를 의미하고
    Figure pat00156
    및
    Figure pat00157
    는 평면에 안면 2차원 형상의 회전 및 수축과 확대를 의미하고,
    T는 상기 변위, 회전, 수축과 확대에 기초하여 2차원 형상에 대한 강성 변형을 의미하는 비디오 이미지에서 안면 추적을 위한 장치.
  11. 제10항에 있어서,
    상기 3차원 구조는 아래의 등식으로 표현 되고:
    Figure pat00158
    ,
    Figure pat00159
    는 3차원 가요성 구조를 의미하고
    Figure pat00160
    식으로 표현되고,
    Figure pat00161
    는 3차원 모델에 있는 평균 구조를 의미하고,
    Figure pat00162
    는 3차원 모델에 있는 일련의 구조 프리미티브
    Figure pat00163
    이며 각 구조 프리미티브는 3차원 구조의 한 변화 방식을 의미하고,
    Figure pat00164
    는3차원 가요성 구조 파라미터이며 각 구조 프리미티브의 변화 강도를 의미하고,
    Figure pat00165
    는3차원 강성 구조 파라미터 설정의 의미이며,
    Figure pat00166
    는 안면의 3차원 구조가 공간에서 X, Y, Z축에 따라 회전된 각도를 의미하고
    Figure pat00167
    는 공간에서 안면 3차원 구조의 변위를 의미하고,
    T는 상기 회전 및 변위에 기초하여 3차원 구조에 대한 강성 변형을 의미하는 비디오 이미지에서 안면 추적을 위한 장치.
  12. 제11항에 있어서,
    상기 안면 피팅부는,
    2차원 변형 제약 조건을
    Figure pat00168
    로 설정하고,
    2차원 가요성 형상 파라미터에 대응하는 변형 정도
    Figure pat00169
    가 작을수록 안면 모델 피팅을 통해 획득한 2차원 구조가 더욱 이상적인 비디오 이미지에서 안면 추적을 위한 장치.
  13. 제12항에 있어서,
    상기 안면 피팅부는,
    특징 포인트 제약 조건을
    Figure pat00170
    로 설정하고,
    Figure pat00171
    는 현재 프레임 이미지에 검측된 매칭된 특징 포인트가 평균 형상
    Figure pat00172
    로 변형할 때 획득된 특징 포인트 위치를 의미하고,
    Figure pat00173
    는 이전 프레임 이미지에 매칭된 특징 포인트가 변형 후의 위치를 의미하고,
    인접한 2 프레임 이미지에 매칭된 특징 포인트들의 차이점인
    Figure pat00174
    가 작을수록 안면 모델 피팅을 통해 획득한 2차원 구조가 더욱 이상적인 비디오 이미지에서 안면 추적을 위한 장치.
  14. 제13항에 있어서,
    상기 안면 피팅부는,
    피부색 제약 조건을
    Figure pat00175
    로 설정하고,
    Figure pat00176
    는 현재 프레임 이미지에 있는
    Figure pat00177
    위치의 점과 피부색의 비슷한 정도를 의미하고,
    2차원 형상
    Figure pat00178
    에 있는 각 키 포인트와 피부색의 차이점인 가 작을수록 안면 모델 피팅을 통해 획득한 2차원 구조가 더욱 이상적인 비디오 이미지에서 안면 추적을 위한 장치.
  15. 제14항에 있어서,
    상기 안면 피팅부는,
    비디오 이미지에 있는 키 프레임을 통해 함수
    Figure pat00180
    을 확정하고,
    상기 키 프레임은,
    비디오 이미지를 대표하는 한 프레임 이미지를 의미하는 비디오 이미지에서 안면 추적을 위한 장치.
  16. 제15항에 있어서,
    상기 안면 피팅부는,
    우선, 제1프레임 이미지를 키 프레임으로 정하고, 그 다음에 더욱 대표적인 이미지를 검측되면 상기 더욱 대표적인 이미지 프레임을 사용하여 전에 사용된 키 프레임을 갱신하는 비디오 이미지에서 안면 추적을 위한 장치.
  17. 제14항에 있어서,
    상기 안면 피팅부는,
    개성 텍스처 제약 조건을
    Figure pat00181
    로 설정하고,
    Figure pat00182
    는 추적된 안면의 개성 텍스처를 의미하고,
    Figure pat00183
    는 현재 프레임 이미지가 평균 형상
    Figure pat00184
    로 변형할 때 획득된 2차원 개성 텍스처를 의미하고,
    변형 처리를 통해 획득된 개성 텍스처
    Figure pat00185
    와 추적된 안면의 개성 텍스처
    Figure pat00186
    의 차이점인
    Figure pat00187
    가 작을수록 안면 모델 피팅을 통해 획득한 2차원 형상이 더욱 이상적인 비디오 이미지에서 안면 추적을 위한 장치.
  18. 제17항에 있어서,
    구분적으로 아핀(Affine)의 변환 방식을 사용하여 상기 변형을 진행하는 비디오 이미지에서 안면 추적을 위한 장치
  19. 제18항에 있어서,
    상기 안면 피팅부는,
    비디오 이미지에 있는 키 프레임을 통해 안면의 개성 텍스처
    Figure pat00188
    을 결정하고,
    상기 키 프레임은,
    비디오 이미지를 대표하는 한 프레임 이미지를 의미하는 비디오 이미지에서 안면 추적을 위한 장치
  20. 제19항에 있어서,
    상기 안면 피팅부는,
    우선, 제1프레임 이미지를 키 프레임으로 정하고, 그 다음에 더욱 대표적인 이미지를 검측되면 상기 더욱 대표적인 이미지 프레임을 사용하여 전에 사용된 키 프레임을 갱신하는 비디오 이미지에서 안면 추적을 위한 장치
  21. 제20항에 있어서,
    상기 하나 또는 복수의 제약 조건은 아래 등식에 따라 코스트함수(cost function)를 구성하고:
    Figure pat00189

    Figure pat00190
    는 2차원 가요성 형상 파라미터의 개수를 의미하고,
    Figure pat00191
    는 매칭된 특징 포인트의 개수을 의미하고,
    Figure pat00192
    는 3차원 구조 제약 조건의 웨이트(weight)를 의미하고,
    Figure pat00193
    는 2차원 변형 제약 조건의 웨이트(weight)를 의미하고,
    Figure pat00194
    는 특징 포인트 제약 조건의 웨이트(weight)를 의미하고,
    Figure pat00195
    는 피부색 제약 조건의 웨이트(weight)를 의미하고,
    Figure pat00196
    는 개성 텍스처 제약 조건의 웨이트(weight)를 의미하고,
    상기 안면 피팅부는,
    상기 예측부를 통해 예측된 키 포인트를 초기값으로 정하여 상기 코스트함수가 최소값의 경우에 대응하는 파라미트
    Figure pat00197
    을 구하고 추적된 안면의 2차원 형상 및 3차원 구조를 확정하는 비디오 이미지에서 안면 추적을 위한 장치.
  22. 제21항에 있어서,
    상기 안면 피팅부는,
    실체 필요 및 추적된 비디오 이미지 특징에 따라 상기 제약 조건을 위해 각각의 웨이트를 설정하는 비디오 이미지에서 안면 추적을 위한 장치.
  23. 이미지 수집부를 통해 비디오 이미지를 수신하고 상기 수신된 현재 프레임 이미지를 예측부에 출력하는 단계;
    예측부를 통해 안면 피팅(fitting)부에 획득된 이전 프레임 이미지에 있는 안면의 2차원 특성 및 3차원 특성에 기초하여 상기 이미지 수집부를 통해 출력된 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하고 예측된 키 포인트의 2차원 위치를 안면 피팅부에 출력하는 단계; 및
    안면 피팅부를 통해 하나 또는 복수의 제약 조건을 이용하여 상기 예측부에 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하여 안면의 2차원 특성과 3차원 특성을 획득하는 단계
    를 포함하는 비디오 이미지에서 안면 추적을 위한 방법.
  24. 제23항에 있어서,
    상기 2차원 특징은,
    2차원 형상을 포함하고,
    상기 3차원 특성은,
    3차원 구조를 포함하는 비디오 이미지에서 안면 추적을 위한 방법.
  25. 청구항24에 있어서,
    상기 예측부를 통해 상기 이미지 수집부를 통해 출력된 현재 프레임 이미지에 있는 안면 키 포인트의 2차원 위치를 예측하는 단계에는,
    상기 이미지 수집부로부터 출력된 현재 프레임 이미지에서 안면 부위 의 특징 포인트를 추출하고 추출된 특징 포인트를 이전 프레임 이미지의 특징 포인트와 매칭하여 안면 피팅부를 통해 획득한 이전 프레임 이미지에 있는 안면의 2차원 위치와 3차원 구조에 기초하여 이전 프레임 이미지에 있는 안면의 3차원 형태를 계산하며,
    추출된 이전 프레임 이미지에 있는 특징 포인트의 2차원 위치, 상기 안면 피팅부를 통해 획득된 이전 프레임 이미지에 있는 안면의 키 포인트의 3차원 구조, 및 이전 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 3차원 구조에 있는 상기 특징 포인트의 위치를 계산하고,
    현재 프레임 이미지에 있는 안면의 매칭된 특징 포인트의 2차원 위치 및 3차원 구조에 있는 상기 특징 포인트의 위치에 기초하여 현재 프레임 이미지에 있는 안면의 3차원 형태를 계산하며,
    안면 피팅부를 통해 획득한 이전 프레임 이미지에 있는 안면의 키 포인트의 3차원 구조 및 계산된 현재 프레임 이미지에 있는 안면의 3차원 형태에 기초하여 현재 프레임 이미지에 있는 안면의 키 포인트의 2차원 위치를 계산하는 것을 포함하는 비디오 이미지에서 안면 추적을 위한 방법.
  26. 제25항에 있어서,
    상기 안면 피팅부는,
    2차원 외관 제약 조건 및 3차원 구조 제약 조건이 포함된 복수의 제약 조건으로 상기 예측부를 통해 예측된 키 포인트의 2차원 위치에 기초하여 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하는 비디오 이미지에서 안면 추적을 위한 방법.
  27. 제26항에 있어서,
    상기 안면 피팅부는,
    2차원 변형 제약 조건, 특징 포인트 제약 조건, 피부색 제약 조건, 개성 텍스처 제약 조건 중에 적어도 하나의 제약 조건을 따라 미리 결정된 안면 2차원 모델과 3차원 모델을 피팅하는 비디오 이미지에서 안면 추적을 위한 방법.
KR1020120036728A 2011-06-15 2012-04-09 안면 추적 장치 및 방법 KR20120138627A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/523,221 US20120321134A1 (en) 2011-06-15 2012-06-14 Face tracking method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110166523XA CN102831382A (zh) 2011-06-15 2011-06-15 人脸跟踪设备和方法
CN201110166523.X 2011-06-15

Publications (1)

Publication Number Publication Date
KR20120138627A true KR20120138627A (ko) 2012-12-26

Family

ID=47334513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120036728A KR20120138627A (ko) 2011-06-15 2012-04-09 안면 추적 장치 및 방법

Country Status (3)

Country Link
US (1) US20120322938A1 (ko)
KR (1) KR20120138627A (ko)
CN (1) CN102831382A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170082331A (ko) * 2016-01-06 2017-07-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
KR20180066160A (ko) * 2016-05-04 2018-06-18 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 안면 이미지 처리 방법 및 장치, 및 저장 매체

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093490B (zh) * 2013-02-02 2015-08-26 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN105096377B (zh) * 2014-05-14 2019-03-19 华为技术有限公司 一种图像处理方法和装置
CN103955682B (zh) * 2014-05-22 2018-01-26 深圳市赛为智能股份有限公司 基于surf兴趣点的行为识别方法及装置
CN106575367B (zh) * 2014-08-21 2018-11-06 北京市商汤科技开发有限公司 用于基于多任务的人脸关键点检测的方法和系统
CN105844582B (zh) * 2015-01-15 2019-08-20 北京三星通信技术研究有限公司 3d图像数据的注册方法和装置
CN105046227B (zh) * 2015-07-24 2018-07-31 上海依图网络科技有限公司 一种针对人像视频系统的关键帧获取方法
CN106558042B (zh) * 2015-09-29 2020-03-31 阿里巴巴集团控股有限公司 一种对图像进行关键点定位的方法和装置
CN106815547A (zh) * 2015-12-02 2017-06-09 掌赢信息科技（上海）有限公司 一种通过多级拟合得到标准化模型运动的方法及电子设备
CN105678307B (zh) * 2016-01-11 2019-08-06 河海大学 基于fast-surf的移动端实时特征检测匹配方法
CN107341785A (zh) * 2016-04-29 2017-11-10 掌赢信息科技（上海）有限公司 一种基于帧间滤波的表情迁移方法及电子设备
CN106203376B (zh) * 2016-07-19 2020-04-10 北京旷视科技有限公司 人脸关键点定位方法及装置
CN108229246A (zh) * 2016-12-14 2018-06-29 上海交通大学 基于车载计算机平台的实时三维人脸姿态追踪方法
TWI728037B (zh) * 2017-01-19 2021-05-21 香港商斑馬智行網絡（香港）有限公司 對圖像進行關鍵點定位的方法和裝置
CN108345821B (zh) * 2017-01-24 2022-03-08 成都理想境界科技有限公司 面部追踪方法及设备
CN107066982A (zh) * 2017-04-20 2017-08-18 天津呼噜互娱科技有限公司 人脸特征点的识别方法和装置
CN106960203B (zh) * 2017-04-28 2021-04-20 北京搜狐新媒体信息技术有限公司 一种面部特征点跟踪方法及系统
CN107610237A (zh) * 2017-09-08 2018-01-19 北京奇虎科技有限公司 图像采集设备数据实时处理方法及装置、计算设备
CN109508575A (zh) * 2017-09-14 2019-03-22 深圳超多维科技有限公司 人脸跟踪方法及装置、电子设备和计算机可读存储介质
CN108830900B (zh) * 2018-06-15 2021-03-12 北京字节跳动网络技术有限公司 关键点的抖动处理方法和装置
CN108985225B (zh) * 2018-07-13 2021-12-14 北京猎户星空科技有限公司 焦点跟随方法、装置、电子设备及存储介质
CN109670474B (zh) * 2018-12-28 2023-07-25 广东工业大学 一种基于视频的人体姿态估计方法、装置及设备
CN109994206A (zh) * 2019-02-26 2019-07-09 华为技术有限公司 一种容貌预测方法及电子设备
CN109949412B (zh) * 2019-03-26 2021-03-02 腾讯科技（深圳）有限公司 一种三维对象重建方法和装置
CN113761965B (zh) * 2020-06-01 2024-03-12 北京达佳互联信息技术有限公司 动作捕捉方法、装置、电子设备和存储介质
CN112541925A (zh) * 2020-12-15 2021-03-23 华南理工大学 结合视觉仿真的图像感兴趣区域截取方法、系统及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5591807A (en) * 1995-05-23 1997-01-07 The Sherwin-Williams Company Polyimine/polyisocyanate coating composition containing polymeric anhydride
DE19628409A1 (de) * 1996-07-15 1998-01-22 Hoechst Ag Amin-modifizierte Epoxidharz-Zusammensetzung
CN1128170C (zh) * 1997-06-13 2003-11-19 美国3M公司 路面标记、涂料组合物、液体路面标记组合物及其用途和制造方法以及标记表面的方法
JP4093273B2 (ja) * 2006-03-13 2008-06-04 オムロン株式会社 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
CN100468465C (zh) * 2007-07-13 2009-03-11 中国科学技术大学 基于虚拟图像对应的立体视觉三维人脸建模方法
CN101320484B (zh) * 2008-07-17 2012-01-04 清华大学 一种人脸虚图像生成的方法及一种三维人脸识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170082331A (ko) * 2016-01-06 2017-07-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
KR20180066160A (ko) * 2016-05-04 2018-06-18 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 안면 이미지 처리 방법 및 장치, 및 저장 매체

Also Published As

Publication number Publication date
US20120322938A1 (en) 2012-12-20
CN102831382A (zh) 2012-12-19

Similar Documents

Publication Publication Date Title
KR20120138627A (ko) 안면 추적 장치 및 방법
US20120321134A1 (en) Face tracking method and device
US9008439B2 (en) Image processing method and system
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
Karasulu et al. Moving object detection and tracking in videos
US20170024893A1 (en) Scene analysis for improved eye tracking
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
JP6331761B2 (ja) 判定装置、判定方法及び判定プログラム
JP6116765B1 (ja) 物体検出装置及び物体検出方法
KR20170015299A (ko) 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치
CN109525786A (zh) 视频处理方法、装置、终端设备及存储介质
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
CN113379789A (zh) 一种复杂环境下运动目标跟踪方法
CN110490131B (zh) 一种拍摄设备的定位方法、装置、电子设备及存储介质
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
JP2010092180A (ja) 瞼尤度演算装置、及びプログラム
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
CN114494977A (zh) 一种异常停车检测方法、电子设备及存储介质
JP4942197B2 (ja) テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体
CN116704587B (zh) 融合纹理信息和深度信息的多人头部姿态估计方法及系统
CN110998595A (zh) 用于头部姿势估计的方法和系统

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid