KR20130071341A - 안면 특징 벡터 구성 - Google Patents

안면 특징 벡터 구성 Download PDF

Info

Publication number
KR20130071341A
KR20130071341A KR1020120108990A KR20120108990A KR20130071341A KR 20130071341 A KR20130071341 A KR 20130071341A KR 1020120108990 A KR1020120108990 A KR 1020120108990A KR 20120108990 A KR20120108990 A KR 20120108990A KR 20130071341 A KR20130071341 A KR 20130071341A
Authority
KR
South Korea
Prior art keywords
feature vector
computer code
model feature
image
texture
Prior art date
Application number
KR1020120108990A
Other languages
English (en)
Other versions
KR101481225B1 (ko
Inventor
잔 에릭 솔렘
마이클 루쏭
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20130071341A publication Critical patent/KR20130071341A/ko
Application granted granted Critical
Publication of KR101481225B1 publication Critical patent/KR101481225B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

안면 인식 매개변수 집합들을 결정하고 적용하기 위한 시스템, 방법 및 컴퓨터 판독가능한 매체가 설명된다. 일반적으로, 안면 인식 판별자들의 고유한 조합을 식별하여, 종래 기술의 기법들보다 더 강건하고(예를 들어, 이미지 잡음, 사람의 자세, 및 장면 조명에 대해 안정적임) 정확한(예를 들어, 높은 인식률을 제공함) 것으로 밝혀진 "안면 특징 벡터"로 구성하기 위한 기법들이 개시된다. 더 구체적으로, 안면 특징 벡터는 형상 디스크립터들(예를 들어, 2차원 및 3차원 형상 모델에 의해 생성됨) 및 텍스처 디스크립터들(예를 들어, 전역적 및 국부적 텍스처 모델에 의해 생성됨)에 의해 생성될 수 있다.

Description

안면 특징 벡터 구성{FACE FEATURE VECTOR CONSTRUCTION}
본 명세서는 일반적으로 안면 인식 분야에 관한 것이다. 더 구체적으로, 본 명세서는 다수의 유형의 안면 인식 디스크립터들을 단일 엔터티, 즉 안면 특징 벡터(face feature vector)로 결합하기 위한 다수의 기법을 설명한다. 안면 특징 벡터들은 안면 인식 애플리케이션들에서 이용될 수 있다. 그러한 애플리케이션들의 예는 iPhoto® 및 Aperture® 내에서 이미지들(스틸 및 비디오)을 관리하고 정렬하고 주석을 다는 것을 포함하지만 그에 한정되지는 않는다(IPHOTO 및 APERTURE는 Apple Inc.의 등록 상표임).
일반적인 용어들로, 안면 인식 동작은 사람의 안면을 스캔하고, 그로부터 지정된 매개변수 집합을 추출 또는 검출하고, 그 매개변수들을 식별정보가 미리 할당되어 있거나 다르게 알려져 있는 알려진 안면 데이터의 라이브러리에 대조한다. 새로운 이미지의 매개변수가 비교되는 데이터 세트는 종종 모델에 의해 특징지어지거나 기술된다. 실제에서, 이러한 모델들은 매개변수 집합들의 그룹들을 정의하는데, 주어진 그룹 내에 포함되는 모든 이미지가 동일인에 속하는 것으로 분류된다.
강건하고(예를 들어, 이미지 잡음, 사람의 자세, 및 장면 조명에 대해 안정적임) 정확하기(예를 들어, 높은 인식률을 제공함) 위해, 지정된 매개변수 집합들은 전형적인 개인-내 가변성(intra-person variability)에 대해 반복가능하고 불변인 동시에, 한 사람을 다른 사람으로부터 구별할 수 있는 방식으로 안면을 기술하는 정보를 인코딩할 필요가 있다. 이러한 요구가 모든 안면 인식 시스템이 직면하는 가장 중요한 문제이다. 따라서, 강건하고 정확한 안면 인식을 제공하는 매개변수들의 집합을 정의하는 메커니즘(방법, 디바이스 및 시스템)을 찾는 것이 이로울 것이다.
다양한 실시예들에서, 본 발명은 디지털 이미지 내에서 검출된 안면들을 식별하기 위해 이용될 수 있는 신규한 안면 특징 벡터를 생성하기 위한 장치(예를 들어, 개인용 컴퓨터), 방법 및 컴퓨터 프로그램 코드를 제공한다. 방법은 (예를 들어, 안면 검출 기법들을 통해) 제1 이미지 내의 제1 안면에 대한 랜드마크 검출 정보를 획득하기 위한 컴퓨터 프로그램 코드를 수행(또는 실행)하는 것을 포함한다. 랜드마크 검출 정보는 제1 및 제2 형상 특징 벡터를 생성하기 위해 제1 및 제2 형상 모델에 적용될 수 있고, 제1 및 제2 텍스처 특징 벡터를 생성하기 위해 제1 및 제2 텍스처 모델에 적용될 수 있다. 이러한 특징 벡터들 중 4개 전부가 결합되어 안면 특징 벡터를 형성할 수 있다.
일 실시예에서, 제1 형상 모델은 검출된 안면의 2차원 형상 모델인 한편, 제2 형상 모델은 검출된 안면의 3차원 형상 모델이다. 제1 및 제2 형상 모델은 서로에 대해 독립적으로 선형 또는 비선형일 수 있다.
다른 실시예에서, 랜드마크 검출 정보는 제1 및 제2 텍스처 특징 벡터를 생성하기 위해 이용되기 전에 정규화될 수 있다. 일부 실시예들에서, 제1 텍스처 특징 벡터는 정규화된 랜드마크 검출 정보 내의 식별된 영역들에 기초할 수 있다 (영역들은 정규화된 랜드마크 검출 정보의 전부보다 적게 포함함).
또 다른 실시예에서, 정규화된 랜드마크 검출 정보가 제2 텍스처 특징 벡터를 생성하기 위해 이용되기 전에, 모핑 연산(morphing operation)이 정규화된 랜드마크 검출 정보에 적용될 수 있다.
또 다른 실시예에서, 2개의 그러한 안면 특징 벡터를 비교함으로써 유사성 척도가 결정될 수 있다. 이러한 유사성 척도는 2개의 안면 특징 벡터가 동일한 안면을 표현할 것으로 예상되는지를 판정하기 위해 이용될 수 있다. 이러한 실시예들 및 유사한 실시예들에서, 유사성 척도는 마할라노비스(Mahalanobis) 거리 측정에 기초할 수 있다.
도 1은 일 실시예에 따른 안면 특징 벡터 생성 및 런타임 안면 식별 동작을 블록도 형태로 도시한다.
도 2는 일 실시예에 따른 형상 및 텍스처 모델의 구성을 블록도 형태로 도시한다.
도 3은 다른 실시예에 따른 안면 특징 벡터 생성 동작을 블록도 형태로 도시한다.
도 4a 및 도 4b는 일 실시예에 따른 국부적 이미지 및 고밀도 이미지 디스크립터 동작을 도시한다.
도 5는 일 실시예에 따른 워핑된 이미지 및 고밀도 검출기 영역들을 도시한다.
도 6은 일 실시예에 따른 안면 특징 벡터의 구조를 도시한다.
도 7은 일 실시예에 따른 안면 식별 동작을 흐름도 형태로 도시한다.
도 8은 일 실시예에 따른 개시된 안면 특징 벡터의 식별 성능을 설명하는 예시적인 ROC(Receiver Operating Characteristic) 곡선을 도시한다.
도 9는 본 명세서에 따른 하나 이상의 동작을 구현하기 위해 이용될 수 있는 예시적인 전자 디바이스를 블록도 형태로 도시한다.
본 명세서는 안면 인식 매개변수 집합들을 결정하고 적용하기 위한 시스템, 방법 및 컴퓨터 판독가능한 매체에 관한 것이다. 일반적으로, 안면 인식 판별자들의 고유한 결합을 식별하여, 종래 기술의 식별 접근법들보다 더 강건하고(예를 들어, 이미지 잡음, 사람의 자세, 및 장면 조명에 대해 안정적임) 정확한(예를 들어, 높은 인식률을 제공함) 것으로 밝혀진 "안면 특징 벡터"로 구성하기 위한 기법들이 개시된다. 더 구체적으로, 안면 특징 벡터는 형상 및 텍스처 디스크립터들의 결합에 의해 생성될 수 있다. 한 구현예에서, 안면 특징 벡터는 안면의 2차원(2D) 형상, 그것의 3차원(3D) 형상, 그것의 전체적 또는 전역적 텍스처, 및 세부사항 또는 국부적 텍스처 정보(예를 들어, 피부색)를 기술하는 정보를 포함한다.
이하의 설명에서는 설명을 목적으로, 발명의 개념에 대한 완전한 이해를 제공하기 위해 다수의 구체적인 상세가 제시된다. 이러한 설명의 일부분으로서, 본 명세서의 도면 중 일부는 본 기술분야의 통상적인 지식을 가진 자가 알고 있을 세부사항들로 본 발명을 모호하게 하는 것을 회피하기 위해, 구조들 및 디바이스들을 블록도 형태로 표현한다. 더욱이, 본 명세서에서 이용되는 언어는 주로 독이성(readability) 및 교시를 목적으로 선택되었고, 발명의 주제의 범위를 정하거나 제한하도록 선택되지 않았을 수 있고, 그러한 발명의 주제를 결정하기 위해서는 청구항들에 의존할 필요가 있다. 본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 관련하여 설명되는 특정한 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 다수의 언급이 반드시 모두 동일한 실시예를 지칭하는 것이라고 이해되어서는 안 된다.
(임의의 개발 프로젝트에서와 같은) 임의의 실제 구현의 개발에서, 개발자의 특정한 목표를 달성하기 위해(예를 들어, 시스템 및 비지니스 관련 제약을 준수하는 것) 다수의 결정이 이루어져야 하며, 이들 목표들은 구현마다 달라질 것임을 알 것이다. 또한, 그러한 개발 노력들은 복잡하고 시간 소모적일 수 있지만, 그럼에도 불구하고 본 명세서의 혜택을 받는 안면 인식 분야의 통상적인 지식을 가진 자들에게는 일상적인 작업일 것임을 알 것이다.
도 1을 참조하면, 일 실시예에 따른 안면 특징 벡터 생성 및 런타임 안면 식별 동작(100)이 블록도 형태로 도시되어 있다. 우선, 입력 이미지(105)가 안면 검출기(110)에 따라 처리되어 랜드마크 이미지(115)를 생성한다. 여기에서 이용될 때, 문구 "랜드마크 이미지"는 랜드마크 포인트들이 검출된 안면의 이미지를 언급한다. 랜드마크 특징들은 눈, 눈썹, 코, 입 및 볼과 같은 하나 이상의 안면 특징의 위치를 포함할 수 있다. 입력 이미지(105)는 예를 들어 디지털 스틸 또는 비디오 카메라로부터 획득된 이미지일 수 있다. 안면 검출기(110)는 설계자의 목표/제약에 적합한 임의의 방법론을 이용할 수 있다. 예시적인 안면 검출 기법들은 지식 기반(knowledge-based), 특징 불변(feature invariant), 템플릿 매칭(template matching) 및 모양 기반(appearance-based) 방법들을 포함하지만 그에 한정되지는 않는다. 안면을 검출하기 위한 정확한 방법은 이하의 논의의 중심이 아니므로, 여기에서는 이러한 동작에 관하여 더 이상 설명되지 않을 것이다. 그와 같이 제한되는 것은 아니지만, 일 실시예에서 랜드마크 이미지(115)는 계조 이미지일 수 있고, 그 내부에서는 검출된 특징들이 두드러진다. 설명을 간단하게 하기 위해, 이하에서는 입력 이미지(예를 들어, 이미지(105))가 단 하나의 안면만을 포함한다고 가정될 것이다. 그러나, 개시된 기법들에는 그러한 제한 중 어떤 것도 내재되어 있지 않음을 이해해야 한다.
랜드마크 이미지(115)는 하나 이상의 형상 모델(120) 및 하나 이상의 텍스처 모델(125)에 적용될 수 있다. 도시된 바와 같이, 형상 모델들(120)은 형상 디스크립터들(130)을 생성하고, 텍스처 모델들(125)은 텍스처 디스크립터들(135)을 생성한다. 형상 및 텍스처 모델들(120 및 125)은 전형적으로 알려진 이미지들의 라이브러리를 이용하여 오프라인으로 생성되며, 서로에 독립하여 선형 또는 비선형일 수 있음을 인식해야 한다. 이 모델들은 또한 소위 "기하 제약된 부분 기반 모델들(geometry constrained part-based models)"을 포함할 수 있고, 여기에서 랜드마크 포인트들은 자기 자신의 모양 모델(appearance model)을 갖는다. 디스크립터들(130 및 135)은 개발자의 목표들 및/또는 제약들을 만족하는 임의의 방식으로, 블록(140)에 따라 결합될 수 있다. 예로서, 연산(140)은 공급된 형상 및 텍스처 디스크립터들 각각을 연쇄시킬 수 있다. 다른 실시예에서, 연산(140)은 디스크립터 요소들의 선형 결합들의 집합을 생성할 수 있다. 또 다른 실시예에서, 형상 디스크립터들(130)은 한 방식으로 결합될 수 있고, 텍스처 디스크립터들(135)은 다른 방식으로 결합될 수 있으며, 각각의 결합이 연쇄된다. 또 다른 실시예에서, 하나 이상의 디스크립터는 자신의 각각의 모델들에 의해 생성되는 대로 결합될 수 있는 한편, 다른 디스크립터들은 결합 전에 추가 처리될 수 있다 (예를 들어, 차원 감소(dimensional reduction), 평활화 및 그와 유사한 것). 어떻게 결합되더라도, 연산(140)의 결과는 안면 특징 벡터(145)이다. 안면 특징 벡터(145)는 저장소(150)(예를 들어, 비일시적 자기 또는 고체상태 디스크 유닛) 내에 보유될 수 있다. 실용적인 문제로서, 안면 특징 벡터(145)는 입력 이미지(105) 내에(예를 들어, 그것의 메타데이터 내에) 포함될 수 있고/거나 그 이미지(105)를 참조하는 별개의 데이터 저장소에 보유될 수 있다.
생성되고 나면, 안면 특징 벡터(145)는 (예를 들어, 이미지(105) 내에서) 대응하는 이미지의 안면을 식별하기 위해 애플리케이션(155)에 의해 이용될 수 있다. 예를 들어, 애플리케이션(155)은 이미지(160)를 검색할 수 있는데, 그 이미지의 연관된 안면 특징 벡터 <f>는 안면 'F'에 연관되거나 그것으로 식별된다. 검색되고 나면, 안면 특징 벡터(145)는 안면 특징 벡터 <f>와 비교될 수 있고(165), (예를 들어, 소정의 편리한 척도를 통해) 2개가 충분히 유사한 경우, 이미지(105)는 안면 'F'를 포함한다고 말해질 수 있다. 일 실시예에서, 애플리케이션(155)은 사용자 레벨 그래픽 애플리케이션(예를 들어, iPhoto 또는 Aperture)일 수 있다. 다른 실시예에서, 애플리케이션(155)은 사용자 레벨 애플리케이션에 의해 이용될 수 있는 안면 인식 프레임워크 내에 포함될 수 있다. 또 다른 실시예에서, 애플리케이션(155)의 일부 또는 전부는 특수화된 이미지 처리 하드웨어 내에 포함될 수 있다.
도 2를 참조하면, 형상 모델들(120)은 (각각 2D 및 3D 형상 디스크립터(210 및 215)를 생성하는) 2차원(2D) 모델(200) 및 3차원(3D) 모델(205)을 포함하는 것으로 보여질 수 있는 한편, 텍스처 모델들(125)은 (각각 전역적 및 국부적 텍스처 디스크립터(230 및 235)를 생성하는) 전역적 텍스처 모델(220) 및 국부적 텍스처 모델(225)을 포함한다.
일 실시예에서, 2D, 3D 및 전역적 텍스처 모델들(200, 205 및 220)은 아래와 같은 형태의 선형 모델들일 수 있다:
Figure pat00001
여기에서,
Figure pat00002
는 (모델이 형상 모델인지 텍스처 모델인지에 따라) 이미지 또는 이미지 포인트들을 표현하고, B는 (일반적으로 직교하는) 기저 벡터들(basis vectors)의 집합을 표현하고,
Figure pat00003
는 모델 계수들의 집합을 표현하고,
Figure pat00004
은 (모델이 형상 모델인지 텍스처 모델인지에 따라) 평균 형상 또는 텍스처 벡터를 표현한다. (트레이닝) 이미지들의 집합이 주어지면, 예를 들어 PCA(Principal Component Analysis), ICA(Independent Component Analysis), LDA(Linear Discriminant Analysis), EBGM(Elastic Bunch Graph Matching), 트레이스 변환(Trace transform), 활성 모양 모델(Active Appearance Model)(2M), 베이지안 프레임워크(Bayesian Framework), SVM(Support Vector Machine), 히든 마르코프 모델(Hidden Markov Model(H8)) 및 아이겐페이스(Eigenface)와 같은 임의의 수의 기법들을 이용하여, 기저 벡터들 B 및 평균 형상/텍스처 벡터
Figure pat00005
이 결정될 수 있다. B를 포함하는 기저 벡터의 수가 모델의 정확도를 어느 정도로 결정한다. 따라서, B의 크기는 소기의 정확도를 달성하도록 설계자에 의해 선택될 수 있다. 일 구현예에서는 10개의 기저 벡터가 충분할 수 있는 한편, 다른 구현예에서는 20, 50 또는 75개의 기저 벡터가 필요할 수 있다.
도 3을 참조하면, 안면 특징 벡터 구성 동작(300)의 일 실시예를 위한 블록도가 도시되어 있다. 위에서 도 1 및 도 2에 관련하여 설명된 바와 같이, 입력 이미지(105)는 랜드마크 이미지(115)를 생성하는 안면 검출기(110)에 제공된다. 도시된 실시예에서, 랜드마크 이미지(115)는 2D 및 3D 형상 모델(200 및 205)에 직접 공급될 수 있다. 이러한 모델들이 수학식 1에 의해 특징지어질 수 있다고 가정하면, 2D 형상 모델(200)에 대하여,
Figure pat00006
는 랜드마크 이미지(115)를 표현하고, B는 2D 모델 기저 벡터들의 집합을 표현하고,
Figure pat00007
는 2D 모델 계수들(즉, 2D 디스크립터들(210))의 집합을 표현하고,
Figure pat00008
은 평균 2D 형상 벡터를 표현한다. 마찬가지로, 3D 형상 모델(205)에 대하여,
Figure pat00009
는 랜드마크 이미지(115)를 표현하고, B는 3D 모델 기저 벡터들의 집합을 표현하고,
Figure pat00010
는 3D 모델 계수들(즉, 3D 디스크립터들(215))의 집합을 표현하고,
Figure pat00011
은 평균 3D 형상 벡터를 표현한다.
랜드마크 이미지(115)는 다음으로, 정규화된 이미지(310)를 생성하기 위해 정규화 연산(305)을 거칠 수 있다. 본 기술분야의 통상의 지식을 가진 자들은 정규화 연산(305)이 이미지의 랜드마크 특징들(예를 들어, 눈썹, 눈, 코, 입 및 볼)이 주어진 크기 프레임 내의 지정된 위치들에 나타나도록 조정될 수 있는 프로세스를 지칭한다는 것을 이해할 것이다.
정규화되고 나면, 이미지(310)는 전역적 텍스처 모델(220)에 공급되어 전역적 텍스처 디스크립터들(230)을 생성할 수 있다. 수학식 1이 전역적 텍스처 모델(220)을 특징짓는 경우,
Figure pat00012
는 정규화된 이미지(310)를 표현하고, B는 텍스처 모델 기저 벡터들의 집합을 표현하고,
Figure pat00013
는 텍스처 모델 계수들(즉, 전역적 텍스처 디스크립터들(240))의 집합을 표현하고,
Figure pat00014
은 평균 텍스처 벡터를 표현한다.
2D, 3D 및 전역적 텍스처 모델들(200, 205 및 220)에 대해 기저 벡터들(B) 및 평균 벡터들(
Figure pat00015
)을 오프라인으로 결정하고, 그들을 런타임 사용을 위해 저장하고 나면, 수학식 1에서
Figure pat00016
에 대해 해를 구하는 것에 의해 (2D, 3D 및 전역적 텍스처 디스크립터들(210, 215 및 230)를 표현하는) 모델 계수들이 결정될 수 있다. B가 반드시 정방 행렬은 아닐 수 있으므로,
Figure pat00017
를 결정하기 위한 수학식 1에 대한 간단한 대수적 해는 이용가능하지 않을 수 있다. 따라서,
Figure pat00018
는 다수의 최적화 절차 중 임의의 것에 따라 런타임에서 결정될 수 있다. 하나의 그러한 절차는 이하의 관계를 평가하는 것이다:
Figure pat00019
예로서, 수학식 1로부터, 랜드마크 이미지(115) 및 정규화된 이미지(305)가 (128×128) 어레이의 요소에 의해 각각 표현된다면,
Figure pat00020
는 (16,384×1) 벡터임을 알 수 있다. 또한, 'n1'이 B 내의 기저 벡터의 수를 표현한다면, B는 (16,384×n1) 행렬이고,
Figure pat00021
은 (16,384×1) 벡터이다. 이러한 예에서, 2D, 3D 및 전역적 텍스처 디스크립터들(210, 215 및 230)은 (n1×1) 벡터이다. 일 실시예에서, 3D 모델 계수들은 명칭이 "3D 개체 인식(3D Object Recognition)"인 계류 중인 미국 특허 출원 제13/299,211호에 설명된 기법을 이용하여 구해질 수 있다.
다시 도 3을 참조하면, 정규화된 이미지(310)는 또한 국부적 텍스처 모델(225)에 제공될 수 있다. 도시된 바와 같이, 국부적 텍스처 모델(225)은 그 자체가 국부적 이미지 디스크립터(315), 고밀도(dense) 이미지 디스크립터(320) 및 워핑된 고밀도 이미지 디스크립터(325)를 포함할 수 있다.
도 4a를 참조하면, 일 실시예에서 국부적 이미지 디스크립터(315)는 랜드마크 특징들 중 하나 이상의 랜드마크 특징의 주변의 작은 영역 또는 타일(400)의 텍스처에 기초한다 (예시적인 영역들 중 단 하나만이 도 4a에 열거되어 있음). 타일들의 정확한 개수는 이미지 해상도 및 설계자의 목표/제약에 의존하지만, (128×128) 정규화된 이미지에 대해서는 10 내지 20개의 타일이 충분한 것으로 밝혀졌다. 각각의 타일의 크기는 트레이닝 데이터에 기초하여 결정될 수 있고, 고정된 수의 스케일로 변할 수 있으며, 여기에서 각각의 포인트는 또한 상이한 크기의 다수의 타일을 가질 수 있다. 이용되는 실제 세팅들은 (설정된 설계 제약들 내에서) 최상의 인식 성능을 제공하는 것에 기초할 수 있음이 이해될 것이다. 예로서, 국부적 이미지 디스크립터는 HoG(Histogram of Gradients), SURF(Speeded Up Robust Feature), SIFT(Scale-Invariant Feature Transform), BRIEF(Binary Robust Independent Elementary Features) 및 ORB(Oriented BRIEF), 또는 유사한 유형의 디스크립터들과 같은 벡터 기울기(gradient) 연산자들에 따라 생성될 수 있다. 도 4b를 참조하면, 일 실시예에서, 고밀도 이미지 검출기(320)는 전체 이미지에 기초하여 이미지 디스크립터를 결정한다. 예를 들어, 선택된 검출기 동작(예를 들어, HoG 또는 SIFT)은 이미지(305)를 커버하는 복수의 영역(예를 들어 5×4 그리드에서와 같은 20개의 영역(405)) 각각에 적용될 수 있다. 국부적 이미지 검출기(315)의 결과는 j-요소 디스크립터이다. 고밀도 이미지 검출기의 결과는 k-요소 디스크립터이다.
국부적 이미지 디스크립터(315) 및 고밀도 이미지 디스크립터(320) 둘 다가 기울기 벡터 디스크립터들을 이용하는 것으로서 기술되었지만, 이것이 필수적인 것은 아니다. 예를 들어 강도 기반 디스크립터들 및 이미지 텍스처 베이스들과 같은 다른 디스크립터들도 이용될 수 있다. 추가로, 국부적 이미지 검출기(315)는 한 접근법(예를 들어, 강도)을 이용할 수 있고, 고밀도 이미지 검출기(320)는 다른 접근법(예를 들어, 기울기 벡터)을 이용할 수 있다.
정규화된 이미지(310)를 직접 이용하는 것에 더하여, 국부적 텍스처 모델(225)은 또한 이미지(310)의 워핑된 버전을 이용할 수 있다. 도 3을 다시 참조하면, 정규화된 이미지(310)는 워핑 또는 모핑된 이미지(335)를 생성하기 위해 워핑 또는 모핑 연산자(330)에 적용될 수 있다. 일 실시예에서, 워핑 연산자(330)는 워핑된 이미지(335)가 대상의 안면의 완전한 정면 뷰(full frontal view)에 근접하도록, 면외 회전(out-of-plane rotation)에 대하여 안면을 조정한다. 도 5를 참조하면, 고밀도 이미지 디스크립터(320)를 생성하기 위해 설명된 동작과 마찬가지로, 워핑된 이미지(335) 전체가 고밀도 텍스처 디스크립터(320)에 관하여 위에서 설명된 바와 같이 영역들(예를 들어, 500)에서 평가될 수 있다. 일 실시예에서, 워핑된 고밀도 이미지 디스크립터는 l-요소 디스크립터이다. 동작들이 유사할 수 있긴 하지만, 워핑된 고밀도 이미지 디스크립터(325)가 고밀도 이미지 디스크립터(320)를 생성하기 위해 이용된 것과 동일한 기법 또는 동일한 수의 영역/타일을 이용할 필요는 없다.
다시 도 3을 참조하면, 결합 연산(340)은 생성된 국부적 이미지, 고밀도 이미지 및 워핑된 고밀도 이미지 디스크립터들 중 임의의 둘, 셋 또는 임의의 조합을 결합하여, 중간 국부적 텍스처 디스크립터(345)를 생성할 수 있다. 결합 연산(340)은 각각의 디스크립터의 전체를 취하거나 각각의 디스크립터의 일부분만을 취하거나, 하나의 디스크립터의 전체 및 다른 디스크립터의 일부분만을 취할 수 있다. 위에서 시작된 수치 예를 계속하면(다섯번째 앞의 단락), 결합 연산(340)은 국부적 이미지 디스크립터(j-요소), 고밀도 이미지 디스크립터(k-요소) 및 워핑된 고밀도 이미지 디스크립터(l-요소) 각각의 연쇄일 수 있다. 이와 같은 실시예에서, 중간 국부적 텍스처 디스크립터(345)의 크기는 (j+k+l)이다. 일 구현예에서는, (j+k+l)
Figure pat00022
3,000이다.
이 디스크립터의 크기를 더 쉽게 실시간으로 조작될 수 있는 값으로 감소시키기 위해, 차원 감소(dimensional reduction) 연산(350)이 수행되어 국부적 텍스처 디스크립터(235)를 생성할 수 있다. 대안적으로, 개별 성분들(315, 320, 325)에 대하여, 블록(340)에서 그들을 결합하기 전에 차원 감소(dimensionality reduction)가 수행될 수 있다. 차원 감소 CAN은 아래와 같이 표현될 수 있는 변환으로 볼 수 있다:
Figure pat00023
여기에서,
Figure pat00024
는 국부적 텍스처 디스크립터(235)를 표현하고, M은 소기의 변환을 수행하는 (일반적으로 직교하는) 기저 벡터들의 집합을 표현하고,
Figure pat00025
는 중간 국부적 텍스처 디스크립터(345)를 표현한다. 큰 집합의 안면들에 대한
Figure pat00026
의 분포를 알고 있다면, 실질적으로 동일한 정보를 표현하기 위하여 더 적은 수의 요소(차원)를 식별하고 보유할 수 있다. 변환 행렬 M은 다수의 알려진 최적화 기법들(예를 들어, 메트릭 학습, 특징 선택 또는 주요 성분 분석) 중 임의의 것을 이용하여 오프라인으로 결정될 수 있다. 결정되고 나면, M은 런타임에서의 사용을 위해 저장될 수 있다. 위에서 시작된 수치 예를 계속하면, 중간 국부적 텍스처 벡터(345)(
Figure pat00027
)가 3,000 요소를 갖고, M이 이러한 차원을 n2 차원으로 감소시키는 경우,
Figure pat00028
는 (n2×1) 벡터이고, M은 (n2×3,000) 행렬이고,
Figure pat00029
는 (3,000×1) 벡터이다.
다시 도 3으로 되돌아가면, 디스크립터들(210, 215, 230 및 235) 각각이 결정된 후, 그들은 안면 특징 벡터(145)를 생성하기 위해 연산자(140)에 따라 결합될 수 있다. 도 6에 도시된 바와 같이, 안면 특징 벡터는 2D 형상 디스크립터(210)를 위한 필드(600), 3D 형상 디스크립터(215)를 위한 필드(605), 전역적 텍스처 디스크립터(230)를 위한 필드(610), 및 국부적 텍스처 디스크립터(235)를 위한 필드(615)를 포함할 수 있다.
위에서 시작된 수치 예를 다시 참조하면, 2D 모델(200), 3D 모델(205) 및 전역적 텍스처 모델(220)이 수학식 1에 의해 주어진 형태의 선형 모델들이고, 모델 입력 이미지들이 (128×128) 요소로 구성되고, 2D, 3D 및 전역적 텍스처 모델들 각각에 n1 기저 벡터가 존재하는 경우, 예시적인 모델 매개변수들은 표 1에 나타난 것과 같다.
Figure pat00030
<예시적인 모델 매개변수 크기들>
국부적 이미지 검출기(315), 고밀도 이미지 검출기(320) 및 워핑된 고밀도 이미지 검출기(320)의 결합이 3,000 요소를 갖는 중간 국부적 텍스처 디스크립터(345)를 생성하고, 차원 감소 연산(350)이 수학식 3에 의해 특징지어질 수 있고, 차원의 수를 n2 차원으로 감소시키는 경우, 차원 감소 연산(350)을 위한 예시적인 모델 매개변수들은 표 2에 나타난 것과 같다.
Figure pat00031
<예시적인 차원 감소 매개변수 크기들>
마지막으로, 결합 연산자(140)가 2D 디스크립터들(210), 3D 디스크립터들(215), 전역적 텍스처 디스크립터들(230) 및 국부적 텍스처 디스크립터들(235) 각각을 연쇄시키는 경우, 안면 특징 벡터(145)는 ((3n1 + n2) × 1) 벡터이다.
도 7을 참조하면, 일 실시예에 따른 안면 특징 특징들을 이용하는 안면 식별 동작(700)이 도시되어 있다. 우선, 알려지지 않은 안면/신원 및 알려진 안면/신원에 대한 안면 특징 벡터들이 획득된다(블록들(705 및 710)). 다음으로, 유사성 메트릭이 이 벡터들에 적용될 수 있고(블록(715)), 메트릭이 일치를 나타내는지를 판정하기 위한 확인이 이루어질 수 있다(블록(720)). 2개의 안면 특징 벡터가 충분히 유사한 경우(블록(720)의 "예" 분기), 알려지지 않은 안면 특징 벡터가 알려진 안면 특징 벡터에 연관된 동일한 신원을 표현한다는 판정이 내려질 수 있다(블록(725)). 2개의 안면 특징 벡터가 일치를 나타낼 정도로 충분히 유사하지 않은 경우(블록(720)의 "아니오" 분기), 다른 알려진 안면 특징 벡터가 이용가능한지를 판정하기 위한 추가의 확인이 이루어진다(블록(730)). 알려진 신원들에 연관된 더 이상의 안면 특징 벡터가 존재하지 않는 경우(블록(730)의 "아니오" 분기), 알려지지 않은 안면 특징 벡터(즉, 블록(705)에 따른 동작들 동안 획득된 것)가 알려지지 않은 안면에 대응한다고 결론지어질 수 있다(블록(735)). 알려진 신원들에 연관된 추가의 안면 특징 벡터들이 존재하는 경우(블록(730)의 "예" 분기), "다음의" 알려진 안면 특징 벡터가 예를 들어 저장소(150)로부터 획득될 수 있고(블록(740)), 그 다음 블록(715)에서 동작(700)이 재개된다.
일 실시예에서, 유사성 메트릭(블록(715) 참조)은 해밍 거리(Hamming distance)와 같은 거리 메트릭일 수 있다. 여기에 설명되는 안면 특징 벡터와 같은 큰 차원 벡터들에 대하여, 수학식 4에 기술된 것과 같은 마할라노비스 거리 척도가 효과적인 유사성 척도를 제공하는 것으로 밝혀졌다.
Figure pat00032
여기에서,
Figure pat00033
는 제1 안면 특징 벡터(예를 들어, 알려지지 않은 안면에 연관된 것)를 표현하고,
Figure pat00034
는 제2 안면 특징 벡터(예를 들어, 알려진 안면에 연관된 것)를 표현하고, S()는 유사성 또는 비교 연산을 표현하고, W는 가중 행렬을 표현한다. 본질적으로, 가중 행렬 W는 비교 연산 동안 안면 특징 벡터들 내의 각각의 요소가 얼마나 중요한지 또는 의미있는지를 식별한다. 알려진 신원들에 연관된 매우 많은 수의 안면 특징 벡터를 이용하여, W를 오프라인으로 결정하기 위해 메트릭 학습 기법들이 적용될 수 있다. 일단 알려지고 나면, W는 도 7에 따라 런타임 사용을 위해 저장될 수 있다. 예로서, 안면 특징 벡터가 500 요소를 갖는 경우, 즉 (500×1) 벡터에 의해 표현되는 경우, W는 (500×500) 요소 가중 행렬일 것이다.
도 8을 참조하면, ROC(Receiver Operating Characteristic) 곡선(800)은 여기에 개시된 안면 특징 벡터(805)의 성능을, 안면 특징 벡터를 구성하는 개별 성분들, 즉 (1) 표준 2M 디스크립터(810); 고밀도 기울기(815); 국부적 기울기(820); 및 워핑된 고밀도 기울기(825) 디스크립터들을 단독으로 사용하는 것에 비교하여 보여준다. 볼 수 있는 바와 같이, 본 명세서에 따른 안면 특징 벡터의 사용은 이러한 다른 디스크립터들에 비교하여 더 높은 성능을 나타낸다.
이제, 도 9를 참조하면, 예시적인 전자 디바이스(900)의 단순화된 기능 블록도가 일 실시예에 따라 도시되어 있다. 전자 디바이스(900)는 프로세서(905), 디스플레이(910), 사용자 인터페이스(915), 그래픽 하드웨어(920), 디바이스 센서(925)(예를 들어, 근접 센서/주변 조명 센서, 가속도계 및/또는 자이로스코프), 마이크로폰(930), 오디오 코덱(들)(935), 스피커(들)(940), 통신 회로망(945), 디지털 이미지 캡처 유닛(950), 비디오 코덱(들)(955), 메모리(960), 저장소(965), 및 통신 버스(970)를 포함할 수 있다. 전자 디바이스(900)는 예를 들어, PDA(personal digital assistant), 개인용 음악 플레이어, 모바일 전화기, 노트북, 랩탑 또는 태블릿 컴퓨터일 수 있다.
프로세서(905)는 디바이스(900)에 의해 수행되는 (예를 들어, 안면 특징 벡터 구성 및 런타임 안면 식별 동작(100) 또는 안면 식별 동작(700)과 같은) 다수의 기능의 동작을 수행하거나 제어하는 데에 필요한 명령어들을 실행할 수 있다. 프로세서(905)는 예를 들어 디스플레이(910)를 구동하고, 사용자 인터페이스(915)로부터의 사용자 입력을 수신할 수 있다. 사용자 인터페이스(915)는 사용자가 디바이스(900)와 상호작용하는 것을 허용할 수 있다. 예를 들어, 사용자 인터페이스(915)는 버튼, 키패드, 다이얼, 클릭 휠, 키보드, 디스플레이 스크린 및/또는 터치스크린과 같은 다양한 형태를 취할 수 있다. 프로세서(905)는 예를 들어 모바일 디바이스들에서 발견되는 것과 같은 시스템-온-칩(SoC)일 수 있고, 전용 GPU(graphics processing unit)를 포함할 수 있다. 프로세서(905)는 RISC(reduced instruction-set computer) 또는 CISC(complex instruction-set computer) 아키텍처 또는 임의의 다른 적절한 아키텍처에 기초할 수 있고, 하나 이상의 프로세싱 코어를 포함할 수 있다. 그래픽 하드웨어(920)는 그래픽을 처리하고/거나 프로세서(905)를 보조하여 그래픽 정보를 처리하기 위한 특수 목적 컴퓨터 하드웨어일 수 있다. 일 실시예에서, 그래픽 하드웨어(920)는 프로그래밍가능한 GPU(graphics processing unit)를 포함할 수 있다.
센서 및 카메라 회로망(950)은 적어도 부분적으로는 비디오 코덱(들)(955) 및/또는 프로세서(905) 및/또는 그래픽 하드웨어(920), 및/또는 회로망(950) 내에 포함된 전용 이미지 처리 유닛에 의해 처리될 수 있는 스틸 및 비디오 이미지를 캡처할 수 있다. 그와 같이 캡처된 이미지들은 메모리(960) 및/또는 저장소(965) 내에 저장될 수 있다. 메모리(960)는 디바이스 기능들을 수행하기 위해 프로세서(905) 및 그래픽 하드웨어(920)에 의해 이용되는 하나 이상의 상이한 유형의 매체를 포함할 수 있다. 예를 들어, 메모리(960)는 메모리 캐시, 판독 전용 메모리(ROM), 및/또는 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 저장소(965)는 오디오, 이미지 및 비디오 파일들, 컴퓨터 프로그램 명령어들 또는 소프트웨어, 개인설정 정보, 디바이스 프로필 정보, 및 임의의 다른 적절한 데이터를 보유하기 위한 매체를 포함한다. 저장소(965)는 예를 들어, 자기 디스크(고정, 플로피 및 이동식) 및 테이프, CD-ROM 및 DVD(digital video disk)와 같은 광학 매체, 및 EPROM(Electrically Programmable Read-Only Memory) 및 EEPROM(Electrically Erasable Programmable Read-Only Memory)과 같은 반도체 메모리 디바이스들을 포함하는 하나 이상의 비일시적(non-transitory)인 저장 매체를 포함할 수 있다. 메모리(960) 및 저장소(965)는 하나 이상의 모듈로 조직되고 임의의 소기의 컴퓨터 프로그래밍 언어로 작성된 컴퓨터 프로그램 명령어들 또는 코드를 유형으로(tangibly) 보유하기 위해 이용될 수 있다. 예를 들어 프로세서(905)에 의해 실행될 때, 그러한 컴퓨터 프로그램 코드는 여기에 설명되는 방법들 중 하나 이상을 구현할 수 있다.
이하의 청구항들의 범위를 벗어나지 않고서, 도시된 동작 방법들의 세부사항들뿐만 아니라, 재료들, 컴포넌트들, 회로 요소들에서의 다양한 변화가 가능하다. 예를 들어, 여기에 설명된 모델들은 형태에 있어서 선형이었지만, 그러한 제한은 개시된 기법들에 내재되어 있지 않다. 또한, 다양한 모델들은 상이할 수 있는데, 일부 모델들은 선형일 수 있는 반면, 다른 모델들은 비선형일 수 있다. 추가로, 결합 연산들(예를 들어, 140 및 340)은 연쇄 연산들로 한정되지 않으며, 또한 그들이 동일할 필요도 없다. 설계자의 목표에 적합한 임의의 조합이 이용될 수 있다. 예를 들어, 선형 결합, 디스크립터 값들의 부분집합들의 선택, 및 동일한 것들의 가중된 결합 모두가 실현가능하다. 또한, 모델 디스크립터들의 차원이 차원 감소(예를 들어, 연산(315, 320 및 325))를 필요로 하지 않는 경우, 이 연산은 수행될 필요가 없다.
마지막으로, 상기 설명은 제한적인 것이 아니라 예시적인 것으로 의도됨을 이해해야 한다. 예를 들어, 상기 설명된 실시예들은 서로 결합되어 사용될 수 있다. 본 기술분야의 숙련된 자들은 상기 설명을 검토하고 나면 많은 다른 실시예들을 분명히 알 것이다. 그러므로, 본 발명의 범위는 그러한 청구항들에게 부여되는 완전한 범위의 균등물들과 함께, 첨부된 청구항들을 참조하여 결정되어야 한다. 첨부된 청구항들에서, 용어 "포함하는(including)" 및 "여기에서(in which)"는 각각의 용어 "포함하는(comprising)" 및 "여기에서(wherein)"의 일상 영어 등가물로서 이용된다.

Claims (20)

  1. 비일시적(non-transitory)인 컴퓨터 판독가능한 매체로서,
    제1 이미지 내의 제1 안면에 대한 랜드마크 검출 정보를 획득하고;
    상기 랜드마크 검출 정보에 적어도 부분적으로 기초하여 제1 형상 모델 특징 벡터(shape model feature vector)를 생성하고;
    상기 랜드마크 검출 정보에 적어도 부분적으로 기초하여 제2 형상 모델 특징 벡터를 생성하고;
    상기 랜드마크 검출 정보에 적어도 부분적으로 기초하여 제1 텍스처 모델 특징 벡터(texture model feature vector)를 생성하고;
    상기 랜드마크 검출 정보에 적어도 부분적으로 기초하여 제2 텍스처 모델 특징 벡터를 생성하고;
    상기 제1 형상 모델 특징 벡터, 상기 제2 형상 모델 특징 벡터, 상기 제1 텍스처 모델 특징 벡터 및 상기 제2 텍스처 모델 특징 벡터를 결합하여 제1 안면 특징 벡터(face feature vector)를 형성하고; 및
    상기 제1 안면 특징 벡터를 저장 디바이스 내에 저장하기 위한
    컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  2. 제1항에 있어서,
    상기 제1 형상 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는 상기 랜드마크 검출 정보를 상기 제1 안면의 2차원 모델에 적용하기 위한 컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  3. 제2항에 있어서,
    상기 제2 형상 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는 상기 랜드마크 검출 정보를 상기 제1 안면의 3차원 모델에 적용하기 위한 컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  4. 제1항에 있어서,
    상기 랜드마크 검출 정보에 적어도 부분적으로 기초하여, 정규화된 랜드마크 검출 정보를 생성하기 위한 컴퓨터 코드를 더 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  5. 제4항에 있어서,
    상기 제1 텍스처 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는 상기 정규화된 랜드마크 검출 정보에 적어도 부분적으로 기초하여 제1 텍스처 모델 특징 벡터를 생성하기 위한 컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  6. 제5항에 있어서,
    상기 제1 텍스처 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는,
    상기 정규화된 랜드마크 검출 정보 내의 복수의 영역을 식별하고 - 상기 복수의 영역은 상기 정규화된 랜드마크 검출 정보의 전부보다는 적게 포함함 - ;
    상기 복수의 영역에 기초하여 제1 텍스처 모델 특징 벡터를 생성하기 위한
    컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  7. 제5항에 있어서,
    상기 제2 텍스처 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는,
    상기 정규화된 랜드마크 검출 정보 및 지정된 모핑(morphing) 연산에 적어도 부분적으로 기초하여 워핑된(warped) 랜드마크 검출 정보를 생성하고,
    상기 워핑된 랜드마크 검출 정보에 적어도 부분적으로 기초하여 제2 텍스처 모델 특징 벡터를 생성하기 위한
    컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  8. 제5항에 있어서,
    상기 제2 텍스처 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는, 상기 제1 텍스처 모델 특징 벡터 및 상기 제2 텍스처 모델 특징 벡터를 결합하여 제1 안면 특징 벡터를 형성하기 위한 컴퓨터 코드를 수행하기 전에, 상기 제2 텍스처 모델 특징 벡터의 차원(dimensionality)을 감소시키기 위한 컴퓨터 코드를 더 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  9. 제1항에 있어서,
    상기 랜드마크 검출 정보를 획득하기 위한 컴퓨터 코드는 안면 검출 동작으로부터 상기 제1 이미지 내의 상기 제1 안면에 대한 랜드마크 검출 정보를 획득하기 위한 컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  10. 제1항에 있어서,
    상기 제1 형상 모델 특징 벡터, 상기 제2 형상 모델 특징 벡터, 상기 제1 텍스처 모델 특징 벡터 및 상기 제2 텍스처 모델 특징 벡터를 결합하기 위한 컴퓨터 코드는 상기 제1 형상 모델 특징 벡터, 상기 제2 형상 모델 특징 벡터, 상기 제1 텍스처 모델 특징 벡터 및 상기 제2 텍스처 모델 특징 벡터를 연쇄(concatenate)시키기 위한 컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  11. 제1항에 있어서,
    상기 제1 안면 특징 벡터를 저장 디바이스 내에 저장하기 위한 컴퓨터 코드는,
    상기 제1 안면 특징 벡터를 상기 제1 이미지의 메타데이터에 포함시키고;
    상기 제1 이미지를 상기 제1 안면 특징 벡터와 함께 저장 디바이스 내에 저장하기 위한
    컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  12. 제1항에 있어서,
    상기 저장 디바이스로부터 상기 제1 안면 특징 벡터를 검색하고;
    상기 저장 디바이스로부터 제2 안면 특징 벡터를 검색하고 - 상기 제2 안면 특징 벡터는 알려진 사람에 더 대응함 - ;
    상기 제1 안면 특징 벡터와 상기 제2 안면 특징 벡터를 비교하여 유사성 값을 생성하고;
    상기 유사성 값이 지정된 양보다 작은 경우, 상기 제1 안면이 상기 알려진 사람에 대응한다고 판정하기 위한
    컴퓨터 코드를 더 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  13. 전자 장치로서,
    복수의 이미지가 저장되어 있는 저장 디바이스;
    상기 저장 디바이스에 통신 연결되고, 제1항에 따른 컴퓨터 코드가 저장되어 있는 메모리; 및
    상기 저장 디바이스 및 상기 메모리에 통신 연결되고, 상기 메모리 내에 저장된 프로그램 코드를 검색하고 실행하도록 구성된 프로그래밍가능한 제어 유닛
    을 포함하는 전자 장치.
  14. 비일시적인 컴퓨터 판독가능한 매체로서,
    제1 이미지 내의 제1 안면에 대한 랜드마크 이미지를 획득하고 - 상기 랜드마크 이미지는 상기 제1 안면의 복수의 양상(aspects)을 식별함 - ;
    상기 랜드마크 이미지에 적어도 부분적으로 기초하여, 정규화된 랜드마크 이미지를 생성하고;
    상기 정규화된 랜드마크 이미지에 적어도 부분적으로 기초하여 워핑된 랜드마크 이미지를 생성하고;
    상기 랜드마크 이미지에 적어도 부분적으로 기초하여 제1 형상 모델 특징 벡터를 생성하고;
    상기 랜드마크 이미지에 적어도 부분적으로 기초하여 제2 형상 모델 특징 벡터를 생성하고;
    상기 정규화된 랜드마크 이미지에 적어도 부분적으로 기초하여 제1 텍스처 모델 특징 벡터를 생성하고;
    상기 워핑된 랜드마크 이미지에 적어도 부분적으로 기초하여 제2 텍스처 모델 특징 벡터를 생성하고;
    상기 제1 형상 모델 특징 벡터, 상기 제2 형상 모델 특징 벡터, 상기 제1 텍스처 모델 특징 벡터 및 상기 제2 텍스처 모델 특징 벡터를 결합하여 제1 안면 특징 벡터를 형성하고;
    상기 제1 안면 특징 벡터를 저장 디바이스 내에 저장하기 위한
    컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  15. 제14항에 있어서,
    상기 제1 형상 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는 상기 랜드마크 검출 정보를 상기 제1 안면의 2차원 모델에 적용하기 위한 컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  16. 제14항에 있어서,
    상기 제2 형상 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는 상기 랜드마크 검출 정보를 상기 제1 안면의 3차원 모델에 적용하기 위한 컴퓨터 코드를 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  17. 제14항에 있어서,
    상기 제1 텍스처 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는 상기 정규화된 랜드마크 이미지 내의 복수의 영역에 대한 기울기 벡터 연산(gradient vector operation)을 이용하기 위한 컴퓨터 코드를 포함하고, 상기 복수의 영역은 상기 정규화된 랜드마크 이미지의 전부보다 적게 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  18. 제14항에 있어서,
    상기 제2 텍스처 모델 특징 벡터를 생성하기 위한 컴퓨터 코드는,
    상기 정규화된 랜드마크 이미지에 적어도 부분적으로 기초하여 제1 및 제2 디스크립터를 생성하고;
    상기 워핑된 랜드마크 이미지에 적어도 부분적으로 기초하여 제3 디스크립터를 생성하고;
    상기 제1, 제2 및 제3 디스크립터를 결합하여 상기 제2 텍스처 모델 특징 벡터를 형성하기 위한
    컴퓨터 코드를 더 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  19. 제18항에 있어서,
    상기 제1, 제2 및 제3 디스크립터를 결합하기 위한 컴퓨터 코드는 결합된 제1, 제2 및 제3 디스크립터의 차원을 감소시키기 위한 컴퓨터 코드를 더 포함하는 비일시적인 컴퓨터 판독가능한 매체.
  20. 컴퓨터 시스템으로서,
    복수의 이미지가 저장되어 있는 저장 디바이스;
    상기 저장 디바이스에 동작상 연결되고, 제14항에 따른 컴퓨터 코드가 저장되어 있는 메모리; 및
    상기 저장 디바이스 및 상기 메모리에 통신 연결되고, 상기 메모리에 저장된 컴퓨터 코드를 실행하도록 구성된 프로그래밍가능한 제어 디바이스
    를 포함하는 컴퓨터 시스템.
KR20120108990A 2011-12-20 2012-09-28 안면 특징 벡터 구성 KR101481225B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/332,084 2011-12-20
US13/332,084 US8593452B2 (en) 2011-12-20 2011-12-20 Face feature vector construction

Publications (2)

Publication Number Publication Date
KR20130071341A true KR20130071341A (ko) 2013-06-28
KR101481225B1 KR101481225B1 (ko) 2015-01-09

Family

ID=47003222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120108990A KR101481225B1 (ko) 2011-12-20 2012-09-28 안면 특징 벡터 구성

Country Status (9)

Country Link
US (1) US8593452B2 (ko)
EP (1) EP2608108A1 (ko)
JP (1) JP5552519B2 (ko)
KR (1) KR101481225B1 (ko)
CN (1) CN103198292A (ko)
AU (1) AU2012227166B2 (ko)
CA (1) CA2789887C (ko)
TW (1) TWI484444B (ko)
WO (1) WO2013095727A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210086905A (ko) * 2019-12-31 2021-07-09 주식회사 하이퍼커넥트 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5649601B2 (ja) * 2012-03-14 2015-01-07 株式会社東芝 照合装置、方法及びプログラム
ITTO20130629A1 (it) * 2013-07-24 2015-01-25 Sisvel Technology Srl Method for encoding an image descriptor based on a gradient histogram and relative image processing apparatus
CN103489011A (zh) * 2013-09-16 2014-01-01 广东工业大学 一种具有拓扑鲁棒性的三维人脸识别方法
JP6127219B2 (ja) 2013-11-30 2017-05-10 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 顔画像のデータから顔特徴を抽出する方法、およびシステム
CN104021384B (zh) * 2014-06-30 2018-11-27 深圳中智科创机器人有限公司 一种人脸识别方法及装置
KR102349059B1 (ko) 2014-11-07 2022-01-10 삼성전자주식회사 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
KR20170000748A (ko) 2015-06-24 2017-01-03 삼성전자주식회사 얼굴 인식 방법 및 장치
JP6754619B2 (ja) 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
US9830506B2 (en) * 2015-11-09 2017-11-28 The United States Of America As Represented By The Secretary Of The Army Method of apparatus for cross-modal face matching using polarimetric image data
KR102545768B1 (ko) * 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
US10321123B2 (en) 2016-01-05 2019-06-11 Reald Spark, Llc Gaze correction of multi-view images
GB201602129D0 (en) * 2016-02-05 2016-03-23 Idscan Biometrics Ltd Method computer program and system for facial recognition
KR102221118B1 (ko) 2016-02-16 2021-02-26 삼성전자주식회사 영상의 특징을 추출하여 객체를 인식하는 방법
CN106326867B (zh) * 2016-08-26 2019-06-07 维沃移动通信有限公司 一种人脸识别的方法及移动终端
US10460153B2 (en) * 2016-11-15 2019-10-29 Futurewei Technologies, Inc. Automatic identity detection
EP3566193A4 (en) * 2017-01-04 2020-08-26 Aquifi, Inc. SYSTEMS AND METHODS FOR SHAPE-BASED OBJECT RECOVERY
CN107452034B (zh) * 2017-07-31 2020-06-05 Oppo广东移动通信有限公司 图像处理方法及其装置
EP3665553B1 (en) * 2017-08-08 2023-12-13 RealD Spark, LLC Adjusting a digital representation of a head region
US10657363B2 (en) 2017-10-26 2020-05-19 Motorola Mobility Llc Method and devices for authenticating a user by image, depth, and thermal detection
US10630866B2 (en) 2018-01-28 2020-04-21 Motorola Mobility Llc Electronic devices and methods for blurring and revealing persons appearing in images
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
US10757323B2 (en) 2018-04-05 2020-08-25 Motorola Mobility Llc Electronic device with image capture command source identification and corresponding methods
US11605242B2 (en) 2018-06-07 2023-03-14 Motorola Mobility Llc Methods and devices for identifying multiple persons within an environment of an electronic device
CN109117726A (zh) * 2018-07-10 2019-01-01 深圳超多维科技有限公司 一种识别认证方法、装置、系统及存储介质
US11100204B2 (en) 2018-07-19 2021-08-24 Motorola Mobility Llc Methods and devices for granting increasing operational access with increasing authentication factors
FR3091610B1 (fr) * 2019-01-08 2021-05-28 Surys Procédé de traitement d’images numériques
US11074432B2 (en) 2019-08-22 2021-07-27 Nice Ltd. Systems and methods for retrieving and presenting information using augmented reality
US11941863B2 (en) * 2021-08-04 2024-03-26 Datalogic Ip Tech S.R.L. Imaging system and method using a multi-layer model approach to provide robust object detection
US11837019B1 (en) 2023-09-26 2023-12-05 Dauntless Labs, Llc Evaluating face recognition algorithms in view of image classification features affected by smart makeup

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292837B2 (ja) * 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置
US7391889B2 (en) * 2002-10-15 2008-06-24 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature vector used for face recognition and retrieval
JP4217664B2 (ja) * 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
EP1615160A3 (en) 2004-07-07 2009-10-07 Samsung Electronics Co., Ltd. Apparatus for and method of feature extraction for image recognition
SE528068C2 (sv) 2004-08-19 2006-08-22 Jan Erik Solem Med Jsolutions Igenkänning av 3D föremål
EP2033142B1 (en) * 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
JP4780198B2 (ja) * 2006-11-10 2011-09-28 コニカミノルタホールディングス株式会社 認証システム及び認証方法
IE20070634A1 (en) 2007-09-05 2009-04-15 Nat Univ Ireland Maynooth Method and system for synthesis of non-primary facial expressions
WO2009123711A1 (en) * 2008-04-02 2009-10-08 Google Inc. Method and apparatus to incorporate automatic face recognition in digital image collections
JP2010191592A (ja) * 2009-02-17 2010-09-02 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
JP2011048469A (ja) * 2009-08-25 2011-03-10 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
US20110078097A1 (en) * 2009-09-25 2011-03-31 Microsoft Corporation Shared face training data
US20110080402A1 (en) 2009-10-05 2011-04-07 Karl Netzell Method of Localizing Landmark Points in Images
US8488873B2 (en) 2009-10-07 2013-07-16 Apple Inc. Method of computing global-to-local metrics for recognition
TWI425429B (zh) * 2010-05-11 2014-02-01 Univ Chung Hua 影像紋理信號的萃取方法、影像識別方法與影像識別系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210086905A (ko) * 2019-12-31 2021-07-09 주식회사 하이퍼커넥트 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체

Also Published As

Publication number Publication date
TW201327478A (zh) 2013-07-01
EP2608108A1 (en) 2013-06-26
JP5552519B2 (ja) 2014-07-16
CN103198292A (zh) 2013-07-10
CA2789887A1 (en) 2013-06-20
KR101481225B1 (ko) 2015-01-09
US20130155063A1 (en) 2013-06-20
TWI484444B (zh) 2015-05-11
JP2013131209A (ja) 2013-07-04
AU2012227166A1 (en) 2013-07-04
CA2789887C (en) 2015-11-17
US8593452B2 (en) 2013-11-26
WO2013095727A1 (en) 2013-06-27
AU2012227166B2 (en) 2014-05-22

Similar Documents

Publication Publication Date Title
KR101481225B1 (ko) 안면 특징 벡터 구성
CN109214343B (zh) 用于生成人脸关键点检测模型的方法和装置
Wang et al. Isolated sign language recognition with grassmann covariance matrices
CN107430678A (zh) 使用高斯接收场特征的低成本面部识别
CN103562964A (zh) 图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质
KR102152120B1 (ko) 기계학습 모델을 이용하여 n개의 프레임에 기초하여 대상의 감정인식을 수행하는 감정인식 시스템, 방법, 및 컴퓨터-판독가능매체
Zhao et al. Joint face alignment and segmentation via deep multi-task learning
GB2569833A (en) Shape-based graphics search
WO2020244151A1 (zh) 图像处理方法、装置、终端及存储介质
CN107967461A (zh) Svm 差分模型训练及人脸验证方法、装置、终端及存储介质
Li et al. Online metric-weighted linear representations for robust visual tracking
Zafeiriou et al. Discriminant graph structures for facial expression recognition
Luevano et al. A study on the performance of unconstrained very low resolution face recognition: Analyzing current trends and new research directions
Lopes et al. Spherical blurred shape model for 3-D object and pose recognition: Quantitative analysis and HCI applications in smart environments
JP3998628B2 (ja) パターン認識装置及びその方法
Roy et al. Tips: Text-induced pose synthesis
Swamy et al. Indian sign language interpreter with android implementation
Sheng et al. Classification of traditional Chinese paintings using a modified embedding algorithm
Dong et al. A supervised dictionary learning and discriminative weighting model for action recognition
Hebda et al. A compact deep convolutional neural network architecture for video based age and gender estimation
Hassan et al. Rsfs: A soft biometrics-based relative support features set for person verification
Almaddah et al. Face relighting using discriminative 2D spherical spaces for face recognition
Granda et al. Face recognition systems in math classroom through computer vision traditional techniques
El Sayed et al. 3D face detection based on salient features extraction and skin colour detection using data mining
Li et al. Multi-level Fisher vector aggregated completed local fractional order derivative feature vector for face recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191217

Year of fee payment: 6