KR20110100666A - 얼굴 자세 추정을 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체 - Google Patents

얼굴 자세 추정을 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체 Download PDF

Info

Publication number
KR20110100666A
KR20110100666A KR1020117017838A KR20117017838A KR20110100666A KR 20110100666 A KR20110100666 A KR 20110100666A KR 1020117017838 A KR1020117017838 A KR 1020117017838A KR 20117017838 A KR20117017838 A KR 20117017838A KR 20110100666 A KR20110100666 A KR 20110100666A
Authority
KR
South Korea
Prior art keywords
face
classifiers
detectors
utilizing
pose information
Prior art date
Application number
KR1020117017838A
Other languages
English (en)
Inventor
지앙웨이 리
콩 키아오 왕
레이 수
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20110100666A publication Critical patent/KR20110100666A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

얼굴 검출을 위한 얼굴 자세 추정을 제공하기 위한 방법은 이미지에서 후보 얼굴에 대한 거친 자세 정보를 결정하기 위하여 검출기들에서 선택된 일부분의 분류기들을 활용하는 단계, 결정된 거친 자세 정보에서 적어도 일부분에 기초해서 후보 얼굴에 대한 정밀 자세 정보를 결정하는 단계, 후보 얼굴이 얼굴에 대응되는지를 판단하기 위해 정밀 자세 정보에서 적어도 일부분에 기초해서 얼굴 검출을 수행하기 위해 검출기들에서 다른 분류기들의 일부분을 채택하는 단계를 포함한다. 그 방법에 대응하는 장치, 컴퓨터 프로그램 제품이 또한 제공된다.

Description

얼굴 자세 추정을 제공하기 위한 방법, 장치 및 컴퓨터 프로그램 제품{METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR PROVIDING FACE POSE ESTIMATION}
본 발명의 실시예들은 일반적으로 이미지 처리 기술에 관한 것으로서, 특히 얼굴 자세 추정을 제공하기 위한 방법, 장치, 및 컴퓨터 프로그램 제품에 관한 것이다.
얼굴 검출 및 인식은 점점 더 중요한 기술이 되어 가고 있다. 이와 관련하여, 예를 들어, 얼굴 검출은 생체 인식(biometrics), 사용자 인터페이스, 게임, 및 모바일 도메인에서 커뮤니티를 액세스하기 위한 컨텍스트를 생성하는 것과 같은 다른 분야들에서 유용할 수 있다. 얼굴 검출은 메타 데이터 표준화와 같은 방안과 관련된 추진에 있어서 또한 중요할 수 있다.
얼굴 검출 기술이 계속해서 개선되더라도, 현재의 많은 방법들은 높은 계산 능력을 필요로 하거나(예를 들어, 멀티플 스케일에서 트래버싱 방법으로 이미지들을 스캐닝함으로써 얼굴을 검출하는 통계적인 방법들) 한정된 얼굴 검출 능력으로 어려움을 겪고 있다(예를 들어, 얼굴 검출의 상대적으로 높은 오류 경고를 갖는 구조-기반 방법). 또한, 일부의 통계적인 얼굴 검출 메커니즘은 전면 얼굴 검출과 관련하여 다중-뷰 얼굴 검출을 위한 성능을 악화시켜 왔다. 다른 복잡한 문제로서, 특정한 이미지에서 마주치는 얼굴 들은 카메라와 관련하여 동일한 방향으로 항상 지향되어 있지 않을 수도 있으며, 이것은 얼굴 검출에 부정적으로 영향을 줄 수 있다. 예를 들면, 면내 회전(예를 들면, 얼굴로부터 관중으로 축을 따라서 회전되는 얼굴들)은 여러 경우에 얼굴 검출을 복잡하게 할 수 있다.
따라서, 콘텐츠를 생성하고, 콘텐츠를 저장하며/하거나 요청에 따라 상대적으로 빠르게 콘텐츠를 수신하기 위해 지속적으로 증가되는 능력을 가진 장치들을 발전시키기 위한 추세, 현대 사회에서 점점 더 유비쿼터스화되는 전자 장치들(예를 들면, 모바일폰과 같은 휴대용 전자기기들)을 지향하는 추세, 및 그러한 장치들의 능력을 언록시키기 위한 인터페이스와 액세스 메커니즘의 지속적인 향상을 위한 추진은 얼굴 검출 분야에서 더 나은 향상들을 제공하는 것이 바람직하도록 할 수 있다.
그러므로, 방법, 장치, 컴퓨터 프로그램 제품이 향상된 얼굴 검출 메커니즘을 가능하게 하기 위해 제공된다. 이와 관련하여, 일부의 실시예들에서, 통계적 및 구조적 얼굴 검출 방법들과 관련된 단점들은 줄이면서 그들의 장점들을 실현하기 위하여 통계적 및 구조적 얼굴 검출 방법들의 특정 특성들을 융합시킬 수 있는 메커니즘이 제공된다. 그러므로, 본 발명의 실시예들은 다른 조건들(예를 들면, 다른 머리 자세 또는 얼굴 뷰를 갖는) 하에서 얼굴들을 검출하기 위한 상대적으로 강건한 능력을 제공할 수 있다.
본 발명의 실시예에서, 얼굴 검출에서 사용하기 위한 얼굴 자세 추정을 제공하는 방법이 제공된다. 상기 방법은 이미지에서 후보 얼굴에 대한 거친 자세 정보를 결정하기 위해 검출기들에서 분류기들 중 선택된 일부분을 활용하는 단계, 결정된 거친 자세 정보에 적어도 일부분 기초해서 후보 얼굴에 대한 정밀 자세 정보를 결정하는 단계, 후보 얼굴이 얼굴에 대응하는지를 판단하기 위해 상기 정밀 자세 정보에 적어도 일부분 기초해서 얼굴 검출을 수행하기 위해서 검출기들에서 분류기들의 다른 일부분을 채택하는 단계를 포함한다.
본 발명의 다른 실시예에서, 얼굴 검출에서 사용하기 위한 얼굴 자세 추정을 제공하기 위한 컴퓨터 프로그램 제품이 제공된다. 상기 컴퓨터 프로그램 제품은 컴퓨터 실행 가능한 프로그램 코드 명령어가 저장된 적어도 하나의 컴퓨터 판독 가능한 저장 매체를 포함한다. 상기 컴퓨터 실행 가능한 프로그램 코드 명령어는 이미지에서 후보 얼굴에 대한 거친 자세 정보를 결정하기 위해 검출기들에서 분류기들 중 선택된 일부분을 활용하기 위한 프로그램 코드 명령어, 결정된 거친 자세 정보에 적어도 일부분 기초해서 후보 얼굴에 대한 정밀 자세 정보를 결정하기 위한 프로그램 코드 명령어, 후보 얼굴이 얼굴에 대응하는지를 판단하기 위해 상기 정밀 자세 정보에 적어도 일부분 기초해서 얼굴 검출을 수행하기 위해서 검출기들에서 분류기들의 다른 일부분을 채택하기 위한 프로그램 코드 명령어를 포함한다.
본 발명의 다른 실시예에서, 얼굴 검출에서 사용하기 위한 얼굴 자세 추정을 제공하기 위한 장치가 제공된다. 상기 장치는 프로세서를 포함할 수 있다. 상기 프로세서는 이미지에서 후보 얼굴에 대한 거친 자세 정보를 결정하기 위해 검출기들에서 분류기들 중 선택된 일부분을 이용하고, 결정된 거친 자세 정보에 적어도 일부분 기초해서 후보 얼굴에 대한 정밀 자세 정보를 결정하고, 후보 얼굴이 얼굴에 대응하는지를 판단하기 위해 상기 정밀 자세 정보에 적어도 일부분 기초해서 얼굴 검출을 수행하기 위해서 검출기들에서 분류기들의 다른 일부분을 채택하도록 구성될 수 있다.
본 발명의 또 다른 실시예에서, 얼굴 검출에서 사용하기 위한 얼굴 자세 추정을 제공하기 위한 장치가 제공된다. 상기 장치는 이미지에서 후보 얼굴에 대한 거친 자세 정보를 결정하기 위해 검출기들에서 분류기들 중 선택된 일부분을 활용하기 위한 수단, 결정된 거친 자세 정보에 적어도 일부분 기초해서 후보 얼굴에 대한 정밀 자세 정보를 결정하기 위한 수단, 후보 얼굴이 얼굴에 대응하는지를 판단하기 위해 상기 정밀 자세 정보에 적어도 일부분 기초해서 얼굴 검출을 수행하기 위해 검출기들에서 분류기들의 다른 일부분을 채택하기 위한 수단을 포함한다.
본 발명의 실시예들은 예를 들면 모바일 또는 고정 환경에서 채택될 수 있는 방법, 장치, 및 컴퓨터 프로그램 제품을 제공할 수 있다. 그 결과, 예를 들면, 컴퓨팅 장치 사용자들은 얼굴 검출에서 향상된 능력을 향유할 수 있다.
본 발명의 일부 실시예들을 일반적인 용어들로 설명하면서, 첨부된 도면이 참조될 것이며, 이 도면들은 반드시 실제 크기대로 그려질 필요는 없다.
도 1은 본 발명의 일실시예에 따른 회전평면을 다수의 섹터들로 나눈 예를 도시하고 있다.
도 2는 본 발명의 일실시예에 따른 자세 평가를 위한 통계적 메커니즘의 예를 도시하고 있다.
도 3은 본 발명의 일실시예에 따른 얼굴 검출을 위한 구조적 및 통계적 방법들의 융합의 예를 도시하고 있다.
도 4는 본 발명의 일실시예에 따른 얼굴 검출을 위한 구조적 및 통계적 방법들의 융합의 예를 설명하기 위한 블록도를 도시하고 있다.
도 5는 본 발명의 일실시예에 따른 푸시-스위치 기반의 자세 추정기의 예를 도시하고 있다.
도 6는 본 발명의 일실시예에 따른 얼굴 자세 추정을 제공하기 위한 장치의 블록도를 도시하고 있다.
도 7은 본 발명의 일실시예와 관련된 거친 자세 평가기를 사용하여 실행될 수 있는 거친 자세 평가기의 예를 도시하고 있다.
도 8은 본 발명의 일실시예에 따른 얼굴 검출에서 사용하기 위한 얼굴 자세 추정을 제공하기 위한 예시적 방법에 따른 흐름도이다.
본 발명의 일부 실시예들이 첨부 도면들을 참조로 하여 좀더 충분히 설명될 것이며, 이 도면에서 본 발명의 일부이지만 모두는 아닌 실시예들이 도시되어 있다. 실로, 본 발명의 다양한 실시예들이 다른 형태로 구현될 수 있으며, 여기에서 설명된 실시예들로 한정되지 않아야 하며, 그보다는 이 실시예들은 본 명세서가 적용 가능한 법적 필요조건을 만족시키기 위해 제공된다. 유사한 참조 번호들은 유사한 구성요소를 나타낸다. 여기에서 사용된 바와 같이, "데이터", "콘텐츠", "정보" 등의 용어와 유사한 용어들은 본 발명의 실시예에 따라 전송되고, 수신되며/되거나 저장될 수 있는 데이터를 지칭하는 것으로 호환적으로 사용될 수 있다. 또한, 여기에서 사용된 바와 같이, "예시적"이라는 용어는 질적인 평가를 전달하기 위한 것이 아니고 그 대신 단순히 실시예의 설명을 전달하기 위한 것이다. 또한, "가까운"과 "먼"이라는 용어들은 물건이 다른 것에 비해 어느정도 가깝거나 먼지를 지칭하기 위하여 상대적인 의미로 사용되었으며 어떤 특정한 또는 양적인 위치를 나타내기 위하여 사용된 것은 아니다. 따라서, 이러한 용어들의 사용은 본 발명의 실시예들의 사상 및 범위를 제한하기 위해 채택되지 않아야 한다.
본 발명의 일부 실시예들은 얼굴 검출 및/또는 인식과 관련하여 향상을 경험할 수 있는 메커니즘을 제공할 수 있다. 여기에서, 예를 들면, 일부 실시예들은 실시간의 또는 거의 실시간의 얼굴 검출 방법을 제공할 수 있으며, 이것은 메타데이터 할당, 생물 측정학, 게임, 무수한 다른 휴대용 기기 또는 다른 컴퓨팅 장치들에 적합할 수 있다.
촬영된 많은 이미지들에 대해서, 이미지에서의 개인 또는 개인들은 그들의 각각의 자세 또는 안면 모습을 정의하는 다양한 서로 다른 면내 회전들(in-plane rotations) 및 면외 회전들(out of plane rotations)을 가질 수 있다. 이미지에서 얼굴들의 자세를 정의하는 이 회전들은 얼굴 검출 및 인식을 복잡하게 할 수 있다. 이 상황들을 다루기 위한 다양한 기술들을 위해 2개의 기본적인 응답 카테고리들이 발전되어 왔다. 이와 관련하여, 제1 카테고리는 다수의 훈련된 검출기들을 사용하는 자세 평가를 포함한다. 이 방법을 위해, 다수의 얼굴 검출기들은 다양한 자세들을 구비한 주어진 대응 훈련 세트들로 훈련된다. 상기 훈련 세트들은 다양한 다른 양의 면내 회전들 및/또는 면외 회전들(예를 들면, 다양한 자세들)로 지향된 다수의 얼굴들을 포함한다. 훈련된 검출기들을 통과하도록 이미지 패치가 시도될 수 있으며, 상기 이미지 패치가 통과되며 얼굴로서 인식된 것은 그 안의 얼굴의 대응 자세를 나타낼 수 있다. 도 1은 회전 평면을 20개의 섹터들로 나눈 예를 보여주고 있다. 각각의 섹터에 대해, 얼굴 검출기는 대응 자세를 구비한 얼굴에 기초하여 훈련될 수 있다. 도 1에서 볼 수 있는 바와 같이, 각각의 섹터는 특정한 면내 회전 및 특정한 면외 회전을 정의한다. 모든 섹터들 둘레를 진행하면서 각각의 섹터 내의 허용오차들을 고려함으로써 20개의 훈련된 검출기들은 멀티뷰 얼굴 검출 응용 및 시스템에서 얼굴 자세 정보의 추정을 제공하기 위해 이미지 내의 다양한 서로 다른 자세들을 갖는 얼굴들을 검출할 수가 있다.
그러나, 이 방법의 하나의 단점은 이 방법이 단지 자세 범위만을 제공할 뿐 필요한 정확한 자세 정보는 제공하지 않는다는 점이다. 또한, 섹터들의 수와 검출기 훈련에 있어서의 통합(convergence)의 어려움 사이에서 절충이 필요하다. 예를 들면, 도 1의 섹터 A는 -45°에서 45°의 면내 회전의 자세 변형들을 커버한다. 따라서, 검출기를 훈련하기 위한 훈련 예들을 제공하기 위한 대응 훈련 데이터베이스는 상기 범위 내에서 점진적인 변화들을 커버하기 위해 많은 예들을 포함하여야 하고, 이것은 상대적으로 큰 패턴 변형들 때문에 훈련에서 통합을 어렵게 할 수도 있다. 이러한 단점은 통합을 더 쉽게 하기 위해 섹터들의 수를 증가시킴으로써 부분적으로 해결될 수 있을 것이다. 그러나, 섹터들의 수를 증가시키는 것(예를 들면, 2배로)은 자세 평가를 위해 소비된 시간에서 대응하는 증가(예를 들면, 2배)를 초래할 수 있다. 이 소비 시간의 증가는 실시간 시스템에서는 허용될 수 없다.
멀티-뷰 얼굴 검출에 대한 방법의 다른 카테고리는 자세 분류기를 훈련함으로써 자세 평가를 포함할 수 있다. 여기에서, 이미지 패치를 위해서, 상기 자세는 자세 분류기에 의해 초기에 추정될 수 있다. 그러면, 상기 이미지 패치는 이미지 패치가 얼굴을 포함하는지 아닌지를 검증하기 위해 분류된 자세의 대응 얼굴 검출기로 전송된다. 20개의 섹터들(예를 들면, 섹터 A)을 포함하는 도 1의 실시예에서, 자세 분류기는 대응 20개의 자세를 식별하기 위하여 훈련된다. 이 방법은 또한 정확한 자세 대신에 자세 범위만을 제공한다. 한편, 20개나 되는 자세들을 식별하기 위하여 독특한 자세 분류기를 훈련하는 것은 많은 카테고리 분류 문제와 관련되어 있기 때문에 구현하기에 어려운 일이 될 수 있으며, 이것은 패턴 해석에서 전통적으로 어려운 일이다. 일부의 경우에, 20개의 자세 분류기들을 훈련하며 각각을 하나의 자세 및 나머지 자세들을 분류하기 위하여 사용하는 것이 가능할 수 있다. 그러나, 이 해결책은 또한 잠재적으로 시간 소비적이며, 그러므로 실시간 시나리오에서는 효과적으로 사용될 수 없다.
따라서, 본 발명의 실시예들은 훈련 통합에서의 어려움, 자세 평가에서의 거친 정밀성이나 정확성의 결여, 및 자세 평가에서의 낮은 시간 효율성과 관련된 전술한 문제점들을 다루는 것을 목표로 할 수 있다. 특히, 본 발명의 실시예들은 구조 기반 및 통계 기반의 얼굴 검출 방법들의 독특한 융합을 제공할 수 있다. 이와 관련하여, 본 발명의 실시예들은 얼굴에 대한 이미지 패치를 분석하기 위하여 구조적 방법을 사용하는 정밀 자세 결정이 뒤따르는 통계적 방법을 사용하는 거친 자세 결정을 채택할 수 있다. 정규화된 데이터(예를 들면, 수직 회전)는 이미지 패치에서 얼굴의 존재를 분석하는데 사용될 수 있다(예를 들면, 다른 통계적 방법을 사용). 따라서, 일부 실시예들은 자세 기반의 얼굴 검출 응용을 수행하기 이전에 정밀한 자세 결정을 제공한다. 이에 따라, 본 발명의 실시예들은 얼굴 기반의 응용에서 상대적으로 낮은 작업 부하의 증가를 갖는 정밀한 자세 정보를 제공할 수 있다. 일반적인 용어로, 두 개의 서로 다른 방법들 사이에서 정보가 푸시되고, 방법 스위치가 정보를 원래의 방법으로 푸시하도록 만들어지기 때문에 본 발명의 실시예들은 푸시-스위치 기반의 얼굴 자세 평가기와 관련된 것으로 지칭될 수 있다.
얼굴 검출은 검출기를 형성하는 캐스케이드 분류기들을 사용하는 일부의 경우에서 달성될 수 있다. 이와 관련하여, 도 1의 예에 도시되어 있는 바와 같이, 20개의 서로 다른 검출기들이 약한 분류기들을 캐스케이딩함으로써 형성될 수 있다. 약한 분류기는 진정한 분류와 단지 약간만 상관되어 있는 분류기로서 정의될 수 있다. 이에 비해, 강한 분류기는 진정한 분류와 임의적으로 깊이 상관되어 있는 분류기가 될 수 있다. 약한 분류기들은 강한 분류기들보다 쉽게 생성될 수 있다. 그러나, 다수의 약한 분류기들은 비용이 적게 드는 강한 분류기에 의해 제공된 결과와 비슷한 결과를 몇몇 경우에 제공할 수 있다.
도 2는 도 1의 예와 관련하여 사용될 수 있는 자세 평가를 위한 잠재적 메커니즘을 예시하고 있다. 이와 관련하여, n개의 검출기들(예를 들면, 도 1에서 20개의 검출기들)은 대응 훈련 자세들과 비슷한 특성들을 갖는 얼굴들을 검출하기 위하여 특정한 자세 또는 자세들의 범위를 구비한 얼굴들에 대하여 훈련된 약한 분류기들의 캐스케이드 세트로 이루어질 수 있다. 이와 같이, 각각의 검출기는 대응 특정 자세를 위하여 훈련될 수 있다. 따라서, 예를 들면, 만약에 이미지 패치가 검출기 1을 통과되고 얼굴이 검출되면, 상기 검출된 얼굴은 검출기를 훈련시키기 위해 사용된 훈련 얼굴들과 관련된 것과 유사한 대응 자세를 가지는 것으로 말할 수가 있다(예를 들면, 자세 1). 한편, 만약 이미지 패치가 검출기 1과 관련하여 얼굴 검출을 생성하지 못하면, 상기 이미지 패치는 여전히 하나 또는 그 이상의 어느 다른 검출기들을 위한 대응 자세를 구비한 얼굴 검출을 생성할 수가 있다(예를 들면, 검출기 2에서 검출기 n). 그러므로, 동작에 있어서, 이미지 패치는 다양한 대응 자세들을 구비한 가능한 얼굴들을 검출하도록 구성된 멀티뷰 얼굴 검출기를 구현하기 위하여 모든 검출기들로 입력될 수 있다. 각각의 가능한 얼굴에 대한 자세 정보는 상기 얼굴을 검출한 검출기에 기초하여 동시에 결정될 수 있다.
얼굴 검출은 얼굴 기반 응용의 중심이기 때문에, 얼굴 검출을 수행하기 이전에 자세 정보를 초기에 결정하는 것이 유용할 수 있다. 자세 결정의 수행은 도 2에 도시되어 있는 메커니즘과 같은 통계적 방법을 사용하는 상대적으로 거친 방식으로 초기에 수행될 수 있다. 결정된 거친 자세 정보에 기초하여, 정밀한 자제 정보가 구조 기반의 방법을 사용하여 달성될 수 있으며, 그에 의해 통계적 방법과 구조적 방법을 융합한다. 도 3은 본 발명의 실시예에 따른 얼굴 검출을 위한 구조적 및 통계적 방법들의 융합의 일 예를 설명하고 있다. 이와 관련하여, 도 3에 도시되어 있는 바와 같이, 자세 평가의 통계적 방법(20)(예를 들면, 도 2에 도시되어 있는 초기 단계들과 유사한)은 각각의 검출기가 특정한 자세들의 범위(예를 들면, 면외 회전각 및/또는 면내 회전각의 주요 범위를 커버하는)에 대응하는 약한 분류기들의 캐스케이드 세트를 각각 포함하는 몇 개의 검출기들에 의해 수행될 수 있다. 이미지 패치를 상기 통계적 방법(20)을 통과하도록 한 결과, 거친 자세 정보(22)가 정밀한 자세 정보(26)를 얻기 위하여 구조적 방법(24)을 통과될 수 있다. 이미지 패치들을 정규화시킨 후에, 통계적 방법(28)(예를 들면, 도 2의 실시예에서 나머지 단계들 및 부분들과 유사한)이 큰 부대 비용의 증가없이 상대적으로 정확하고 강건하게 될 수 있는 얼굴 검출 출력(32)을 제공하기 위해 정규화된 패치들(30) 상에 채택될 수 있다.
도 3에 도시되어 있는 실시예의 특징적 양상은 자세 평가기를 형성하기 위하여 구조 기반의 방법을 구비한 몇 개의 약한 분류기들을 포함하는 검출기들의 조합과 관련된다. 이에 따라, 본 발명의 실시예는 거친 자세 결정을 위한 도 2의 통계적 방법의 초기 단계 또는 단계들을 채택하며 그 후 그리고 정밀한 자세 결정을 수행하기 위한 구조적 방법을 채택함으로써 구현될 수 있을 것이다. 그 후, 얼굴 검출을 위한 통계적 방법의 나머지 약한 분류기들의 일부 또는 전부는 각각의 검출기에서 대응 얼굴 검출을 위해 사용될 수 있다. 그러나, 도 4에 도시되어 있는 바와 같이 도 2에 도시되어 있는 통계적 방법의 일부분을 사용하는 대신에 도 3의 통계적 방법(20) 및 통계적 방법(28)과 관련된 각각의 동작들을 위해 분리된 일반적인 통계적 방법들이 사용될 수 있을 것이다.
도 4는 예시적 이미지 패치와 함께 도 3을 참조하여 설명된 예의 블록도를 보여주고 있다. 이와 관련하여, 상기 이미지 패치(40)는 통계적 방법(42)을 사용하여 거친 자세 결정을 위해 분석될 수 있다. 예를 들면, 거친 이미지 결정은 대략 90 및 135도 사이의 면내 회전을 갖지만 거의 면외 회전이 없는 자세를 가리킴으로써 달성될 수 있다. 그 후, 구조적 방법(44)은 135도의 면내 회전을 갖지만 면외 회전이 없는 정밀한 자세 결정을 얻기 위해 채택될 수 있다. 그 후, 상기 이미지 패치(46)는 정규화를 위해 수직으로 회전될 수 있으며, 다른 통계적 방법(48)(또는 동일한 통계적 방법의 일부분)이 얼굴 검출을 위하여 채택될 수 있다. 도 2 내지 도 4로부터 볼 수 있는 바와 같이, 본 발명의 실시예들은 분리된 자세 분류기를 필요로 하지 않으면서 얼굴 기반의 응용들을 위하여 얼굴 검출을 수행할 수 있다. 따라서, 본 발명의 실시예의 시간 효율성은 종래의 방법들에 비하여 증가될 수 있다.
도 5는 본 발명의 실시예에 따른 푸시-스위치 기반의 자세 추정기의 예를 도시하고 있다. 이와 관련하여, 도 5에 도시되어 있는 바와 같이, 주어진 이미지 패치에 대해서, 통계 기반의 방법(예를 들면, 도 3을 참조로 하여 설명된 적응 부스팅(Adaboost(adaptive boosting)))에 기반한 통계적 방법(50))이 거친 자세 추정(52)을 위해 초기에 채택될 수 있다. 상기 거친 자세 추정(52)은 정밀 자세 평가(56)를 달성하기 위해 구조적 검출방법(54)에 제공될 수 있다. 상기 이미지 패치는 구조 기반의 방법에 의해 수직으로 회전될 수 있으며, 얼굴 검출, 인식 등을 위해 적응 부스팅(Adaboost) 기반의 통계적 방법(50)으로 푸시될 수 있다.
위에서 언급한 바와 같이, 적응 부스팅(Adaboost)은 본 발명의 실시예들과 관련하여 채택된 통계적 방법의 예가 될 수 있다. 다른 통계적 방법의 예들은 젠틀-부스트(Gentle-Boost), 리얼부스트(RealBoost), 플로트부스트(FloatBoost), 및/또는 기타 등을 포함할 수 있다. 한편, 예시적 구조적 방법들은 각각의 서로 다른 면내 회전각들의 커버를 제공하는 다양한 다른 방향의 검출기들의 채택, 및 이미지의 특성들이 비교될 수 있는 일련의 다른 방향의 얼굴 템플릿들의 채택을 포함할 수 있다. 일부의 경우에, 구조 기반의 방법의 채택의 결과는 분석된 이미지 패치가 수직으로 회전되는 것이 될 수 있다.
도 6은 본 발명의 실시예에 따른 얼굴 검출을 위한 얼굴 자세 추정을 할 수 있도록 할 수 있는 장치의 개략적 블록도의 일 예를 설명하고 있다. 본 발명의 실시예는 도 6을 참조하여 설명될 것이며, 도 6에는 얼굴 검출을 위한 얼굴 자세 추정을 할 수 있도록 하기 위한 장치의 특정 구성요소들이 도시된다. 도 6의 장치는 예를 들면 모바일 단말기(예를 들면, 모바일 폰, 게임장치, PDA(Personal Digital Assistant) 및/또는 기타 등등), 또는 모바일 및 고정 모두의 다양한 다른 장치들(예를 들면, 네트워크 장치들, 개인용 컴퓨터, 랩톱 컴퓨터, 디지털 카메라 등) 상에 채택될 수 있다. 대안적으로, 실시예들이 장치들의 조합상에 채택될 수 있다. 따라서, 본 발명의 일부 실시예들은 단일 장치에서 또는 클라이언트/서버 관계의 장치들에 의해 전체적으로 구현될 수 있다. 또한, 이하에 설명되는 장치들 또는 구성요소들은 필수적인 것이 아닐 수 있으며, 따라서 특정 실시예들에서 일부 구성요소들은 생략될 수도 있다는 것이 주목되어야 한다.
도 6을 참조하면, 얼굴 검출을 위한 얼굴 자세 추정을 할 수 있도록 하는 장치가 제공된다. 상기 장치는 프로세서(70), 사용자 인터페이스(72), 통신 인터페이스(74), 및 메모리 장치(76)를 포함하거나 그렇지 않으면 서로 통신할 수 있다. 상기 메모리 장치(76)는 예를 들면 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리 장치(76)는 본 발명의 실시예들에 따른 다양한 기능들을 실행하기 위하여 상기 장치를 인에이블시키기 위한 저장 정보, 데이터, 어플리케이션, 명령어 또는 기타 등을 저장하도록 구성될 수 있다. 예를 들면, 메모리 장치(76)는 프로세서(70)에 의한 프로세싱을 위한 입력 데이터를 버퍼링하도록 구성될 수 있다. 부가적 또는 선택적으로, 상기 메모리 장치(76)는 프로세서(70)에 의한 실행을 위한 명령어를 저장하도록 구성될 수 있다. 다른 선택으로서, 상기 메모리 장치(76)는 정보 및/또는 미디어 콘텐츠를 저장하는 다수의 데이터 베이스 중 하나가 될 수 있다.
상기 프로세서(70)는 다수의 다른 방법으로 구현될 수 있다. 예를 들면, 상기 프로세서(70)는 프로세싱 요소, 보조 프로세서(coprocessor), 컨트롤러, 또는 예를 들면 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), 하드웨어 가속기 또는 유사한 것과 같은 집적 회로들을 포함하는 다양한 다른 처리 장치들과 같은 다양한 프로세싱 수단들로서 구현된다. 실시예에서, 상기 프로세서(70)는 메모리 장치(76)에 저장된 명령어를 실행하도록 구성될 수 있으나 그렇지 않으면 프로세서(70)에 액세스 가능하게 구성된다. 이와 같이, 하드웨어 또는 소프트웨어 방법에 의해 구성되든지 또는 그들의 조합에 의해 구성되든지, 상기 프로세서(70)는 본 발명의 실시예들에 따른 동작들을 수행할 수 있는 개체를 나타내며, 또한 그에 따라 구성된다. 따라서, 프로세서(70)가 ASIC, FPGA 또는 유사한 것으로서 구현되었을 때, 상기 프로세서(70)는 여기에서 설명된 동작들을 수행하기 위해 특정하게 구성된 하드웨어가 될 수 있다. 대안적으로, 프로세서(70)가 소프트웨어 명령어의 실행기로서 구현되었을 때, 이 명령어는 그렇지 않았으면 범용 프로세싱 요소일 프로세서(70)를 여기에서 설명된 알고리즘 및 동작들을 수행하도록 특정하게 구성한다.
한편, 통신 인터페이스(74)는 상기 장치와 함께 통신하는 네트워크 및/또는 다른 장치 또는 모듈과 데이터를 수신 및/또는 송신하도록 구성된 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 구현된 장치 또는 회로와 같은 어떤 수단이라도 될 수 있다. 이와 관련하여, 상기 통신 인터페이스(74)는 예를 들면 무선 통신 네트워크(예를 들면, 네트워크(78))와 함께 통신을 할 수 있도록 하는 안테나 및 지원 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 고정된 환경에서, 통신 인터페이스(74)는 대안적으로 또는 역시 유선 통신을 지원할 수 있다. 이와 같이, 상기 통신 인터페이스(74)는 케이블, 디지털 가입자선(DSL), 유니버설 직렬 버스(USB), 이더넷 또는 다른 메커니즘들을 통해 통신을 지원하기 위한 통신 모뎀 및/또는 다른 하드웨어/소프트웨어를 포함할 수 있다.
사용자 인터페이스(72)는 사용자 인터페이스(72)에서 사용자 입력의 지시를 수신하며/하거나 오디오, 비디오, 기계적 또는 다른 출력을 사용자에게 제공하기 위하여 상기 프로세서(70)와 통신할 수 있다. 이와 같이, 상기 사용자 인터페이스(72)는 예를 들면 키보드, 마우스, 조이스틱, 디스플레이, 터치 스크린, 마이크, 스피커 또는 다른 입력/출력 메커니즘들을 포함할 수 있다. 서버 또는 다른 네트워크 장치들로서 상기 장치가 구현된 실시예에서, 상기 사용자 인터페이스(72)는 제한되거나 제거될 수 있다. 그러나, 모바일 단말기 또는 개인용 컴퓨터로서 장치가 구현된 실시예에서, 사용자 인터페이스(72)는 다른 장치들 또는 구성요소들 중에서 스피커, 마이크, 디스플레이, 및 키보드 등의 어느 하나 또는 모두를 포함할 수 있다.
본 발명의 실시예에서, 프로세서(70)는 거친 자세 평가기(80), 정밀 자세 평가기(82), 얼굴 검출기(84), 그리고 일부의 경우에 후보 회전기(86)를 포함하거나 또는 그렇지 않으면 제어하도록 구현된다. 그러나, 후보 회전기(86)는 일부 예에서 정밀한 자제 평가기(82)의 일부분이 될 수 있다. 상기 거친 자세 평가기(80), 정밀 자세 평가기(82), 얼굴 검출기(84), 후보 회전기(86)는 아래에서 설명된 것과 같이 거친 자세 평가기(80), 정밀 자세 평가기(82), 얼굴 검출기(84), 후보 회전기(86)의 대응 기능들을 각각 수행하도록 구성된 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 구현된 장치 또는 회로와 같은 어떤 수단(예를 들면, 소프트웨어 제어하에서 동작하는 프로세서(70), 여기에서 설명된 동작들을 수행하기 위하여 특별히 구성된 ASIC 또는 FPGA로서 구현된 프로세서(70), 또는 그들의 조합)이 될 수 있다.
본 발명의 실시예에서, 상기 거친 자세 평가기(80), 정밀 자세 평가기(82), 얼굴 검출기(84), 및 후보 회전기(86) 중 어느 것이나 모두는 얼굴 검출 서비스들의 각각의 부분들을 제공하기 위한 명령어, 코드, 모듈들, 어플리케이션들 및/또는 회로를 포함할 수 있다. 그러나, 상기 거친 자세 평가기(80), 정밀 자세 평가기(82), 얼굴 검출기(84), 및 후보 회전기(86)와 관련된 코드, 회로 및/또는 명령어는 모듈화될 필요가 없음을 주목해야 한다. 또한, 아래에서 설명되는 바와 같이, 일부의 경우에, 상기 거친 자세 평가기(80) 및 얼굴 검출기(84)는 각각 동일한 통계 기반의 방법 또는 방식의 일부분들(예를 들면, 일련의 캐스케이드 검출기들을 포함하는)을 구현할 수 있으며, 일부의 경우에는 구현된 부분들은 겹칠 수 있다. 일부의 실시예에서, 상기 거친 자세 평가기(80), 정밀 자세 평가기(82), 얼굴 검출기(84), 및 후보 회전기(86) 사이의 통신은 프로세서(70)를 통해 수행된다. 그러나, 상기 거친 자세 평가기(80), 정밀 자세 평가기(82), 얼굴 검출기(84), 및 후보 회전기(86)는 대안적으로 서로 직접 통신할 수 있으며, 또는 다른 실시예들에서는 서로 통신하지 않을 수 있다.
본 발명의 실시예에서, 상기 거친 자세 평가기(80)는 특정한 이미지 패치 내에서 어느 식별된 얼굴의 자세의 추정을 결정하기 위하여 신뢰 기반 또는 통계 기반의 얼굴 검출 방법의 일련의 훈련된 섹터들을 채택한다. 그러나, 상기 거친 자세 평가기(80)는 통계 기반의 방법의 검출기들의 모든 분류기들을 구현하지는 않는다. 그 대신, 검출기들의 모든 분류기들을 사용하는 것을 회피하는 것 때문에 상대적으로 짧은 시간 내에 거친 자세 추정을 얻기 위해서 단지 선택된 수의 분류기들만이 채택될 수 있다.
얼굴 관련 응용을 위하여 이미지 패치가 주어지면, 상기 이미지 패치가 얼굴을 포함했는지를 결정하기 위해 전형적인 훈련된 검출기가 사용될 수 있다. 그러나, 전형적인 통계 기반의 방법에서 훈련된 검출기들의 수 및 그 안의 대응되는 훈련된 분류기들의 수가 주어지면, 상기 이미지 패치가 모든 분류기들을 사용하여 분석되는 경우 시간 효율이 낮을 수 있다. 따라서, 본 발명의 실시예들은 채택된 통계적 방법의 훈련된 분류기들에 의해 결정된 자세 정보를 정제하기 위하여 구조적 방법과 조합하여 자세 결정을 위한 훈련된 분류기들의 전체 수보다 적게 이용할 수 있다. 이에 따라, 상기 거친 자세 평가기(80)는 검출 속도를 향상시킴으로써 향상된 실시간 수행을 할 수 있도록 하기 위해서거친 자세 평가를 신속하게 수행하도록 구성될 수 있다.
상기 거친 자세 평가기(80)는 상대적으로 적은 자세 변형들을 포함하는 훈련을 위해 사용된 데이터를 채택하도록 구성될 수 있다. 비록 상대적으로 적은 변형들이 훈련 데이터에 나타난다고 해도, 훈련 범위를 넘어서 얼굴이 주어지면, 훈련 데이터와 평가된 얼굴 사이의 유사성들이 외관과 구조에서 모두 가장 높기 때문에, 그의 대응 자세에 관하여 주어진 얼굴을 정확하게 분류할 확률은 상대적으로 높다.
예시적 통계 기반의 방법은 각 검출기가 m 캐스케이드를 갖는 훈련된 검출기 Dn={C1, C2, ..., Cm}인 다수의 검출기들을 포함하여 이루어질 수 있으며, 여기에서 C1={W1, W2, ..., Wt)는 t개의 약한 분류기들을 구비한 i번째 캐스케이드이다. 일부의 실시예에서, 각 검출기 내의 약한 분류기들의 수는 1,000개 이상이다. 각각의 약한 분류기는 전형적으로 시험 이미지 패치가 대응 분류기와 관련된 자세를 갖는 얼굴이 되기 쉬운 정도를 가리키는 신뢰 점수에 기여한다. 일 예로서, 젠틀-부스트 통계적 방법에서,
Figure pct00001
의 정의는 다음과 같다.
Figure pct00002
여기에서,
Figure pct00003
및
Figure pct00004
는 분할 영역에서 양의 확률 및 음의 확률이다.
상기 수학식 1은 다음의 수학식 2와 같이 나타낼 수 있다.
Figure pct00005
따라서,
Figure pct00006
는 특정한 분할에서 측정하기 위하여 실제적으로 정규화된 점수이며, 확률이 더욱 월등히 높다. 만약 신뢰 점수가 크면, 해석되고 있는 이미지 패치가 대응 분류기와 관련된 자세를 갖는 얼굴을 포함하기가 더 쉽다는 것을 나타낸다. 검출기 Dj애서 각각의 약한 분류기
Figure pct00007
는 점수에 기여를 하며, 상기 점수들은 신뢰할만한 신뢰 점수를 생성하기 위하여 수학식(예를 들면, 다음의 덧셈 수학식)에 따라 혼합된다 .
Figure pct00008
여기에서,
Figure pct00009
은 자세 평가를 위하여 사용된 약한 분류기의 수이다. 이에 따라, 이미지 패치(I)의 자세는 수학식 4에 의해 결정된다.
Figure pct00010
단지
Figure pct00011
개의 약한 분류기들(예를 들면, 하나의 예로 6개)을 구현함으로써, 자세 추정을 위하여 각각의 훈련된 검출기의 약한 분류기들(예를 들면, 하나의 예로 단지 6개의 약한 분류기들)의 일부분을 이용해서 자세가 결정될 수 있다. 이에 따라, 여분의 자세 분류기를 훈련할 필요가 없으며, 상대적으로 빠른 수행을 달성할 수 있다. 따라서, 상기 거친 자세 평가기(80)는 상대적으로 우수한(비록 거칠기는 하지만) 자세 평가 수행을 달성하기 위하여 사용된 신뢰 점수를 얻기 위하여 통계 기반의 분석 방법의 각각의 검출기를 위한 선택된 일부분의 분류기들을 구현하도록 구성된다.
도 7은 상기 거친 자세 평가기(80)를 사용하여 달성될 수 있는 거친 자세 평가의 예를 보여주고 있다. 도 7에 도시되어 있는 바와 같이, 특히 일부의 실시예에서, 검출기들의 커버 범위 감소를 가능하도록 함으로써 통합 성능은 적어도 일부분 증가될 수 있다. 예를 들면, 도 1에서의 섹터 A는 -45도에서 45도까지의 면내 회전을 커버하며, 이것은 신뢰성있는 자세 검출 및 그러한 범위에서의 얼굴 검출을 할 수 있도록 하기 위하여 상대적으로 많은 양의 훈련 데이터를 필요로 할 수 있다. 한편, 본 발명의 실시예에서, 회전된 얼굴들이 정밀 자세 평가기(82)에 의한 구조적 방법에 의해 계산될 수 있기 때문에, 커버 범위는 -15도에서 15도의 면내 회전으로 감소될 수 있다(이에 따라, -15도에서 15도의 커버 영역의 바깥을 -15도에서 15도의 커버 영역의 안으로 가리키는 얼굴의 회전이 구조적 방법에 의해 달성될 수 있다). 이에 따라, 본 발명의 실시예들에 따른 훈련된 검출기들이 얼굴들의 큰 회전들을 검출하기 위한 능력을 가질 필요가 없다. 실제로, 상기 거친 자세 평가기(80)는 그러므로 각각의 검출기에서 적은 분류기들을 구현할 수 있다(예를 들면,
Figure pct00012
은 더 적을 수 있다).
상기 정밀 자세 평가기(82)는 특정한 이미지 패치에서 검출된 어느 얼굴의 자세를 상대적으로 정확하게 가리키는 것을 포함하는 정밀한 자세 정보를 제공하기 위하여 구조 기반의 분석 방법을 구현하도록 구성될 수 있다. 상기 구조 기반의 분석 방법은 위에서 설명된 예들 중의 하나 또는 다른 어떤 구조 기반의 분석 방법이 될 수 있다. 일부의 실시예들은 통계적 방법을 사용하여 거친 자세 정보를 추정하더라도, 상기 구조 기반의 방법을 이용하는 것은 거친 자세 정보의 정제가 가능하도록 할 수 있다. 이와 관련하여, 예를 들면, 만약 얼굴이 상대적으로 큰 회전을 한다면, 상기 얼굴은 상기 거친 자세 평가기(80)에 의해(예를 들면, 대응 자세와 관련된 검출기의 분류기들에 의해) 채택된 통계 기반의 방법만을 사용함으로써 정확하게 분류될 수 있는 가능성이 높지 않으며, 우수한 통합을 보장해야 하기 때문에 훈련 데이터에서 단지 적은 변형들만이 일반적으로 허용된다. 따라서, 본 발명의 실시예들은 정밀한 자세 정보를 얻기 위하여 구조 기반의 분석 방법을 이용한다. 일부의 실시예에서, 얼굴 검출을 할 수 있도록 하기 위하여 수직으로 회전될 수 있다. 일부의 경우에, 상기 수직 회전은 대응 얼굴 후보를 위한 자세 정보를 정의하기 위해 상대적으로 정확한 자세를 결정함에 있어서 상기 정밀 자세 평가기(82)의 동작의 이전 또는 이후에 후보 회전기(86)에 의해 달성될 수 있다. 상기 얼굴 후보를 수직으로 정렬함으로써 상기 구조적 방법은 정확한 자세 정보를 결정하기 위하여 상기 이미지 패치의 구조적 특성들을 분석할 수 있도록 보다 잘 인에이블될 수 있다.
상기 얼굴 검출기(84)는 상기 거친 자세 평가기(80)에 의해 사용된 통계 기반의 분석 방법을 사용하여 미리 형성된 정밀 자세 결정과 함께 수직으로 정렬된 이미지 패치에서 얼굴 후보들을 검출하도록 구성될 수 있다. 일부의 경우에, 상기 얼굴 검출기(84)는 상기 거친 자세 평가기(80)에 의해 초기에 사용되지 않은 나머지 캐스케이드된 약한 분류기들의 전부 또는 일부를 사용할 수 있다. 그러나, 다른 경우들에 있어서, 통계적 방법을 채택하고 있는 비관련 검출기들의 세트가 채택될 수도 있다. 동작시에, 후보 얼굴들이 검출된 후에, 상기 후보 회전기(86)는 상기 검출된 후보들을 수직으로 회전시킬 수 있으며, 그 이후에 상기 얼굴 검출기(84)는 상기 후보들이 얼굴들과 대응되는지를 더 쉽고 빠르게 결정할 수 있다. 본 발명의 일 실시예에서, 도 6의 장치는 여기에서 설명된 분석에 사용하기 위한 이미지 데이터를 수신하기 위하여 매체 포획 모듈(예를 들면, 카메라)과 통신할 수 있다. 그러나, 대안적인 실시예에서, 도 6의 장치는 저장 위치(예를 들면, 메모리 장치(76)) 또는 다른 장치로부터 이미지들을 수신할 수 있다.
위에서 언급한 바와 같이, 일부의 실시예들에서, 거친 자세 평가기(80) 및 얼굴 검출기(84)는 적응 부스팅(Adaboost) 또는 다른 통계 기반의 분석 방법을 이용할 수 있다. 그러나, 적응 부스팅(Adaboost)은 거친 자세 평가기(80) 및 얼굴 검출기(84)의 특정한 구현의 하나의 예일 뿐이며, 다른 메커니즘들이 대안적으로 채택될 수 있다. 적응 부스팅(Adaboost)은 성능을 향상시키기 위하여 다른 학습 메커니즘들과 연계되어 이용될 수 있는 기계 학습 알고리즘이다. 본 발명의 실시예에서, 적응 부스팅(Adaboost)은 자세 평가를 위한 구조 기반의 분석 방법과 연계하여 사용될 수 있다. 그 후, 상대적으로 적은 자세 변형들을 갖는 얼굴 데이터 세트들을 사용하여 훈련된 적응 부스팅(Adaboost)과 관련된 검출기들로부터 선택된 분류기들을 사용하여 거친 자세 정보를 결정한 후에, 상기 구조 기반의 분석 방법은 정밀 자세 정보를 제공하기 위해 상기 자세 정보를 정제하며 상기 대응 이미지 패치를 수직으로 회전할 수 있다. 그 후, 수직으로 회전된 이미지상에서 얼굴 검출을 완료하기 위하여 다른 적응 부스팅(Adaboost) 분류기들이 채택될 수 있다.
상기 구조 기반의 분석 방법에 의한 이미지의 수직 회전은 큰 회전각들을 갖는 훈련 데이터가 통계 기반의 분석 방법에 의해 이용되는 것을 불필요하게 한다. 이에 따라, 각각의 검출기에서 더 약한 분류기들이 훈련될 필요가 있을 수 있으며, 검출기들은 보다 신속하게 통합을 달성할 수 있다. 거친 자세 정보가 통계 기반의 분석 방법을 사용하여 초기에 획득되는 일부 실시예들에 따르면, 상기 구조 기반의 분석방법의 검색 범위는 정밀한 회전각을 찾기 위하여 정제된다. 이에 따라, 입력 이미지 패치의 크기에 기초하여, 구조 기반의 분석 방법의 효율성을 향상시키기 위해 구조 정보를 더 우수하게 추정하도록 적절한 제어기들이 구성될 수 있다. 또한, 본 발명의 일부 실시예들은 얼굴 검출을 강화시키기 위해서 자세 정보의 결정을 위한 통계 및 구조 기반의 방법들을 융합시킨다.
일부의 경우에, 본 발명의 실시예들은 얼굴 기반의 응용에서 추가적인 계산 부하를 부가함이 없이 자세 추정을 상대적으로 정확하게 달성하기 위하여 필요한 시간을 감소시킬 수 있다. 이와 관련하여, 푸시-스위치 기반의 얼굴 자세 평가기는 위에서 설명한 바와 같이 신뢰성있는 자세 추정을 위해 통계 및 구조 기반의 분석 방법들을 융합시킨다. 이에 따라, 예를 들면, 검출기 훈련에서의 통합 성능이 향상될 수 있으며, 자세 추정은 신속하고 정확하게 결정될 수 있으며 훈련할 추가적인 자세 분류기를 필요로 하지 않으면서 그렇게 할 수 있다.
일부의 경우에, 정밀 자세 평가기(82)에 의해 채택된 구조 기반의 분석 방법은 정밀 자세 정보 결정을 위하여 눈의 위치를 이용할 수 있다. 그러므로, 눈이 보이지 않는 어떤 얼굴 회전들에 대해서는 정밀 자세 정보를 결정할 수 없을 수도 있다. 그러한 상황에서는 단지 거친 자세 정보만이 제공될 수 있다.
본 발명의 실시예들은 멀티뷰 얼굴 검출 및 인식과 관련하여 또한 모바일 폰 조작, 게임, 컴퓨터를 이용한 업무 수행을 위한 사용자 인터페이스를 제공하기 위하여 인간-컴퓨터 인터페이스(HCI) 응용들과 관련하여 이용될 수 있다.
도 8은 본 발명의 일부의 실시예들에 따른 시스템, 방법 및 프로그램 제품의 흐름도이다. 흐름도의 각각의 블록 또는 단계, 및 흐름도에서의 블록들의 조합들은 하나 또는 그 이상의 컴퓨터 프로그램 명령어를 포함하는 하드웨어, 펌웨어 및/또는 소프트웨어와 같은 다양한 수단들에 의해 구현될 수 있다. 예를 들면, 위에서 설명된 하나 또는 그 이상의 절차들은 컴퓨터 프로그램 명령어에 의해 구현될 수 있다. 이와 관련하여, 위에서 설명된 절차들을 구현하는 상기 컴퓨터 프로그램 명령어는 본 발명의 실시예들을 채택하는 모바일 단말기 또는 다른 장치의 메모리 장치에 의해 저장될 수 있으며 모바일 단말기 또는 다른 장치의 프로세서에 의해 실행될 수 있다. 이해될 수 있는 바와 같이, 이러한 컴퓨터 프로그램 명령어는 기계를 생산하기 위하여 컴퓨터 또는 다른 프로그램 가능한 장치(다시 말하면, 하드웨어)에 로딩될 수 있으며, 컴퓨터 상에(예를 들면, 프로세서를 통하여) 또는 다른 프로그램 가능한 장치상에서 실행되는 명령어는 흐름도 블록(들) 또는 단계(들)에 특정되어 있는 기능들을 구현하기 위한 수단들을 생성한다. 이 컴퓨터 프로그램 명령어는 컴퓨터(예를들면 프로세서 또는 다른 컴퓨팅 장치) 또는 다른 프로그램 가능한 장치를 특정한 방식의 기능하도록 지시할 수 있는 컴퓨터-독출 가능한 메모리에 또한 저장될 수 있으며, 그 결과 컴퓨터-독출 가능한 메모리에 저장된 명령어는 흐름도 블록(들) 또는 단계(들)에 특정되어 있는 기능들을 구현하기 위한 명령 수단들을 포함하는 제조 물품을 형성한다. 컴퓨터 프로그램 명령어는 컴퓨터 또는 다른 프로그램 가능한 장치에서 실행되는 명령어가 흐름도 블록(들) 또는 단계(들)에 특정되어 있는 기능들을 구현하기 위한 단계들을 제공하도록 컴퓨터로 구현된 프로세스를 생성하기 위하여 일련의 조작 단계들이 컴퓨터 또는 다른 프로그램 가능한 장치상에서 수행되도록 컴퓨터 또는 다른 프로그램 가능한 장치에 또한 로딩될 수 있다.
따라서, 상기 흐름도의 블록들 또는 단계들은 특정한 기능들을 수행하기 위한 수단들의 조합들, 특정한 기능들을 수행하기 위한 수단들의 단계들, 및 특정한 기능들을 수행하기 위한 프로그램 명령어 수단들을 지원한다. 흐름도의 하나 또는 그 이상의 블록들 또는 단계들 및 흐름도의 블록들 또는 단계들의 조합들은 특정한 기능들 또는 단계들을 수행하는 특정한 목적의 하드웨어 기반의 컴퓨터 시스템들 또는 특정한 목적의 하드웨어 및 컴퓨터 명령어의 조합들에 의해 구현될 수 있다는 것을 또한 이해할 수 있을 것이다.
이와 관련하여, 예를 들면, 도 8에서 설명된 바와 같이 얼굴 검출을 위한 자세 평가를 제공하기 위한 방법의 실시예는 이미지에서 후보 얼굴에 대한 거친 자세 정보를 결정하기 위하여 검출기들에서 분류기들 중 선택된 일부분을 이용하는 것(예를 들면, 통계 기반의 분석 방법과 관련된)을 포함한다(동작(100)). 상기 방법은 결정된 거친 자세 정보의 적어도 일부분에 기초하여 후보 얼굴에 대한 정밀 자세 정보를 결정하는 것(예를 들면, 구조 기반의 분석방법을 채택함으로써)을 더 포함할 수 있으며(동작(110)), 후보 얼굴이 얼굴에 대응하는지 결정하기 위해 정밀 자세 정보의 적어도 일부분에 기초하여 얼굴 검출을 수행하는 검출기들에서의 분류기들의 다른 일부분을 채택하는 것(예를 들면, 통계 기반의 분석 방법과 관련된)을 더 포함할 수 있다(동작(120)).
일부의 실시예에서, 상기 방법은 도 8에 점선으로 도시되어 있는 예인 선택적 동작들을 더 포함할 수 있다. 선택적 동작들은 다양한 선택적 실시예들에서 어떠한 순서 및/또는 서로 간의 조합으로 수행될 수 있다. 그러므로, 상기 방법은 얼굴 검출을 수행하기 이전에 이미지를 수직으로 회전 동작을 더 포함할 수 있다(동작(115)).
일부의 실시예들에서, 위의 동작들 중 어떤 것들은 이하에서 설명한 바와 같이 변형되거나 보강될 수 있다. 아래의 변형들 및 보강들은 여기에서 설명된 특성들의 단독 또는 조합으로 위의 동작들에 포함될 수 있다는 것이 이해되어야 한다. 이와 관련하여, 예를 들면, 구조 기반의 분석 방법을 채택함으로써 후보 얼굴에 대한 정밀 자세 정보를 결정하는 것은 얼굴 템플릿을 이용하는 것을 포함한다. 일부의 경우에, 통계 기반의 분석 방법은 적응 부스팅(Adaboost)일 수 있다. 예시적인 실시에에서, 분류기들 중 선택된 일부분을 이용하는 것은 통계 기반의 분석 방법의 검출기들에서 N개의 초기 분류기들을 이용하는 것을 포함할 수 있다. 대안적으로 또는 추가적으로, 통계 기반의 분석 방법의 다른 부분을 채택하는 것은 거친 자세 정보를 결정하기 위해 사용되지 않은 나머지 분류기들의 적어도 일부분을 이용하는 것을 포함할 수 있다.
본 발명의 실시예에서, 위의 도 8의 방법을 수행하기 위한 장치는 위에서 설명된 동작들(100-120)의 일부나 각각을 수행하도록 구성된 프로세서(예를 들면, 프로세서(70))를 포함할 수 있다. 상기 프로세서는 예를 들면 하드웨어로 구현된 로직 기능들을 수행하고, 저장된 명령어를 실행하며 상기 동작들 각각을 수행하기 위한 알고리즘들을 실행함으로써 상기 동작들(100-120)을 수행하도록 구성될 수 있다. 대안적으로, 상기 장치는 위에서 설명된 동작들 각각을 수행하기 위한 수단들을 포함할 수 있다. 이와 관련하여, 볼 발명의 실시예에 따르면, 동작들(100-120)을 수행하기 위한 수단들의 예들은 예를 들면 프로세서(70), 거친 자세 평가기(80), 정밀 자세 평가기(82), 얼굴 검출기(84), 후보 회전기(86) 및/또는 위에서 설명된 바와 같이 정보를 처리하기 위한 프로세서(70)에 의해 실행된 알고리즘을 포함할 수 있다.
여기에서 언급된 본 발명의 많은 변형들 및 다른 실시예들은 전술한 설명 및 첨부 도면들에 제시된 가르침의 혜택을 향유하는 본 발명이 관련된 기술분야의 통상의 지식을 가진 자들에게 떠오르게 될 것이다. 그러므로, 본 발명은 설명된 특정한 실시예들에 국한되지 않으며 변형 들 및 다른 실시예들이 청구항들의 범위 내에 포함될 수 있다는 것이 이해되어야 한다. 또한, 전술한 설명 및 관련 도면들은 구성요소 및/또는 기능들의 예시적 조합의 맥락 내에서 실시예들을 설명하였지만, 첨부된 청구범위의 범위를 벗어남이 없이 대안적인 실시예들에 의해 다른 구성요소 및/또는 기능들의 조합이 제공될 수 있다는 것이 이해되어야 한다. 이와 관련하여, 예를 들면, 위에서 명확하게 설명된 것과 다른 구성요소 및/또는 기능들의 조합들은 또한 청구항에 설명된 것으로 생각될 수 있다. 특정 용어들이 여기에서 사용되었지만, 그것들은 제한적인 목적이 아니라 단지 일반적으로 그리고 설명을 위해 사용되었을 뿐이다.

Claims (20)

  1. 프로세서를 포함하되,
    상기 프로세서는,
    이미지에서 후보 얼굴(candidate face)에 대한 거친 자세 정보(coarse pose information)를 결정하기 위하여 검출기들에서 분류기들 중 선택된 일부분을 이용하고,
    상기 결정된 거친 자세 정보에 적어도 일부분 기초해서 상기 후보 얼굴에 대한 정밀 자세 정보(fine pose information)를 결정하며,
    상기 후보 얼굴이 얼굴에 대응하는지를 판단하기 위해 상기 정밀 자세 정보에 적어도 일부분 기초해서 얼굴 검출을 수행하기 위해서 검출기들에서 분류기들의 다른 일부분을 채택하도록 구성되는
    장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 얼굴 검출을 수행하기 이전에 상기 이미지를 수직으로 회전시키도록 더 구성되는
    장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 검출기들에 의해 채택된 통계 기반의 분석 방법으로서 적응 부스팅(adaptive boosting)을 채택하도록 구성되는
    장치.
  4. 제 1 항에 있어서,
    상기 프로세서는 얼굴 템플릿(template)을 활용함으로써 상기 후보 얼굴에 대한 정밀 자세 정보를 결정하도록 구성되는
    장치.
  5. 제 1 항에 있어서,
    상기 프로세서는 통계 기반의 분석 방법의 검출기들에서 N개의 초기 분류기들을 활용함으로써 분류기들 중 선택된 일부분을 활용하도록 구성되는
    장치.
  6. 제 1 항에 있어서,
    상기 프로세서는 상기 거친 자세 정보를 결정하는 데 사용되지 않은 나머지 분류기들의 적어도 일부분을 활용함으로써 분류기들의 다른 일부분을 채택하도록 구성되는
    장치.
  7. 제 1 항에 있어서,
    상기 장치는 모바일 단말기를 포함하는
    장치.
  8. 제 1 항에 있어서,
    상기 프로세서는 상기 얼굴에 관하여 얼굴 인식을 수행하도록 구성되는
    장치.
  9. 이미지에서 후보 얼굴에 대한 거친 자세 정보를 결정하기 위하여 검출기들에서 분류기들 중 선택된 일부분을 활용하는 단계와,
    상기 결정된 거친 자세 정보에 적어도 일부분 기초해서 후보 얼굴에 대한 정밀 자세 정보를 결정하는 단계와,
    후보 얼굴이 얼굴에 대응하는지를 판단하기 위해 상기 정밀 자세 정보에 적어도 일부분 기초해서 얼굴 검출을 수행하기 위해서 검출기들에서 분류기들의 다른 일부분을 채택하는 단계를 포함하는
    방법.
  10. 제 9 항에 있어서,
    상기 얼굴 검출을 수행하기 이전에 상기 이미지를 수직으로 회전시키는 단계를 더 포함하는
    방법.
  11. 제 9 항에 있어서,
    상기 후보 얼굴에 대한 정밀 자세 정보를 결정하는 단계는 얼굴 템플릿을 이용하는 단계를 포함하는
    방법.
  12. 제 9 항에 있어서,
    상기 분류기들 중 선택된 일부분을 활용하는 단계는 통계 기반의 분석 방법의 검출기들에서 N개의 초기 분류기들을 활용하는 단계를 포함하는
    방법.
  13. 제 9 항에 있어서,
    상기 분류기들의 다른 일부분을 채택하는 단계는 상기 거친 자세 정보를 결정하는 데 사용되지 않은 나머지 분류기들의 적어도 일부분을 활용하는 단계를 포함하는
    방법.
  14. 컴퓨터 실행 가능한 프로그램 코드 명령어가 저장된 적어도 하나의 컴퓨터 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 실행 가능한 프로그램 코드 명령어는,
    이미지에서 후보 얼굴에 대한 거친 자세 정보를 결정하기 위하여 검출기들에서 분류기들 중 선택된 일부분을 활용하기 위한 프로그램 코드 명령어와,
    결정된 거친 자세 정보에 적어도 일부분 기초해서 후보 얼굴에 대한 정밀 자세 정보를 결정하기 위한 프로그램 코드 명령어와,
    후보 얼굴이 얼굴에 대응하는지를 판단하기 위해 상기 정밀 자세 정보에 적어도 일부분 기초해서 얼굴 검출을 수행하기 위해서 검출기들에서 분류기들의 다른 일부분을 채택하기 위한 프로그램 코드 명령어를 포함하는
    컴퓨터 프로그램 제품.
  15. 제 14 항에 있어서,
    상기 컴퓨터 실행 가능한 프로그램 코드 명령어는,
    얼굴 검출을 수행하기 이전에 상기 이미지를 수직으로 회전시키기 위한 프로그램 코드 명령어를 더 포함하는
    컴퓨터 프로그램 제품.
  16. 제 14 항에 있어서,
    상기 후보 얼굴에 대한 정밀 자세 정보를 결정하기 위한 프로그램 코드 명령어는 얼굴 템플릿을 활용하기 위한 명령어를 포함하는
    컴퓨터 프로그램 제품.
  17. 제 14 항에 있어서,
    상기 분류기들 중 선택된 일부분을 활용하기 위한 프로그램 코드 명령어는 통계 기반의 분석 방법의 검출기들에서 N개의 초기 분류기들을 활용하기 위한 명령어를 포함하는
    컴퓨터 프로그램 제품.
  18. 제 14 항에 있어서,
    상기 분류기들의 다른 일부분을 채택하기 위한 프로그램 코드 명령어는 상기 거친 자세 정보를 결정하는 데 사용되지 않은 나머지 분류기들의 적어도 일부분을 활용하기 위한 명령어를 포함하는
    컴퓨터 프로그램 제품.
  19. 이미지에서 후보 얼굴에 대한 거친 자세 정보를 결정하기 위하여 검출기들에서 분류기들 중 선택된 일부분을 활용하기 위한 수단과,
    상기 결정된 거친 자세 정보에 적어도 일부분 기초해서 상기 후보 얼굴에 대한 정밀 자세 정보를 결정하기 위한 수단과,
    후보 얼굴이 얼굴에 대응하는지를 판단하기 위해 상기 정밀 자세 정보에 적어도 일부분 기초해서 얼굴 검출을 수행하기 위해서 검출기들에서 분류기들의 다른 일부분을 채택하기 위한 수단을 포함하는
    장치.
  20. 제 19 항에 있어서,
    상기 얼굴 검출을 수행하기 이전에 상기 이미지를 수직으로 회전시키기 위한 수단을 더 포함하는
    장치.
KR1020117017838A 2008-12-30 2009-12-14 얼굴 자세 추정을 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체 KR20110100666A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/346,158 2008-12-30
US12/346,158 US8396263B2 (en) 2008-12-30 2008-12-30 Method, apparatus and computer program product for providing face pose estimation

Publications (1)

Publication Number Publication Date
KR20110100666A true KR20110100666A (ko) 2011-09-14

Family

ID=42285068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117017838A KR20110100666A (ko) 2008-12-30 2009-12-14 얼굴 자세 추정을 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체

Country Status (7)

Country Link
US (1) US8396263B2 (ko)
EP (1) EP2370932B1 (ko)
JP (1) JP2012512478A (ko)
KR (1) KR20110100666A (ko)
CN (1) CN102272774B (ko)
RU (1) RU2011130626A (ko)
WO (1) WO2010076621A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087379B2 (en) 2011-12-23 2015-07-21 Samsung Electronics Co., Ltd. Apparatus and method for estimating pose of object

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147851B (zh) * 2010-02-08 2014-06-04 株式会社理光 多角度特定物体判断设备及多角度特定物体判断方法
EP2721582A4 (en) 2011-06-20 2015-03-25 Nokia Corp METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR IMPLEMENTING DETAILED POSITION PROVISIONS OF OBJECTS
JP6222900B2 (ja) * 2012-07-09 2017-11-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9727776B2 (en) * 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
CN109325393B (zh) * 2017-08-01 2022-12-09 苹果公司 使用单一网络的面部检测、姿态估计和距相机距离的估计
EP3629290B1 (en) * 2018-09-26 2023-01-04 Apple Inc. Localization for mobile devices
CN110796029B (zh) * 2019-10-11 2022-11-11 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
CN111339345B (zh) * 2020-02-26 2023-09-19 北京国网信通埃森哲信息技术有限公司 多平台人脸识别服务接口差异化屏蔽方法、系统及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5497430A (en) * 1994-11-07 1996-03-05 Physical Optics Corporation Method and apparatus for image recognition using invariant feature signals
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
US7024033B2 (en) * 2001-12-08 2006-04-04 Microsoft Corp. Method for boosting the performance of machine-learning classifiers
US7050607B2 (en) * 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7689033B2 (en) * 2003-07-16 2010-03-30 Microsoft Corporation Robust multi-view face detection methods and apparatuses
KR100643303B1 (ko) * 2004-12-07 2006-11-10 삼성전자주식회사 다면 얼굴을 검출하는 방법 및 장치
EP1772816A1 (en) 2005-10-09 2007-04-11 Omron Corporation Apparatus and method for detecting particular subject
CN100472556C (zh) 2005-10-09 2009-03-25 欧姆龙株式会社 特定被摄体检测装置及方法
JP4540661B2 (ja) * 2006-02-28 2010-09-08 三洋電機株式会社 物体検出装置
JP2008021266A (ja) 2006-07-14 2008-01-31 Matsushita Electric Ind Co Ltd 顔向き検出装置、顔向き検出方法、および顔向き検出プログラム
JP2008191816A (ja) 2007-02-02 2008-08-21 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087379B2 (en) 2011-12-23 2015-07-21 Samsung Electronics Co., Ltd. Apparatus and method for estimating pose of object

Also Published As

Publication number Publication date
WO2010076621A1 (en) 2010-07-08
US20100166317A1 (en) 2010-07-01
RU2011130626A (ru) 2013-03-27
US8396263B2 (en) 2013-03-12
EP2370932B1 (en) 2018-04-04
EP2370932A4 (en) 2012-09-26
CN102272774A (zh) 2011-12-07
EP2370932A1 (en) 2011-10-05
CN102272774B (zh) 2014-12-10
JP2012512478A (ja) 2012-05-31

Similar Documents

Publication Publication Date Title
KR20110100666A (ko) 얼굴 자세 추정을 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN108875522B (zh) 人脸聚类方法、装置和系统及存储介质
US10572072B2 (en) Depth-based touch detection
Abid et al. Dynamic sign language recognition for smart home interactive application using stochastic linear formal grammar
US10938840B2 (en) Neural network architectures employing interrelatedness
CN107077589B (zh) 基于图像的生物计量中的面部假冒检测
EP3647993B1 (en) Interactive user verification
WO2017088727A1 (zh) 一种图像处理方法和装置
US20130279756A1 (en) Computer vision based hand identification
KR101235791B1 (ko) 방위 독립적인 얼굴 검출기를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
CN107077609B (zh) 用于检测在空间上不同的时间模式的非参数化模型
TWI625680B (zh) 臉部表情辨識的方法及裝置
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
Mantecón et al. A real-time gesture recognition system using near-infrared imagery
US11308188B2 (en) Method used in a mobile equipment with a trusted execution environment for authenticating a user based on his face
US10423817B2 (en) Latent fingerprint ridge flow map improvement
CN103793926A (zh) 基于样本重选择的目标跟踪方法
JP7415297B2 (ja) 人間と機械の認証方法、装置、機器、及び記憶媒体
US10204265B2 (en) System and method for authenticating user
US20210049366A1 (en) Detecting Fake Videos
US20240037995A1 (en) Detecting wrapped attacks on face recognition
US11392789B2 (en) Fingerprint authentication using a synthetic enrollment image
US10528122B2 (en) Gesture experiences in multi-user environments
JP2015102897A (ja) 画像認識装置、及び画像認識方法
US20240070516A1 (en) Machine learning context based confidence calibration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application