KR20130048076A - 얼굴 인식 장치 및 그 제어방법 - Google Patents

얼굴 인식 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20130048076A
KR20130048076A KR1020110112999A KR20110112999A KR20130048076A KR 20130048076 A KR20130048076 A KR 20130048076A KR 1020110112999 A KR1020110112999 A KR 1020110112999A KR 20110112999 A KR20110112999 A KR 20110112999A KR 20130048076 A KR20130048076 A KR 20130048076A
Authority
KR
South Korea
Prior art keywords
image
sub
face
images
target
Prior art date
Application number
KR1020110112999A
Other languages
English (en)
Other versions
KR101901591B1 (ko
Inventor
황원준
노경식
심영보
윤석준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110112999A priority Critical patent/KR101901591B1/ko
Priority to US13/666,168 priority patent/US8861805B2/en
Priority to EP12190972.5A priority patent/EP2590111B1/en
Publication of KR20130048076A publication Critical patent/KR20130048076A/ko
Application granted granted Critical
Publication of KR101901591B1 publication Critical patent/KR101901591B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴 인식을 수행함에 있어 마코브 네트워크를 적용하여 히든 노드 간의 상관관계, 즉 타겟 영상들 간의 유사도를 고려함으로써 얼굴 인식 결과의 정확도를 향상시킬 수 있는 얼굴 인식 장치 및 그 제어방법을 제공한다.
이를 위해 본 발명의 일 측면에 따른 얼굴 인식 장치는 확인 대상이 되는 얼굴 영상을 입력받는 영상 입력부; 복수의 서로 다른 얼굴 모델을 이용하여 상기 입력된 얼굴 영상에 대한 복수의 서브 영상을 생성하는 서브 영상 생성부; 복수의 타겟 영상을 저장하는 저장부; 및 마코브 네트워크(Markov network)를 적용하여 상기 복수의 서브 영상을 마코브 네트워크의 관찰 노드로 설정하고, 상기 복수의 타겟 영상을 마코브 네트워크의 히든 노드로 설정하고, 상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계 및 상기 히든 노드 사이의 제2상관관계를 이용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 존재하는지 여부를 인식하는 얼굴 인식부를 포함한다.

Description

얼굴 인식 장치 및 그 제어방법{FACE RECOGNITION APPARATUS AND CONTROL METHOD FOR THE SAME}
본 발명은 신원 확인을 위해 확인 대상에 해당하는 얼굴 영상을 타겟 영상들과 비교하여 얼굴을 인식하는 얼굴 인식 장치 및 그 제어방법에 관한 것이다.
현대 사회는 고도의 정보화 사회가 되어감에 따라 정보 보안 및 신분 확인의 중요성이 커지고 있다.
기존에는 정보 보안 및 신분 확인 시 열쇠나, 패스워드, ID카드, 스마트 카드 등을 이용하였다. 그러나 이는 휴대가 불편하고 분실의 문제가 있었으며 또한 다른 사람에 의해 위조, 변조 및 도용될 문제가 있었다. 이러한 문제를 해결하기 위해 생체 인식을 통한 정보 보안 및 신분 확인 기술이 개발되었다.
생체인식은 사람의 신체 일부를 인식하여 신분 확인을 수행하는 것으로, 지문(Fingerprint)인식, 홍채(Iris)인식, 음성(Voice)인식, 서명(Signature)인식, 얼굴(Face)인식 등이 있다. 이러한 생체인식은 사람 고유의 신체 일부를 사용하기 때문에 편리성과 보안성이 높아 이에 대한 연구가 많이 진행되고 있다.
생체 인식 중에서도 얼굴 인식 기술은, 지문 인식, 홍채 인식 등 사용자의 특별한 동작이나 행위를 요구하는 인식 기술과 달리, 대상자의 자발적인 동의 없이도 비접촉식으로 사용자의 신분을 확인할 수 있는 장점 때문에 편리하고 경쟁력 있는 생체 인식 기술로 평가 받고 있다.
얼굴 인식 기술은 멀티미디어 데이터 베이스 검색 핵심 기술 중의 하나로 얼굴 정보를 이용한 동영상의 요약, 신분 증명, HCI(Human Computer Interface) 영상 검색, 보안, 감시시스템 등 다양한 응용 분야에서 많은 개발 및 연구가 진행되고 있다.
그러나 얼굴 인식은 동일성(identity), 나이, 인종, 표정, 장신구 등의 내적 환경 변화나, 포즈(pose), 외부 조명, 영상 프로세스(image process) 등의 외적 환경 변화에 따라서 그 인식 결과가 민감하게 달라지는 특성이 있다.
즉, 얼굴 인식을 위하여 어느 한가지 종류의 특징 분석 기법을 사용하게 되면, 환경 변화에 따라서 인식 성능에 기복이 발생하게 된다. 따라서 환경 변화에 강인한 얼굴 인식 기술이 요구되고 있다.
본 발명은 얼굴 인식을 수행함에 있어 마코브 네트워크를 적용하여 히든 노드 간의 상관관계, 즉 타겟 영상들 간의 유사도를 고려함으로써 얼굴 인식 결과의 정확도를 향상시킬 수 있는 얼굴 인식 장치 및 그 제어방법을 제공한다.
본 발명의 일 측면에 따른 얼굴 인식 장치는 확인 대상이 되는 얼굴 영상을 입력받는 영상 입력부; 복수의 서로 다른 얼굴 모델을 이용하여 상기 입력된 얼굴 영상에 대한 복수의 서브 영상을 생성하는 서브 영상 생성부; 복수의 타겟 영상을 저장하는 저장부; 및 마코브 네트워크(Markov network)를 적용하여 상기 복수의 서브 영상을 마코브 네트워크의 관찰 노드로 설정하고, 상기 복수의 타겟 영상을 마코브 네트워크의 히든 노드로 설정하고, 상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계 및 상기 히든 노드 사이의 제2상관관계를 이용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 존재하는지 여부를 인식하는 얼굴 인식부를 포함한다.
상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계는 상기 서브 영상과 상기 타겟 영상 사이의 유사도에 기초한 것이고, 상기 히든 노드 사이의 제2상관관계는 상기 타겟 영상들 사이의 유사도에 기초한 이다.
상기 얼굴 인식부는, 상기 서브 영상 생성부에서 생성된 각각의 서브 영상과 상기 저장부에 저장된 복수의 타겟 영상 사이의 제1유사도를 산출하고, 상기 제1유사도가 큰 타겟 영상부터 작은 타겟 영상의 순서대로 정렬하는 제1산출부; 및 상기 서브 영상 중 하나의 서브 영상에 대해 정렬된 타겟 영상들과 상기 서브 영상 중 다른 하나의 서브 영상에 대해 정렬된 타겟 영상들 사이의 제2유사도를 산출하는 제2산출부를 포함한다.
상기 제2산출부는, 상기 서브 영상 생성부에서 생성한 모든 서브 영상에 대해 상기 제2유사도를 산출한다.
상기 제1산출부는 아래의 [수학식 2]에 의해 상기 제1상관관계를 산출하한다.
[수학식 2]
Figure pat00001
여기서, xi,yi는 각각 타겟 영상i와 서브 영상i를 나타내며, φ(xi,yi)는 서브 영상i와 타겟 영상i의 제1상관관계를 나타내는 벡터 함수이고, s(xi,yi)는 타겟 영상i와 서브 영상i의 제1유사도를 나타내고, σ는 노이즈 파라미터를 나타낸다.
상기 제2산출부는 아래의 [수학식 5]에 의해 상기 제2상관관계를 산출한다.
[수학식 5]
Figure pat00002
여기서, xi,xj는 각각 타겟 영상i와 타겟 영상j를 나타내며, ψ(xi,xj)는 타겟 영상i와 타겟 영상j의 제2상관관계를 나타내는 매트릭스 함수이고, s(xi,xj)는 타겟 영상i와 타겟 영상j의 제2유사도를 나타내고, σ는 노이즈 파라미터를 나타낸다.
상기 얼굴 인식부는, 상기 제1상관관계 및 상기 제2상관관계에 신뢰 전달(belief propagation) 알고리즘을 적용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 검출하는 신원 확인부를 더 포함한다.
상기 신원 확인부는, 상기 신뢰 전달(belief propagation) 알고리즘이 적용된 결과와 상기 제1상관관계에 기초하여 주변 확률(marginal probability)을 산출하고, 상기 산출된 주변 확률에 기초하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 검출한다.
본 발명의 일 측면에 따른 얼굴 인식 장치의 제어방법은 확인 대상이 되는 얼굴 영상을 입력받고; 복수의 서로 다른 얼굴 모델을 이용하여 상기 입력된 얼굴 영상에 대한 복수의 서브 영상을 생성하고; 마코브 네트워크를 적용하여 상기 복수의 서브 영상을 마코브 네트워크의 관찰 노드로 설정하고, 상기 복수의 타겟 영상을 마코브 네트워크의 히든 노드로 설정하고 ; 상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계 및 상기 히든 노드 사이의 제2상관관계를 이용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식한다.
상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계는 상기 서브 영상과 상기 타겟 영상 사이의 유사도에 기초한 것이고, 상기 히든 노드 사이의 제2상관관계는 상기 타겟 영상들 사이의 유사도에 기초한 것이다.
상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식하는 것은, 상기 생성된 각각의 서브 영상과 상기 저장부에 저장된 복수의 타겟 영상 사이의 제1유사도를 산출하고, 상기 각각의 서브 영상에 대해 유사도가 큰 타겟 영상부터 유사도가 작은 타겟 영상의 순서대로 정렬하고; 상기 서브 영상 중 하나의 서브 영상에 대해 정렬된 타겟 영상들과 상기 서브 영상 중 인접한 다른 하나의 서브 영상에 대해 정렬된 타겟 영상들 사이의 제2유사도를 산출하는 것을 포함하는 것이다.
상기 생성된 모든 서브 영상에 대해 상기 제2유사도를 산출한다.
상기 제1상관관계는 아래의 [수학식 2]에 의해 산출된다.
[수학식 2]
Figure pat00003
여기서, xi,yi는 각각 타겟 영상i와 서브 영상i를 나타내며, φ(xi,yi)는 서브 영상i와 타겟 영상i의 제1상관관계를 나타내는 벡터 함수이고, s(xi,yi)는 타겟 영상i와 서브 영상i의 제1유사도를 나타내고, σ는 노이즈 파라미터를 나타낸다.
상기 제2상관관계는 아래의 [수학식 5]에 의해 산출된다.
[수학식 5]
Figure pat00004
여기서, xi,xj는 각각 타겟 영상i와 타겟 영상j를 나타내며, ψ(xi,xj)는 타겟 영상i와 타겟 영상j의 제2상관관계를 나타내는 매트릭스 함수이고, s(xi,xj)는 타겟 영상i와 타겟 영상j의 제2유사도를 나타내고, σ는 노이즈 파라미터를 나타낸다.
상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식하는 것은,
상기 제1상관관계 및 상기 제2상관관계에 신뢰 전달(belief propagation) 알고리즘을 적용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 존재하는지 여부를 인식하는 것이다.
상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식하는 것은, 상기 신뢰 전달(belief propagation) 알고리즘이 적용된 결과와 상기 제1상관관계에 기초하여 주변 확률(marginal probability)을 산출하고, 상기 산출된 주변 확률에 기초하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 존재하는지 여부를 인식하는 것이다.
본 발명의 일 측면에 따른 얼굴 인식 장치 및 그 제어방법에 의하면, 얼굴 인식을 수행함에 있어 마코브 네트워크를 적용하여 히든 노드 간의 상관관계, 즉 타겟 영상들 간의 유사도를 고려함으로써 얼굴 인식 결과의 정확도를 향상시킬 수 있다.
또한, 신원 확인 대상자의 얼굴 영상 및 타겟 영상에서의 나이, 인종, 표정, 장신구 등의 내적 환경 변화나, 포즈(pose), 외부 조명, 영상 프로세스(image process) 등의 외적 환경 변화에 영향을 적게 받는 얼굴 인식 장치를 제공할 수 있다.
또한 얼굴의 특징을 추출하거나 비교함에 있어 수행되는 시간, 특징 값 및 저장 공간을 크게 줄일 수 있는 효과가 있다. 또한, 낮은 하드웨어 사양에서도 잘 동작하는 얼굴 인식 시스템을 구현할 수 있는 효과가 있다.
도 1에는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 제어 블록도가 도시되어 있다.
도 2는 얼굴 영상 생성부(300)에서 생성된 제 2 얼굴 영상의 예시도이다.
도 3에는 본 발명의 일 실시예에 따라 마코브 네트워크를 적용한 얼굴 인식 과정을 개략적으로 나타낸 모식도가 도시되어 있다.
도 4에는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 얼굴 인식부가 구체화된 제어 블록도가 도시되어 있다.
도 5에는 서브 영상에 대응되는 관찰 노드와 타겟 영상에 대응되는 히든 노드 사이의 관계를 나타낸 개략도가 도시되어 있다.
도 6에 히든 노드 간의 연쇄 특징(concatenated feature)을 나타내는 도면이 도시되어 있다.
도 7에는 [수학식 7]이 나타내는 노드들 간의 관계가 도시되어 있다.
도 8은 본 발명의 일 실시예에 따른 특징 추출부(500)의 구체적인 제어 블록도이다.
도 9는 아이(I)-형 확장된 곡선 가버 필터(I-Shape Extended Curvature Gabor Classifier Bunch) 그룹 예시도이다.
도 10은 곡선 가버 필터의 특성 예시도이다.
도 11은 서브 영상에 대해 곡선 가버 필터링 및 선형판별분석을 수행하여 생성된 특징 영상이다.
도 12는 특징 영상이 적용된 마코브 네트워크에 관한 도면이다.
도 13에는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 제어방법에 대한 순서도가 도시되어 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다.
도 1에는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 제어 블록도가 도시되어 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식 장치는 확인 대상이 되는 얼굴이 포함된 영상을 입력받는 영상 입력부(100), 상기 얼굴이 포함된 영상에 대해 전처리를 수행하여 제1얼굴 영상을 검출하는 얼굴 검출부(200), 복수의 서로 다른 얼굴 모델을 이용하여 상기 입력된 얼굴 영상에 대한 복수의 서브 영상을 생성하는 서브 영상 생성부(300), 복수의 타겟 영상을 저장하는 저장부(400), 상기 서브 영상으로부터 얼굴 특징을 추출하는 특징 추출부(500) 및 마코브 네트워크(Markov network)를 적용하여 상기 복수의 서브 영상을 마코브 네트워크의 관찰 노드로 설정하고, 상기 복수의 타겟 영상을 마코브 네트워크의 히든 노드로 설정하고, 상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계 및 상기 히든 노드 사이의 제2상관관계를 이용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식하는 얼굴 인식부(500)를 포함한다.
영상 입력부(100)는 카메라, 캠코더 등의 영상 획득 장치(미도시)를 통해 얼굴 인식 또는 신원 확인을 하고자 하는 사람의 얼굴 영상을 획득한다.
이러한 영상 입력부(100)는 빛을 이용하여 피사체의 영상을 획득하는 것으로, 빛이 집광되는 집광부(미도시), 집광된 빛을 감지하고 감지된 빛의 신호를 전기신호로 변환하는 촬상부(미도시), 변환된 전기신호를 디지털 신호로 변환하는 A/D 변환부(미도시)를 포함한다.
여기서, 촬상부는 노출, 감마, 이득조정, 화이트 밸런스, 컬러 매트릭스 등의 기능을 수행하는데, 이러한 촬상부는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등의 영상 센서에 의해 구현 가능하다.
얼굴 검출부(200)는 영상 입력부(100)로부터 전송된 입력 영상으로부터 배경 영역을 제거하고, 얼굴 내의 특정 구성 요소를 검출하고, 얼굴 영역 내의 특정 구성 요소를 기준으로 하여 제 1 얼굴 영상(M)을 검출하고, 검출된 제 1 얼굴 영상에서 눈을 검출하고, 제 1 얼굴 영상 위치한 눈의 좌표를 획득한다.
얼굴 검출부(200)는 가우시안 저역 통과 필터를 통해 얼굴 영상을 필터링하여 노이즈를 제거할 수 있고 이러한 얼굴 영상은 눈의 좌표를 기준으로 60*80 픽셀로 정규화 가능하다.
즉 특징 노드 검출 시 120x160(고해상도)의 특징 노드 검출 시간이 60x80(저해상도)의 특징 노드 검출 시간보다 대략 2.6배 차이가 나기 때문에 60x80(저해상도)의 얼굴 영상을 이용함으로써 특징 노드 검출 시 특징 추출 시간을 줄일 수 있다.
얼굴 검출부(200)는 제 1 얼굴 영상의 특징을 분석하는데 필요한 전처리를 수행한다.
좀 더 구체적으로 영상 입력부(100)부로부터 입력된 입력 영상은 조명의 영향으로 상대적으로 휘도가 높거나 낮을 수 있고, 하나의 입력 영상에서도 휘도가 높은 부분과 낮은 부분이 생길 수 있다. 이러한 조명의 영향은 제 1 얼굴 영상의 특징을 추출하는데 있어서 장애가 될 수 있다.
따라서 얼굴 검출부(200)는 조명의 영향을 감소시키기 위하여, 제 1 얼굴 영상에서 각 화소의 휘도 분포를 분석하여 히스토그램을 얻고, 빈도수가 높은 휘도를 중심으로 히스토그램을 평활화하는 전처리를 수행한다.
서브 영상 생성부(300)는 제 1 얼굴 영상(M)에 대해 복수의 서로 다른 얼굴 모델을 적용하여 복수의 제 2 얼굴 영상을 생성한다.
본 발명의 실시예에 적용될 수 있는 얼굴 모델에는 제한이 없으나 당해 실시예에서는 눈의 좌표에 기초하여 두 눈 사이의 거리를 산출하고, 산출된 두 눈 사이의 거리를 조정하여 크기는 동일하지만 특징 분석 범위가 서로 다른 내부 얼굴 모델(Interior Face Model), 보상 얼굴 모델(Compensated Face Model), 외부 얼굴 모델(Exterior Face Model)을 적용하는 것으로 한다.
여기서 제 2 얼굴 영상은, 제 1 서브 영상(S1), 제 2 서브 영상(S2), 제 3 서브 영상(S3)을 가진다. 이를 도 2를 참조하여 설명한다.
도 2는 얼굴 영상 생성부(300)에서 생성된 제 2 얼굴 영상의 예시도이다.
도 2에 도시된 바와 같이, 얼굴 영상 생성부(300)는 두 눈 사이의 거리가 d1인 제 1 서브 영상(S1), 두 눈 사이의 거리가 d2인 제 2 서브 영상(S2), 두 눈 사이의 거리가 d3인 제 3 서브 영상(S3)을 생성한다.
여기서 눈 사이의 거리 d1, d2, d3는 미리 저장될 수 있고, d1은 d2보다 긴 거리이고, d2는 d3보다 긴 거리일 수 있다.
제 1 서브 영상(S1)은 내부 얼굴 모델(Interior Face Model)로서, 눈, 코, 입 위주의 얼굴 안쪽 범위의 특징을 분석하기 위한 영상이다.
제 2 서브 영상(S2)은 내부 얼굴 모델과 외부 얼굴 모델을 절충한 보상 얼굴 모델(Compensated Face Model)로서, 얼굴 내부 범위의 특징을 분석하기 위한 영상이다. 이러한 제 2 서브 영상(S2)은 머리 정보나 배경 정보가 과도하게 들어가지 않고 대부분의 정보가 얼굴 내부 구성 요소이므로 가장 안정적인 특징 분석 성능을 보일 수 있다.
제 3 서브 영상(S3)은 외부 얼굴 모델(Exterior Face Model)로서, 헤어 스타일, 귀, 턱과 같은 얼굴 주변 요소에 기초한 얼굴의 특징을 분석하기 위한 영상이다.
얼굴 영상 생성부(300)는 입력 영상의 배경이나 사람의 머리스타일의 변화로 인한 영향을 감소시키고, 눈썹, 눈, 코, 입술 등 얼굴 전체의 특징을 잘 포함하여 분석할 수 있는 얼굴 영상을 생성한다.
저장부(400)는 신원 확인이 요구되는 집단에 소속된 사람들 각각의 얼굴 영상에 대한 정보가 저장된 데이터베이스이다.
저장부(400)는 얼굴 인식 효율을 향상시키기 위해서 다양한 얼굴 표정, 각도, 밝기를 갖는 복수 개의 얼굴 영상 정보를 저장할 수 있다. 저장부(400)에 저장된 복수 개의 얼굴 영상은 전처리를 수행한 후 저장될 수 있다.
여기서 전처리는 배경 영역을 제거하고, 눈의 위치를 기준으로 영상의 크기를 조정한 후, 조명의 분산도를 낮추기 위한 전처리를 수행한 것이다. 또한, 가우시안 저역 통과 필터를 통해 얼굴 영상을 필터링하여 노이즈를 제거한 후 저장될 수 있다.
저장부(400)에 저장된 얼굴 영상은 60*80 픽셀로 정규화 가능하고, 눈의 위치를 기준으로 복수개의 서브 영상을 저장하는 것도 가능하다.
특징 추출부(500)는 서브 영상 생성부(300)에서 생성된 복수 개의 제2 얼굴 영상으로부터 각각의 특징을 추출해내는 바, 일 실시예로서 곡선 가버 필터링 후 선형판별분석(LDA)을 수행하여 각 제 2 얼굴 영상에 대해 복수 개의 특징을 생성함으로써 서브 영상의 특징을 추출할 수 있다. 이에 대한 자세한 내용은 후술하도록 한다.
얼굴 인식부(600)는 마코브 네트워크(Markov network)를 적용하여 상기 복수의 서브 영상을 마코브 네트워크의 관찰 노드로 설정하고, 상기 복수의 타겟 영상을 마코브 네트워크의 히든 노드로 설정한다. 그리고 상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계 및 상기 히든 노드 사이의 제2상관관계를 이용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식한다.
도 3에는 본 발명의 일 실시예에 따라 마코브 네트워크를 적용한 얼굴 인식 과정을 개략적으로 나타낸 모식도가 도시되어 있다.
도 3을 참조하면, 마코브 네트워크의 관찰 노드(observation node)는 y로 나타내고 히든 노드는 x로 나타낸다. 도 2에서 검토한 바와 같이 복수의 서브 영상을 생성하기 위한 얼굴 모델로 내부 얼굴 모델(Interior Face Model), 보상 얼굴 모델(Compensated Face Model) 및 외부 얼굴 모델(Exterior Face Model)을 적용하면, 세 개의 관찰 노드 y1, y2, y3에는 각각의 얼굴 모델을 나타내는 제 1 서브 영상(S1), 제 2 서브 영상(S2), 제 3 서브 영상(S3)이 입력된다.
그리고 얼굴 인식부(600)는 저장부(400)에 저장된 타겟 영상들과 각각의 서브 영상(S1, S2, S3)들을 비교하여 타겟 영상을 각 서브 영상에 유사한 순서대로 히든 노드(x1, x2, x3)에 정렬한다. 즉, 히든 노드 x1에는 제 1 서브 영상에 유사한 타겟 영상들이 유사도가 큰 순서대로 정렬되고, 히든 노드 x2에는 제 2 서브 영상에 유사한 타겟 영상들이 유사도가 큰 순서대로 정렬되며, 히든 노드 x3에는 제 3 서브 영상에 유사한 타겟 영상들이 유사도가 큰 순서대로 정렬된다.
원으로 표시된 관찰 노드와 히든 노드는 라인으로 연결되어 있는 바, 각각의 라인은 노드들 사이의 통계적 의존도, 즉 상관관계를 나타낸다.
φ(x1,y1)는 관찰 노드 y1와 히든 노드 x1 사이의 상관관계를 나타내고, φ(x2,y2)는 관찰 노드 y2와 히든 노드 x2 사이의 상관관계를 나타내며, φ(x3,y3)는 관찰 노드 y3와 히든 노드 x3 사이의 상관관계를 나타낸다.
ψ(x1,x2)는 히든 노드 x1와 히든 노드 x2 사이의 상관관계를 나타내며, ψ(x2,x3)는 히든 노드 x2와 히든 노드 x3 사이의 상관관계를 나타내는 바, 본 발명에서는 타겟 영상들 사이의 상관관계까지 반영하기 위하여 φ(x1,y1), φ(x2,y2) 및 φ(x3,y3) 뿐만 아니라 ψ(x1,x2)와 ψ(x2,x3)도 고려하여 얼굴 인식을 수행한다.
이하 도 4 내지 도 7을 참조하여 얼굴 인식부(600)의 구체적인 동작에 대하여 자세하게 설명하도록 한다.
도 4에는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 얼굴 인식부가 구체화된 제어 블록도가 도시되어 있다.
도 2에서 설명한 영상 입력부(100), 얼굴 검출부(200), 서브 영상 생성부(300), 저장부(400) 및 특징 추출부(500)에 대한 설명은 생략하기로 한다.
얼굴 인식부(600)는 서브 영상과 타겟 영상들 사이의 유사도(제1유사도)를 산출하는 제1산출부(610), 타겟 영상들 사이의 유사도(제2유사도)를 산출하는 제2산출부(620) 및 상기 제1산출부 및 제2산출부의 산출 결과에 기초하여 확인 대상 얼굴 영상에 대응되는 타겟 영상이 존재하는지 여부를 판단하여 확인 대상자의 신원을 확인하는 신원 확인부(630)를 포함한다.
도 5에는 서브 영상에 대응되는 관찰 노드와 타겟 영상에 대응되는 히든 노드 사이의 관계를 나타낸 개략도가 도시되어 있다.
각각의 관찰 노드(y1, y2, y3)에는 그에 대응되는 히든 노드(x1, x2, x3)가 정렬되는 바, 저장부(400)에 저장된 타겟 영상이 모두 n개라고 가정하면, 관찰 노드 y1에 대응되는 히든 노드 x11부터 x1n에 타겟 영상이 정렬되고, 나머지 관찰 노드에 대해서도 마찬가지이다.
또한, 도 5에 도시된 바와 같이 각 관찰 노드에 대해 정렬된 히든 노드들은 인접한 히든 노드들과 상호 영향을 받는다. 예를 들어 히든 노드 x11은 히든 노드 x21부터 x2n에 대해 모두 영향을 받는다. 그러나 관찰 노드 y1에 대해 정렬된 히든 노드들과 관찰 노드 y3에 대해 정렬된 히든 노드들은 상호 영향을 받지 않는 것으로 한다.
다시 도 4를 참조하면, 제1산출부(610)는 아래의 [수학식 1]에 기초하여 서브 영상과 타겟 영상들 사이의 제1유사도를 산출한다.
[수학식 1]
Figure pat00005

여기서, si(xi,yi)는 제1유사도를 나타내는 함수이고, f는 해당 영상의 특징을 나타내는 특징 벡터이다.
그리고, 제1산출부(610)는 아래의 [수학식 2]에 기초하여 관찰 노드와 히든 노드 사이의 상관관계(제1상관관계)를 산출한다.
[수학식 2]
Figure pat00006

여기서, σ는 노이즈 파라미터이고 si(xi,yi)는 제1유사도를 나타내는 함수이고, φi(xi,yi)는 n차원의 벡터이다. 앞서 언급한 바와 같이, 각 관찰 노드에 대응되는 히든 노드에는 각 서브 영상에 대응되는 타겟 영상들이 서브 영상에 유사한 순서대로 정렬되는 바, 제1산출부(610)에서 제1유사도를 산출하므로 상기 정렬 역시 제1산출부에서 수행하는 것으로 할 수 있다. 각 서브 영상에 대해 제1유사도를 산출하여 정렬하는 것은 저장부(400)에 저장된 n개의 타겟 영상 모두에 대해 수행된다. 따라서, 제 1 서브 영상에 대해 n개의 타겟 영상이 정렬되고, 제 2 서브 영상에 대해서도 n개의 타겟 영상이 정렬되며, 제 3 서브 영상에 대해서도 n개의 타겟 영상이 정렬된다.
제2산출부(620)는 아래의 [수학식 3]에 기초하여 타겟 영상들 사이의 제2유사도를 산출한다.
[수학식 3]
Figure pat00007

여기서, xi l은 히든 노드 i의 l번째 타겟 영상을 나타내고, xj r는 히든 노드 j의 r번째 타겟 영상을 나타낸다.
Figure pat00008
는 히든 노드 i, j의 l번째 타겟 영상의 특징을 나타내는 연쇄 특징(concatenated feature) 매트릭스이고,
Figure pat00009
는 히든 노드 i, j의 r번째 타겟 영상의 특징을 나타내는 연쇄 특징(concatenated feature) 매트릭스이다.
연쇄 특징 매트릭스는 아래의 [수학식 4]에 의해 얻을 수 있다.
[수학식 4]
Figure pat00010

도 6에 히든 노드 간의 연쇄 특징(concatenated feature)을 나타내는 도면이 도시되어 있다.
도 6을 참조하면, 히든 노드 1, 2의 l번째 타겟 영상 및 히든 노드 1, 2의 r번째 타겟 영상에 대해 각각 m개의 특징 벡터를 얻을 수 있고, 히든 노드 1의 l번째 타겟 영상 및 히든 노드 2의 l번째 타겟 영상의 연쇄 특징은
Figure pat00011
로 나타내고, 히든 노드 1의 r번째 타겟 영상 및 히든 노드 2의 r번째 타겟 영상의 연쇄 특징은
Figure pat00012
로 나타낸다. 본 발명의 일 실시예에 따른 얼굴 인식 장치는 [수학식 3]에 나타난 바와 같이 타겟 영상들 사이의 유사도를 산출함에 있어 타겟 영상 간의 연쇄 특징을 고려하므로 더 정확한 유사도를 얻을 수 있다.
그리고, 제2산출부(620)는 [수학식 3]에서 산출한 제2유사도에 기초하여 타겟 영상들 사이의 제2상관관계를 산출한다. 제2상관관계 함수는 아래의 [수학식 5]로 나타낼 수 있다.
[수학식 5]
Figure pat00013

여기서, 제2상관관계 함수 ψij(xi,xj)는 nXn 매트릭스 형태이다.
신원 확인부(630)는 제1산출부(610)의 산출결과와 제2산출부(620)의 산출결과를 이용하여 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 저장부(400)에 존재하는지 여부, 즉 신원 확인 대상자가 얼굴 인식 장치의 데이터베이스에 등록된 사람인지 여부를 판단한다.
신원 확인부(630)에서는 마코브 네트워크 또는 마코브 랜덤 필드(MRF)에서의 해를 구하는 것으로 볼 수 있는 바, 이를 위한 일 실시예로 신뢰 전달(Belief propagation) 알고리즘을 적용할 수 있다.
신뢰 전달 알고리즘은 마코브 네트워크의 그래픽 모델에 대한 추론을 수행하기 위한 메시지 전달 방법으로서, 앞서 검토한 바와 같이 세 개의 관찰 노드를 사용하는 경우에서의 메시지 전달 함수는 아래의 [수학식 6]와 같이 나타낼 수 있다.
[수학식 6]
Figure pat00014

여기서,
Figure pat00015
은 타겟 영상 xj에 상응하는 벡터 mij의 성분이다.
그리고, 히든 노드 xi에 대한 주변 확률(marginal probaility) bi는 아래의 [수학식 7]에 의해 얻을 수 있다.
[수학식 7]
Figure pat00016

상기 [수학식 7]이 나타내는 노드들 간의 관계가 도 7에 도시되어 있다.
도 7을 참조하면, 앞서 언급한 바와 같이 히든 노드 i와 히든 노드 j의 타겟 영상들 사이의 제2상관관계를 나타내는 함수 ψij(xi,xj)는 nxn의 매트릭스 형태이고 여기에 관찰 노드 i와 히든 노드 사이의 관계를 나타낸 제1상관관계 함수 φi(xi,yi)를 곱하면 매트릭스 연산을 통해 주변 확률(marginal probaility) 함수를 얻을 수 있다.
그리고 신원 확인부(630)는 가중치 합산 방식(weighted summation method)을 이용하여 최종 유사도 값을 산출할 수 있는 바, 아래의 [수학식 8]을 사용한다.
[수학식 8]
Figure pat00017

각 노드에 대한 가중치 w1, w2 , w3 는 사용자가 미리 설정할 수 있다. 상기 최종 유사도 값이 미리 설정된 기준값보다 크면 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 저장부(400)에 저장되어 있는 것으로 판단할 수 있다. 즉, 신원 확인 대상자가 얼굴 인식 장치의 데이터베이스에 저장된 사람인 것으로 판단할 수 있다.
그리고 얼굴 인식 장치에 구비된 표시부 또는 출력부를 통하여 시각적 또는 청각적인 방법으로 얼굴 인식 결과 또는 신원 확인 결과를 출력한다.
상술한 바와 같이, 마코브 네트워크를 적용하여 얼굴을 인식하는 본 발명의 일 실시예에서는 얼굴 영상의 특징 벡터를 이용하여 제1유사도, 제2유사도 등을 산출하는 바, 이하 본 발명의 일 실시예에 따른 특징 추출부(500)의 동작에 대해 구체적으로 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 특징 추출부(500)의 구체적인 제어 블록도이다.
특징 추출부(500)는 제1추출부(510), 제2추출부(520), 제3추출부(530)를 포함하고, 각 추출부(510, 520, 530)는 가버 필터부(Gabor Filter: 511, 521, 531), 선형판별분석부(512, 522, 532)를 포함한다.
특징 추출부(500)는 서브 영상 생성부(300)에서 생성된 제1서브 영상(S1), 제2서브영상(S2), 제3서브영상(S3)을 수신한다. 이때 제1추출부(510)는 제1서브영상(S1)을 수신하고 제2추출부(520)는 제2서브영상(S2)을 수신하며, 제3추출부(530)는 제3서브영상(S3)을 수신하고, 각 추출부는 수신된 서브 영상의 특징을 추출한다.
좀 더 구체적으로, 각 가버 필터부(511, 521, 531)는 해당 서브 영상에 대해 서로 다른 특성을 갖는 확장된 곡선 가버 필터(Extended Curvature Gabor Classifier Bunch)들을 투영시켜 특징을 생성한다.
여기서 확장된 곡선 가버 필터의 특성은 가버 필터의 파라미터에 따라 결정되고, 가버 필터의 특성에 따라 특징들을 그룹화할 수 있다.
좀 구체적으로, 확장된 곡선 가버 필터의 특성은 파라미터인 가버 필터의 방향성(orientation: μ), 스케일(scale: v), 가우시안 폭(Gaussian width: σ) 및 곡률(curvature ratios: c)에 따라 결정되고, 가우시안 폭과 곡률의 조합 별로 동일한 방향성을 갖는 가버 필터들의 특징들과, 동일한 스케일을 갖는 확장된 곡선 가버 필터들의 특징들을 그룹화 할 수 있다.
예를 들어 7개의 스케일과 8개의 방향성을 사용하면 서로 다른 특성을 갖는 56개의 확장된 곡선 가버 필터를 얻을 수 있다. 이때 3개의 가우시안 폭과 4개의 곡률을 사용하면 서로 다른 특성을 갖는 12개의 가버 필터를 더 얻을 수 있다.
이에 따라 각 확장된 곡선 가버 필터별로 가우시안 폭과 곡률을 변화시키면 기존 가버 필터(5x8=40) 보다 확장된 곡선 가버 필터를 (7x16x3x3+7x8x3=1,1760)
Figure pat00018
얻을 수 있으며, 이들은 해당 서브 영상에 투영되어 다른 특징을 나타낸다.
따라서 각 가버 필터부(511, 521, 531)는 다른 수치의 파라미터(방향성, 스케일, 가우시안 폭, 곡률)를 조정하여 더 적은 개수 또는 더 많은 개수의 확장된 곡선 가버 필터를 사용할 수 있다.
이때 에이다부스트(adaboost)를 통해 최적의 확장된 곡선 가버 필터를 찾는다. 아울러 GentleBoost, realBoost, KLBoost와 JSBoost 등의 부스트 학습 방법을 사용할 수도 있다. 이러한 부스팅 학습을 이용하여 각각의 서브 영상으로부터 상호 보완적인 가버 특징들을 선택함으로써 객체 이미지의 인식 효율을 향상시킬 수 있다.
그리고 부스팅 알고리즘을 이용하여 선별적으로 최적의 특징을 추출했기 때문에 얼굴 인식을 위해 필요한 연산량을 줄일 수 있다.
이러한 각 가버 필터부(511, 521, 531)는 아이(I) 형 확장된 곡선 가버 필터를 이용하여 해당 서브 영상의 특징들을 생성한다. 이를 도 9 내지 도 10을 참조하여 설명한다.
도 9는 아이(I)-형 확장된 곡선 가버 필터(I-Shape Extended Curvature Gabor Classifier Bunch) 그룹 예시도이고, 도 10은 곡선 가버 필터의 특성 예시도이다.
도 9의 (A)에 도시된 바와 같이, 하나의 아이(I)-형 확장된 가버 필터 그룹은 3개의 가우시안 폭(σ) 및 4개의 곡률(c)을 가지는 12개의 곡선형 가버 필터 G={g(σ1, c1), g(σ2, c2), g(σ3, c3), g(σ4, c4), g(σ5, c5), ? ? ? ? ? , g(σ12, c12)}로 이루어진다.
하나의 아이(I)-형 확장된 가버 필터 그룹에서 곡률은 c={0.0, 0.05, 0.1, 0.2}의 4개의 값을 갖고, 가우시안 폭은 σ={0.5π, π, 2π} 중 한개인 σ={π} 값을 갖는다.
이와 같이 12개의 곡선형 가버 필터는, 곡률이 c={0.0}인 경우(즉, 직선)에는 도 10의 (A)와 같이 8가지 방향성을 갖고, 곡률이 c={0.0}보다 큰 경우(즉, 곡선)에는 도 10의 (B)와 같이 μ={0, 1, 2, ? ? ? ? ? , 15}의 16개의 방향성을 갖는다.
이러한 아이(I)-형 확장된 곡선 가버 필터 그룹은, 12개의 곡선 가버 필터들을 곡률(c)을 기준으로 행(column)을 따라 배열하고, 가우시안 폭(σ)을 기준으로 열(row)을 따라 배열한 후 도 4의 (B)에 도시된 바와 같이 “I” 형을 이루는 4개의 곡선 가버 필터를 이용하여 필터링한다.
이 4개의 “I” 형 곡선 가버 필터들은, 가우시안 폭이 σ={π}일 때 곡률이 c={0, 0.05, 0.1, 0.2}인 4개의 곡선 가버 필터이다.
이에 따라 일정 수준 이상의 얼굴 인식률을 얻으면서도 12개의 곡선 가버 필터들을 모두 사용하는 경우보다 연산량을 현저히 감소시킬 수 있으며 속도를 향상시킬 수 있고, 그 분산이 적기 때문에 좀 더 안정적인 얼굴 인식 성능을 확보할 수 있다.
이처럼 곡선 가버 필터의 특징들을 그룹화하면 이후에 수행될 선형판별분석(Linear Discriminant Analysis: LDA) 작업을 위한 입력 값의 차원(dimension)을 감소시킬 수 있어 곡선 가버 필터를 확장시키는 것이 용이해진다.
예를 들면 가우시안 폭과 곡률을 변화시켜서 사용할 곡선 가버 필터의 수를 늘림으로써 얼굴 영상의 특징 수를 증가시키더라도 특징들을 그룹화하여 입력 값의 차원을 낮추면 선형판별분석(LDA) 학습시의 부담을 감소시킬 수 있다. 이는 선형판별분석(LDA) 학습 능률을 높이는데도 유용하다.
각 선형판별분석부(512, 522, 532)는 아이(I)-형 확장된 곡선 가버 필터 그룹을 입력 값으로 하여 선형판별분석(Linear Discriminant Analysis: LDA) 작업을 수행한다.
여기서, 각 선형판별분석부(512, 522, 532)는 아이(I)-형 확장된 곡선 가버 필터 그룹마다 독립적으로 LDA 작업을 수행하게 된다.
이를 위하여 각 선형판별분석부(512, 522, 532)는 복수의 선형판별분석 처리부(미도시)를 포함할 수 있으며, 각 선형판별분석처리부 마다 하나의 아이(I)-형 확장된 곡선 가버 필터 그룹에 대한 LDA 작업을 수행한다.
이에 따라 각 선형판별분석부(512, 522, 532)는 하나의 서브 영상에 대하여 복수의 선형판별분석 결과(즉 베이시스 벡터)를 출력하고, 출력된 복수의 선형판별분석 결과에 각 서브 영상에 대한 아이(I)-형 확장된 곡선 가버 필터 그룹의 특징들을 투영하여 특징 벡터를 생성한다.
본 실시예의 특징 추출부(500)는 하나의 서브 영상에 대해 대략 2400개의 특징을 생성한다.
여기서 대략 2400개의 특징을 생성하는 것은, 대략 1400개의 특징을 출력하는 것보다 2배 이상 시간 차가 나지 않을 뿐만 아니라, 1400개의 특징을 출력하는 것보다 성능이 좋고 그 분산이 적어 상대적으로 안정적으로 얼굴을 인식할 수 있기 때문이다. 이는 실험에 의해 획득된 것이다.
도 11에 도시된 바와 같이, 각 서브 영상(S, S2, S3)에 대해 곡선 가버 필터링 및 선형판별분석(LDA)을 수행하면 복수 개의 특징을 가진 얼굴 영상이 생성된다.
(A)에 도시된 바와 같이 두 눈 사이의 거리가 d1인 제 1 서브 영상(S1)에 대해 곡선 가버 필터링 및 선형판별 분석을 수행하면 제 1 특징 영상(F1)이 생성되고, (B)에 도시된 바와 같이 두 눈 사이의 거리가 d2인 제 2 서브 영상(S2)에 대해 곡선 가버 필터링 및 선형판별분석을 수행하면 제 2 특징 영상(F2)이 생성되며, (C)에 도시된 바와 같이 두 눈 사이의 거리가 d3인 제 3 서브 영상(S3)에 대해 곡선 가버 필터링 및 선형판별 분석을 수행하면 제 3특징 영상(F3)이 생성된다.
여기서 LDA(Linear Discriminant Analysis)는 클래스내의 스캐터 (within-class scatter)를 줄이면서 클래스간 스캐터(between-class scatter)를 최대화하는 서브 공간으로 데이터를 선형 투영(linear projection)하도록 학습하는 방법이다.
그 외에도 PCLDA(Principal Component and Linear Discriminant Analysis) 또는 PCA(Principal Component Analysis) 방법을 이용하는 것도 가능하다.
그리고 도 12에 도시된 바와 같이, 마코브 네트워크의 관찰 노드에 입력되는 것은 실질적으로 제 1, 2, 3 특징 영상에서 획득된 각각의 특징 벡터라고 볼 수 있다.
이하, 본 발명의 일 실시예에 따른 얼굴 인식 장치의 제어방법에 대해 설명하도록 한다.
도 13에는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 제어방법에 대한 순서도가 도시되어 있다.
도 13을 참조하면, 먼저 영상 입력부를 통해 확인 대상이 되는 얼굴 영상을 입력받는다(710). 여기서, 입력받는 것을 신원 확인 대상자의 얼굴이 포함된 영상이며 반드시 얼굴만 나타나야 하는 것은 아니다.
그리고, 복수의 서로 다른 얼굴 모델을 이용하여 상기 입력된 얼굴 영상에 대한 복수의 서브 영상을 생성한다(711). 본 발명의 실시예에 적용될 수 있는 얼굴 모델에는 제한이 없고, 일 실시예에로서 눈의 좌표에 기초하여 두 눈 사이의 거리를 산출하고, 산출된 두 눈 사이의 거리를 조정하여 크기는 동일하지만 특징 분석 범위가 서로 다른 내부 얼굴 모델(Interior Face Model), 보상 얼굴 모델(Compensated Face Model), 외부 얼굴 모델(Exterior Face Model)을 적용할 수 있다.
그리고, 마코브 네트워크를 적용하여 상기 복수의 서브 영상을 마코브 네트워크의 관찰 노드로 설정하고, 상기 복수의 타겟 영상을 마코브 네트워크의 히든 노드로 설정한다(712).
상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계 및 상기 히든 노드 사이의 제2상관관계를 이용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식한다(713).
여기서, 제1상관관계는 서브 영상과 타겟 영상 사이의 유사도에 기초한 것이고 이 유사도는 앞서 검토한 [수학식 1]에 의해 얻을 수 있다. 그리고 제1상관관계는 앞서 검토한 [수학식 2]에 의해 얻을 수 있다.
또한, 제2상관관계는 타겟 영상들 사이의 유사도에 기초한 것이고 이 유사도는 앞서 검토한 [수학식 3]에 의해 얻을 수 있고, 제2상관관계는 앞서 검토한 [수학식 5]에 의해 얻을 수 있다.
상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식하는 단계에 대해 좀 더 구체적으로 살펴보면, [수학식 2] 및 [수학식 5]를 이용하여 제1상관관계 및 상기 제2상관관계를 획득하면, 여기에 신뢰 전달(belief propagation) 알고리즘을 적용한다. 신뢰 전달 알고리즘을 적용한 결과는 앞서 검토한 [수학식 6]으로 표현할 수 있다.
그리고 신뢰 전달 알고리즘이 적용된 결과와 제1상관관계에 기초하여 주변 확률((marginal probability)을 산출하는 바, 이는 [수학식 7]로 나타낼 수 있다. 그리고 각 노드에 대해 산출된 주변 확률과 각 노드에 대한 가중치를 적용하여 최종 유사도 값을 산출하고, 최종 유사도 값이 미리 설정된 기준값보다 크면 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 존재하는 것으로 판단한다. 즉, 신원 확인 대상자가 얼굴 인식 장치의 데이터베이스에 등록되어 있는 사람인 것으로 판단한다.
100: 영상 입력부
200 : 얼굴 검출부
300 : 서브 영상 생성부
400 : 저장부
500 : 특징 추출부
600 : 얼굴 인식부
610 : 제1산출부, 620 : 제2산출부, 630 : 신원 확인부

Claims (16)

  1. 확인 대상이 되는 얼굴 영상을 입력받는 영상 입력부;
    복수의 서로 다른 얼굴 모델을 이용하여 상기 입력된 얼굴 영상에 대한 복수의 서브 영상을 생성하는 서브 영상 생성부;
    복수의 타겟 영상을 저장하는 저장부;및
    마코브 네트워크(Markov network)를 적용하여 상기 복수의 서브 영상을 마코브 네트워크의 관찰 노드로 설정하고, 상기 복수의 타겟 영상을 마코브 네트워크의 히든 노드로 설정하고,
    상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계 및 상기 히든 노드 사이의 제2상관관계를 이용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 존재하는지 여부를 인식하는 얼굴 인식부를 포함하는 얼굴 인식 장치.
  2. 제 1 항에 있어서,
    상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계는 상기 서브 영상과 상기 타겟 영상 사이의 유사도에 기초한 것이고,
    상기 히든 노드 사이의 제2상관관계는 상기 타겟 영상들 사이의 유사도에 기초한 것인 얼굴 인식 장치.
  3. 제 2 항에 있어서,
    상기 얼굴 인식부는,
    상기 서브 영상 생성부에서 생성된 각각의 서브 영상과 상기 저장부에 저장된 복수의 타겟 영상 사이의 제1유사도를 산출하고, 상기 제1유사도가 큰 타겟 영상부터 작은 타겟 영상의 순서대로 정렬하는 제1산출부; 및
    상기 서브 영상 중 하나의 서브 영상에 대해 정렬된 타겟 영상들과 상기 서브 영상 중 다른 하나의 서브 영상에 대해 정렬된 타겟 영상들 사이의 제2유사도를 산출하는 제2산출부를 포함하는 얼굴 인식 장치.
  4. 제 3 항에 있어서,
    상기 제2산출부는,
    상기 서브 영상 생성부에서 생성한 모든 서브 영상에 대해 상기 제2유사도를 산출하는 얼굴 인식 장치.
  5. 제 3 항에 있어서,
    상기 제1산출부는 아래의 [수학식 2]에 의해 상기 제1상관관계를 산출하는 얼굴 인식 장치.
    [수학식 2]
    Figure pat00019

    여기서, xi,yi는 각각 타겟 영상i와 서브 영상i를 나타내며, φ(xi,yi)는 서브 영상i와 타겟 영상i의 제1상관관계를 나타내는 벡터 함수이고, s(xi,yi)는 타겟 영상i와 서브 영상i의 제1유사도를 나타내고, σ는 노이즈 파라미터를 나타낸다.
  6. 제 3 항에 있어서,
    상기 제2산출부는 아래의 [수학식 5]에 의해 상기 제2상관관계를 산출하는 얼굴 인식 장치.
    [수학식 5]
    Figure pat00020

    여기서, xi,xj는 각각 타겟 영상i와 타겟 영상j를 나타내며, ψ(xi,xj)는 타겟 영상i와 타겟 영상j의 제2상관관계를 나타내는 매트릭스 함수이고, s(xi,xj)는 타겟 영상i와 타겟 영상j의 제2유사도를 나타내고, σ는 노이즈 파라미터를 나타낸다.
  7. 제 5 항 및 제 6 항에 있어서,
    상기 얼굴 인식부는,
    상기 제1상관관계 및 상기 제2상관관계에 신뢰 전달(belief propagation) 알고리즘을 적용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 검출하는 신원 확인부를 더 포함하는 얼굴 인식 장치.
  8. 제 7 항에 있어서,
    상기 신원 확인부는,
    상기 신뢰 전달(belief propagation) 알고리즘이 적용된 결과와 상기 제1상관관계에 기초하여 주변 확률(marginal probability)을 산출하고, 상기 산출된 주변 확률에 기초하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 검출하는 얼굴 인식 장치.
  9. 복수의 타겟 영상이 저장된 저장부를 포함하는 얼굴 인식 장치의 제어방법에 있어서,
    확인 대상이 되는 얼굴 영상을 입력받고;
    복수의 서로 다른 얼굴 모델을 이용하여 상기 입력된 얼굴 영상에 대한 복수의 서브 영상을 생성하고;
    마코브 네트워크를 적용하여 상기 복수의 서브 영상을 마코브 네트워크의 관찰 노드로 설정하고, 상기 복수의 타겟 영상을 마코브 네트워크의 히든 노드로 설정하고 ;
    상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계 및 상기 히든 노드 사이의 제2상관관계를 이용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식하는 얼굴 인식 장치의 제어방법.
  10. 제 9 항에 있어서,
    상기 관찰 노드와 상기 히든 노드 사이의 제1상관관계는 상기 서브 영상과 상기 타겟 영상 사이의 유사도에 기초한 것이고,
    상기 히든 노드 사이의 제2상관관계는 상기 타겟 영상들 사이의 유사도에 기초한 것인 얼굴 인식 장치의 제어방법.
  11. 제 10 항에 있어서,
    상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식하는 것은,
    상기 생성된 각각의 서브 영상과 상기 저장부에 저장된 복수의 타겟 영상 사이의 제1유사도를 산출하고, 상기 각각의 서브 영상에 대해 유사도가 큰 타겟 영상부터 유사도가 작은 타겟 영상의 순서대로 정렬하고;
    상기 서브 영상 중 하나의 서브 영상에 대해 정렬된 타겟 영상들과 상기 서브 영상 중 인접한 다른 하나의 서브 영상에 대해 정렬된 타겟 영상들 사이의 제2유사도를 산출하는 것을 포함하는 얼굴 인식 장치의 제어방법.
  12. 제 11 항에 있어서,
    상기 생성된 모든 서브 영상에 대해 상기 제2유사도를 산출하는 얼굴 인식 장치의 제어방법.
  13. 제 12 항에 있어서,
    상기 제1상관관계는 아래의 [수학식 2]에 의해 산출되는 얼굴 인식 장치의 제어방법.
    [수학식 2]
    Figure pat00021

    여기서, xi,yi는 각각 타겟 영상i와 서브 영상i를 나타내며, φ(xi,yi)는 서브 영상i와 타겟 영상i의 제1상관관계를 나타내는 벡터 함수이고, s(xi,yi)는 타겟 영상i와 서브 영상i의 제1유사도를 나타내고, σ는 노이즈 파라미터를 나타낸다.
  14. 제 12 항에 있어서,
    상기 제2상관관계는 아래의 [수학식 5]에 의해 산출되는 얼굴 인식 장치의 제어방법.
    [수학식 5]
    Figure pat00022

    여기서, xi,xj는 각각 타겟 영상i와 타겟 영상j를 나타내며, ψ(xi,xj)는 타겟 영상i와 타겟 영상j의 제2상관관계를 나타내는 매트릭스 함수이고, s(xi,xj)는 타겟 영상i와 타겟 영상j의 제2유사도를 나타내고, σ는 노이즈 파라미터를 나타낸다.
  15. 제 13 항 및 제14 항에 있어서,
    상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식하는 것은,
    상기 제1상관관계 및 상기 제2상관관계에 신뢰 전달(belief propagation) 알고리즘을 적용하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 존재하는지 여부를 인식하는 것인 얼굴 인식 장치의 제어방법.
  16. 제 15 항에 있어서,
    상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상을 인식하는 것은,
    상기 신뢰 전달(belief propagation) 알고리즘이 적용된 결과와 상기 제1상관관계에 기초하여 주변 확률(marginal probability)을 산출하고, 상기 산출된 주변 확률에 기초하여 상기 확인 대상이 되는 얼굴 영상에 대응되는 타겟 영상이 존재하는지 여부를 인식하는 것인 얼굴 인식 장치의 제어방법.

KR1020110112999A 2011-11-01 2011-11-01 얼굴 인식 장치 및 그 제어방법 KR101901591B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110112999A KR101901591B1 (ko) 2011-11-01 2011-11-01 얼굴 인식 장치 및 그 제어방법
US13/666,168 US8861805B2 (en) 2011-11-01 2012-11-01 Face recognition apparatus and method for controlling the same
EP12190972.5A EP2590111B1 (en) 2011-11-01 2012-11-01 Face recognition apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110112999A KR101901591B1 (ko) 2011-11-01 2011-11-01 얼굴 인식 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20130048076A true KR20130048076A (ko) 2013-05-09
KR101901591B1 KR101901591B1 (ko) 2018-09-28

Family

ID=47227481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110112999A KR101901591B1 (ko) 2011-11-01 2011-11-01 얼굴 인식 장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US8861805B2 (ko)
EP (1) EP2590111B1 (ko)
KR (1) KR101901591B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108123A1 (en) * 2011-11-01 2013-05-02 Samsung Electronics Co., Ltd. Face recognition apparatus and method for controlling the same
US9875397B2 (en) 2014-09-16 2018-01-23 Samsung Electronics Co., Ltd. Method of extracting feature of input image based on example pyramid, and facial recognition apparatus
KR20190056940A (ko) * 2017-11-17 2019-05-27 삼성전자주식회사 멀티모달 데이터 학습 방법 및 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743927B1 (ko) * 2010-09-09 2017-06-20 삼성전자주식회사 확장된 곡선형 가버 필터를 이용한 객체 기술자 생성 방법 및 장치
JP5617627B2 (ja) * 2010-12-28 2014-11-05 オムロン株式会社 監視装置および方法、並びにプログラム
KR102094723B1 (ko) * 2012-07-17 2020-04-14 삼성전자주식회사 견고한 얼굴 표정 인식을 위한 특징 기술자
US9158970B2 (en) 2012-11-16 2015-10-13 Canon Kabushiki Kaisha Devices, systems, and methods for visual-attribute refinement
US10708545B2 (en) 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
CN104680190B (zh) * 2013-11-29 2018-06-15 华为技术有限公司 目标检测方法及装置
US9569656B2 (en) * 2013-12-06 2017-02-14 Google Inc. Local real-time facial recognition
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
CN103955681A (zh) * 2014-05-22 2014-07-30 苏州大学 一种人脸识别方法及系统
CN105160348B (zh) * 2015-08-04 2018-06-12 大连海事大学 基于图像统计特征的现场痕迹自动同一认定方法及系统
CN106682612B (zh) * 2016-12-26 2021-01-15 宇龙计算机通信科技(深圳)有限公司 一种基于图像识别的报警方法、终端、服务器及系统
CN107392110A (zh) * 2017-06-27 2017-11-24 五邑大学 基于互联网的人脸美化系统
CN107330904B (zh) * 2017-06-30 2020-12-18 北京乐蜜科技有限责任公司 图像处理方法、装置、电子设备及存储介质
CN109359499A (zh) * 2017-07-26 2019-02-19 虹软科技股份有限公司 一种用于脸部分类的方法和装置
CN109871845B (zh) 2019-01-10 2023-10-31 平安科技（深圳）有限公司 证件图像提取方法及终端设备
CN110309709A (zh) * 2019-05-20 2019-10-08 平安科技（深圳）有限公司 人脸识别方法、装置及计算机可读存储介质
CN111166290A (zh) * 2020-01-06 2020-05-19 华为技术有限公司 一种健康状态检测方法、设备和计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161504A1 (en) * 2002-02-27 2003-08-28 Nec Corporation Image recognition system and recognition method thereof, and program
US20070172099A1 (en) * 2006-01-13 2007-07-26 Samsung Electronics Co., Ltd. Scalable face recognition method and apparatus based on complementary features of face image
US20070239683A1 (en) * 2006-04-07 2007-10-11 Eastman Kodak Company Identifying unique objects in multiple image collections

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5842194A (en) * 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
US6184926B1 (en) * 1996-11-26 2001-02-06 Ncr Corporation System and method for detecting a human face in uncontrolled environments
JP2004513462A (ja) * 2000-11-03 2004-04-30 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 双方向スター型トポロジーの隠れマルコフモデルを用いた顔の表情の強さの推定方法及び装置
KR100445800B1 (ko) 2001-01-05 2004-08-25 학교법인 인하학원 상관관계를 이용한 유사도 측정의 얼굴 인증 방법
JP3888676B2 (ja) * 2002-02-25 2007-03-07 株式会社東芝 ３次元物体認識装置及びその方法
US7254257B2 (en) * 2002-03-04 2007-08-07 Samsung Electronics Co., Ltd. Method and apparatus of recognizing face using component-based 2nd-order principal component analysis (PCA)/independent component analysis (ICA)
US20030212552A1 (en) * 2002-05-09 2003-11-13 Liang Lu Hong Face recognition procedure useful for audiovisual speech recognition
US7089185B2 (en) * 2002-06-27 2006-08-08 Intel Corporation Embedded multi-layer coupled hidden Markov model
KR20020089295A (ko) * 2002-11-11 2002-11-29 (주)인소텍 가보필터와 hmm을 이용한 얼굴인식 알고리즘
US7133535B2 (en) * 2002-12-21 2006-11-07 Microsoft Corp. System and method for real time lip synchronization
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
US20050047664A1 (en) * 2003-08-27 2005-03-03 Nefian Ara Victor Identifying a speaker using markov models
US7505621B1 (en) * 2003-10-24 2009-03-17 Videomining Corporation Demographic classification using image components
KR100580630B1 (ko) * 2003-11-19 2006-05-16 삼성전자주식회사 적외선을 이용한 사람 식별 장치 및 방법
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US20080192991A1 (en) 2005-03-18 2008-08-14 Koninklijke Philips Electronics, N.V. Magnetic Resonance Imaging at Several Rf Frequencies
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US8131029B2 (en) * 2005-09-20 2012-03-06 Brightex Bio-Photonics Llc Systems and methods for automatic skin-based identification of people using digital images
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
EP2179589A4 (en) * 2007-07-20 2010-12-01 Fujifilm Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
KR20090050199A (ko) 2007-11-15 2009-05-20 주식회사 휴민텍 광류와 은닉 마르코프 모델을 이용한 실시간 얼굴 표정인식
CN100514353C (zh) * 2007-11-26 2009-07-15 清华大学 一种基于人脸生理性运动的活体检测方法及系统
JP2009187130A (ja) * 2008-02-04 2009-08-20 Panasonic Electric Works Co Ltd 顔認証装置
US8462996B2 (en) * 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
US8085982B1 (en) * 2008-06-20 2011-12-27 Google Inc. Object tracking in video with visual constraints
US8798374B2 (en) * 2008-08-26 2014-08-05 The Regents Of The University Of California Automated facial action coding system
US8379937B1 (en) * 2008-09-29 2013-02-19 Videomining Corporation Method and system for robust human ethnicity recognition using image feature-based probabilistic graphical models
KR20100073191A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치
US9514355B2 (en) * 2009-01-05 2016-12-06 Apple Inc. Organizing images by correlating faces
KR20100102949A (ko) 2009-03-12 2010-09-27 한국전자통신연구원 블록 단위 기반 얼굴 인식 방법 및 그 장치
JP5106459B2 (ja) * 2009-03-26 2012-12-26 株式会社東芝 立体物判定装置、立体物判定方法及び立体物判定プログラム
RU2431190C2 (ru) * 2009-06-22 2011-10-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и устройство распознавания рельефности лица
US20100332229A1 (en) * 2009-06-30 2010-12-30 Sony Corporation Apparatus control based on visual lip share recognition
US20110265110A1 (en) * 2010-04-23 2011-10-27 Weinblatt Lee S Audience Monitoring System Using Facial Recognition
KR101760258B1 (ko) 2010-12-21 2017-07-21 삼성전자주식회사 얼굴 인식 장치 및 그 방법
US9082235B2 (en) * 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US20130035979A1 (en) * 2011-08-01 2013-02-07 Arbitron, Inc. Cross-platform audience measurement with privacy protection
KR101901591B1 (ko) * 2011-11-01 2018-09-28 삼성전자주식회사 얼굴 인식 장치 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161504A1 (en) * 2002-02-27 2003-08-28 Nec Corporation Image recognition system and recognition method thereof, and program
US20070172099A1 (en) * 2006-01-13 2007-07-26 Samsung Electronics Co., Ltd. Scalable face recognition method and apparatus based on complementary features of face image
US20070239683A1 (en) * 2006-04-07 2007-10-11 Eastman Kodak Company Identifying unique objects in multiple image collections

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108123A1 (en) * 2011-11-01 2013-05-02 Samsung Electronics Co., Ltd. Face recognition apparatus and method for controlling the same
US8861805B2 (en) * 2011-11-01 2014-10-14 Samsung Electronics Co., Ltd. Face recognition apparatus and method for controlling the same
US9875397B2 (en) 2014-09-16 2018-01-23 Samsung Electronics Co., Ltd. Method of extracting feature of input image based on example pyramid, and facial recognition apparatus
KR20190056940A (ko) * 2017-11-17 2019-05-27 삼성전자주식회사 멀티모달 데이터 학습 방법 및 장치
US11651214B2 (en) 2017-11-17 2023-05-16 Samsung Electronics Co., Ltd. Multimodal data learning method and device

Also Published As

Publication number Publication date
EP2590111A3 (en) 2014-04-30
EP2590111A2 (en) 2013-05-08
KR101901591B1 (ko) 2018-09-28
US20130108123A1 (en) 2013-05-02
US8861805B2 (en) 2014-10-14
EP2590111B1 (en) 2016-05-18

Similar Documents

Publication Publication Date Title
KR101901591B1 (ko) 얼굴 인식 장치 및 그 제어방법
KR101760258B1 (ko) 얼굴 인식 장치 및 그 방법
CN108921100B (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
US20230274577A1 (en) Device and method with image matching
Tiong et al. Implementation of multimodal biometric recognition via multi-feature deep learning networks and feature fusion
JP2016081212A (ja) 画像認識装置、画像認識方法、および、画像認識プログラム
Anand et al. An improved local binary patterns histograms techniques for face recognition for real time application
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
Kim et al. Fingerprint generation and presentation attack detection using deep neural networks
Vadlapati et al. Facial recognition using the OpenCV Libraries of Python for the pictures of human faces wearing face masks during the COVID-19 pandemic
Sharma Designing of face recognition system
Matin et al. Recognition of an individual using the unique features of human face
Qu et al. shallowcnn-le: A shallow cnn with laplacian embedding for face anti-spoofing
Taha et al. Iris features extraction and recognition based on the local binary pattern technique
KR101174103B1 (ko) 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법
JP7124912B2 (ja) 情報処理装置、情報処理方法、および、情報処理プログラム
Mary et al. Human identification using periocular biometrics
Geetha et al. 3D face recognition using Hadoop
Masaoud et al. A review paper on ear recognition techniques: models, algorithms and methods
Dubey et al. Deep Perusal of Human Face Recognition Algorithms from Facial Snapshots
Hongo et al. Personal authentication with an iris image captured under visible-light condition
Mohammad Multi-Modal Ocular Recognition in Presence of Occlusion in Mobile Devices
CN113128289B (zh) 人脸识别的特征提取计算方法及设备
Sharma et al. A face recognition system using PCA and AI technique
Tembhare et al. Smart Surveillance System using Adaboost Algorithm

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant