KR101760258B1 - 얼굴 인식 장치 및 그 방법 - Google Patents

얼굴 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR101760258B1
KR101760258B1 KR1020100131261A KR20100131261A KR101760258B1 KR 101760258 B1 KR101760258 B1 KR 101760258B1 KR 1020100131261 A KR1020100131261 A KR 1020100131261A KR 20100131261 A KR20100131261 A KR 20100131261A KR 101760258 B1 KR101760258 B1 KR 101760258B1
Authority
KR
South Korea
Prior art keywords
face
nodes
image
face recognition
sub
Prior art date
Application number
KR1020100131261A
Other languages
English (en)
Other versions
KR20120069922A (ko
Inventor
황원준
노경식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100131261A priority Critical patent/KR101760258B1/ko
Priority to US13/293,459 priority patent/US8837786B2/en
Publication of KR20120069922A publication Critical patent/KR20120069922A/ko
Application granted granted Critical
Publication of KR101760258B1 publication Critical patent/KR101760258B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 신원 확인 대상자의 얼굴 영상이 입력되면, 얼굴 영상을 이용하여 얼굴 사이즈가 서로 다른 복수의 서브 영상을 생성하고, 복수의 서브 영상의 특징 벡터를 각각 생성하고 각 특징 벡터에 기초하여 복수의 관찰 노드를 생성하고, 복수의 서브 영상에 대응한 관찰 노드와 미리 저장된 등록자의 서브 영상에 대한 기준 노드를 상기 얼굴 사이즈별로 비교하여 유사도를 각각 산출하고, 얼굴 사이즈별 유사도에 기초하여 상태 노드를 각각 생성하고, 관찰 노드와 상태 노드를 비교하고, 상기 상태 노드들을 서로 비교하여 얼굴 인식을 수행한다.
본 발명은 마코브 네티워크를 이용하여 얼굴 인식을 수행함으로써 얼굴 인식 성능 및 얼굴 인식 속도를 향상시킬 수 있다.
또한 두 눈 사이의 거리에 기초한 복수의 서브 영상에 대해 아이형 곡선 가버 필터를 수행함으로써 얼굴의 포즈 또는 얼굴의 형태 정보에 강인한 얼굴 인식 성능을 얻을 수 있다.

Description

얼굴 인식 장치 및 그 방법{Face recognition apparatus and method thereof}
본 발명은 신원 파악을 위한 얼굴 인식 장치 및 그 방법에 관한 것이다.
현대 사회는 고도의 정보화 사회가 되어감에 따라 정보 보안 및 신분 확인의 중요성이 커지고 있다.
기존에는 정보 보안 및 신분 확인 시 열쇠나, 패스워드, ID카드, 스마트 카드 등을 이용하였다. 그러나 이는 휴대가 불편하고 분실의 문제가 있었으며 또한 다른 사람에 의해 위조, 변조 및 도용될 문제가 있었다. 이러한 문제를 해결하기 위해 생체 인식을 통한 정보 보안 및 신분 확인 기술이 개발되었다.
생체인식은 사람의 신체 일부를 인식하여 신분 확인을 수행하는 것으로, 지문(Fingerprint)인식, 홍채(Iris)인식, 음성(Voice)인식, 서명(Signature)인식, 얼굴(Face)인식 등이 있다. 이러한 생체인식은 사람 고유의 신체 일부를 사용하기 때문에 편리성과 보안성이 높아 이에 대한 연구가 많이 진행되고 있다.
생체 인식 중에서도 얼굴 인식 기술은, 지문 인식, 홍채 인식 등 사용자의 특별한 동작이나 행위를 요구하는 인식 기술과 달리, 대상자의 자발적인 동의 없이도 비접촉식으로 사용자의 신분을 확인할 수 있는 장점 때문에 편리하고 경쟁력 있는 생체 인식 기술로 평가 받고 있다.
얼굴 인식 기술은 멀티미디어 데이터 베이스 검색 핵심 기술 중의 하나로 얼굴 정보를 이용한 동영상의 요약, 신분 증명, HCI(Human Computer Interface) 영상 검색, 보안, 감시시스템 등 다양한 응용 분야에서 많은 개발 및 연구가 진행되고 있다.
그러나 얼굴 인식은 동일성(identity), 나이, 인종, 표정, 장신구 등의 내적 환경 변화나, 포즈(pose), 외부 조명, 영상 프로세스(image process) 등의 외적 환경 변화에 따라서 그 인식 결과가 민감하게 달라지는 특성이 있다.
즉, 얼굴 인식을 위하여 어느 한가지 종류의 특징 분석 기법을 사용하게 되면, 환경 변화에 따라서 인식 성능에 기복이 발생하게 된다. 따라서 환경 변화에 강인한 얼굴 인식 기술이 요구되고 있다.
일 측면에 따르면 마코브 네트워크를 이용한 얼굴 인식 장치 및 그 방법을 제공한다.
다른 측면에 따르면 아이형 곡선 가버 필터를 이용한 얼굴 인식 장치 및 그 방법을 제공한다.
일 측면에 따른 얼굴 인식 장치는 신원 확인 대상자의 얼굴 영상이 입력되는 영상 입력부; 얼굴 영상을 이용하여 얼굴 사이즈가 서로 다른 복수의 서브 영상으로 생성하는 얼굴 영상 생성부; 복수의 서브 영상의 특징 벡터를 각각 생성하고 각 특징 벡터에 기초하여 복수의 관찰 노드를 생성하는 분류부; 복수의 서브 영상에 대응한 관찰 노드와 미리 저장된 등록자의 서브 영상에 대한 기준 노드를 얼굴 사이즈별로 비교하여 유사도를 각각 산출하고, 각 유사도에 기초하여 상태 노드를 생성하고, 관찰 노드와 상태 노드를 비교하고, 상태 노드들을 서로 비교하여 얼굴인식을 수행하는 얼굴 인식부를 포함한다.
얼굴 인식부는, 관찰 노드와 상태노드에 대해 마코브 네트워크를 수행한다.
얼굴 인식부는, 얼굴 사이즈별 관찰 노드와 기준 노드의 유사도를 이용하여 유사도가 참일 경우와 거짓 경우로 나누어 확률 모델을 설계한다.
상태 노드는 신뢰 전달(Belief Propagation)을 이용하여 설계된다.
얼굴 인식부는, 신뢰 전달의 벡터와 호환 매트릭스를 설계하고, 설계된 벡터와 호환 매트릭스를 상기 마코브 네트워크에 반영한다.
얼굴 인식부는, 확률 모델을 이용하여 상기 벡터와 호환 매트릭스의 확률 값을 산출하고, 벡터에 대응한 확률값과 상기 호환 매트릭스에 대응한 확률값을 서로 비교하고, 호환 매트릭스 간의 확률값을 비교하여 신원 확인 대상자가 등록자인지 판단한다.
분류부는, 복수의 서브 영상에 아이형 곡선 가버 필터를 수행하여 특징 벡터를 생성하고, 특징 벡터에 대해 선형판별분석을 수행하여 관찰 노드를 생성한다.
얼굴 영상 생성부는, 얼굴 영상에서 얼굴 및 두 눈을 검출하고, 두 눈 사이의 거리를 검출하고, 검출된 거리를 조정하여 서로 다른 얼굴 사이즈의 서브 영상으로 생성한다.
다른 측면에 따른 얼굴 인식 방법은, 신원 확인 대상자의 얼굴 영상이 입력되면, 상기 얼굴 영상을 이용하여 얼굴 사이즈가 서로 다른 복수의 서브 영상을 생성하고, 복수의 서브 영상의 특징 벡터를 각각 생성하고 각 특징 벡터에 기초하여 복수의 관찰 노드를 생성하고, 복수의 서브 영상에 대응한 관찰 노드와 미리 저장된 등록자의 서브 영상에 대한 기준 노드를 얼굴 사이즈별로 비교하여 유사도를 각각 산출하고, 얼굴 사이즈별 유사도에 기초하여 상태 노드를 각각 생성하고, 관찰 노드와 상태 노드를 비교하고, 상태 노드들을 서로 비교하여 얼굴 인식을 수행한다.
얼굴 인식을 수행하는 것은, 관찰 노드와 상태노드에 대해 마코브 네트워크를 수행한다.
얼굴 사이즈별 관찰 노드와 기준 노드의 유사도를 이용하여 유사도가 참일 경우와 거짓 경우로 나누어 확률 모델을 설계하는 것을 더 포함한다.
확률 모델을 설계하는 것은, 신뢰 전달(Belief Propagation)을 이용하여 상태 노드 및 관찰 노드를 설계하는 것을 더 포함한다.
확률 모델을 설계하는 것은, 신뢰 전달의 벡터와 호환 매트릭스를 설계하고, 설계된 벡터와 호환 매트릭스를 마코브 네트워크에 반영하는 것을 포함한다.
얼굴 인식을 수행하는 것은, 확률 모델을 이용하여 벡터와 호환 매트릭스의 확률 값을 산출하고, 벡터에 대응한 확률값과 호환 매트릭스에 대응한 확률값을 서로 비교하고, 호환 매트릭스 간의 확률값을 비교하여 신원 확인 대상자가 등록자인지 판단한다.
관찰 노드를 생성하는 것은, 복수의 서브 영상에 아이형 곡선 가버 필터를 수행하여 특징 벡터를 생성하고, 특징 벡터에 대해 선형판별분석을 수행하여 관찰 노드를 생성하는 것을 포함한다.
서브 영상을 생성하는 것은, 얼굴 영상에서 얼굴 및 두 눈을 검출하고, 두 눈 사이의 거리를 검출하고, 검출된 거리를 조정하여 서로 다른 얼굴 사이즈의 서브 영상으로 생성한다.
일 측면에 따르면 마코브 네트워크를 이용하여 얼굴 인식을 수행함으로써 얼굴 인식 성능을 향상시킬 수 있다.
또한 두 눈 사이의 거리에 기초한 복수의 서브 영상에 대해 아이형 곡선 가버 필터를 수행함으로써 얼굴의 포즈 또는 얼굴의 형태 정보에 강인한 얼굴 인식 성능을 얻을 수 있다.
또한 곡률을 가지는 곡선 가버 필터의 수를 더욱 확장하여 비교적 작은 영상에 대해서도 인식률을 개선할 수 있고, 부스팅 알고리즘을 이용하여 선별적으로 최적의 특징을 추출했기 때문에 얼굴 인식을 위해 필요한 연산량을 줄일 수 있다.
또한 얼굴의 특징을 추출하거나 비교함에 있어 수행되는 시간, 특징 값 및 저장 공간을 크게 줄일 수 있는 효과가 있다. 또한, 낮은 하드웨어 사양에서도 잘 동작하는 얼굴 인식 시스템을 구현할 수 있는 효과가 있다.
도 1은 실시예에 따른 얼굴 인식 장치의 구성도이다.
도 2는 실시예에 따른 얼굴 인식 장치의 서브 영상 예시도이다.
도 3은 실시예에 따른 얼굴 인식 장치에 마련된 분류부의 상세 구성도이다.
도 4는 실시예에 따른 얼굴 인식 장치의 아이형 곡선 가보 필터 그룹의 예시도이다.
도 5는 실시예에 따른 얼굴 인식 장치의 곡선 가보 필터의 예시도이다.
도 6은 실시예에 따른 얼굴 인식 장치의 특징 영상의 예시도이다.
도 7은 실시예에 따른 얼굴 인식 장치의 얼굴 인식 모델이다.
도 8은 실시예에 따른 얼굴 인식 장치의 주변 분포 예시도이다.
도 9는 실시예에 따른 얼굴 인식 장치의 메시지 예시도이다.
도 10은 실시예에 따른 얼굴 인식 장치의 확률 모델 예시도이다.
도 11은 실시예에 따른 얼굴 인식 장치의 마코브 네트워크 예시도이다.
도 12는 실시예에 따른 얼굴 인식 방법의 순서도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 실시예에 따른 얼굴 인식 장치의 구성도로서, 영상 입력부(10), 얼굴 검출부(120), 얼굴 영상 생성부(130), 분류부(140), 얼굴 인식부(150), 등록자 데이터베이스부(160), 출력부(170)를 포함한다.
영상 입력부(110)는 카메라, 캠코더 등이 영상 획득 장치(미도시)를 통해 얼굴 인식을 하고자 하는 또는 신원 검증을 하고자 하는 사람의 얼굴 영상을 획득한다.
이러한 영상 입력부(110)는 빛을 이용하여 피사체의 영상을 획득하는 것으로, 빛이 집광되는 집광부(미도시), 집광된 빛을 감지하고 감지된 빛의 신호를 전기신호로 변환하는 촬상부(미도시), 변환된 전기신호를 디지털 신호로 변환하는 A/D 변환부(미도시)를 포함한다.
여기서, 촬상부는 노출, 감마, 이득조정, 화이트 밸런스, 컬러 매트릭스 등의 기능을 수행하는데, 이러한 촬상부는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등의 영상 센서에 의해 구현 가능하다.
얼굴 검출부(120)는 영상 입력부(110)로부터 전송된 입력 영상으로부터 배경 영역을 제거하고, 얼굴 내의 특정 구성 요소를 검출하고, 얼굴 영역 내의 특정 구성 요소를 기준으로 하여 제 1 얼굴 영상(M)을 검출하고, 검출된 제 1 얼굴 영상에서 눈을 검출하고, 제 1 얼굴 영상 위치한 눈의 좌표를 획득한다.
얼굴 검출부(120)는 가우시안 저역 통과 필터를 통해 얼굴 영상을 필터링하여 노이즈를 제거한다. 이러한 얼굴 영상은 눈의 좌표를 기준으로 60*80 픽셀로 정규화 가능하다.
즉 특징 노드 검출 시 120x160(고해상도)의 특징 노드 검출 시간이 60x80(저해상도)의 특징 노드 검출 시간보다 대략 2.6배 차이가 나기 때문에 60x80(저해상도)의 얼굴 영상을 이용함으로써 특징 노드 검출 시 특징 추출 시간을 줄일 수 있다.
얼굴 검출부(120)는 제 1 얼굴 영상의 특징을 분석하는데 필요한 전처리를 수행한다.
좀 더 구체적으로 영상 입력부(110)부로부터 입력된 입력 영상은 조명의 영향으로 상대적으로 휘도가 높거나 낮을 수 있고, 하나의 입력 영상에서도 휘도가 높은 부분과 낮은 부분이 생길 수 있다. 이러한 조명의 영향은 제 1 얼굴 영상의 특징을 추출하는데 있어서 장애가 될 수 있다.
따라서 얼굴 검출부(120)는 조명의 영향을 감소시키기 위하여, 제 1 얼굴 영상에서 각 화소의 휘도 분포를 분석하여 히스토그램을 얻고, 빈도수가 높은 휘도를 중심으로 히스토그램을 평활화하는 전처리를 수행한다.
얼굴 영상 생성부(130)는 제 1 얼굴 영상(M)의 눈의 좌표에 기초하여 두 눈 사이의 거리를 산출하고, 산출된 두 눈 사이의 거리를 조정하여 크기는 동일하지만 특징 분석 범위가 서로 다른 복수 개의 제 2 얼굴 영상을 생성한다.
여기서 제 2 얼굴 영상은, 제 1 서브 영상(S1), 제 2 서브 영상(S2), 제 3 서브 영상(S3)을 가진다. 이를 도 2를 참조하여 설명한다.
도 2는 얼굴 영상 생성부(130)에서 생성된 제 2 얼굴 영상의 예시도이다.
도 2에 도시된 바와 같이, 얼굴 영상 생성부(130)는 두 눈 사이의 거리가 d1인 제 1 서브 영상(S1), 두 눈 사이의 거리가 d2인 제 2 서브 영상(S2), 두 눈 사이의 거리가 d3인 제 3 서브 영상(S3)을 생성한다.
여기서 눈 사이의 거리 d1, d2, d3는 미리 저장되어 있고, d1은 d2보다 긴 거리이고, d2는 d3보다 긴 거리이다.
제 1 서브 영상(S1)은 내부 얼굴 모델(Interior Face Model)로 눈, 코, 입 위주의 얼굴 안쪽 범위의 특징을 분석하기 위한 영상이다.
제 2 서브 영상(S2)은 내부 얼굴 모델과 외부 얼굴 모델을 절충한 보상 얼굴 모델(Compensated Face Model)로, 얼굴 내부 범위의 특징을 분석하기 위한 영상이다. 이러한 제 2 서브 영상(S2)은 머리 정보나 배경 정보가 과도하게 들어가지 않고 대부분의 정보가 얼굴 내부 구성 요소이므로 가장 안정적인 특징 분석 성능을 보일 수 있다.
제 3 서브 영상(S3)은 외부 얼굴 모델(Exterior Face Model)로 헤어 스타일, 귀, 턱과 같은 얼굴 주변 요소에 기초한 얼굴의 특징을 분석하기 위한 영상이다.
얼굴 영상 생성부(130)는 입력 영상의 배경이나 사람의 머리스타일의 변화로 인한 영향을 감소시키고, 눈썹, 눈, 코, 입술 등 얼굴 전체의 특징을 잘 포함하여 분석할 수 있는 얼굴 영상을 생성한다.
분류부(140)는 얼굴 영상 생성부(130)에서 생성된 복수 개의 제2 얼굴 영상 각각에 곡선 가버 필터링 후 선형판별분석(LDA)을 수행하여 각 제 2 얼굴 영상에 대해 복수 개의 특징을 생성함으로써 서브 영상의 특징을 출력한다. 이를 도 3 내지 도 6을 참조하여 설명한다.
도 3은 분류부(140)의 상세 구성도로, 분류부(140)는 제1분류부(141), 제2분류부(142), 제3분류부(143)를 포함하고, 각 분류부(141, 142, 143)는 가버 필터부(Gabor Filter: 141a, 142a, 141c), 선형판별분석부(142a, 142a, 142c)를 포함한다.
분류부(140)는 얼굴 영상 생성부(130)에서 생성된 제1서브 영상(S1), 제2서브영상(S2), 제3서브영상(S3)을 수신한다. 이때 제1분류부(141)는 제1서브영상(S1)을 수신하고 제2분류부(142)는 제2서브영상(S2)을 수신하며, 제3분류부(143)는 제3서브영상(S3)을 수신하고, 각 분류부는 수신된 서브 영상의 특징을 생성한다.
좀 더 구체적으로, 각 가버 필터부(141a, 142a, 141c)는 해당 서브 영상에 대해 서로 다른 특성을 갖는 확장된 곡선 가버 필터(Extended Curvature Gabor Classifier Bunch)들을 투영시켜 특징을 생성한다.
여기서 확장된 곡선 가버 필터의 특성은 가버 필터의 파라미터에 따라 결정되고, 가버 필터의 특성에 따라 특징들을 그룹화할 수 있다.
좀 구체적으로, 확장된 곡선 가버 필터의 특성은 파라미터인 가버 필터의 방향성(orientation: μ), 스케일(scale: v), 가우시안 폭(Gaussian width: σ) 및 곡률(curvature ratios: c)에 따라 결정되고, 가우시안 폭과 곡률의 조합 별로 동일한 방향성을 갖는 가버 필터들의 특징들과, 동일한 스케일을 갖는 확장된 곡선 가버 필터들의 특징들을 그룹화 할 수 있다.
예를 들어 7개의 스케일과 8개의 방향성을 사용하면 서로 다른 특성을 갖는 56개의 확장된 곡선 가버 필터를 얻을 수 있다. 이때 3개의 가우시안 폭과 4개의 곡률을 사용하면 서로 다른 특성을 갖는 12개의 가버 필터를 더 얻을 수 있다.
이에 따라 각 확장된 곡선 가버 필터별로 가우시안 폭과 곡률을 변화시키면 기존 가버 필터(5×8=40) 보다 확장된 곡선 가버 필터를 (7×16×3×3 + 7×8×3=1,1760)
Figure 112010084272727-pat00001
얻을 수 있으며, 이들은 해당 서브 영상에 투영되어 다른 특징을 나타낸다.
따라서 각 가버 필터부(141a, 142a, 141c)는 다른 수치의 파라미터(방향성, 스케일, 가우시안 폭, 곡률)를 조정하여 더 적은 개수 또는 더 많은 개수의 확장된 곡선 가버 필터를 사용할 수 있다.
이때 에이다부스트(adaboost)를 통해 최적의 확장된 곡선 가버 필터를 찾는다. 아울러 GentleBoost, realBoost, KLBoost와 JSBoost 등의 부스트 학습 방법을 사용할 수도 있다. 이러한 부스팅 학습을 이용하여 각각의 서브 영상으로부터 상호 보완적인 가버 특징들을 선택함으로써 객체 이미지의 인식 효율을 향상시킬 수 있다.
그리고 부스팅 알고리즘을 이용하여 선별적으로 최적의 특징을 추출했기 때문에 얼굴 인식을 위해 필요한 연산량을 줄일 수 있다.
이러한 각 가버 필터부(141a, 142a, 141c)는 아이(I) 형 확장된 곡선 가버 필터를 이용하여 해당 서브 영상의 특징들을 생성한다. 이를 도 4 내지 도 5를 참조하여 설명한다.
도 4는 아이(I)-형 확장된 곡선 가버 필터(I-Shape Extended Curvature Gabor Classifier Bunch) 그룹 예시도이고, 도 5는 곡선 가버 필터의 특성 예시도이다.
도 4의 (A)에 도시된 바와 같이, 하나의 아이(I)-형 확장된 가버 필터 그룹은 3개의 가우시안 폭(σ) 및 4개의 곡률(c)을 가지는 12개의 곡선형 가버 필터 G={g(σ1, c1), g(σ2, c2), g(σ3, c3), g(σ4, c4), g(σ5, c5), ... , g(σ12, c12)}로 이루어진다.
하나의 아이(I)-형 확장된 가버 필터 그룹에서 곡률은 c={0.0, 0.05, 0.1, 0.2}의 4개의 값을 갖고, 가우시안 폭은 σ={0.5π, π, 2π} 중 한개인 σ={π} 값을 갖는다.
이와 같이 12개의 곡선형 가버 필터는, 곡률이 c={0.0}인 경우(즉, 직선)에는 도 5의 (A)와 같이 8가지 방향성을 갖고, 곡률이 c={0.0}보다 큰 경우(즉, 곡선)에는 도 5의 (B)와 같이 μ={0, 1, 2, ... , 15}의 16개의 방향성을 갖는다.
이러한 아이(I)-형 확장된 곡선 가버 필터 그룹은, 12개의 곡선 가버 필터들을 곡률(c)을 기준으로 행(column)을 따라 배열하고, 가우시안 폭(σ)을 기준으로 열(row)을 따라 배열한 후 도 4의 (B)에 도시된 바와 같이 "I" 형을 이루는 4개의 곡선 가버 필터를 이용하여 필터링한다.
이 4개의 "I" 형 곡선 가버 필터들은, 가우시안 폭이 σ={π}일 때 곡률이 c={0, 0.05, 0.1, 0.2}인 4개의 곡선 가버 필터이다.
이에 따라 일정 수준 이상의 얼굴 인식률을 얻으면서도 12개의 곡선 가버 필터들을 모두 사용하는 경우보다 연산량을 현저히 감소시킬 수 있으며 속도를 향상시킬 수 있고, 그 분산이 적기 때문에 좀 더 안정적인 얼굴 인식 성능을 확보할 수 있다.
이처럼 곡선 가버 필터의 특징들을 그룹화하면 이후에 수행될 선형판별분석(Linear Discriminant Analysis: LDA) 작업을 위한 입력 값의 차원(dimension)을 감소시킬 수 있어 곡선 가버 필터를 확장시키는 것이 용이해진다.
예를 들면 가우시안 폭과 곡률을 변화시켜서 사용할 곡선 가버 필터의 수를 늘림으로써 얼굴 영상의 특징 수를 증가시키더라도 특징들을 그룹화하여 입력 값의 차원을 낮추면 선형판별분석(LDA) 학습시의 부담을 감소시킬 수 있다. 이는 선형판별분석(LDA) 학습 능률을 높이는데도 유용하다.
각 선형판별분석부(142a, 142a, 142c)는 아이(I)-형 확장된 곡선 가버 필터 그룹을 입력 값으로 하여 선형판별분석(Linear Discriminant Analysis: LDA) 작업을 수행한다.
여기서, 각 선형판별분석부(142a, 142a, 142c)는 아이(I)-형 확장된 곡선 가버 필터 그룹마다 독립적으로 LDA 작업을 수행하게 된다.
이를 위하여 각 선형판별분석부(142a, 142a, 142c)는 복수의 선형판별분석 처리부(미도시)를 포함할 수 있으며, 각 선형판별분석처리부 마다 하나의 아이(I)-형 확장된 곡선 가버 필터 그룹에 대한 LDA 작업을 수행한다.
이에 따라 각 선형판별분석부(142a, 142a, 142c)는 하나의 서브 영상에 대하여 복수의 선형판별분석 결과(즉 베이시스 벡터)를 출력하고, 출력된 복수의 선형판별분석 결과에 기초하여 관찰 노드(Observation Node)를 생성하고, 생성된 관찰 노드를 출력한다.
분류부(140)는 각 서브 영상에 대한 아이(I)-형 확장된 곡선 가버 필터 그룹의 특징(즉, 특징 벡터)들을 베이시스 벡터에 투영한다. 이때 투영된 벡터가 관찰 노드가 된다.
본 실시예의 분류부(140)는 하나의 서브 영상에 대해 대략 2400개의 특징 을 생성한다.
여기서 대략 2400개의 특징을 생성하는 것은, 대략 1400개의 특징을 출력하는 것보다 2배 이상 시간 차가 나지 않을 뿐만 아니라, 1400개의 특징을 출력하는 것보다 성능이 좋고 그 분산이 적어 상대적으로 안정적으로 얼굴을 인식할 수 있기 때문이다. 이는 실험에 의해 획득된 것이다.
도 6에 도시된 바와 같이, 각 서브 영상(S, S2, S3)에 대해 곡선 가버 필터링 및 선형판별분석(LDA)을 수행하면 복수 개의 특징을 가진 얼굴 영상이 생성된다.
(a)에 도시된 바와 같이 두 눈 사이의 거리가 d1인 제 1 서브 영상(S1)에 대해 곡선 가버 필터링 및 선형판별 분석을 수행하면 제 1 특징 영상(F1)이 생성되고, (b)에 도시된 바와 같이 두 눈 사이의 거리가 d2인 제 2 서브 영상(S2)에 대해 곡선 가버 필터링 및 선형판별분석을 수행하면 제 2 특징 영상(F2)이 생성되며, (c)에 도시된 바와 같이 두 눈 사이의 거리가 d3인 제 3 서브 영상(S3)에 대해 곡선 가버 필터링 및 선형판별 분석을 수행하면 제 3특징 영상(F3)이 생성된다.
여기서 LDA(Linear Discriminant Analysis)는 클래스내의 스캐터 (within-class scatter)를 줄이면서 클래스간 스캐터(between-class scatter)를 최대화하는 서브 공간으로 데이터를 선형 투영(linear projection)하도록 학습하는 방법이다.
그 외에도 PCLDA(Principal Component and Linear Discriminant Analysis) 또는 PCA(Principal Component Analysis) 방법을 이용하는 것도 가능하다.
얼굴 인식부(150)는 각 서브 영상에서 관찰 노드(Observation Node)를 획득하고, 각 관찰 노드와 미리 저장된 등록자의 기준 노드를 비교하여 유사도를 산출하고 산출된 유사도에 기초하여 상태 노드(Hidden State Node)를 생성하고, 관찰 노드와 상태 노드를 마코브(Markov Network)에 적용시켜 얼굴 인식을 수행한다.
얼굴 인식부(150)는 얼굴 인식 결과에 기초하여 영상 입력부(110)를 통해 입력된 입력 영상이 등록자 데이터베이스부(160)에 등록되어 있는 등록자인지 여부를 판단한다.
이를 도 7 내지 도 12를 참조하여 설명한다.
도 7은 얼굴 인식부(150)에서 설계된 얼굴 인식 모델의 예시도로, 복수의 제 2 얼굴 영상인 서브 영상이 3개라고 가정한다.
도 7에 도시된 바와 같이, 얼굴 인식 모델은 제1 서브 영상(S1)의 제1 특징 영상(F1)에서 획득된 제 1 관찰 노드(Observation Node: y1), 제2 서브 영상(S2)의 제2 특징 영상(F2)에서 획득된 제 2 관찰 노드(y2), 제3 서브 영상(S3)의 제3 특징 영상(F3)에서 획득된 제 1 관찰 노드(y3)을 가진다.
그리고, 얼굴 인식부(150)는 등록자 데이터베이스부(160)에 저장된 어느 하나의 등록 얼굴 영상의 제 1 기준 노드, 제 2 기준 노드, 제 3 기준 노드를 추출하고, 추출된 제 1 기준 노드와 제 1 관찰 노드를 비교하여 제 1 유사도를 산출하고, 산출된 제 1 유사도에 기초하여 제 1 상태 노드(Hidden State Node: x1)를 생성한다.
얼굴 인식부(150)는 제 2 기준 노드와 제 2 관찰 노드를 비교하여 제 2 유사도를 산출하고, 산출된 제 2 유사도에 기초하여 제 2 상태 노드(Hidden State Node: x2)를 생성하고, 제 3 기준 노드와 제 3 관찰 노드를 비교하여 제 3 유사도를 산출하고, 산출된 제 3 유사도에 기초하여 제 3 상태 노드(Hidden State Node: x3)를 생성한다. 이때 복수의 상태 노드는 서로 통신이 가능하도록 Belief Propagation(BP)를 통해 설계된다.
좀 더 구체적으로 각 관찰 노드(Observation Node)를 확률 모델로 변환하면 상태 노드(Hidden State Node) 확률은 다음과 같다.
Figure 112010084272727-pat00002
여기서 확률 모델은 도 7에 도시된 바와 같이 상태 노드(x1, x2, x3)들간의 관계를 나타내는 호환 매트릭스(Compatibility Matrix :Psi)와, 관찰 노드(y1, y2, y3)와 상태 노드(x1, x2, x3)의 관계를 나타내는 벡터(Pi)의 집합으로 나타낼 수 있다.
Figure 112010084272727-pat00003
Maximum A Posteriori (MAP) Estimation를 이용하면 상태 노드의 확률 값을 알 수 있다.
Figure 112010084272727-pat00004
이때, 연산량을 고려하여 Belief Propagation(BP)를 이용한 반복 알고리즘(Iterative Algorithm)을 이용한다.
Belief Propagation(BP)은 신뢰도(Belief)와 메시지(Message)를 순차적으로 계산하여 노드들의 확률 값을 반복적으로 산출한다.
도 8에 도시된 바와 같이, 상태 노드(xj)의 신뢰도(Belief) 값이 가질 수 있는 주변 분포(Marginal Distribution)는 다음과 같다.
Figure 112010084272727-pat00005
도 9에 도시된 바와 같이, 상태 노드 xi에서 상태 노드 xjf로의 노드간 통신인 메시지(message)는 다음과 같다.
Figure 112010084272727-pat00006
즉, 상태 노드 xjf의 주변 분포에 대한 xi의 영향을 나타낸다.
얼굴 인식부(150)는 얼굴 인식을 위해 도 7 내지 도 9에 기초하여 마코브 네트워크(Markov network)의 입력을 확률 모델로 설계한다.
얼굴 인식부(150)는 도 10에 도시된 바와 같이 관찰 노드와 기준 노드의 유사도(Score)를 이용하여 유사도가 참(True)일 경우와 거짓(False) 경우로 나누어 확률 모델을 설계한다.
Figure 112010084272727-pat00007
얼굴 인식부(150)는 각 얼굴 인식 모델에서 나온 유사도를 이용하여 도 10에 도시된 바와 같이 확률 모델을 설계한 뒤, 마코브 네트워크에서 Belief Propagation(BP)를 적용하기 위해 벡터(Pi)와 호환 매트릭스(Compatibility Matrix :Psi)를 설계한다.
즉, Belief Propagation(BP)에서 사용되는 벡터(Pi: Belief) 호환 매트릭스(Psi: Message)는 다음과 같은 비용함수(cost function)로 설계된다.
Figure 112010084272727-pat00008
여기서 Pi(T)는 i번째 얼굴 인식 모델에서 나온 유사도가 참(True)일 확률이고, Pi(F)는 i번째 얼굴 인식 모델에서 나온 유사도가 거짓(False)일 확률이다.
Pij(TT)는 i번째와 j번째 얼굴 인식 모델에서 나온 유사도가 모두 참일 확률이고, Pij(TF)는 i번째 얼굴 인식 모델의 유사도는 참이고, j번째 얼굴 인식 모델에서 나온 유사도는 거짓일 확률이며, Pij(FT)는 i번째 얼굴 인식 모델의 유사도는 거짓이고, j번째 얼굴 인식 모델에서 나온 유사도는 참일 확률이며, Pij(FF)는 i번째 얼굴 인식 모델의 유사도는 거짓이고, j번째 얼굴 인식 모델에서 나온 유사도는 거짓일 확률이다.
Figure 112010084272727-pat00009
Figure 112010084272727-pat00010
여기서
Figure 112010084272727-pat00011
는 i번째 얼굴 인식 모델의 상태 노드와 j번째 얼굴 인식 모델의 상태 노드를 연속(concatenation)하여 나온 유사도가 거짓일 확률이다. 각 수식의 w1, w2 는 미리 정해진 가중치이다.
도 11에 도시된 바와 같이, 마코브 네트워크 적용에 대응한 비용함수(cost function) 이용 시 개념도로서, 얼굴 인식부(150)는 각 관찰 노드(y1, y2, y3)의 확률 값을 산출하고, 각 관찰 노드(y1, y2, y3)와 해당 상태 노드(x1, x2, x3) 사이의 확률 값 φ(x1, y1), φ(x2, y2), φ(x3, y3)을 산출하며, 상태 노드 간의 확률 값 Ψ(x1, x2), Ψ(x2, x3), Ψ(x3, x1), Ψ(x2, x1), Ψ(x3, x2), Ψ(x1, x3)을 산출한다.
얼굴 인식부(150)는 각 관찰 노드(y1, y2, y3)와 해당 상태 노드(x1, x2, x3) 사이의 확률 값을 서로 비교하고, 상태 노드 간의 확률 값을 서로 비교한 후 비교 결과에 기초하여 신원 확인 대상의 얼굴 영상이 등록자의 얼굴 영상인지 판단한다.
여기서 상태 노드 간의 확률 값 비교 시,어느 하나의 상태 노드가 다른 상태 노드에 미치는 영향과, 어느 하나의 상태 노드가 다른 상태 노드에 의해 받는 영향을 모두 고려한다.
등록자 데이터베이스(160)는 신원 확인의 요구되는 집단에 소속된 사람들 각각의 얼굴 영상에 대한 정보를 저장한다.
등록자 데이터베이스(160)는 얼굴 인식 효율을 향상시키기 위해서 다양한 얼굴 표정, 각도, 밝기를 갖는 복수 개의 얼굴 영상 정보를 저장한다. 등록자 데이터베이스(160)에 저장된 복수 개의 얼굴 영상은 전처리를 수행한 후 저장된다.
여기서 전처리는 배경 영역을 제거하고, 눈의 위치를 기준으로 영상의 크기를 조정한 후, 조명의 분산도를 낮추기 위한 전처리를 수행한 것이다. 또한, 가우시안 저역 통과 필터를 통해 얼굴 영상을 필터링하여 노이즈가 제거된 얼굴 영상이다.
등록자 데이터베이스(160)에 저장된 얼굴 영상은 60*80 픽셀로 정규화 가능하고, 눈의 위치를 기준으로 복수개의 서브 영상을 저장 가능하고, 각 서브 영상에 대한 복수의 기준 노드를 저장한다. 여기서 기준 노드는 등록자의 서브 영상에 대한 관찰 노드이다.
이 복수의 서브 영상은 얼굴 인식 시 생성되는 것도 가능하다.
출력부(170)는 얼굴 인식부(160)의 얼굴 인식 결과를 출력한다. 즉, 영상 입력부(110)를 통해 입력된 입력 영상이 등록자 데이터베이스부(160)에 있는 등록자인지 여부를 출력한다.
이러한 출력부(170)는 인식 결과를 문자로 표시하는 표시부(미도시) 및 인식 결과를 사운드로 출력하는 경보음 발생부(미도시) 중 적어도 하나를 통해 구현 가능하다.
도 12는 실시예에 따른 얼굴 인식 방법의 순서도이다.
우선, 얼굴 인식 장치는 입력부(110)를 통해 신분 확인을 위한 사람의 영상을 입력(201)받는다. 이때 신분 확인을 위한 사람의 식별번호(ID)를 입력받아, 신분 인증 시간을 단축하는 것도 가능하다.
여기서 입력부(110)는 디지털 카메라 등의 영상획득장치(미도시)를 통해 시분 확인 대상이 되는 사람의 얼굴 영상을 획득하는 것이다.
다음 얼굴 인식 장치는 입력 영상으로부터 배경 영역을 제거하고, 얼굴 내의 특정 구성 요소를 검출하고, 얼굴 영역 내의 특정 구성 요소를 기준으로 하여 제 1 얼굴 영상(M)을 검출하고, 검출된 제 1 얼굴 영상에서 눈을 검출(202)하고, 제 1 얼굴 영상 위치한 눈의 좌표를 획득한다. 이러한 얼굴 영상은 눈의 좌표를 기준으로 60*80 픽셀로 정규화 가능하다.
얼굴 인식 장치는 조명의 영향을 감소시키기 위하여, 제 1 얼굴 영상에서 각 화소의 휘도 분포를 분석하여 히스토그램을 얻고, 빈도수가 높은 휘도를 중심으로 히스토그램을 평활화하는 전처리를 수행하고, 가우시안 저역 통과 필터를 이용하여 얼굴 영상을 필터링함으로써 노이즈를 제거한다.
다음 얼굴 인식 장치는 제 1 얼굴 영상(M)의 눈의 좌표에 기초하여 두 눈 사이의 거리를 산출하고, 산출된 두 눈 사이의 거리를 조정하여 영상의 크기는 동일하지만 특징 분석 범위가 서로 다른 복수 개의 제 2 얼굴 영상을 생성한다.
여기서 제 2 얼굴 영상은, 제 1 서브 영상(S1), 제 2 서브 영상(S2), 제 3 서브 영상(S3)을 가진다.
도 2에 도시된 바와 같이, 두 눈 사이의 거리가 d1인 제 1 서브 영상(S1), 두 눈 사이의 거리가 d2인 제 2 서브 영상(S2), 두 눈 사이의 거리가 d3인 제 3 서브 영상(S3)을 생성(203)한다.
다음 얼굴 인식 장치는 복수 개의 제2 얼굴 영상 각각에 아이(I)형 곡선 가버 필터링 및 선형판별분석(LDA)을 수행(204)하여 각 제 2 얼굴 영상에 대해 복수 개의 특징을 생성함으로써 서브 영상의 특징을 출력한다.
해당 서브 영상에 대해 서로 다른 특성을 갖는 확장된 곡선 가버 필터(Extended Curvature Gabor Classifier Bunch)들을 투영시켜 특징을 생성한다.
예를 들어 도 4의 (A)와 같이 하나의 아이(I)-형 확장된 가버 필터 그룹이 3개의 가우시안 폭(σ) 및 4개의 곡률(c)을 가지는 12개의 곡선형 가버 필터를 가지는 경우, 12개의 곡선 가버 필터들을 곡률(c)을 기준으로 행(column)을 따라 배열하고, 가우시안 폭(σ)을 기준으로 열(row)을 따라 배열한 후 도 4의 (B)와 같이 "I" 형을 이루는 4개의 곡선 가버 필터를 이용하여 필터링한다. 이 4개의 "I" 형 곡선 가버 필터들은, 가우시안 폭이 σ={π}일 때 곡률이 c={0, 0.05, 0.1, 0.2}인 4개의 곡선 가버 필터이다.
이에 따라 일정 수준 이상의 얼굴 인식률을 얻으면서도 12개의 곡선 가버 필터들을 모두 사용하는 경우보다 연산량을 현저히 감소시킬 수 있으며 속도를 향상시킬 수 있고, 그 분산이 적기 때문에 좀 더 안정적인 얼굴 인식 성능을 확보할 수 있다.
다음 얼굴 인식 장치는 아이(I)-형 확장된 곡선 가버 필터 그룹에 대해 선형판별분석(Linear Discriminant Analysis: LDA) 작업을 수행한다.
이에 따라 하나의 서브 영상에 대하여 복수의 선형판별분석 결과(즉 베이시스 벡터)를 출력하고, 출력된 복수의 선형판별분석 결과에 기초하여 관찰 노드(Observation Node)를 생성한다.
즉, 얼굴 인식 장치는 각 서브 영상(S1, S2, S3)에 대한 아이(I)-형 확장된 곡선 가버 필터 그룹의 특징(즉, 특징 벡터)들을 베이시스 벡터에 투영한다. 이때 투영된 벡터가 관찰 노드가 되고, 이 관찰 노드가 생성된 특징 영상(F1, F2, F3)이 생성된다.
다음 얼굴 인식 장치는 각 서브 영상(S1, S2, S3)에서 관찰 노드(Observation Node: y1, y2, y3)를 획득하고, 각 관찰 노드(y1, y2, y3)와 미리 저장된 등록자의 기준 노드를 비교하여 유사도를 산출하고 산출된 유사도에 기초하여 상태 노드(Hidden State Node: x1, x2, x3)를 생성(205)하고, 관찰 노드(y1, y2, y3)와 상태 노드(x1, x2, x3)를 마코브 네트워크(Markov Network)에 적용시켜 얼굴 인식을 수행한다.
좀 더 구체적으로, 얼굴 인식 장치는 제1 서브 영상(S1)의 제1 특징 영상(F1)에서 획득된 제 1 관찰 노드(Observation Node: y1), 제2 서브 영상(S2)의 제2 특징 영상(F2)에서 획득된 제 2 관찰 노드(y2), 제3 서브 영상(S3)의 제3 특징 영상(F3)에서 획득된 제 1 관찰 노드(y3), 제1 관찰노드(y1)에 대응하는 제 1 상태노드(x1), 제2 관찰노드(y2)에 대응하는 제 2 상태노드(x2), 제3 관찰노드(y3)에 대응하는 제 3 상태노드(x3)를 이용하여 얼굴 인식 모델을 모델링한다.
다음 얼굴 인식 장치는 마코브 네트워크(Markov network)에 기초하여 확률 모델을 설계한다. 이때 복수의 상태 노드(x1, x2, x3)는 서로 통신이 가능하도록 신뢰전달(Belief Propagation: BP)를 통해 설계된다.
즉, 얼굴 인식 장치는 각 관찰 노드와 기준 노드의 유사도(Score)를 이용하여 유사도가 참(True)일 경우와 거짓(False) 경우로 나누어 확률 모델을 설계(206)한다.
다음 얼굴 인식 장치는 마코브 네트워크에서 Belief Propagation(BP)를 적용하기 위한 벡터(Pi)와, 호환 매트릭스(Compatibility Matrix :Psi)를 설계한다.
이때 벡터(Pi)는 관찰 노드와 상태 노드 간의 관계를 나타내고, 호환 매트릭스(Compatibility Matrix :Psi)는 상태 노드들간의 관계를 나타낸다.
즉, Belief Propagation(BP)에서 사용되는 벡터(Pi: Belief) 호환 매트릭스(Psi: Message)는 다음과 같은 비용함수(cost function)로 설계된다.
다음 각 노드들에 대해 마코브 네트워크를 수행(207)하여 확률 값을 반복적으로 산출한다.
즉 얼굴 인식 장치는 각 관찰 노드(y1, y2, y3)의 확률 값을 산출하고, 각 관찰 노드(y1, y2, y3)와 해당 상태 노드(x1, x2, x3) 사이의 확률 값 φ(x1, y1), φ(x2, y2), φ(x3, y3)을 산출하며, 상태 노드 간의 확률 값 Ψ(x1, x2), Ψ(x2, x3), Ψ(x3, x1), Ψ(x2, x1), Ψ(x3, x2), Ψ(x1, x3)을 산출한다.
그리고 얼굴 인식 장치는 각 관찰 노드(y1, y2, y3)와 해당 상태 노드(x1, x2, x3) 사이의 확률 값을 서로 비교하고, 상태 노드 간의 확률 값을 서로 비교한 후 비교 결과에 기초하여 신원 확인 대상의 얼굴 영상이 등록자의 얼굴 영상인지 판단(208)한다.
여기서 상태 노드 간의 확률 값 비교 시, 어느 하나의 상태 노드가 다른 상태 노드에 미치는 영향과, 어느 하나의 상태 노드가 다른 상태 노드에 의해 받는 영향을 모두 고려한다.
다음 얼굴 인식 장치는 얼굴 인식 결과를 출력(209)한다. 즉, 신분 확인을 위한 입력 영상이 등록자 데이터베이스부(160)에 있는 등록자인지 여부를 판단하고, 이 판단 결과를 출력한다.
이와 같은 방법에 의해 얼굴 인식 성능 및 얼굴 인식 속도를 을 향상시킬 수 있다.
110: 영상 입력부 120: 얼굴 검출부
130: 얼굴 영상 생성부 140: 분류부
150: 얼굴 인식부 160: 등록자 데이터베이스부
170: 출력부

Claims (16)

  1. 신원 확인 대상자의 얼굴 영상이 입력되는 영상 입력부;
    상기 얼굴 영상을 이용하여 얼굴 사이즈가 서로 다른 복수의 서브 영상들을 생성하는 얼굴 영상 생성부;
    상기 복수의 서브 영상들에 아이(I)-형 곡선 가버 필터링을 수행하여 상기 복수의 서브 영상들의 특징 벡터들을 각각 생성하고, 상기 특징 벡터들에 기초하여 복수의 관찰 노드들을 생성하는 분류부; 및
    상기 관찰 노드들과 미리 저장된 등록자의 서브 영상들에 대한 기준 노드들을 얼굴 사이즈별로 비교하여 상기 관찰 노드들과 상기 기준 노드들 사이의 각 유사도들을 산출하고, 상기 각 유사도들에 기초하여 각 상태 노드들을 생성하고, 상기 관찰 노드들과 상기 상태 노드들을 비교하고, 상기 상태 노드들을 서로 비교하여 얼굴 인식을 수행하는 얼굴 인식부를 포함하는 얼굴 인식 장치.
  2. 제 1 항에 있어서, 상기 얼굴 인식부는 상기 관찰 노드들 및 상기 상태 노드들에 대해 마코브 네트워크를 수행하는 얼굴 인식 장치.
  3. 제 2 항에 있어서, 상기 얼굴 인식부는 상기 얼굴 사이즈별 상기 관찰 노드들과 상기 기준 노드들 사이의 유사도를 이용하여 상기 유사도가 참일 경우의 확률 모델과 상기 유사도가 거짓일 경우의 확률 모델을 별도로 설계하는 얼굴 인식 장치.
  4. 제 3 항에 있어서, 상기 상태 노드들 각각은 신뢰 전달(Belief Propagation)을 이용하여 설계되는 얼굴 인식 장치.
  5. 제 4 항에 있어서, 상기 얼굴 인식부는 상기 신뢰 전달을 위한 벡터 및 호환 매트릭스를 설계하고, 상기 설계된 벡터 및 호환 매트릭스를 상기 마코브 네트워크에 반영하는 얼굴 인식 장치.
  6. 제 5 항에 있어서, 상기 얼굴 인식부는 상기 확률 모델들을 이용하여 상기 벡터에 대응하는 확률값과 상기 호환 매트릭스에 대응하는 확률값을 산출하고, 상기 벡터에 대응하는 확률값과 상기 호환 매트릭스에 대응하는 확률값을 비교하고, 호환 매트릭스들 간의 확률값들을 비교하여 상기 신원 확인 대상자가 상기 등록자인지 여부를 판단하는 얼굴 인식 장치.
  7. 제 1 항에 있어서, 상기 분류부는 상기 특징 벡터들에 대해 선형 판별 분석을 수행하여 상기 관찰 노드들을 생성하는 얼굴 인식 장치.
  8. 제 1 항에 있어서, 상기 얼굴 영상 생성부는 상기 얼굴 영상에서 얼굴 및 두 눈을 검출하고, 상기 두 눈 사이의 거리를 검출하고, 상기 검출된 거리를 조정하여 상기 복수의 서브 영상들을 생성하는 얼굴 인식 장치.
  9. 신원 확인 대상자의 얼굴 영상이 입력되면, 상기 얼굴 영상을 이용하여 얼굴 사이즈가 서로 다른 복수의 서브 영상들을 생성하고;
    상기 복수의 서브 영상들에 아이(I)-형 곡선 가버 필터링을 수행하여 상기 복수의 서브 영상들의 특징 벡터들을 각각 생성하고, 상기 특징 벡터들에 기초하여 복수의 관찰 노드들을 생성하고;
    상기 관찰 노드들과 미리 저장된 등록자의 서브 영상들에 대한 기준 노드들을 얼굴 사이즈별로 비교하여 상기 관찰 노드들과 상기 기준 노드들 사이의 각 유사도들을 산출하고;
    상기 각 유사도들에 기초하여 각 상태 노드들을 생성하고;
    상기 관찰 노드들과 상기 상태 노드들을 비교하고, 상기 상태 노드들을 서로 비교하여 얼굴 인식을 수행하는 얼굴 인식 방법.
  10. 제 9 항에 있어서, 상기 얼굴 인식을 수행하는 것은,
    상기 관찰 노드들 및 상기 상태 노드들에 대해 마코브 네트워크를 수행하는 얼굴 인식 방법.
  11. 제 10 항에 있어서,
    상기 얼굴 사이즈별 상기 관찰 노드들과 상기 기준 노드들 사이의 유사도를 이용하여 상기 유사도가 참일 경우의 확률 모델과 상기 유사도가 거짓일 경우의 확률 모델을 별도로 설계하는 것을 더 포함하는 얼굴 인식 방법.
  12. 제 11 항에 있어서, 상기 별도로 설계하는 것은,
    신뢰 전달(Belief Propagation)을 이용하여 상기 상태 노드들 및 상기 관찰 노드들 각각을 설계하는 것인 얼굴 인식 방법.
  13. 제 12 항에 있어서, 상기 별도로 설계하는 것은,
    상기 신뢰 전달을 위한 벡터 및 호환 매트릭스를 설계하고;
    상기 설계된 벡터 및 호환 매트릭스를 상기 마코브 네트워크에 반영하는 것을 포함하는 얼굴 인식 방법.
  14. 제 13 항에 있어서, 상기 얼굴 인식을 수행하는 것은,
    상기 확률 모델들을 이용하여 상기 벡터에 대응하는 확률값과 상기 호환 매트릭스에 대응하는 확률값을 산출하고;
    상기 벡터에 대응하는 확률값과 상기 호환 매트릭스에 대응하는 확률값을 비교하고;
    호환 매트릭스들 간의 확률값들을 비교하여 상기 신원 확인 대상자가 상기 등록자인지 여부를 판단하는 것을 포함하는 얼굴 인식 방법.
  15. 제 9 항에 있어서, 상기 관찰 노드들을 생성하는 것은,
    상기 특징 벡터들에 대해 선형 판별 분석을 수행하여 상기 관찰 노드들을 생성하는 것인 얼굴 인식 방법.
  16. 제 9 항에 있어서, 상기 복수의 서브 영상들을 생성하는 것은,
    상기 얼굴 영상에서 얼굴 및 두 눈을 검출하고;
    상기 두 눈 사이의 거리를 검출하고, 상기 검출된 거리를 조정하여 상기 복수의 서브 영상들을 생성하는 것을 포함하는 얼굴 인식 방법.
KR1020100131261A 2010-12-21 2010-12-21 얼굴 인식 장치 및 그 방법 KR101760258B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100131261A KR101760258B1 (ko) 2010-12-21 2010-12-21 얼굴 인식 장치 및 그 방법
US13/293,459 US8837786B2 (en) 2010-12-21 2011-11-10 Face recognition apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131261A KR101760258B1 (ko) 2010-12-21 2010-12-21 얼굴 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120069922A KR20120069922A (ko) 2012-06-29
KR101760258B1 true KR101760258B1 (ko) 2017-07-21

Family

ID=46234484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131261A KR101760258B1 (ko) 2010-12-21 2010-12-21 얼굴 인식 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8837786B2 (ko)
KR (1) KR101760258B1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286457B2 (en) 2004-06-14 2016-03-15 Rodney Beatson Method and system for providing password-free, hardware-rooted, ASIC-based authentication of a human to a mobile device using biometrics with a protected, local template to release trusted credentials to relying parties
KR101743927B1 (ko) * 2010-09-09 2017-06-20 삼성전자주식회사 확장된 곡선형 가버 필터를 이용한 객체 기술자 생성 방법 및 장치
KR101901591B1 (ko) 2011-11-01 2018-09-28 삼성전자주식회사 얼굴 인식 장치 및 그 제어방법
US9552373B2 (en) 2011-12-01 2017-01-24 Telefonaktiebolaget Lm Ericsson (Publ) Method for performing face recognition in a radio access network
US9846799B2 (en) 2012-05-18 2017-12-19 Apple Inc. Efficient texture comparison
US9135496B2 (en) 2012-05-18 2015-09-15 Apple Inc. Efficient texture comparison
US9202099B2 (en) 2012-06-29 2015-12-01 Apple Inc. Fingerprint sensing and enrollment
US9715616B2 (en) 2012-06-29 2017-07-25 Apple Inc. Fingerprint sensing and enrollment
CN105164700B (zh) 2012-10-11 2019-12-24 开文公司 使用概率模型在视觉数据中检测对象
US9111125B2 (en) 2013-02-08 2015-08-18 Apple Inc. Fingerprint imaging and quality characterization
US10068120B2 (en) 2013-03-15 2018-09-04 Apple Inc. High dynamic range fingerprint sensing
KR101506155B1 (ko) * 2013-12-12 2015-03-26 주식회사 슈프리마 생체 인증 장치와 얼굴 검출 방법
CN103617436B (zh) * 2013-12-17 2017-01-25 山东大学 基于差分切片能量图和Gabor变换的微表情识别方法
KR102222318B1 (ko) * 2014-03-18 2021-03-03 삼성전자주식회사 사용자 인식 방법 및 장치
CN103927518B (zh) * 2014-04-14 2017-07-07 中国华戎控股有限公司 一种用于人脸分析系统的人脸特征提取方法
KR102077260B1 (ko) * 2014-08-08 2020-02-13 삼성전자주식회사 확룔 모델에 기반한 신뢰도를 이용하여 얼굴을 인식하는 방법 및 장치
EP3298506A1 (en) 2015-05-19 2018-03-28 Entit Software LLC Database comparison operation to identify an object
CN105095873B (zh) * 2015-07-31 2018-12-18 小米科技有限责任公司 照片共享方法、装置
CN105160348B (zh) * 2015-08-04 2018-06-12 大连海事大学 基于图像统计特征的现场痕迹自动同一认定方法及系统
CN105259757B (zh) * 2015-10-22 2017-10-17 山东科技大学 一种受控随机系统的无限时域鲁棒控制器的控制方法
US10275684B2 (en) 2015-11-04 2019-04-30 Samsung Electronics Co., Ltd. Authentication method and apparatus, and method and apparatus for training a recognizer
CN105512624B (zh) * 2015-12-01 2019-06-21 天津中科智能识别产业技术研究院有限公司 一种人脸图像的笑脸识别方法及其装置
US20170206403A1 (en) * 2016-01-19 2017-07-20 Jason RAMBACH Method of distributed face recognition and system thereof
KR102221118B1 (ko) 2016-02-16 2021-02-26 삼성전자주식회사 영상의 특징을 추출하여 객체를 인식하는 방법
JP6948128B2 (ja) 2017-01-13 2021-10-13 キヤノン株式会社 映像監視装置及びその制御方法及びシステム
US11120264B2 (en) 2017-06-02 2021-09-14 Apple Inc. Augmented reality interface for facilitating identification of arriving vehicle
CN107273845B (zh) * 2017-06-12 2020-10-02 大连海事大学 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN110363048B (zh) * 2018-04-04 2020-04-24 阿里巴巴集团控股有限公司 人脸识别方法及装置
KR102063745B1 (ko) * 2018-05-04 2020-02-11 한국과학기술연구원 측면 프로파일링 기반 신원확인 장치 및 방법
KR102085427B1 (ko) * 2018-05-23 2020-03-05 한국과학기술원 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
WO2019225799A1 (ko) * 2018-05-23 2019-11-28 한국과학기술원 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
CN109858463B (zh) * 2019-02-22 2021-03-26 成都云鼎丝路信息技术有限公司 一种双引擎用户识别方法、系统及终端
CN111950429B (zh) * 2020-08-07 2023-11-14 南京审计大学 一种基于加权协同表示的人脸识别方法
CN111783752A (zh) * 2020-08-21 2020-10-16 北京市商汤科技开发有限公司 人脸识别方法及装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161504A1 (en) * 2002-02-27 2003-08-28 Nec Corporation Image recognition system and recognition method thereof, and program
US20060251339A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling the use of captured images through recognition
US20070172099A1 (en) * 2006-01-13 2007-07-26 Samsung Electronics Co., Ltd. Scalable face recognition method and apparatus based on complementary features of face image
US20070239683A1 (en) * 2006-04-07 2007-10-11 Eastman Kodak Company Identifying unique objects in multiple image collections
US20090316962A1 (en) * 2008-06-18 2009-12-24 Sun Yun Image Processing Apparatus, Image Processing Method, and Program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161504A1 (en) * 2002-02-27 2003-08-28 Nec Corporation Image recognition system and recognition method thereof, and program
US20060251339A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling the use of captured images through recognition
US20070172099A1 (en) * 2006-01-13 2007-07-26 Samsung Electronics Co., Ltd. Scalable face recognition method and apparatus based on complementary features of face image
US20070239683A1 (en) * 2006-04-07 2007-10-11 Eastman Kodak Company Identifying unique objects in multiple image collections
US20090316962A1 (en) * 2008-06-18 2009-12-24 Sun Yun Image Processing Apparatus, Image Processing Method, and Program

Also Published As

Publication number Publication date
US20120155718A1 (en) 2012-06-21
US8837786B2 (en) 2014-09-16
KR20120069922A (ko) 2012-06-29

Similar Documents

Publication Publication Date Title
KR101760258B1 (ko) 얼굴 인식 장치 및 그 방법
KR101901591B1 (ko) 얼굴 인식 장치 및 그 제어방법
US7912253B2 (en) Object recognition method and apparatus therefor
WO2017107957A9 (zh) 人脸图像的检索方法及装置
KR100608595B1 (ko) 얼굴 인식 방법 및 장치
Kashem et al. Face recognition system based on principal component analysis (PCA) with back propagation neural networks (BPNN)
KR101793510B1 (ko) 얼굴 학습 및 인식 시스템과 그 방법
EP2920742A2 (en) Devices, systems, and methods for visual-attribute refinement
KR20160066380A (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
KR101464446B1 (ko) 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
Sharma Designing of face recognition system
JP2008251039A (ja) 画像認識システム及びその認識方法並びにプログラム
Anthony et al. A review of face anti-spoofing methods for face recognition systems
Boodoo et al. Robust multi biometric recognition using face and ear images
Geetha et al. 3D face recognition using Hadoop
Masaoud et al. A review paper on ear recognition techniques: models, algorithms and methods
Chen Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning
Mattar Principal components analysis based iris recognition and identification system
JP4061405B2 (ja) 顔画像分類登録装置
TW202111602A (zh) 生物特徵資料庫的建立方法、臉部識別方法與系統
Borade et al. Comparative study of principal component analysis and independent component analysis
Peng et al. A software framework for PCa-based face recognition
Indumathi et al. Pose invariant face recognition using HMM and SVM using PCA for dimensionality reduction
JP3995614B2 (ja) パターン認識用辞書生成装置及び方法、パターン認識装置及び方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant