KR101373274B1 - 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치 - Google Patents

안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치 Download PDF

Info

Publication number
KR101373274B1
KR101373274B1 KR1020120126285A KR20120126285A KR101373274B1 KR 101373274 B1 KR101373274 B1 KR 101373274B1 KR 1020120126285 A KR1020120126285 A KR 1020120126285A KR 20120126285 A KR20120126285 A KR 20120126285A KR 101373274 B1 KR101373274 B1 KR 101373274B1
Authority
KR
South Korea
Prior art keywords
glasses
candidate region
image
face
extracted
Prior art date
Application number
KR1020120126285A
Other languages
English (en)
Inventor
박흥준
오철균
김익동
정연술
Original Assignee
주식회사 크라스아이디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라스아이디 filed Critical 주식회사 크라스아이디
Priority to KR1020120126285A priority Critical patent/KR101373274B1/ko
Application granted granted Critical
Publication of KR101373274B1 publication Critical patent/KR101373274B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치가 개시된다.
개시되는 안경 제거를 통한 얼굴 인식 방법은 (a) 그레이 스케일로 이루어진 입력 영상으로부터 얼굴 영역을 추출 얼굴 영상으로 추출하는 단계; (b) 상기 (a) 단계에서 추출된 상기 추출 얼굴 영상에서 안경 후보 영역을 검출하고, 상기 안경 후보 영역에 안경의 존재 여부를 판단하는 단계; (c) 상기 (b) 단계의 판단 결과, 상기 안경 후보 영역에 상기 안경이 존재하는 것으로 판단되면, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역과 데이터베이스에 미리 저장된 복수의 인물 정보 중 임의의 하나의 인물 정보의 안경 후보 영역에 대한 평균 영상을 이용하여, 중간 재구성 후보 영역을 도출하는 단계; (d) 상기 (c) 단계에서 도출된 상기 중간 재구성 후보 영역으로 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역을 치환하는 단계; (e) 상기 (c) 단계 및 상기 (d) 단계가 미리 설정된 반복 횟수만큼 이루어지도록 반복하는 단계; (f) 상기 (e) 단계를 거치면서 최종 도출된 중간 재구성 후보 영역을 최종 재구성 후보 영역으로 확정하는 단계; (g) 상기 (f) 단계에서 확정된 상기 최종 재구성 후보 영역으로 상기 추출 얼굴 영상의 상기 안경 후보 영역 부분을 치환함으로써, 상기 추출 얼굴 영상과 상기 최종 재구성 후보 영역을 조합하여 조합 얼굴 영상을 도출하는 단계; 및 (h) 상기 (g) 단계에서 도출된 상기 조합 얼굴 영상에서 안경 제거 얼굴 영상에 기반한 특징 정보를 추출하고, 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 상기 데이터베이스에서 불러온 상기 임의의 하나의 인물 정보의 매칭 여부에 따라 동일인 여부를 판별하는 단계;를 포함한다.
개시되는 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치에 의하면, 안경을 착용한 경우 안경에서 빛에 의해 반사되는 영역의 크기 및 명암도를 자동으로 분석하고, 안경에 의해 발생되는 글레어(glare) 및 안경테를 인물 영상에서 제거시킴으로써, 사용자에게 착용된 안경, 특히 안경에 의해 반사되는 영역에 의해 얼굴 인식 장치에서 얼굴 인식률이 저하되는 것을 방지하고, 얼굴 인식률을 향상시킬 수 있으므로, 안경을 착용한 사용자에 대한 빠르고도 정확한 얼굴 인식이 가능할 수 있는 장점이 있다.

Description

안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치{Face recognition method by glasses removal and face recognition apparatus using the face recognition method}
본 발명은 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치에 관한 것이다.
얼굴 인식 장치는 생체 인식 기술 중 비접촉식으로 사용자의 신분을 간편하게 확인할 수 있는 얼굴 인식 기술을 구현하는 것이다.
이러한 얼굴 인식 장치의 예로, 본 출원의 출원인이 이미 특허 출원하여 등록받은 등록특허 제10-0904916호(발명의 명칭: 얼굴 인식 시스템 및 방법, 등록공고일자: 2009년07월01일) 등이 제시될 수 있다.
그러나, 상기 등록특허를 포함한 종래의 얼굴 인식 장치에서는, 사용자가 안경을 착용하고 있는 경우, 조명 상황에 따라 안경 표면에 형성되는 빛의 다양한 반사 패턴으로 인해, 얼굴 인식 장치에서 얼굴의 특징 추출이 어려워지거나 그러한 특징 추출의 정확도가 떨어져서, 결국 얼굴 인식 장치의 얼굴 인식률이 현저히 떨어지게 되는 단점이 있었다.
이러한 사용자가 안경을 착용한 경우의 얼굴 인식 장치의 얼굴 인식률 저하 문제를 해결하기 위하여, 사전 등록 시 사용자가 안경을 착용한 경우와 안경을 착용하지 아니한 경우의 두 단계의 과정을 거치도록 하거나, 기구적으로 안경에 의한 빛 반사를 감소시키는 등 다양한 방안이 제시되고 있으나, 이러한 방식들로는 사용자에게 불편함을 초래하거나 안정적인 인식률 획득이 어려워서, 빠른 얼굴 인식이 가능하면서도 정확한 얼굴 인식이 가능하도록 하는 얼굴 인식 장치에 대한 제시가 여전히 요구되고 있다.
본 발명은 안경을 착용한 사용자에 대한 빠르고도 정확한 얼굴 인식이 가능한 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치를 제공하는 것을 일 목적으로 한다.
본 발명의 일 측면에 따른 안경 제거를 통한 얼굴 인식 방법은 (a) 그레이 스케일로 이루어진 입력 영상으로부터 얼굴 영역을 추출 얼굴 영상으로 추출하는 단계; (b) 상기 (a) 단계에서 추출된 상기 추출 얼굴 영상에서 안경 후보 영역을 검출하고, 상기 안경 후보 영역에 안경의 존재 여부를 판단하는 단계; (c) 상기 (b) 단계의 판단 결과, 상기 안경 후보 영역에 상기 안경이 존재하는 것으로 판단되면, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역과 데이터베이스에 미리 저장된 복수의 인물 정보 중 임의의 하나의 인물 정보의 안경 후보 영역에 대한 평균 영상을 이용하여, 중간 재구성 후보 영역을 도출하는 단계; (d) 상기 (c) 단계에서 도출된 상기 중간 재구성 후보 영역으로 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역을 치환하는 단계; (e) 상기 (c) 단계 및 상기 (d) 단계가 미리 설정된 반복 횟수만큼 이루어지도록 반복하는 단계; (f) 상기 (e) 단계를 거치면서 최종 도출된 중간 재구성 후보 영역을 최종 재구성 후보 영역으로 확정하는 단계; (g) 상기 (f) 단계에서 확정된 상기 최종 재구성 후보 영역으로 상기 추출 얼굴 영상의 상기 안경 후보 영역 부분을 치환함으로써, 상기 추출 얼굴 영상과 상기 최종 재구성 후보 영역을 조합하여 조합 얼굴 영상을 도출하는 단계; 및 (h) 상기 (g) 단계에서 도출된 상기 조합 얼굴 영상에서 안경 제거 얼굴 영상에 기반한 특징 정보를 추출하고, 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 상기 데이터베이스에서 불러온 상기 임의의 하나의 인물 정보의 매칭 여부에 따라 동일인 여부를 판별하는 단계;를 포함한다.
본 발명의 일 측면에 따른 얼굴 인식 장치는 입력 영상으로부터 얼굴 영역을 추출 얼굴 영상으로 추출하는 얼굴 추출부; 상기 얼굴 추출부에 의해 추출된 상기 추출 얼굴 영상에서 안경 후보 영역을 검출하고, 상기 안경 후보 영역에서 산출된 반사 면적 또는 에지(edge) 정보에 따라 상기 안경 후보 영역에 안경의 존재 여부를 판단하는 안경 검출부; 상기 안경 검출부에 의해 상기 안경 후보 영역에 상기 안경이 존재하는 것으로 판단되면, 상기 안경 후보 영역에서 상기 안경을 제거하여, 안경 제거 얼굴 영상을 형성하는 안경 제거부; 및 상기 안경 제거부에서 형성된 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 데이터베이스에 저장된 인물 영상의 특징 정보를 비교하여, 상기 입력 영상의 얼굴을 인식하는 얼굴 인식부;를 포함하고,
상기 안경 제거부는
상기 안경 후보 영역에 상기 안경이 존재하는 것으로 판단되면, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역과 상기 데이터베이스에 미리 저장된 복수의 인물 정보 중 임의의 하나의 인물 정보의 안경 후보 영역에 대한 평균 영상을 이용하여, 중간 재구성 후보 영역을 도출하고,
상기와 같이 도출된 상기 중간 재구성 후보 영역으로 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역을 치환하며,
상기 중간 재구성 후보 영역을 도출하여 상기 중간 재구성 후보 영역으로 상기 안경 후보 영역을 치환하는 과정이 미리 설정된 반복 횟수만큼 이루어지도록 반복하고,
상기 중간 재구성 후보 영역을 도출하여 상기 중간 재구성 후보 영역으로 상기 안경 후보 영역을 치환하는 과정이 미리 설정된 반복 횟수만큼 반복되어 최종 도출된 중간 재구성 후보 영역을 최종 재구성 후보 영역으로 확정하며,
상기 얼굴 인식부는
상기 최종 재구성 후보 영역으로 상기 추출 얼굴 영상의 상기 안경 후보 영역 부분을 치환함으로써, 상기 추출 얼굴 영상과 상기 최종 재구성 후보 영역을 조합하여 조합 얼굴 영상을 도출하고,
상기 조합 얼굴 영상에서 상기 안경 제거 얼굴 영상에 기반한 특징 정보를 추출하고, 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 상기 데이터베이스에서 불러온 상기 임의의 하나의 인물 정보의 매칭 여부에 따라 동일인 여부를 판별하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치에 의하면, 안경을 착용한 경우 안경에서 빛에 의해 반사되는 영역의 크기 및 명암도를 자동으로 분석하고, 안경에 의해 발생되는 글레어(glare) 및 안경테를 인물 영상에서 제거시킴으로써, 사용자에게 착용된 안경, 특히 안경에 의해 반사되는 영역에 의해 얼굴 인식 장치에서 얼굴 인식률이 저하되는 것을 방지하고, 얼굴 인식률을 향상시킬 수 있으므로, 안경을 착용한 사용자에 대한 빠르고도 정확한 얼굴 인식이 가능할 수 있는 효과가 있다.
또한, 상기 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치에서는, 그레이 스케일로 이루어진 영상을 이용하므로, 컬러 영상을 이용하는 경우에 비해, 처리해야 할 데이터 양이 감소되어, 시스템의 처리 속도가 향상될 수 있는 효과가 있다.
또한, 상기 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치에서는, 사전 등록 시에 등록 대상 인물에 대해 각 개인별로 주성분 분석법에 의한 학습이 이루어지므로, 인식할 때 정확도가 향상될 수 있는 효과가 있다.
또한, 상기 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치에서는, 안경 후보 영역에 대해서만 학습 및 영상 재구성 과정이 이루어지므로, 얼굴 전체에 대해 학습 및 재구성 과정을 거치는 경우에 비해, 처리해야 할 데이터 양이 감소되어, 시스템의 처리 속도가 향상될 수 있는 효과가 있다.
도 1은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치의 구성을 보이는 블럭도.
도 2는 본 발명의 제 1 실시예에 따른 얼굴 인식 장치를 구성하는 안경 검출부의 구성을 보이는 블럭도.
도 3 및 도 4는 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 인물 영상의 특징 정보가 데이터베이스화되는 과정을 보이는 순서도.
도 5 및 도 6은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 얼굴 인식 과정을 보이는 순서도.
도 7은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 인식되는 안경 후보 영역을 예시적으로 보이는 도면.
도 8은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 안경 검출 과정을 보이는 순서도.
도 9 및 도 10은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 얼굴 영상 재구성 과정을 보이는 순서도.
도 11은 본 발명의 제 2 실시예에 따른 얼굴 인식 장치를 구성하는 안경 검출부의 구성을 보이는 블럭도.
이하에서는 도면을 참조하여 본 발명의 실시예들에 따른 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치에 대하여 설명한다.
도 1은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치의 구성을 보이는 블럭도이고, 도 2는 본 발명의 제 1 실시예에 따른 얼굴 인식 장치를 구성하는 안경 검출부의 구성을 보이는 블럭도이고, 도 3 및 도 4는 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 인물 영상의 특징 정보가 데이터베이스화되는 과정을 보이는 순서도이고, 도 5 및 도 6은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 얼굴 인식 과정을 보이는 순서도이고, 도 7은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 인식되는 안경 후보 영역을 예시적으로 보이는 도면이고, 도 8은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 안경 검출 과정을 보이는 순서도이고, 도 9 및 도 10은 본 발명의 제 1 실시예에 따른 얼굴 인식 장치에서 얼굴 영상 재구성 과정을 보이는 순서도이다.
도 1 내지 도 10을 함께 참조하면, 본 실시예에 따른 얼굴 인식 장치(100)는 얼굴 추출부(110)와, 안경 검출부(120)와, 안경 제거부(130)와, 얼굴 인식부(140)와, 데이터베이스(150)를 포함한다.
상기 얼굴 추출부(110)는 입력 영상으로부터 얼굴 영역을 추출 얼굴 영상으로 추출하는 것이다.
상기 얼굴 추출부(110)는 상기 입력 영상으로부터 대략적인 얼굴을 검출 후에 그 검출된 얼굴 내의 특정 구성 요소인 눈, 코, 입 등을 추출하고, 이를 바탕으로 얼굴 영역을 추출할 수 있다.
예를 들어, 상기 입력 영상에서 두 눈의 위치가 검출되었다면, 두 눈의 거리를 구할 수 있는데, 상기 얼굴 추출부(110)는 상기와 같이 구해진 두 눈 사이의 거리에 기초하여 상기 입력 영상에서 얼굴 영역을 상기 추출 얼굴 영상으로 추출할 수 있다.
또한, 상기 얼굴 추출부(110)는 추출된 상기 추출 얼굴 영상의 크기를 정규화시킴으로써, 얼굴 영역에서의 두 눈과의 거리, 눈과 코 사이의 거리 등의 고유한 특징들을 동일한 스케일 레벨로 산출할 수 있다. 이러한 정규화는 얼굴 영역에서 눈을 먼저 검출하여 이를 기준으로 얼굴 영상을 등록, 인증 등에 적합한 형태로 정규화시킬 수 있다.
상기 얼굴 추출부(110)는 상기 입력 영상을 그레이 스케일(gray scale)로 변환한 다음 상기 얼굴 영역을 상기 추출 얼굴 영상으로 추출할 수 있다. 이 경우는 카메라 등으로 구성되는 영상 획득부(미도시)에서 촬영되어 상기 얼굴 추출부(110)로 입력되는 상기 입력 영상이 컬러 영상 등 그레이 스케일이 아닌 경우로, 상기 얼굴 추출부(110)가 상기 입력 영상을 그레이 스케일로 변환시켜 줄 수 있다.
이 방식 외에도, 상기 영상 획득부가 일정, 예를 들어 700nm 이상의 파장 영역대의 적외선 스펙트럼의 광만을 통과시키는 적외선 필터를 이용하여 상기 입력 영상을 촬영하는 등의 방식으로, 상기 입력 영상 자체가 그레이 스케일로 상기 얼굴 추출부(110)로 입력되도록 할 수도 있다.
상기와 같이, 상기 입력 영상이 그레이 스케일로 이루어짐에 따라, 상기 얼굴 인식 장치(100)에서 연산 부하가 감소되어, 상기 얼굴 인식 장치(100)에서 빠른 얼굴 인식이 가능할 수 있다.
상기 얼굴 추출부(110)는 상기 추출 얼굴 영상에 좌표를 맵핑할 수 있는데, 이러한 맵핑된 좌표를 기반으로 상기 안경 검출부(120)가 안경 후보 영역(125) 검출 등을 수행할 수 있다.
상기 안경 검출부(120)는 상기 추출 얼굴 영상에서 안경 후보 영역(125)을 검출하고, 상기 안경 후보 영역(125)에서 산출된 반사 면적에 따라 상기 안경 후보 영역(125)에 안경의 존재 여부를 판단하는 것이다.
상기 안경 후보 영역(125)의 각 픽셀에서 휘도값을 각각 산출하여, 상기와 같이 산출된 각 휘도값이 임계값을 넘는지 여부를 판단하여, 각 픽셀에서의 반사 여부를 판별함으로써, 상기 안경 후보 영역(125)에서의 반사 면적이 산출될 수 있다.
상세히, 상기 안경 검출부(120)는 상기 추출 얼굴 영상에서 상기 안경 후보 영역(125)을 검출하는 안경 후보 영역 검출부(121)와, 상기 안경 후보 영역 검출부(121)에 의해 검출된 상기 안경 후보 영역(125)에서 반사 면적을 산출하는 반사 면적 검출부(122)와, 상기 반사 면적 검출부(122)에 의해 산출된 상기 안경 후보 영역(125)의 반사 면적과 미리 설정된 임계값을 비교하는 반사 면적 비교부(123)를 포함한다.
상기 안경 후보 영역(125)의 반사 면적이 상기 미리 설정된 임계값 이상인 경우, 상기 반사 면적 비교부(123)는 상기 안경 후보 영역(125)에 상기 안경이 존재하는 것으로 판단하게 된다.
상기 안경 검출부(120)가 상기 안경 후보 영역(125)에서 상기 안경 표면에서 빛이 반사되는 패턴을 분석하는 과정은 다음과 같이 이루어진다.
Figure 112012091988103-pat00001
Figure 112012091988103-pat00002
Figure 112012091988103-pat00003
Figure 112012091988103-pat00004
여기서, SL과 SR은 각각 안경의 좌측과 우측에서 반사된 부분의 면적을 나타내고, δL은 휘도값의 하위 임계값을, δH는 휘도값의 상위 임계값을 나타낸다. Ixy는 좌표 x, y에서의 휘도값을 나타내고, Bxy는 상기 수학식 1의 조건식에 의해 이진화된 값을 나타낸다. m은 상기 안경 후보 영역(125)에서의 너비를, n은 상기 안경 후보 영역(125)에서의 높이를 각각 나타낸다.
만약, SL과 SR 중 적어도 하나가 δG보다 크게 되면, 상기 안경 검출부(120)가 최종적으로 글레어(glare) 패턴으로 판단하게 된다. 여기서, δG는 미리 설정된 반사 패턴의 임계 크기를 나타낸다.
상기 안경 제거부(130)는 상기 안경 검출부(120)에 의해 상기 안경 후보 영역(125)에 상기 안경이 존재하는 것으로 판단되면, 상기 안경 후보 영역(125)에서 상기 안경을 제거하여, 안경 제거 얼굴 영상을 형성하는 것이다.
상기 안경 후보 영역(125)에서의 상기 안경 제거부(130)에 의한 상기 안경 제거는 주성분 분석법(PCA, principal component analysis)에 의한 재구성 과정을 통해 이루어질 수 있다.
주성분 분석법은 데이터의 입력 공간을 표현하는 전체 차원에서 중요도 순서에 따라 적은 개수의 차원만 선택하더라도 그 데이터의 고유한 성질들을 잘 표현할 수 있다는 이론에 기반한 것으로, 이러한 주성분 분석법은 당업계에서 일반적인 사항이므로, 그 자세한 내용 설명은 생략한다. 본 실시예에서는, 예시적으로 주성분 분석법 중 Turk와 Pentland에 의한 Eigenfaces for Recognition의 방법이 적용될 수 있다.
상기 얼굴 인식부(140)는 상기 안경 제거부(130)에서 형성된 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 데이터베이스(150)에 저장된 인물 영상의 특징 정보를 비교하여, 상기 입력 영상의 얼굴을 인식할 수 있는 것이다. 상기 얼굴 인식부(140)는 상기 안경 제거 얼굴 영상에서 눈 및 동공의 중심을 검출하여, 얼굴 인식에 이용할 수 있다.
여기서, 상기 얼굴 인식부(140)가 상기 안경 제거부(130)에서 형성된 상기 안경 제거 얼굴 영상에 기반한 특징 정보를 취급하는 것으로 제시되나, 이에 국한되는 것이 아니고, 사용자가 안경을 착용하지 않은 경우 상기 얼굴 인식부(140)는 상기 안경 제거부(130)에서 안경 제거 과정을 거치지 아니한 인물 영상에서 바로 특징 정보를 추출하여 얼굴 인식에 이용할 수 있음은 물론이다.
상기 얼굴 인식부(140)는 추출된 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 상기 데이터베이스(150)에 저장된 상기 인물 영상의 특징 정보 사이에서의 거리차가 임계치 내에 있는 경우에 상기 인물 영상의 얼굴과 상기 입력 영상 내의 얼굴을 동일인의 얼굴로 인식할 수 있다.
상기 데이터베이스(150)에는 인식 대상인 복수의 인물 정보에 대한 상기 인물 영상의 특징 정보가 저장된다.
상세히, 상기 데이터베이스(150)에는 그레이 스케일로 이루어진 상기 인물 영상에 대한 주성분 분석법에 의한 학습 과정을 통해 추출되는 상기 인물 영상의 안경 후보 영역에 대한 영상과 상기 주성분 분석법에 의해 학습된 결과 값이 등록 단계에서 사전에 미리 등록될 수 있다. 여기서, 상기 인물 영상은 소정의 인물에 매칭되는 얼굴 영상을 말한다.
상기 데이터베이스(150)에 주성분 분석법에 의해 상기 인물 영상의 특징 정보가 미리 등록될 때에는, 사용자가 안경을 착용하지 아니한 상태의 얼굴에 대해 등록이 이루어질 수 있다.
상기와 같은 등록 과정에서, 사용자의 얼굴에서 안경 착용 시 안경에 의해 가려질 수 있는 안경 후보 영역의 설정 크기는 다양한 안경의 크기를 고려하여 적절한 크기로 설정할 수 있다. 상기 안경 후보 영역의 크기가 너무 크게 형성되면, 그만큼 다양한 크기의 안경에도 적용이 가능해질 수 있는 반면, 얼굴 인식 시에 영향을 받는 부분이 커져서 얼굴 인식 성능에 영향을 미칠 수 있다. 반면, 상기 안경 후보 영역의 크기가 너무 작게 형성되면, 극복할 수 있는 안경의 크기가 작아져서, 얼굴 인식 과정에서 거부율(FRR)이 증가하게 된다.
또한, 상기와 같은 등록 과정에서, 상기 안경 후보 영역에 대한 정보 수집 과정은 상기 안경 후보 영역에 대한 충분한 정보가 축적될 수 있을 정도로 반복적으로 이루어진다.
입력된 상기 안경 후보 영역에 대한 영상들로부터 주성분 분석법에 의하여 고유 벡터들을 추출한 다음, 그러한 추출된 고유 벡터들을 얼굴 특징들과 함께 상기 데이터베이스(150)에 저장시키고, 얼굴 인식 단계에서 영상 조합 등 영상 재구성이 가능하도록 안경 후보 영역에 대한 평균 영상도 함께 상기 데이터베이스(150)에 저장시키게 된다.
물론, 상기 데이터베이스(150)에 등록 시에 안경을 착용한 형태로 등록도 가능하고, 이 경우 상기 데이터베이스(150)에는 안경이 착용된 상태의 인물 영상이 그대로 저장되고, 얼굴 인증 시에 그러한 안경이 착용된 상태의 인물 영상이 그대로 이용될 수도 있다.
한편, 상기 데이터베이스(150)에는 개개인의 등록 인물에 대한 이름, 나이, 주소 등과 같은 신상 정보, 보안 등급 등이 더 저장될 수도 있다.
상기 얼굴 인식부(140)는 상기 얼굴 추출부(110)에서 추출된 상기 추출 얼굴 영상과, 상기 안경 제거부(130)에 의해 형성된 상기 안경 제거 얼굴 영상의 안경 후보 영역을 조합한 조합 얼굴 영상을 형성하고, 상기 조합 얼굴 영상에서 상기 안경 제거 얼굴 영상에 기반한 특징 정보를 추출할 수 있다.
이하에서는 도면을 참조하여, 본 발명의 제 1 실시예에 따른 안경 제거를 통한 얼굴 인식 방법에 대하여 설명한다.
먼저, 도 3 및 도 4를 참조하여, 상기 얼굴 인식 장치(100)에서 인물 영상의 특징 정보가 사전에 데이터베이스화되는 과정을 설명한다.
상기 영상 획득부에서 획득되어 상기 얼굴 추출부(110)로 영상이 입력되면(S110), 상기 얼굴 추출부(110)는 상기 입력 영상으로부터 얼굴 영역을 추출하여 상기 추출 얼굴 영상을 형성한다(S111).
그런 다음, 상기 얼굴 추출부(110)가 상기 추출 얼굴 영상에서 눈을 추출하고(S112), 상기와 같이 추출된 눈의 위치를 기반으로 상기 추출 얼굴 영상을 등록에 적합한 형태로 정규화시킨 다음(S113), 상기 안경 후보 영역 검출부(121)가 상기 추출 얼굴 영상에서 상기 안경 후보 영역(125)을 추출한다(S114).
이러한 상기 안경 후보 영역(125) 추출 과정(S110 내지 S114)을 통해 축적된 상기 안경 후보 영역(125)에 대한 데이터량이 미리 설정된 기준값 이상으로 축적되었는지를 판단한다(S115).
상기 판단(S115) 결과, 상기 안경 후보 영역(125)에 대한 데이터량이 미리 설정된 기준값 이상으로 축적된 것으로 판단되면, 상기 얼굴 인식부(140)가 상기 안경 후보 영역(125)을 포함한 상기 추출 얼굴 영상에 대한 특징 정보를 추출하여(S116), 상기 데이터베이스(150)에 등록시킨다(S117).
반면, 상기 판단(S115) 결과, 상기 안경 후보 영역(125)에 대한 데이터량이 미리 설정된 기준값 이상으로 축적되지 아니한 것으로 판단되면, 상기 안경 후보 영역(125) 추출 과정(S110 내지 S114)을 반복한다.
이하에서는, 도 5, 도 6 및 도 8을 참조하여, 상기 얼굴 인식 장치(100)에서 얼굴 인식이 이루어지는 과정에 대하여 설명한다.
상기 영상 획득부에서 획득되어 상기 얼굴 추출부(110)로 영상이 입력되면(S120), 상기 얼굴 추출부(110)는 상기 입력 영상으로부터 얼굴 영역을 추출하여 상기 추출 얼굴 영상을 형성한다(S121).
그런 다음, 상기 얼굴 추출부(110)가 상기 추출 얼굴 영상에서 눈을 추출하고(S122), 상기와 같이 추출된 눈의 위치를 기반으로 상기 추출 얼굴 영상을 인증에 적합한 형태로 정규화시킨 다음(S123), 상기 안경 검출부(120)가 상기 추출 얼굴 영상에서 상기 안경 후보 영역(125)을 검출하고, 상기 안경 후보 영역(125)에서 산출된 반사 면적에 따라 상기 안경 후보 영역(125)에 안경의 존재 여부를 판단한다(S124).
이 단계(S124)는 상기 안경 후보 영역 검출부(121)가 상기 추출 얼굴 영상에서 상기 안경 후보 영역(125)과 상기 안경 후보 영역(125)에 대한 좌표 데이터를 검출하는 단계(S130)와, 상기 반사 면적 검출부(122)가 상기와 같이 검출된 상기 안경 후보 영역(125)에 대한 좌표 데이터를 입력받아 상기 안경 후보 영역(125) 내의 글레어 크기를 검출하여 상기 안경 후보 영역(125)에서 반사 면적을 산출하는 단계(S131)와, 상기 반사 면적 비교부(123)가 상기와 같이 산출된 상기 안경 후보 영역(125)의 반사 면적과 미리 설정된 임계값을 비교하는 단계(S132)와, 상기 비교(S132) 결과, 상기 안경 후보 영역(125)의 반사 면적이 상기 미리 설정된 임계값 이상인 경우, 상기 안경 후보 영역(125)에 상기 안경이 존재하는 것으로 판단하는 단계(S133)를 포함한다.
상기 비교(S132) 결과, 상기 안경 후보 영역(125)의 반사 면적이 상기 미리 설정된 임계값 미만인 경우, 상기 안경 후보 영역(125)에 상기 안경이 존재하지 아니하는 것으로 판단한다(S134).
상기 판단(S124) 결과, 상기 안경 후보 영역(125)에 상기 안경이 존재하는 것으로 판단되면, 상기 안경 후보 영역(125)에서 상기 안경을 제거하여 최종 재구성 후보 영역 영상을 형성하고(S125), 상기 추출 얼굴 영상과 상기 최종 재구성 후보 영역 영상을 조합한 조합 얼굴 영상을 형성한 다음(S126), 상기 조합 얼굴 영상에서 상기 안경 제거 얼굴 영상에 기반한 특징 정보를 추출한다(S127).
상세히, 도 9 및 도 10에 도시된 바와 같이, 상기 안경 후보 영역(125)에 상기 안경이 존재하는 것으로 판단되면, 상기 추출 얼굴 영상에서 상기 안경 후보 영역(125)을 추출한다(S140).
그런 다음, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역(125)과 상기 데이터베이스(150)에 저장된 복수의 인물 정보 중 임의의 하나의 인물 정보에 대한 안경 후보 영역에 대한 학습된 고유 벡터값과 평균 영상을 이용하여, PCA 재구성 과정에서 중간 재구성 후보 영역을 도출한다(S141).
상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역(125)에는 안경이 존재하고, 상기 데이터베이스(150)에서 불러온 안경 후보 영역에 대한 평균 영상에는 안경이 존재하지 아니하는데, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역(125)과 상기 데이터베이스(150)에서 불러온 안경 후보 영역에 대한 평균 영상에 각각 소정의 가중치를 부여하여 두 영역의 이미지를 혼합 재구성한다. 그러면, 안경이 일정 부분 제거된 상기 중간 재구성 후보 영역의 이미지가 도출될 수 있다.
여기서, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역(125)과 상기 데이터베이스(150)에서 불러온 안경 후보 영역에 대한 평균 영상에 각각 부여되는 소정의 가중치는 안경 제거에 적합하도록 반복 실험을 통해 미리 도출되어진 값들로, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역(125)과 상기 데이터베이스(150)에서 불러온 안경 후보 영역에 대한 평균 영상에 각각 부여되는 소정의 가중치의 합은 1이 될 수 있고, 미리 설정되어 입력되어진 것이다.
그 후, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역(125)을 상기와 같이 도출된 상기 중간 재구성 후보 영역으로 치환하고(S142), 상기와 같은 상기 중간 재구성 후보 영역 도출 및 치환에 관한 단계(S141 및 S142)가 미리 설정된 반복 횟수만큼 이루어졌는지를 판단한다(S143).
상기 판단(S143) 결과, 상기 중간 재구성 후보 영역 도출 및 치환에 관한 단계(S141 및 S142)가 미리 설정된 반복 횟수만큼 이루어지지 않은 것으로 판단되면, 상기 중간 재구성 후보 영역 도출 및 치환에 관한 단계(S141 및 S142)가 미리 설정된 반복 횟수만큼 이루어지도록 반복하여 수행한다. 이러한 반복 수행을 통해 최종 도출되는 중간 재구성 후보 영역은 안경은 물론 잡음 성분이 제거된 양호한 품질 상태로 된다.
상기 판단(S143) 결과, 상기 중간 재구성 후보 영역 도출 및 치환에 관한 단계(S141 및 S142)가 미리 설정된 반복 횟수만큼 이루어진 것으로 판단되면, 최종 도출된 중간 재구성 후보 영역을 최종 재구성 후보 영역으로 확정한다(S144).
그런 다음, 상기 추출 얼굴 영상의 상기 안경 후보 영역(125) 부분을 상기 최종 재구성 후보 영역으로 치환함으로써, 상기 추출 얼굴 영상과 상기 최종 재구성 후보 영역을 조합하여, 상기 조합 얼굴 영상을 도출한다(S145).
상기된 단계들(S140 내지 S145)은 얼굴 영상 재구성 과정으로 정의될 수 있다.
상기와 같은 얼굴 영상 재구성 과정(S140 내지 S145)을 통해 상기 데이터베이스(150)에 저장된 복수의 인물 정보 중 임의의 하나의 인물에 대한 조합 얼굴 영상이 추출될 수 있다.
그 후, 상기와 같은 얼굴 영상 재구성 과정을 거친 임의의 하나의 인물에 대한 상기 조합 얼굴 영상에서, 상기 안경 제거 얼굴 영상에 기반한 특징 정보를 추출한다(S127).
반면, 상기 판단(S124) 결과, 상기 안경 후보 영역(125)에 상기 안경이 존재하지 아니하는 것으로 판단되면, 상기 안경 제거(S125) 및 상기 영상 조합(S126) 단계를 거치지 아니하고, 곧바로 상기 추출 얼굴 영상에서 상기 안경 제거 얼굴 영상에 기반한 특징 정보를 추출한다(S127).
그런 다음, 상기와 같이 추출된 상기 안경 제거 얼굴 영상에 기반한 특징 정보와, 상기 데이터베이스(150)에서 불러온 상기 임의의 하나의 인물에 대한 인물 영상의 특징 정보를 비교하여, 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 상기 데이터베이스(150)에서 불러온 상기 임의의 하나의 인물 정보의 매칭 여부에 따라, 상기 입력 영상 상의 인물과 상기 데이터베이스(150)에서 불러온 인물 영상의 특징 정보에 대한 인물이 동일인인지 여부를 판단한다(S128).
상기 판단(S128) 결과, 상기 입력 영상 상의 인물과 상기 데이터베이스(150)에서 불러온 인물 영상의 특징 정보에 대한 인물이 동일인으로 판단되면, 상기와 같은 얼굴 인증 과정을 종료한다.
반면, 상기 판단(S128) 결과, 상기 입력 영상 상의 인물과 상기 데이터베이스(150)에서 불러온 인물 영상의 특징 정보에 대한 인물이 동일인이 아닌 것으로 판단되면, 상기 데이터베이스(150)에 저장된 복수의 인물 정보 중 상기에서 불러온 비교 대상이 된 임의의 인물이 아닌 다른 임의의 인물에 대해, 상기 데이터베이스(150)에서 해당 인물에 대한 평균 영상을 불러와서 상기 얼굴 영상 재구성 과정(S140 내지 S145)을 다시 수행하고, 다시 수행된 얼굴 영상 재구성 과정(S140 내지 S145)에서 추출되는 최종 재구성 후보 영역을 이용하여 특징 정보 추출(S127) 및 얼굴 인식(S128) 과정을 반복한다.
상기와 같은 과정(S140 내지 S145, S127 및 S128) 반복은 상기 데이터베이스(150)에 저장된 복수의 인물 정보 중 상기 입력 영상 상의 인물에 대한 정보와 매칭되는 인물 정보가 도출될 때까지 반복되고, 상기 데이터베이스(150)에 저장된 복수의 인물에 대해 모두 상기와 같은 과정(S140 내지 S145, S127 및 S128)을 반복하였는데도 매칭되는 인물이 없으면, 얼굴 인식에 실패한 것으로 처리한다.
본 실시예에 따른 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치(100)에 의하면, 안경을 착용한 경우 안경에서 빛에 의해 반사되는 영역의 크기 및 명암도를 자동으로 분석하고, 상기 안경에 의해 발생되는 글레어(glare) 및 안경테를 인물 영상에서 제거시킴으로써, 사용자에게 착용된 안경, 특히 안경에 의해 반사되는 영역에 의해 상기 얼굴 인식 장치(100)에서 얼굴 인식률이 저하되는 것을 방지하고, 얼굴 인식률을 향상시킬 수 있으므로, 안경을 착용한 사용자에 대한 빠르고도 정확한 얼굴 인식이 가능하다.
또한, 상기 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치(100)에서는, 그레이 스케일로 이루어진 영상을 이용하므로, 컬러 영상을 이용하는 경우에 비해, 처리해야 할 데이터 양이 감소되어, 시스템의 처리 속도가 향상될 수 있다.
또한, 상기 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치(100)에서는, 사전 등록 시에 등록 대상 인물에 대해 각 개인별로 주성분 분석법에 의한 학습이 이루어지므로, 인식할 때 정확도가 향상될 수 있다.
또한, 상기 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치(100)에서는, 안경 후보 영역(125)에 대해서만 학습 및 영상 재구성 과정이 이루어지므로, 얼굴 전체에 대해 학습 및 재구성 과정을 거치는 경우에 비해, 처리해야 할 데이터 양이 감소되어, 시스템의 처리 속도가 향상될 수 있다.
이하에서는 본 발명의 제 2 실시예에 따른 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치에 대하여 설명한다. 이러한 설명을 수행함에 있어서, 상기된 본 발명의 제 1 실시예에서 이미 기재된 내용과 중복되는 설명은 그에 갈음하고, 여기서는 생략하기로 한다.
도 11은 본 발명의 제 2 실시예에 따른 얼굴 인식 장치를 구성하는 안경 검출부의 구성을 보이는 블럭도이다.
도 11을 참조하면, 본 실시예에서는, 안경 검출부(220)가 얼굴 추출부(110)에 의해 추출된 추출 얼굴 영상에서 안경 후보 영역(125)을 검출하고, 상기 안경 후보 영역(125)에서 산출된 에지(edge) 정보에 따라 상기 안경 후보 영역(125)에 안경의 존재 여부를 판단하는 것이다.
상세히, 상기 안경 검출부(220)는 상기 추출 얼굴 영상에서 상기 안경 후보 영역(125)을 검출하는 안경 후보 영역 검출부(221)와, 상기 안경 후보 영역 검출부(221)에 의해 검출된 상기 안경 후보 영역(125)에 대한 에지 합을 산출하는 에지 합 검출부(222)와, 상기 에지 합 검출부(222)에 의해 산출된 상기 안경 후보 영역(125)의 에지 합과 미리 설정된 기준 에지 합을 비교하는 에지 합 비교부(223)를 포함한다.
상기 안경 후보 영역(125)의 에지 합이 상기 미리 설정된 기준 에지 합 이상인 경우, 상기 에지 합 비교부(223)는 상기 안경 후보 영역(125)에 상기 안경이 존재하는 것으로 판단하게 된다.
상세히, 상기 얼굴 추출부(110)가 상기 추출 얼굴 영상에서 눈을 추출하고, 상기 추출 얼굴 영상을 정규화시킨 다음, 상기 안경 검출부(220)가 상기 추출 얼굴 영상에서 상기 안경 후보 영역(125)을 검출하고, 상기 안경 후보 영역(125)의 에지 합에 따라 상기 안경 후보 영역(125)에 안경의 존재 여부를 판단한다.
이러한 판단에 있어서는, 상기 안경 후보 영역 검출부(221)가 상기 추출 얼굴 영상에서 상기 안경 후보 영역(125)을 검출하고, 상기 에지 합 검출부(222)가 상기와 같이 검출된 상기 안경 후보 영역(125)에서 상기 안경 후보 영역(125)에 대한 에지 합을 산출하며, 상기 에지 합 비교부(223)가 상기와 같이 산출된 상기 안경 후보 영역(125)의 에지 합과 미리 설정된 기준 에지 합을 비교하여, 상기 비교 결과, 상기 안경 후보 영역(125)의 에지 합이 상기 미리 설정된 기준 에지 합 이상인 경우, 상기 안경 후보 영역(125)에 상기 안경이 존재하는 것으로 판단한다.
상기 안경 검출부(220)가 상기 안경 후보 영역(125)에서 상기 안경의 존재를 판단하는 과정은 다음과 같이 이루어진다.
Figure 112012091988103-pat00005
여기서, M은 상기 안경 후보 영역(125)에 대한 전체 화소의 수를 나타내고, Edgexy는 영상의 좌표 x, y에서의 화소 값과 인접 화소 값들 간의 에지의 크기 또는 그레디언트(gradient)의 크기를 나타내며, ETh는 안경 착용 여부를 판별하기 위해 미리 설정된 기준값을 나타내고, m은 상기 안경 후보 영역(125)의 y축 시작점을 나타내고, n은 y축 끝 지점의 좌표를 나타내며, i는 상기 안경 후보 영역(125)의 x축 시작점을 나타내고, j는 x축 끝 지점의 좌표를 나타낸다.
한편, 상기 안경 검출부(120, 220)가 상기 안경의 존재 여부를 검출하는 상기된 실시예들에서의 각 방식들은 각각 독립적으로 또는 복합적으로 적용될 수 있다.
상기에서 본 발명은 특정한 실시예에 관하여 도시되고 설명되었지만, 당업계에서 통상의 지식을 가진 자라면 이하의 특허청구범위에 기재된 본 발명의 사상 및 영역을 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 알 수 있을 것이다. 그렇지만 이러한 수정 및 변형 구조들은 모두 본 발명의 권리범위 내에 포함되는 것임을 분명하게 밝혀두고자 한다.
본 실시예에 따른 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치에 의하면, 안경을 착용한 사용자에 대한 빠르고도 정확한 얼굴 인식이 가능하므로, 그 산업상 이용가능성이 높다고 하겠다.
100 : 얼굴 인식 장치 110 : 얼굴 추출부
120 : 안경 검출부 130 : 안경 제거부
140 : 얼굴 인식부 150 : 데이터베이스

Claims (12)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. (a) 그레이 스케일로 이루어진 입력 영상으로부터 얼굴 영역을 추출 얼굴 영상으로 추출하는 단계;
    (b) 상기 (a) 단계에서 추출된 상기 추출 얼굴 영상에서 안경 후보 영역을 검출하고, 상기 안경 후보 영역에 안경의 존재 여부를 판단하는 단계;
    (c) 상기 (b) 단계의 판단 결과, 상기 안경 후보 영역에 상기 안경이 존재하는 것으로 판단되면, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역과 데이터베이스에 미리 저장된 복수의 인물 정보 중 임의의 하나의 인물 정보의 안경 후보 영역에 대한 평균 영상을 이용하여, 중간 재구성 후보 영역을 도출하는 단계;
    (d) 상기 (c) 단계에서 도출된 상기 중간 재구성 후보 영역으로 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역을 치환하는 단계;
    (e) 상기 (c) 단계 및 상기 (d) 단계가 미리 설정된 반복 횟수만큼 이루어지도록 반복하는 단계;
    (f) 상기 (e) 단계를 거치면서 최종 도출된 중간 재구성 후보 영역을 최종 재구성 후보 영역으로 확정하는 단계;
    (g) 상기 (f) 단계에서 확정된 상기 최종 재구성 후보 영역으로 상기 추출 얼굴 영상의 상기 안경 후보 영역 부분을 치환함으로써, 상기 추출 얼굴 영상과 상기 최종 재구성 후보 영역을 조합하여 조합 얼굴 영상을 도출하는 단계; 및
    (h) 상기 (g) 단계에서 도출된 상기 조합 얼굴 영상에서 안경 제거 얼굴 영상에 기반한 특징 정보를 추출하고, 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 상기 데이터베이스에서 불러온 상기 임의의 하나의 인물 정보의 매칭 여부에 따라 동일인 여부를 판별하는 단계;를 포함하는 안경 제거를 통한 얼굴 인식 방법.
  6. 제 5 항에 있어서,
    상기 (c) 단계에서는, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역과 상기 데이터베이스에서 불러온 상기 안경 후보 영역에 대한 평균 영상에 각각 소정의 가중치를 부여하여 두 영역의 이미지를 혼합 재구성함으로써, 안경이 일정 부분 제거된 상기 중간 재구성 후보 영역을 도출하는 것을 특징으로 하는 안경 제거를 통한 얼굴 인식 방법.
  7. 입력 영상으로부터 얼굴 영역을 추출 얼굴 영상으로 추출하는 얼굴 추출부;
    상기 얼굴 추출부에 의해 추출된 상기 추출 얼굴 영상에서 안경 후보 영역을 검출하고, 상기 안경 후보 영역에서 산출된 반사 면적 또는 에지(edge) 정보에 따라 상기 안경 후보 영역에 안경의 존재 여부를 판단하는 안경 검출부;
    상기 안경 검출부에 의해 상기 안경 후보 영역에 상기 안경이 존재하는 것으로 판단되면, 상기 안경 후보 영역에서 상기 안경을 제거하여, 안경 제거 얼굴 영상을 형성하는 안경 제거부; 및
    상기 안경 제거부에서 형성된 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 데이터베이스에 저장된 인물 영상의 특징 정보를 비교하여, 상기 입력 영상의 얼굴을 인식하는 얼굴 인식부;를 포함하고,
    상기 안경 제거부는
    상기 안경 후보 영역에 상기 안경이 존재하는 것으로 판단되면, 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역과 상기 데이터베이스에 미리 저장된 복수의 인물 정보 중 임의의 하나의 인물 정보의 안경 후보 영역에 대한 평균 영상을 이용하여, 중간 재구성 후보 영역을 도출하고,
    상기와 같이 도출된 상기 중간 재구성 후보 영역으로 상기 추출 얼굴 영상에서 추출된 상기 안경 후보 영역을 치환하며,
    상기 중간 재구성 후보 영역을 도출하여 상기 중간 재구성 후보 영역으로 상기 안경 후보 영역을 치환하는 과정이 미리 설정된 반복 횟수만큼 이루어지도록 반복하고,
    상기 중간 재구성 후보 영역을 도출하여 상기 중간 재구성 후보 영역으로 상기 안경 후보 영역을 치환하는 과정이 미리 설정된 반복 횟수만큼 반복되어 최종 도출된 중간 재구성 후보 영역을 최종 재구성 후보 영역으로 확정하며,
    상기 얼굴 인식부는
    상기 최종 재구성 후보 영역으로 상기 추출 얼굴 영상의 상기 안경 후보 영역 부분을 치환함으로써, 상기 추출 얼굴 영상과 상기 최종 재구성 후보 영역을 조합하여 조합 얼굴 영상을 도출하고,
    상기 조합 얼굴 영상에서 상기 안경 제거 얼굴 영상에 기반한 특징 정보를 추출하고, 상기 안경 제거 얼굴 영상에 기반한 특징 정보와 상기 데이터베이스에서 불러온 상기 임의의 하나의 인물 정보의 매칭 여부에 따라 동일인 여부를 판별하는 것을 특징으로 하는 얼굴 인식 장치.
  8. 제 7 항에 있어서,
    상기 안경 검출부는
    상기 추출 얼굴 영상에서 상기 안경 후보 영역을 검출하는 안경 후보 영역 검출부와,
    상기 안경 후보 영역 검출부에 의해 검출된 상기 안경 후보 영역에서 반사 면적을 산출하는 반사 면적 검출부와,
    상기 반사 면적 검출부에 의해 산출된 상기 안경 후보 영역의 반사 면적과 미리 설정된 임계값을 비교하는 반사 면적 비교부를 포함하고,
    상기 안경 후보 영역의 반사 면적이 상기 미리 설정된 임계값 이상인 경우, 상기 반사 면적 비교부는 상기 안경 후보 영역에 상기 안경이 존재하는 것으로 판단하는 것을 특징으로 하는 얼굴 인식 장치.
  9. 제 7 항에 있어서,
    상기 안경 검출부는
    상기 추출 얼굴 영상에서 상기 안경 후보 영역을 검출하는 안경 후보 영역 검출부와,
    상기 안경 후보 영역 검출부에 의해 검출된 상기 안경 후보 영역에 대한 에지 합을 산출하는 에지 합 검출부와,
    상기 에지 합 검출부에 의해 산출된 상기 안경 후보 영역의 에지 합과 미리 설정된 기준 에지 합을 비교하는 에지 합 비교부를 포함하고,
    상기 안경 후보 영역의 에지 합이 상기 미리 설정된 기준 에지 합 이상인 경우, 상기 에지 합 비교부는 상기 안경 후보 영역에 상기 안경이 존재하는 것으로 판단하는 것을 특징으로 하는 얼굴 인식 장치.
  10. 제 7 항에 있어서,
    상기 데이터베이스에는 그레이 스케일(gray scale)로 이루어진 상기 인물 영상에 대한 주성분 분석법(PCA, principal component analysis)에 의해 추출되는 상기 인물 영상의 상기 안경 후보 영역에 대한 영상과 상기 주성분 분석법에 의해 학습된 결과 값이 미리 등록되는 것을 특징으로 하는 얼굴 인식 장치.
  11. 제 7 항에 있어서,
    상기 얼굴 추출부는 상기 입력 영상을 그레이 스케일로 변환한 다음 상기 얼굴 영역을 상기 추출 얼굴 영상으로 추출하는 것을 특징으로 하는 얼굴 인식 장치.
  12. 삭제
KR1020120126285A 2012-11-08 2012-11-08 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치 KR101373274B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120126285A KR101373274B1 (ko) 2012-11-08 2012-11-08 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120126285A KR101373274B1 (ko) 2012-11-08 2012-11-08 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치

Publications (1)

Publication Number Publication Date
KR101373274B1 true KR101373274B1 (ko) 2014-03-11

Family

ID=50648426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120126285A KR101373274B1 (ko) 2012-11-08 2012-11-08 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치

Country Status (1)

Country Link
KR (1) KR101373274B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015165365A1 (zh) * 2014-04-29 2015-11-05 华为技术有限公司 一种人脸识别方法及系统
KR20170010639A (ko) * 2015-07-20 2017-02-01 주식회사 제론헬스케어 신생아 영상제공 시스템 및 방법
CN106407912A (zh) * 2016-08-31 2017-02-15 腾讯科技（深圳）有限公司 一种人脸验证的方法及装置
KR20170018666A (ko) * 2015-08-10 2017-02-20 삼성전자주식회사 얼굴 인식 방법 및 장치
WO2018072102A1 (zh) * 2016-10-18 2018-04-26 华为技术有限公司 一种人脸图像中眼镜去除方法及装置
KR20200034018A (ko) * 2018-09-12 2020-03-31 한양대학교 산학협력단 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법
CN112101261A (zh) * 2020-09-22 2020-12-18 北京百度网讯科技有限公司 人脸识别方法、装置、设备及存储介质
US11010595B2 (en) 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
US11403878B2 (en) 2018-12-31 2022-08-02 Samsung Electronics Co., Ltd. Apparatus and method with user verification
US11669158B2 (en) 2019-11-13 2023-06-06 Samsung Display Co., Ltd. Detecting device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040040286A (ko) * 2002-10-31 2004-05-12 한국과학기술연구원 칼라 얼굴 영상에서 안경을 제거하기 위한 영상 처리 방법
KR100904916B1 (ko) * 2008-06-19 2009-07-01 주식회사 다우엑실리콘 얼굴 인식 시스템 및 방법
JP2009525517A (ja) * 2006-01-31 2009-07-09 富士フイルム株式会社 眼鏡を自動的に検出し、削除する方法、及び装置
KR20090093223A (ko) * 2008-02-29 2009-09-02 홍익대학교 산학협력단 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040040286A (ko) * 2002-10-31 2004-05-12 한국과학기술연구원 칼라 얼굴 영상에서 안경을 제거하기 위한 영상 처리 방법
JP2009525517A (ja) * 2006-01-31 2009-07-09 富士フイルム株式会社 眼鏡を自動的に検出し、削除する方法、及び装置
KR20090093223A (ko) * 2008-02-29 2009-09-02 홍익대학교 산학협력단 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거
KR100904916B1 (ko) * 2008-06-19 2009-07-01 주식회사 다우엑실리콘 얼굴 인식 시스템 및 방법

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095829A (zh) * 2014-04-29 2015-11-25 华为技术有限公司 一种人脸识别方法及系统
WO2015165365A1 (zh) * 2014-04-29 2015-11-05 华为技术有限公司 一种人脸识别方法及系统
KR20170010639A (ko) * 2015-07-20 2017-02-01 주식회사 제론헬스케어 신생아 영상제공 시스템 및 방법
KR102477190B1 (ko) * 2015-08-10 2022-12-13 삼성전자주식회사 얼굴 인식 방법 및 장치
KR20170018666A (ko) * 2015-08-10 2017-02-20 삼성전자주식회사 얼굴 인식 방법 및 장치
CN106407912A (zh) * 2016-08-31 2017-02-15 腾讯科技（深圳）有限公司 一种人脸验证的方法及装置
WO2018072102A1 (zh) * 2016-10-18 2018-04-26 华为技术有限公司 一种人脸图像中眼镜去除方法及装置
US11010595B2 (en) 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
US11915515B2 (en) 2017-03-23 2024-02-27 Samsung Electronics Co., Ltd. Facial verification method and apparatus
US11861937B2 (en) 2017-03-23 2024-01-02 Samsung Electronics Co., Ltd. Facial verification method and apparatus
KR102151851B1 (ko) 2018-09-12 2020-09-03 한양대학교 산학협력단 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법
KR20200034018A (ko) * 2018-09-12 2020-03-31 한양대학교 산학협력단 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법
US11403878B2 (en) 2018-12-31 2022-08-02 Samsung Electronics Co., Ltd. Apparatus and method with user verification
US11669158B2 (en) 2019-11-13 2023-06-06 Samsung Display Co., Ltd. Detecting device
CN112101261B (zh) * 2020-09-22 2023-12-26 北京百度网讯科技有限公司 人脸识别方法、装置、设备及存储介质
CN112101261A (zh) * 2020-09-22 2020-12-18 北京百度网讯科技有限公司 人脸识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR101373274B1 (ko) 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치
WO2017036160A1 (zh) 人脸识别的眼镜消除方法
KR101315646B1 (ko) 가이디드 가버 필터를 이용한 지정맥 패턴 추출 방법 및 장치
KR101853006B1 (ko) 깊이영상에서 코 검출을 이용한 얼굴 인식
Boehnen et al. A fast multi-modal approach to facial feature detection
KR102393298B1 (ko) 홍채 인식 방법 및 장치
Jan Segmentation and localization schemes for non-ideal iris biometric systems
US20130259322A1 (en) System And Method For Iris Image Analysis
Raffei et al. Feature extraction for different distances of visible reflection iris using multiscale sparse representation of local Radon transform
WO2009107470A1 (ja) 黒子識別装置、個人認証装置、方法、及び、プログラム
Iga et al. A gender and age estimation system from face images
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN104008364B (zh) 人脸识别方法
KR102458615B1 (ko) 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법
CN108108658B (zh) 生物特征识别方法
JP6855872B2 (ja) 顔認識装置
US20160171323A1 (en) Apparatus for recognizing iris and operating method thereof
KR101641500B1 (ko) 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법
Hajari et al. A review of issues and challenges in designing Iris recognition Systems for noisy imaging environment
JP5730044B2 (ja) 顔画像認証装置
CN115039150A (zh) 判断方法、判断装置以及判断程序
JP4146751B2 (ja) 顔識別装置、顔識別方法及び顔識別プログラム
KR101614468B1 (ko) 모바일 기기에서 블록 대비도를 이용한 눈 검출 및 개폐 인식방법
JP2003317084A (ja) 顔画像からの目検出システム、目検出方法および目検出用プログラム
KR101704717B1 (ko) 홍채 인식 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 7