KR100866792B1 - 확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치 - Google Patents

확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치 Download PDF

Info

Publication number
KR100866792B1
KR100866792B1 KR1020070003068A KR20070003068A KR100866792B1 KR 100866792 B1 KR100866792 B1 KR 100866792B1 KR 1020070003068 A KR1020070003068 A KR 1020070003068A KR 20070003068 A KR20070003068 A KR 20070003068A KR 100866792 B1 KR100866792 B1 KR 100866792B1
Authority
KR
South Korea
Prior art keywords
lbp
face image
features
extended
face
Prior art date
Application number
KR1020070003068A
Other languages
English (en)
Other versions
KR20080065866A (ko
Inventor
황산성
황원준
자오지아리
문영수
박규태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070003068A priority Critical patent/KR100866792B1/ko
Priority to US11/882,442 priority patent/US20080166026A1/en
Publication of KR20080065866A publication Critical patent/KR20080065866A/ko
Application granted granted Critical
Publication of KR100866792B1 publication Critical patent/KR100866792B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 확장 국부 이진 패턴(Extended Local Binary Pattern)을 이용한 얼굴 기술자 생성 방법 및 장치, 그리고 얼굴 인식 방법 및 장치를 개시한다. 본 발명은 확장 LBP 특징 들에 대한 감독 학습을 통해 LBP 특징 들을 선별하고 선별된 확장 LBP 특징 들을 얼굴 인식에 활용함으로써, 얼굴 인식 또는 검증시 에러 발생을 억제하고 인증률을 향상시킬 뿐만 아니라 확장 LBP 특징을 이용함에 따라 발생하는 프로세싱 시간이 길어지는 문제를 극복할 수 있다.

Description

확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및 장치와 이를 이용한 얼굴 인식 방법 및 장치{Method and apparatus for generating face descriptor using extended Local Binary Pattern, and method and apparatus for recognizing face using it}
도 1은 본 발명의 일 실시예에 따른 얼굴 기술자 생성 장치를 나타낸 블록도이다.
도 2는 3×3 픽셀로부터 LBP 질감 정보를 추출하는 일 예를 나타낸 것이다.
도 3은 서브 이미지의 영역에 따른 서브 윈도우의 적용예를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 기술자 생성 방법을 나타낸 흐름도이다.
도 5는 도 4에서 100단계를 세부적으로 나타낸 흐름도이다.
도 6은 도 4에서 200단계에 따른 확장 LBP 특징 들을 구축하는 예를 나타낸 흐름도이다.
도 7은 도 4에서 200단계를 세부적으로 나타낸 흐름도이다.
도 8은 도 4에서 200단계의 패러렐 부스팅 학습에 대한 개념도이다.
도 9는 도 7에서 220단계를 세부적으로 나타낸 흐름도이다.
도 10은 도 4에서 300단계를 세부적으로 나타낸 흐름도이다.
도 11은 도 10에서 310단계를 세부적으로 나타낸 흐름도이다.
도 12는 도 10에서 330단계를 세부적으로 나타낸 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 얼굴 인식 장치를 나타낸 블록도이다.
도 14는 본 발명의 일 실시예에 따른 얼굴 인식 방법을 나타낸 흐름도이다.
본 발명은 국부 이진 패턴(Local Binary Pattern)을 이용한 얼굴 기술자 생성 방법 및 장치 그리고 이를 이용한 얼굴 인식 방법 및 장치에 관한 것으로서, 특히 개인의 신원을 인식하고, 검증하는 생체 인식 시스템에 사용되는 얼굴 인식 방법 및 장치에 관한 것이다.
근래 들어, 테러와 정보 도난이 빈번하게 발생함에 따라 얼굴 인식을 통한 보안의 중요성은 점점 더 중요해지고 있다. 테러의 위험에 대비하기 위하여 생체 인식 솔루션을 구축하는 것은 흥미로운 일이다. 이를 위한 하나의 효과적인 방법은 경계 보완(border security)과 신원 검증(identity verification)을 강화하는 것이다. 국제민간항공기구 (International Civil Aviation Organization, ICAO)는 기계 판독 여행 서류 판독기에서 생체 인식 정보를 사용할 것을 권고하고 있다. 미국의 국경안전강화법은 생체 인식 장치와 소프트웨어 도입 수준을 강화하고 있으며, 여행 서류, 여권 그리고 비자에 생체인식 정보의 사용을 요구하고 있다. 현재까지 생체 인식 여권은 유럽, 미국, 일본 및 몇몇 나라에서 채택되어 있다. 사용자의 생체 인식 정보를 갖고 있는 칩을 임베디드한 새로운 형태의 생체 인식 여권도 사용된 바 있다.
오늘날 많은 대행 기관, 회사, 다른 종류의 기관 들은 그들의 피고용자 또는 방문자에게 신원 확인 목적을 위한 어드미션 카드(admission card)를 사용할 것을 요구하고 있으며, 피고용자 또는 방문자는 카드 리더기에 사용되는 키 카드 또는 키 패드를 지정된 허락 구간 내에 있을 때 항상 소지하여야 한다. 그러나, 이 경우 어떤 사람이 키 카드 또는 키 패드를 분실하거나 도단을 당한 경우, 인증되지 못한 사람이 제한 구역으로 침투할 수 있는 등 보안상의 문제가 발생할 수 있다. 이러한 보안상의 문제를 해결하기 위한 하나의 방법으로서, 인간의 생체 인식 정보 또는 행동 특성을 이용하여 개인의 신원을 자동적으로 인식하고, 검증 하는 생체 인식 시스템이 개발되었다. 생체 인식 시스템은 은행, 공항, 높은 보안 시설 등에서 사용되고 있으며, 좀더 간편하고 신뢰성이 높은 생체인식 시스템에 대한 연구가 수행되고 있다.
생체 인식 시스템에서 사용되는 개인 특성 들은 지문, 얼굴, 손바닥 지문, 손 형상, 열 이미지, 음성, 서명, 정맥 모양, 타이핑(typing keystroke dynamics), 망막, 홍채 등이 있다. 얼굴 인식 기술은 가장 많이 사용되는 신원 확인 기술로서, 정지 영상이나 동적 영상에 존재하는 한 사람 이상의 얼굴에 대하여 주어진 얼굴 데이터베이스를 이용하여 그 신원을 확인하는 기술을 일컫는다. 얼굴 이미지 데이터는 포즈나 조명에 따른 변화 정도가 크기 때문에, 동일한 신원의 다양한 포즈 데이터에 대하여 동일한 클래스로 분류하는 것이 쉽지 않은 문제가 있다.
얼굴 인식에서의 오차를 줄이기 위한 다양한 이미지 처리 방식이 제안되고 있지만, 기존의 얼굴 인식 방식은 선형 분포에 대한 가정과 가우시안 분포의 가정을 포함시킴에 따른 에러 발생의 문제가 있다. 또한, 종래에는 얼굴 인식에 소요되는 프로세싱 시간을 고려하여 얼굴 이미지로부터 추출하여 제한적인 특성을 갖는 특징 값을 추출하고, 제한적인 특성을 갖는 추출된 특징 값을 얼굴 인식에 이용하였기 때문에, 얼굴 인식에 있어서의 인증률이 낮으며, 얼굴 표정 변화와 조명 변화가 클 경우에 얼굴 인식 효율이 저하되는 문제가 있었다.
본 발명은 종래의 제한된 LBP 특징 들을 얼굴 인식에 이용함에 따른 높은 에러 발생율과 낮은 인증률의 문제를 극복하고, 얼굴 인식에 소요되는 프로세싱 시간을 단축시킬 수 있는 얼굴 기술자 생성 방법 및 장치와 이를 이용한 얼굴 인식 방법 및 장치를 제공하는 것을 목적으로 한다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 얼굴 기술자 생성 방법은 트레이닝 얼굴 이미지로부터 확장 LBP(Local Binary Pattern) 특징 들을 추출하는 단계; 상기 확장 LBP 특징 들에 대하여 얼굴 이미지 분류를 위한 감독 학습을 수행하여 확장 LBP 특징 들을 선별하고, 상기 선별된 확장 LBP 특징 들에 따른 LBP 특징 셋을 구축하는 단계; 입력 얼굴 이미지에 상기 구축된 LBP 특징 셋을 적용하여 LBP 특징 들을 추출하는 단계; 및 상기 입력 얼굴 이미지의 LBP 특징 들과 상기 LBP 특징 셋을 이용하여 얼굴 기술자를 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 얼굴 기술자 생성 장치는 트레이닝 얼굴 이미지로부터 확장 LBP(Local Binary Pattern) 특징 들을 추출하는 LBP 제 1 특징 추출부; 상기 추출된 확장 LBP 특징 들에 대하여 얼굴 이미지 분류를 위한 감독 학습을 수행하여 확장 LBP 특징 들을 선별하고, 상기 선별된 확장 LBP 특징 들에 따른 LBP 특징 셋을 구축하는 선별부; 입력 얼굴 이미지에 상기 LBP 특징 셋을 적용하여 입력 얼굴 이미지로부터 LBP 특징을 추출하는 LBP 제 2 특징 추출부; 및 상기 LBP 제2 특징 추출부에 의해 추출된 LBP 특징을 이용하여 얼굴 기술자를 생성하는 얼굴 기술자 생성부를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 얼굴 인식 방법은 트레이닝 얼굴 이미지로부터 확장 LBP 특징 들을 추출하는 단계; 상기 확장 LBP 특징 들에 대하여 감독 학습을 수행함으로써 얼굴 이미지 분류에 효율적인 확장 LBP 특징 들을 선별하고, 상기 선별된 확장 LBP 특징 들에 따른 LBP 특징 셋을 구축하는 단계; 입력 얼굴 이미지와 타겟 얼굴 이미지에 상기 구축된 LBP 특징 셋을 적용함으로써 입력 얼굴 이미지와 타겟 얼굴 이미지 각각으로부터 LBP 특징 들을 추출하는 단계; 상기 추출된 LBP 특징 들과 상기 LBP 특징 셋을 이용하여 입력 얼굴 이미지와 타겟 얼굴 이미지의 얼굴 기술자를 생성하는 단계; 및 상기 생성된 입력 얼굴 이미지의 얼굴 기술자와 타겟 얼굴 이미지의 얼굴 기술자가 소정의 유사도를 갖는지 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 얼굴 인식 장치는 트레이닝 얼굴 이미지로부터 확장 LBP 특징 들을 추출하는 LBP 특징 추출부; 상기 확장 트레이닝 얼굴 이미지의 LBP 특징 들에 대하여 감독 학습을 수행하여 LBP 특징 들을 선별하고, 상기 선별된 LBP 특징 들을 포함하는 LBP 특징 셋을 구축하는 선별부; 입력 얼굴 이미지에 상기 구축된 LBP 특징 셋을 적용하여 LBP 특징 들을 추출하는 입력 얼굴 이미지의 LBP 특징 추출부; 타겟 얼굴 이미지에 상기 구축된 LBP 특징 셋을 적용하여 LBP 특징 들을 추출하는 타겟 얼굴 이미지의 LBP 특징 추출부; 상기 입력 얼굴 이미지와 타겟 얼굴 이미지로부터 추출된 LBP 특징 들과 상기 LBP 특징 셋을 이용하여 입력 얼굴 이미지와 타겟 얼굴 이미지의 얼굴 기술자를 생성하는 얼굴 기술자 생성부; 및 상기 생성된 입력 얼굴 이미지의 얼굴 기술자와 타겟 얼굴 이미지의 얼굴 기술자가 소정의 유사도를 갖는지 여부를 판단하는 유사도 판단부를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위하여, 본 발명은 얼굴 기술자 생성 방법 또는 얼굴 인식 방법을 컴퓨터 또는 네트워크 상에서 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
이하에서는 본 발명의 도면과 실시예를 참조하여 본 발명의 얼굴 기술자 생성 장치에 대하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 얼굴 기술자 생성 장치를 나타낸 블록도이다. 본 실시예에서 얼굴 기술자 생성 장치(1)는 트레이닝 얼굴 이미지 데이터베이스(10), 트레이닝 얼굴 이미지 전처리부(20), LBP 제1 특징 추출부(30), 선별부(40), 베이시스 벡터 생성부(50), 입력 이미지 획득부(60), 입력 이미지 전처리 부(70), LBP 제2 특징 추출부(80) 및 얼굴 기술자 생성부(90)를 포함한다.
트레이닝 얼굴 이미지 데이터베이스(10)는 신원 확인의 대상이 되는 집단에 소속된 사람들 각각의 얼굴 이미지에 대한 정보를 저장한다. 얼굴 인식 효율을 향상시키기 위해서는 다양한 얼굴 표정, 각도, 밝기를 갖는 다수개의 얼굴 이미지 정보가 필요하다. 얼굴 이미지 정보는 얼굴 기술자 생성을 위한 소정의 전처리 과정을 거친 후 데이터 베이스에 저장된다.
트레이닝 얼굴 이미지 전처리부(20)는 트레이닝 얼굴 이미지 데이터베이스에 저장된 모든 얼굴 이미지에 대한 소정의 전처리를 수행한다. 소정의 전처리 과정은 배경 영역을 제거하고, 눈의 위치를 기준으로 이미지의 크기를 조정한 후, 조명의 분산도를 낮추기 위한 전처리 과정을 통해 얼굴 기술자 생성에 적합하도록 얼굴 이미지를 변경 시키는 과정을 포함한다.
LBP 제1 특징 추출부(30)는 전처리된 얼굴 이미지 각각으로부터 확장 LBP 특징 들을 추출한다. 여기에서 ‘확장 LBP 특징(Extended Local Binary Pattern Features’은 종래의 제한된 범위의 LBP 특징 들을 질과 양의 측면에서 확장시켰다는 것을 의미한다.
LBP 특징 제1 추출부(30)는 LBP 오퍼레이터(31), 분할부(32) 및 서브 이미지의 LBP 특징 추출부(33)를 포함한다. LBP 오퍼레이터(31)는 얼굴 이미지로부터 이진 형태의 질감 정보를 추출한다. 분할부(32)는 얼굴 이미지에 영역 분할을 위한 서브 윈도우를 적용하여 얼굴 이미지를 서브 이미지로 분할한다. 또한, 분할부(32)는 얼굴 이미지 각 픽셀의 질감 정보에 따른 2차원 이미지를 서브 이미지로 분할할 수 있다.
서브 이미지에 대한 LBP 특징 추출부(33)는 분할된 얼굴 이미지로부터 LBP 특징 들을 추출한다. 서브 이미지에 대한 LBP 특징 추출부(33)는 상기 분할된 서브 이미지에 따른 질감 정보에 따른 히스토그램을 복수 개의 섹션 들로 분할하고, 통계적인 국부 질감(statistical local texture)의 빈 특징 들(bin features)을 확장된 LBP 특징으로서 추출한다.
도 2는 3×3 픽셀 사이즈의 이미지로부터 LBP 질감 정보를 추출하는 일 예를 나타낸다. LBP 오퍼레이터(31)는 이미지로부터 이진 형태의 질감 정보를 추출한다. 3×3 픽셀 사이즈의 이미지 정보(a)의 중앙 픽셀의 이미지 정보를 임계값으로하여 중앙 픽셀에 이웃하는 픽셀 들의 대소 비교를 통해 LBP 질감 정보(b)가 산출된다. 본 실시예에서 LBP 질감 정보는 픽셀 사이즈와 셈플링되는 픽셀의 개수를 다르게 하여 확장될 수 있다. 이미지 정보의 중앙 픽셀로부터 반지름 R 상의 원에 존재하는 P 개의 점을 LBP 질감 정보로서 샘플링한 것은 (P, R)로 표현할 수 있는데, 본 실시예에 따르면 P 또는 R 값을 다양하게 조절함으로써 풍부한 LBP 질감 정보를 얻을 수 있다.
도 3은 서브 이미지의 영역에 따른 적합한 서브 윈도우의 적용 예를 나타낸 것이다. 정사각형 서브 윈도우는 일반적인 영역에 사용될 수 있으나, 좌우 방향이 긴 직사각형 서브 윈도우는 눈, 이마, 입 영역에 더욱 적합하고, 상하 방향이 긴 직사각형 서브 윈도우는 코, 귀 등에 더욱 적합하다. 본 실시예에 따르면 다양한 크기와 형태를 갖는 서브 윈도우를 이용함으로써 풍부한 서브 얼굴 이미지를 얻을 수 있다. 얼굴 이미지에 서브 윈도우를 서로 중첩하여 적용하여 얼굴 이미지를 서브 얼굴 이미지로 분할하는 것도 풍부한 서브 얼굴 이미지를 얻는 하나의 방법이다.
서브 이미지의 LBP 특징 추출부(33)가 상술한 풍부한 LBP 질감 정보, 풍부한 서브 얼굴 이미지 등을 기반으로 확장된 LBP 특징 들을 추출하는 것은 본 발명의 주된 특징 중의 하나이다. 또한, 얼굴 이미지의 크기를 다양하게 조절하거나, 고해상도의 얼굴 이미지를 이용함으로써 확장된 LBP 특징 들을 추출할 수 있다.
본 실시예에 따른 상기 확장된 LBP 특징 들은 다양한 방법으로 셈플링된 LBP 질감 정보와 다양한 모양과 형태의 서브 윈도우에 따른 서브 얼굴 이미지 등을 기반으로 하여 추출된 것이기 때문에, 종래 기술에 따른 LBP 특징 들에 비하여 좀더 풍부하고, 보충적인 특성을 갖는다. 본 실시예에 따라 추출된 LBP 특징 들이 갖는 상기 특성과 종래 기술에 따른 LBP 특징과의 구별을 위하여, 본 실시예에서는 확장 LBP 특징이라는 용어를 사용한 것이다.
예를 들어, 600×800 크기의 얼굴 이미지에 대하여 25×30, 30×30, 30×20과 같이 서로 크기의 서브 윈도우를 폭-스텝(width-step)과 높이-스텝(height-step)을 5(pixel)로 함으로써 중첩하여 분할할 경우, 추출되는 LBP 특징의 수는 다음과 같이 계산될 수 있다.
우선, 25×30 크기의 서브 윈도우에 따른 서브 얼굴 이미지의 수는 ((600-25)/5)×((800-30)/5) = 17710이다. 각각의 서브 얼굴 이미지에 따른 LBP 질감 정보는 하나의 히스토그램으로 표현될 수 있고, 히스토그램을 59개의 섹션(section) 또는 빈(bin)으로 표현할 경우 추출되는 총 LBP 특징 들의 개수는 17710×59 = 1044890 이다. 30×30와 30×20 크기를 갖는 서브 윈도우의 경우에도 동일한 방법으로 LBP 특징 들의 수를 계산할 때, 추출되는 각각의 LBP 특징 들의 개수는 각각 1035804, 1049256이다. 따라서, 하나의 트레이닝 얼굴 이미지에 서로 다른 크기를 갖는 3개의 서브 윈도우를 적용함으로써 1044890 + 1035804 + 1049256 = 3129950 개의 특징 값을 LBP 특징으로 추출할 수 있다. 단일 크기와 모양을 갖는 서브 윈도우를 적용하여 LBP 특징을 추출하는 것 보다, 서로 다른 크기와 형태를 갖는 서브 윈도우를 더욱 적용함으로써 좀더 풍부하고 보충적인(complementary) LBP 특징 들을 추출할 수 있다.
종래의 기술의 관점에서 볼 때, 얼굴 이미지로부터 확장 LBP 특징 들을 추출하고 확장된 LBP 특징 들을 기반으로 얼굴 기술자를 생성하는 프로세스를 수행하는 것은 연산의 복잡성이 증가함에 따라 많은 프로세싱 시간이 소요되는 문제를 발생시키는 난점이 있었다. 이런 이유로 제한된 개수의 LBP 특징 들로부터 얼굴 인식의 효율을 높이기 위한 새로운 학습 방법 또는 기술자 생성 방법이 다수 제안되고는 있지만, 얼굴 인식 효율 향상을 위해 LBP 특징 들을 풍부하게 확장하려는 시도는 없었다. 본 발명의 얼굴 기술자 생성 장치는 확장 LBP 특징 들을 기반으로 얼굴 기술자를 추출하는 것을 통해 얼굴 인식 효율을 향상시킴은 물론, 선별부를 도입함으로써 연산의 복잡성 문제를 해결하였다는 점은 종래 기술과 구별되는 특징 중의 하나이다.
선별부(40)는 확장된 LBP 특징 들을 대상으로 감독 학습(supervised learning)을 수행하여 효율적인 LBP 특징 들을 선별한다. 본 실시예에서는 선별부(40)를 통해 효율적인 LBP 특징 들을 선별함으로써, 확장된 LBP 특징 들에 따른 상술한 문제를 해결한다. 상기 감독 학습은 분류, 예측 등의 명확하게 학습의 목표가 주어진 학습 방법으로서, 본 실시예에서 선별부(40)는 클래스 분류(동일인 분류)와 신원 확인의 효율을 향상시키는 목표에 따른 감독 학습을 수행한다. 특히, 통계적인 리셈플링 알고리즘(statistical re-sampling algorithm)의 하나인 부스팅 학습을 이용하여 효율적인 LBP 특징 들을 선별할 수 있다. 부스팅 학습 이외에도 효율적인 LBP 특징을 선별하기 위한 방법으로는 통계적인 리셈플링 알고리즘을 이용한 배깅(Bagging) 학습 방법, 그리디(Greedy) 학습 방법 등이 있다.
본 실시예에서 선별부(40)는 서브셋 분할부(41), 부스팅 학습부(42) 및 LBP 특징 셋 저장부(43)를 구비한다. 확장된 LBP 특징 제1 추출부(30)에서 추출한 확장된 LBP 특징 들을 서브셋 단위로 분할하는 서브셋 분할부(41), 부스팅 학습을 위한 부스팅 학습부(42)와 LBP 특징 셋 저장부(43)를 구비한다. 서브셋 분할부(41)는 확장된 LBP 특징 들을 소정 개수의 서브 셋으로 분할한다. 부스팅 학습부(42)는 서브셋으로 분할된 LBP 특징 들에 대한 패러렐(parallel) 부스팅 학습을 통해 효율적인 LBP 특징 들을 선별한다. 선별된 LBP 특징 들은 병렬적 처리를 통해 선별된 것이므로 서로 보충적(complementary)이기 때문에 얼굴 인식 효율을 향상 시킬 수 있다. 부스팅 학습 알고리즘에 대하여는 후술한다. LBP 특징 셋 저장부(43)는 부스팅 학습부(42)를 통해 선별된 효율적인 LBP 특징 들과 부스팅 학습 결과로서 상기 선별된 LBP 특징 들을 추출하기 위한 선택 스팩(selection specification)을 저장한다. 선택 스팩은 LBP 특징 들의 추출과 관련된 위치, LBP 질감 특징 추출과 관련된 (P, R) 값, 서브 윈도우의 크기 및 모양 등에 대한 정보를 포함한다.
베이시스 벡터 생성부(50)는 선별부(40)를 통해 생성된 LBP 특징 셋에 대하여 선형 판별 분석 학습을 수행하고 베이시스 벡터를 생성하는 것으로, 커널 센터 선택부(51), 제1내적부(52) 및 LDA학습부(53)을 구비한다. 커널 센터 선택부(51)는 선별된 LBP 특징 들을 갖는 모든 트레이닝 얼굴 이미지 들 중에서 적어도 1개 이상의 트레이닝 얼굴 이미지를 커널 센터로 선택한다. 제1내적부(52)는 모든 트레이닝 얼굴 이미지 들과 상기 커널 센터의 내적을 통해 새로운 특징 벡터를 생성한다. LDA학습부(53)는 제1내적부(52)에서 생성된 특징 벡터에 대한 LDA학습을 통해 베이시스 벡터를 생성시킨다. 선형 판별 분석 알고리즘에 상세 내용은 후술한다.
입력 이미지 획득부(60)는 얼굴 인식을 위한 입력 얼굴 이미지를 획득한다. 입력 이미지 획득부(60)는 얼굴 이미지를 획득할 수 있는 카메라, 캠코더 등이 이미지 인식 장치(미도시)를 통해 얼굴 인식을 하고자 하는 사람의 얼굴 이미지 또는 신원 검증을 하고자 하는 사람의 얼굴 이미지를 획득한다. 입력 이미지 획득부(60)는 입력 이미지 전처리부(70)를 통하여 획득된 입력 이미지에 대하여 전처리를 수행한다.
입력 이미지 전처리부(70)는 입력 이미지 획득부(60)를 통해 획득된 얼굴 이미지로부터 배경 이미지를 제거하고, 가우시안 저역 통과 필터를 이용하여 배경 이미지가 제거된 얼굴 이미지를 필터링 한 다음, 필터링된 이미지로부터 눈 영역을 찾아 눈의 위치를 기준으로 이미지를 정규화시키고, 조명의 분산을 제거하기 위해 조명을 변화시키는 전처리를 수행한다.
LBP 제2특징 추출부(80)는 입력 이미지 획득부(60)를 통해 획득된 입력 얼굴 이미지에 LBP 특징 셋 저장부(43)에 저장된 LBP 특징 셋을 적용하여 입력 얼굴 이미지로부터 LBP 특징 들을 추출한다. LBP 특징 셋을 적용하여 LBP 특징을 추출한다는 것은 부스팅 학습 결과로서 저장된 LBP 특징 셋의 선택 스팩에 따라 입력 얼굴 이미지로부터 확장 LBP 특징을 추출한다는 것을 의미한다.
얼굴 기술자 생성부(90)는 입력 얼굴 이미지의 LBP 특징을 이용하여 입력 얼굴 이미지의 얼굴 기술자를 생성하는 장치이며, 내적부(91)와 프로젝션부(92)를 구비한다. 내적부(91)는 커널 센터 선택부(51)를 통해 선택된 커널 센터에 입력 얼굴 이미지로부터 추출된 LBP 특징을 내적하여 새로운 특징 벡터를 생성한다. 프로젝션부(92)는 생성된 특징 벡터를 베이시스 벡터에 투영하여 얼굴 기술자(face descriptor)를 생성시킨다. 얼굴 기술자 생성부(90)를 통해 생성된 얼굴 기술자는 트레이닝 얼굴 이미지 데이터베이스(10)에 저장된 얼굴 이미지와의 유사도 판단을 통해 얼굴 인식, 신원 검증을 위해 사용된다.
이하에서는 본 발명의 도면과 실시예를 참조하여 본 발명의 얼굴 기술자 생성 방법에 대하여 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 얼굴 기술자 생성 방법을 설명하는 흐름도이다. 본 실시예에 따른 얼굴 기술자 생성 방법은 얼굴 기술자 생성 장치(1)에서 시계열적으로 처리되는 다음과 같은 단계 들로 구성된다.
100단계에서 LBP 제1 특징 추출부(30)는 트레이닝 얼굴 이미지로부터 확장 LBP 특징 들을 추출한다. 본 실시예에서 100단계는 트레이닝 얼굴 이미지에 대한 전처리 단계를 더 포함한다.
도 5는 도 4에서 100단계를 세부적으로 나타낸 흐름도이다. 110단계에서 트레이닝 얼굴 이미지 전처리부(20)는 트레이닝 얼굴 이미지 각각으로부터 배경 영역을 분리시킨다. 120단계에서 트레이닝 얼굴 이미지 전처리부(20)는 눈의 위치를 기준으로 배경 영역이 제거된 트레이닝 얼굴 이미지의 크기를 재조정함으로써 트레이닝 얼굴 이미지를 정규화시킨다. 예를 들어, 여백이 잘려진 트레이닝 얼굴 이미지는 1000×2000(픽셀)로 정규화될 수 있다. 또한, 이미지 전처리부는 가우시안 저역 통과 필터를 통해 트레이닝 얼굴 이미지를 필터링하여 노이즈가 제거된 트레이닝 얼굴 이미지를 얻을 수 있다. 130단계에서 트레이닝 얼굴 이미지 전처리부(20)는 정규화된 얼굴 이미지에 조도의 분산을 낮추기 위한 조명 전처리를 수행한다. 정규화된 얼굴 이미지에서 조도(illumination)의 편차는 얼굴 인식 효율을 떨어뜨릴 수 있으므로, 조도의 분산을 제거할 필요가 있다. 예를 들어, 딜라이팅 알고리즘(delighting algorithm)을 이용하여 정규화된 얼굴 이미지에서 조도의 분산을 제거할 수 있다. 140단계는 트레이닝 얼굴 이미지 전처리부(20)는 기술자 생성 및 얼굴 인식에 사용될 수 있는 트레이닝 얼굴 이미지 셋을 구축한다.
150단계에서 LBP 오퍼레이터(31)는 트레이닝 얼굴 이미지로부터 질감 정보를 추출한다. 160단계에서 분할부(32)는 트레이닝 얼굴 이미지를 서로 다른 크기의 서브 이미지로 분할한다. 170단계에서 서브 이미지에 대한 LBP 특징 추출부(33)는 분할된 서브 이미지 각각의 질감 정보를 이용하여 LBP 특징 들을 추출한다.
도 6은 트레이닝 얼굴 이미지로부터 LBP 특징 들을 추출하는 예를 나타내는 참고도이다. LBP 오퍼레이터(31)는 트레이닝 얼굴 이미지(A)에 대한 질감 정보를 추출한다. LBP 오퍼레이터(31)의 출력 값인 질감 정보는 2차원 상의 얼굴 이미지(B)로 표현될 수 있다. 분할부(32)는 2차원상의 얼굴 이미지(B)를 다수의 서브 이미지(C)로 분할한다. 서브 이미지(C)에 대한 LBP 특징 추출부(33)는 각각의 서브 이미지(C)에 따른 히스토그램(D)을 추출하고, 추출된 히스토그램 들로 이루어진 LBP 특징 풀(E)을 생성한다. 도6의 LBP 특징 풀(E)을 확장된 LBP 특징 들로 구성시키기 위한 방법으로는, 150단계에서 질감 정보 추출 단계에서 복수개의 LBP 오퍼레이터 즉 P값과 R값을 조절하는 방법, 160단계에서 서로 다른 크기, 형태의 서브 윈도우를 이용하여 얼굴 이미지를 분할하는 방법 및 얼굴 이미지의 크기를 다양하게 조절하는 방법 등이 있다.
200단계에서 선별부(40)는 통계적인 리셈플링 알고리즘의 하나인 부스팅 학습을 이용하여 LBP 제1특징 추출부로부터 추출된 확장(extended) LBP 특징 들로부터 효율적인 LBP 특징 들을 선별하고, 선별된 LBP 특징 들에 따른 LBP 특징 셋을 구축한다.
도 7은 도 4에서 200단계를 더욱 상세히 설명하는 흐름도이다. 100단계에서 추출된 확장 LBP 특징 들은 풍부한 국부적 특성을 반영하는 특징 들의 수가 많은데, 본 실시예에서는 200단계를 통해 부스팅 학습 과정을 통해 얼굴 인식에 효율적인 LBP 특징 들을 추출함으로써 복잡한 계산량을 감소시킬 수 있다.
210단계에서 서브셋 분할부(41)는 확장 LBP 들을 서브셋 단위로 분할한다. 예를 들어, 상술한 바 있듯이 100단계에서 600×800 픽셀의 트레이닝 얼굴 이미지에 서로 다른 크기를 갖는 3개의 서브 윈도우를 적용함으로써 1044890 + 1035804 + 1049256 = 3129950 개의 확장된 LBP 특징 들을 추출하고, 300×400 픽셀과 150×200 픽셀의 트레이닝 얼굴 이미지로부터 같은 방법으로 720036개와 149270개의 확장 LBP 특징 들(총 399256개)을 추출할 수 있다. 서브셋 분할부(41)가 확장 LBP 특징 들을 20개의 서브 셋들로 분리할 경우, 각각의 서브셋은 3999256/20 = 199963 개의 LBP 특징 들을 포함한다.
220단계에서 부스팅 학습부(42)는 부스팅 학습을 통해 각각의 서브셋으로 부터 LBP 특징 후보를 선별한다. 내부인(intra person)과 외부인(extra person)의 LBP 특징 들을 이용하면, 여러 사람의 얼굴 인식에 있어서 멀티 클래스의 문제를 내부인 또는 외부인의 2 클래스의 문제로 전환시킬 수 있다. 여기서 내부인이란 특정의 1인으로부터 획득된 얼굴 이미지 그룹을 의미하고, 외부인이란 특정된 1인이 아닌 다른 사람으로부터 획득된 얼굴 이미지 그룹을 의미한다. 내부인과 외부인 간의 LBP 특징 들 값의 차이는 내부인과 외부인을 분류하는 기준이 되며, 트레이닝의 대상이 되는 모든 LBP 특징 들을 조합함으로써, 내부인의 얼굴 이미지와 외부인 얼굴 이미지 쌍을 생성할 수 있다. 부스팅 학습에 앞서 각각의 서브셋으로부터 적정 수의 얼굴 이미지 쌍을 선택하고, 각각의 서브 셋으로부터 소정의 효과적(efficient)이고 보충적인(complementary) LBP 특징 후보 들을 추출한다.
도 8은 도 4에서 200단계의 패러렐(parallel) 부스팅 학습에 대한 개념도이다. 얼굴 이미지의 인식에 효과적인 LBP 후보 특징 들을 선택하기 위해, 각각의 서 브 셋에 대한 부스팅 과정을 병렬적으로 수행하는 것은 분산된 컴퓨팅과 빠른 통계적인 학습을 위한 중요한 메커니즘이 된다. 예를 들어, 각각 서브셋으로부터 무작위로 선택된 10000쌍의 내부인 및 외부인의 LBP 특징 들에 대하여 부스팅 학습을 함으로써, 2500쌍의 내부인 및 외부인 이미지 쌍에 따른 LBP 특징 들을 선별할 수 있다.
230단계에서 220단계를 통해 각각의 서브셋으로부터 소정의 FAR 또는 FRR 기준을 만족시키는 선별된 LBP 특징 후보를 수집함으로써 새로운 LBP 특징 풀을 생성한다. 본 실시예에서는 서브셋의 수가 20개 이므로 총 50000쌍의 내부인 및 외부인 얼굴 이미지 쌍에 대한 새로운 LBP 특징 풀을 생성할 수 있다.
240단계에서 부스팅 학습부(42)는 230단계를 통해 생성된 LBP 특징 후보 풀(Candidate Pool)을 대상으로 다시 부스팅 학습을 수행하여, 소정의 FAR 또는 FRR 기준을 만족시키는 선별된 LBP 특징 셋을 생성한다.
도 9는 도 7의 220단계와 240단계의 부스팅 학습 과정에 대한 흐름도이다. 221단계에서, 부스팅 학습부(42)는 모든 트레이닝 얼굴 이미지 들을 부스팅 학습 이전에 동일한 가중치로 초기화한다. 222단계에서 부스팅 학습부(42)는 현재의 가중치 분포에 따라 가장 좋은 LBP 특징 들을 선택한다. 즉, 서브셋 내의 LBP 특징 들 중에서 얼굴 인식 효율을 향상 시킬 수 있는 LBP 특징 들을 선별한다. 얼굴 인식 효율과 관련된 계수로는 본인 임을 확인하는 인증률(VR: verification ratio)이 있으며 인증률을 기준으로 LBP 특징 들을 선별할 수 있다. 223단계에서 부스팅 학습부(42)는 선별된 LBP 특징 들을 이용하여, 모든 트레이닝 얼굴 이미지 들의 가중 치를 재조정한다. 모든 트레이닝 얼굴 이미지 들에 대하여 미분류된 셈플의 가중치는 향상시키고, 확인된 셈플의 가중치는 줄인다. 224단계에서 부스팅 학습부(42)는 선택된 특성이 FAR(예를 들어 0.0001)과 FRR(예를 들어 0.01)을 만족시키지 못하는 경우에는, 현재의 가중치 분포에 따라 하나의 LBP 특징 들을 더 선택하고, 모든 트레이닝 얼굴 이미지 들에 대하여 가중치를 다시 부여한다. 여기에서, FAR(False Acceptance Rate)은 오인식률로서 본인이 아님에도 본인으로 승인되는 것을 말하고, FRR(False Reject Rate)은 본인 임에도 거부당하는 거부하는 인식오율을 의미한다.
부스팅 학습 방법으로는 AdaBoost, GentleBoost, realBoost, KLBoost와 JSBoost 등의 학습 방법이 있다. 부스팅 학습을 이용하여 각각의 서브셋으로부터 상호 보완적인 LBP 특징 들을 선택하는 것은 결과적으로 얼굴 인식 효율을 향상시키는 하나의 이유가 된다.
도 10은 도 4에서 선형 판별 분석을 통해 베이시스 벡터를 계산하는 과정을 설명하는 흐름도이다.
선형 판별 분석 방법은 집단들 사이의 특성 차이를 극대화시켜 줄 수 있는 변수들의 선형결합을 도출하고, 이러한 선형 결합에 의해 새로운 변수상에 집단들이 어떻게 배열되는지를 살펴보고, 각 변수에 부여된 가중치를 재조정함으로써, 두 개 또는 두 개 이상의 클래스를 가장 잘 분류할 수 있는 특징의 조합을 찾는 방법이다. 선형 판별 분석 방법의 예로는 커널 LDA(Kernel linear discriminant analysis) 방법과 피셔 선형 분별(FLD) 방법이 있다. 본 실시예에서는 커널 LDA학 습 방식을 이용하여 얼굴을 인식하는 방법에 대하여 설명한다.
310단계에서 커널 센터 선택부(51)는 부스팅 학습 결과에 따라 추출된 모든 트레이닝 얼굴 이미지 각각에 대하여 커널 센터를 랜덤하게 선택한다.
320단계에서 내적부(52)는 LBP 특징셋과 커널 센터와의 내적을 통해 특징 벡터를 추출한다. 내적을 위한 커널 함수는 하기 수학식1로 표현된다.
[수학식1]
Figure 112007002713420-pat00001
여기에서 x'는 커널 센터 들 중의 하나이고, x는 트레이닝 셈플 중의 하나이다. 각각의 트레이닝 셈플에 대한 새로운 특징 백터의 차원은 대표 셈플들의 차원과 같다.
330단계에서, LDA 학습부(53)는 LDA 학습을 통해 추출된 특징 벡터로부터 LDA 베이시스 벡터를 생성한다.
도 11은 도 10에서 310단계를 세부적으로 나타낸 흐름도이다. 도11에 도시된 알고리즘은 연속 포워드 선정 알고리즘(sequential forward selection algorithm)으로서 다음과 같은 단계를 포함한다.
311단계에서 커널 센터 선택부(51)는 1인의 모든 트레이닝 얼굴 이미지 들로부터 하나의 셈플을 대표적인 셈플(커널 센터)로서 랜덤하게 선택한다.
312단계에서 커널 센터 선택부(51)는 커널 센터가 아닌 트레이닝 얼굴 이미지로부터 하나의 후보 이미지를 선택하되, 후보와 커널 센터의 최단 거리가 최대가 되도록 나머지의 얼굴 이미지 들으로부터 하나의 얼굴 이미지를 선택한다. 얼굴 이미지 후보의 선택은 하기 수학식2로 표현될 수 있다.
[수학식2]
Figure 112007002713420-pat00002
여기에서 S는 나머지 셈플 들이고, K는 선택된 대표 셈플(kernel centers)이다.
313단계에서 커널 센터 선택부(51)는 커널 센터의 개수가 충분한지 여부를 판단한다. 313단계의 판단에 따라 커널 센터의 개수가 충분하지 않다면, 대표 셈플을 하나더 선택하는 과정을 커널 센터의 개수가 충분할 때까지 311 내지 313단계를 반복한다. 커널 센터의 개수가 충분한지 여부는 인증률(VR : verification ratio)과 소정의 기준치를 비교함으로써 판단할 수 있다. 예를 들어, 1인에 대하여 10개의 커널 센터를 선택하고, 트레이닝 셋에 200명이 있다면 총 2000개 정도의 대표 셈플(커널 센터)이 있는 것이고, 420단계를 통해서 얻어지는 특성 벡터의 차원은 대표 셈플의 차원(2000)과 같게 된다.
도 12는 도 10에서 330단계를 설명하는 선형 판별 분류 학습 과정에 대한 세부 흐름도이다. 선형 판별 분석(LDA) 방법은 클래스 내의 스캐터(within-class scatter)를 최소화하면서 클래스간 스캐터(between-class scatter)를 최대화할 수 있도록, 서브 공간으로 데이터를 선형 투영(linear projection)하는 방법이다. 본 단계를 통해 생성되는 LDA 베이시스 벡터는 얼굴 인식의 대상이 되는 집단의 특성 을 대표하고, 그 집단의 구성원의 얼굴 인식에 효율적으로 사용될 수 있는 대표값으로서, LDA 베이시스 벡터는 다음과 같은 과정을 통해 계산할 수 있다.
331단계에서, 클래스 내의 분산을 나타내는 스캐터 행렬 Sw과 클래스 간의 분산을 나타내는 스캐터 행렬 SB을 새로운 특성 벡터를 가진 모든 트레이닝 셈플 들을 이용하여 계산할 수 있으며, 하기 수학식3으로 정의된다.
[수학식3]
Figure 112007002713420-pat00003
여기서, 트레이닝 얼굴 이미지 세트가 C개의 클래스로 이루어지고, x를 c번째 클래스(χc)의 성분인 데이터 벡터라 하고, c번째 클래스(χc)가 Mc개의 데이터 벡터로 이루어지는 경우, μc는 c번째 클래스의 평균벡터를 나타내고, μ는 트레이닝 얼굴 이미지 세트 전체의 평균 벡터를 나타낸다.
332단계에서, Sw를 고유 분해(eigen decomposition)하게 되면 고유값 값 행렬(eigen value matrix)인 D와 고유 벡터 행렬(eigen vector matrix)인 V를 계산할 수 있으며, 하기 수학식 4와 같이 표현된다.
[수학식4]
Figure 112007002713420-pat00004
333단계에서 클래스간 스캐터 행렬 SB로부터 수학식5에 따른 St를 계산할 수 있다.
[수학식5]
Figure 112007002713420-pat00005
334단계에서 St를 고유 분해함으로써 하기 수학식6과 같이 행렬 St로부터 고유 벡터 행렬인 U 와 고유 값 행렬 R 을 계산할 수 있다.
[수학식6]
Figure 112007002713420-pat00006
335단계에서 수학식7에 따라 베이시스 벡터 P를 계산할 수 있다.
[수학식7]
Figure 112007002713420-pat00007
400단계에서 LBP 제2특징 추출부(80)는 입력 이미지에 LBP 특징 셋을 적용하여 입력 이미지로부터 확장된 LBP 특징 들을 추출한다. 400단계는 입력 이미지를 획득하고 입력 이미지를 전처리 하는 과정을 더 포함한다. 상기 전처리 과정은 이미 설명한 바 있다. 입력 이미지에 대한 LBP 특징 들은 전처리된 입력 이미지에 대하여 200단계를 통해 선별된 LBP 특징셋을 적용함으로써 추출된다.
500단계에서 얼굴 기술자 생성부(90)는 400단계에서 추출된 입력 얼굴 이미지의 LBP 특징과 베이시스 벡터(bases vector)를 이용하여 입력 얼굴 이미지에 대 한 얼굴 기술자를 생성한다. 제2내적부(91)는 400단계에서 추출된 LBP 특징 들과 커널센터 선택부(51)를 통해 선택된 커널 센터의 내적을 통해 새로운 특징 벡터를 생성하고, 프로젝션부(92)는 새로운 특징 벡터를 베이시스 벡터에 투영함으로써 입력 얼굴 이미지의 얼굴 기술자를 생성시킨다.
이하에서는 본 발명의 도면과 실시예를 참조하여 본 발명의 얼굴 인식 장치와 인식 방법에 대하여 상세히 설명한다.
도 13은 본 발명의 일 실시예에 따른 얼굴 인식 장치(1000)의 블록도이다. 본 실시예의 얼굴 인식 장치(1000)는 트레이닝 얼굴 이미지 데이터베이스(1010), 트레이닝 얼굴 이미지 전처리부(1020), LBP 제1특징 추출부(1030), 선별부(1040), 베이시스 벡터 생성부(1050), 유사도 판단부(1060), 승인부(1070), ID 입력부(1100), 입력 이미지 획득부(1110), 입력 이미지 전처리부(1120), 입력 이미지의 LBP 특징 추출부(1130), 입력 이미지의 얼굴 기술자 생성부(1140), 타겟 이미지 독취부(1210), 타겟 이미지 전처리부(1220), 타겟 이미지의 LBP 특징 추출부(1230) 및 타겟 이미지의 얼굴 기술자 생성부(1240)를 포함한다.
도 13에 도시된 1010~1050에 기재된 구성요소 들은 도 1에 기재된 구성 요소에 대응되므로 이하 중복된 설명은 생략한다. ID 입력부(1100)는 얼굴 인식의 대상(또는 얼굴 검증의 대상)이 되는 사람으로부터 ID 를 수신한다. 입력이미지 획득부(1110)는 디지털 카메라 등의 이미지획득수단을 통해 얼굴 인식의 대상이 되는 사람의 얼굴 이미지를 획득한다. 타겟 이미지 독취부(1210)는 ID 입력부(1110)로 부터의 입력 ID에 따른 얼굴 이미지를 트레이닝 얼굴 이미지 데이터베이스로(1010) 부터 독취한다. 입력 이미지 전처리부(1120)와 타겟 이미지 전처리부(1220)를 통한 전처리 과정은 앞서 설명한 바 있다.
입력 이미지의 LBP 특징 추출부(1130)는 입력 이미지에 LBP 특징 셋을 적용하여, 입력 이미지로부터 LBP 특징 들을 추출한다. LBP 특징 셋은 사전의 부스팅 학습을 통해 선별부(1040)에 저장된 것이다.
입력 이미지 내적부(1141)는 LBP 특징 들을 갖는 입력 얼굴 이미지와 커널 센터의 내적을 계산하여 입력 이미지에 따른 새로운 특징 벡터를 생성한다. 타겟 이미지 내적부(1241)은 LBP 특징 들을 갖는 타겟 얼굴 이미지와 커널 센터와의 내적을 통해 타겟 이미지에 따른 새로운 특징 벡터를 생성한다. 커널 센터는 커널 센터 선택부(1051)를 통해 사전에 선별된다.
입력 이미지 프로젝션부(1142)는 입력 이미지의 특징 벡터를 베이시스 벡터에 투영하여 입력 이미지의 얼굴 기술자를 생성한다. 타겟 이미지 프로젝션부(1242)는 타겟 이미지의 특징 벡터를 베이시스 벡터에 투영하여 타겟 이미지의 얼굴 기술자를 생성한다. 베이시스 벡터는 LDA학습부(1053)에 의한 사전의 LDA학습을 통해 생성된 것이다.
얼굴 기술자 유사도 판단부(1060)는 입력 이미지 프로젝션부(1142)와 타겟 이미지 프로젝션부(1242)로부터 생성된 입력 이미지와 타겟 이미지의 얼굴 기술자 간의 유사도를 판단한다. 유사도는 각각의 얼굴 기술자 간의 코사인 거리를 계산함으로써 판단할 수 있다. 코사인 거리 이외에도 유클리디안 거리(Euclidean distance), 마하라노비스 거리(Mahalanobis distance)가 얼굴 인식을 위해 사용될 수 있다.
승인부(1060)은 얼굴 기술자 유사도 판단부(1050)의 판단 결과 동일인으로 판단된 경우에는 ID를 입력한 사람을 승인한다. 만약, 동일인이 아닌 것으로 판단된 경우에는 얼굴 이미지를 다시 촬영하거나 또는 승인 거부를 할 수 있다.
도 14는 본 발명의 일 실시예에 따른 얼굴 인식 방법을 나타낸 흐름도이다. 본 실시예에 따른 얼굴 인식 방법은 얼굴 인식 장치(1000)에서 시계열적으로 처리되는 다음과 같은 단계들로 구성된다.
2000단계에서 ID입력부(1100)는 얼굴 얼굴 인식(또는 신원 확인)의 대상이 되는 사람의 ID를 수신한다.
2100단계에서 입력 이미지 획득부(1110)는 얼굴 인식의 대상이 되는 사람의 얼굴 이미지를 획득한다. 2100'단계는 2000단계를 통해 수신된 ID 입력 정보에 따른 얼굴 이미지를 트레이닝 얼굴 이미지 데이터베이스(1010) 로부터 독출하는 단계이다.
2200단계에서 입력 얼굴 이미지의 LBP 특징 추출부(1130)는 입력 얼굴 이미지로부터 LBP 특징 들을 추출하는 단계이다. 2200단계에 앞서 2100단계를 통해 획득된 얼굴 이미지를 소정의 전처리 프로세스를 더 포함하는 것이 바람직하다. 2200단계에서 입력 이미지의 LBP 특징 추출부(1130)는 부스팅 학습 결과에 따른 LBP 특징 셋을 적용하여 전처리된 입력 얼굴 이미지로부터 LBP 특징 들을 추출한다. 2200'단계에서 타겟 이미지의 LBP 특징 추출부(1230)는 ID에 따라 선별되고 전처리 과정에 따라 획득한 얼굴 이미지에 상기 LBP 특징 셋을 적용함으로써, 타겟 이미지 의 LBP 특징 들을 추출한다. 트레이닝 얼굴 이미지 데이터베이스(1010)에 타겟 이미지의 LBP 특징 들이 이미 데이터베이스로서 구축되어 있다면 2200'단계는 불필요하게 된다.
2300단계에서 입력 이미지 내적부(1141)가 추출된 LBP 특징 정보를 갖는 입력 얼굴 이미지와 커널 센터와의 내적을 통해 입력 이미지의 특징 벡터를 계산한다. 마찬가지로, 2300’단계에서 타겟 이미지 내적부(1241)는 타겟 이미지의 LBP 특징 들과 커널 센터와의 내적을 통해 타겟 이미지 특징 벡터를 계산한다.
2400단계에서 입력 이미지 프로젝션부(1142)는 2300단계를 통해 계산된 입력 이미지의 특징 벡터를 LDA 베이시스 벡터에 투영함으로써 입력 이미지의 얼굴 기술자를 생성한다. 마찬가지로, 타겟 이미지 프로젝션부(1242)는 타겟 이미지의 특징 벡터를 LDA 베이시스 벡터에 투영함으로써 타겟 이미지의 얼굴 기술자를 생성한다.
2500단계에서 코사인 거리 계산부(미도시)는 입력 이미지의 얼굴 기술자와 타겟 이미지의 얼굴 기술자 간의 코사인 거리를 계산한다. 본 단계에서, 두 개의 얼굴 기술자 사이의 거리는 얼굴 인식(face reorganization)과 얼굴 검증(face verification)을 위해 계산된다. 코사인 거리 이외에도 유클리디안 거리, 마하라노비스 거리가 얼굴 인식을 위해 사용될 수 있다.
2600단계에서 유사도 판단부(1060)는 2500단계에서 계산된 코사인 거리가 소정의 값보다 작은 경우 동일한 인물로 판단(2700단계)하고, 소정의 값보다 큰 경우 다른 인물로 판단(2800)함으로써 얼굴 인식 과정은 종료된다.
한편 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명에 따르면 얼굴 이미지로부터 확장 LBP 특징 들을 추출함으로써 얼굴 인식 또는 검증시 에러 발생을 억제하고 인증률을 향상시킬 수 있다. 또한, 본 발 명에 따르면 확장 LBP 특징 들에 대한 감독 학습을 통해 일부 만을 선별함으로써 확장 LBP 특징을 사용함에 따라 프로세싱 시간이 길어지는 문제를 극복할 수 있다. 또한, 본 발명은 확장 LBP 특징 들에 대한 병렬적인 부스팅 학습을 이용하여 상호 보완적인 LBP 특징 들을 선별함으로써 얼굴 인식 효율을 향상시키는 효과가 있다.

Claims (22)

  1. (a) 트레이닝 얼굴 이미지로부터 확장 LBP(Local Binary Pattern) 특징 들을 추출하는 단계;
    (b) 상기 확장 LBP 특징 들에 대하여 얼굴 이미지 분류를 위한 감독 학습을 수행하여 확장 LBP 특징 들을 선별하고, 상기 선별된 확장 LBP 특징 들에 따른 LBP 특징 셋을 구축하는 단계;
    (c) 입력 얼굴 이미지에 상기 구축된 LBP 특징 셋을 적용하여 LBP 특징 들을 추출하는 단계; 및
    (d) 상기 입력 얼굴 이미지의 LBP 특징 들과 상기 LBP 특징 셋을 이용하여 얼굴 기술자를 생성하는 단계를 포함하는 얼굴 기술자 생성 방법.
  2. 제 1 항에 있어서, 상기 (a) 단계의 확장 LBP 특징 들은 상기 트레이닝 얼굴 이미지로부터 분할된 다수의 서브 이미지 들에서 추출된 LBP 특징인 것을 특징으로 하는 얼굴 기술자 생성 방법.
  3. 제 2 항에 있어서, 상기 분할된 서브 이미지 들은 해상도, 크기, 위치 또는 모양의 측면에서 서로 상이한 것을 특징으로 하는 얼굴 기술자 생성 방법.
  4. 제 2 항에 있어서, 상기 분할된 서브 이미지 들은 적어도 일부 영역에서 중 첩된(overlapped) 것을 특징으로 하는 얼굴 기술자 생성 방법.
  5. 제 1 항에 있어서, 상기 (a) 단계는
    (a1) 트레이닝 얼굴 이미지로부터 질감 정보(texture information)를 추출하는 단계;
    (a2) 소정의 크기와 모양을 갖는 서브 윈도우를 이용하여 상기 트레이닝 얼굴 이미지를 다수의 서브 이미지 들로 분할하는 단계; 및
    (a3) 상기 분할된 서브 이미지 들의 질감 정보를 이용하여 확장 LBP 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 얼굴 기술자 생성 방법.
  6. 제 1 항에 있어서, 상기 (d) 단계는
    (d1) 상기 구축된 LBP 특징 셋을 이용한 선형 판별 분석(Linear Discriminant Analysis)을 수행하여 베이시스 벡터를 생성하는 단계; 및
    (d2) 상기 (c) 단계에서 추출된 입력 얼굴 이미지의 LBP 특징 들과 상기 생성된 베이시스 벡터를 이용하여 얼굴 기술자를 생성하는 단계를 포함하는 얼굴 기술자 생성 방법.
  7. 제 1 항에 있어서, 상기 (b) 단계는
    상기 확장 LBP 특징 들을 서브셋 들로 분할하는 단계를 더 포함하고, 상기 감독 학습을 수행하는 것은 상기 분할된 서브셋 들 각각에 대하여 병렬적으로 부스 팅 학습을 수행하는 것임을 특징으로 하는 얼굴 기술자 생성 방법.
  8. 제 1 항에 있어서,
    트레이닝 얼굴 이미지를 가우시안 저역 통과 필터를 이용하여 필터링하는 단계;
    상기 필터링된 트레이닝 얼굴 이미지에서 눈 영역을 찾는 단계;
    상기 눈 영역을 기준으로 얼굴 이미지를 정규화시키는 단계; 및
    조명의 분산을 제거하기 위하여 조명을 변화시키는 단계를 포함하는 전처리 단계를 더욱 포함하는 것을 특징으로 하는 얼굴 기술자 생성 방법.
  9. 제 1 항에 있어서, 상기 (b) 단계는
    (b1) 상기 추출된 확장 LBP 특징 들을 서브 셋으로 분할하는 단계;
    (b2) 상기 분할된 서브 셋에 대하여 병렬적인 부스팅 학습을 수행하여 FAR(False Accept Rate) 또는 FRR(False Reject Rate)을 제1 기준값 보다 작게하는 후보를 선별하는 단계;
    (b3) 상기 각각의 서브 셋에서 선별된 후보를 수집하여 LBP 특징 풀을 생성하는 단계; 및
    (b4) 상기 생성된 LBP 특징 풀에 대하여 부스팅 학습을 수행함으로써 FAR 또는 FRR을 제2 기준값 보다 작게하는 LBP 특징 셋을 구축하는 단계를 포함하는 것을 특징으로 하는 얼굴 기술자 생성 방법.
  10. 제 6 항에 있어서, 상기 (d1) 단계는
    (d11) 상기 구축된 LBP 특징 셋에 따라 추출된 LBP 특징을 갖는 모든 트레이닝 얼굴 이미지 들 중에서 하나 이상의 트레이닝 얼굴 이미지를 커널 센터로 선택하는 단계;
    (d12) 상기 커널 센터와 이미 추출된 LBP 특징을 갖는 모든 트레이닝 얼굴 이미지의 내적을 통해 특징 벡터를 생성하는 단계; 및
    (d13) 상기 생성된 특징 벡터에 대한 선형 판별 분석(Linear Discriminant Analysis)을 수행하여 베이시스 벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 기술자 생성 방법.
  11. 제 10 항에 있어서, 상기 (d13) 단계는
    상기 (d12) 단계를 통해 얻어진 특징 벡터에 대하여 클래스간 스캐터 행렬과 클래스내 스캐터 행렬을 이용하여 베이시스 벡터를 생성하는 것을 특징으로 하는 얼굴 기술자 생성 방법.
  12. 제 10 항에 있어서, 상기 (d2) 단계는
    (d21) 상기 (d11) 단계에서 선택된 커널 센터에 상기 (c) 단계에서 추출된 LBP 특징 들을 갖는 입력 얼굴 이미지를 내적하여 입력 얼굴 이미지의 특징 벡터를 생성하는 단계; 및
    (d22) 상기 입력 얼굴 이미지의 특징 벡터를 상기 (d13) 단계를 통해 생성된 베이시스 벡터에 투영하여 입력 얼굴 이미지의 얼굴 기술자를 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 기술자 생성 방법.
  13. 제 1 항에 기재된 방법을 컴퓨터 상에서 실행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  14. (a) 트레이닝 얼굴 이미지로부터 확장 LBP(Local Binary Pattern) 특징 들을 추출하는 단계;
    (b) 상기 확장 LBP 특징 들에 대하여 감독 학습을 수행함으로써 얼굴 이미지 분류에 효율적인 확장 LBP 특징 들을 선별하고, 상기 선별된 확장 LBP 특징 들에 따른 LBP 특징 셋을 구축하는 단계;
    (c) 입력 얼굴 이미지와 타겟 얼굴 이미지에 상기 구축된 LBP 특징 셋을 적용함으로써 상기 각각의 얼굴 이미지로부터 LBP 특징 들을 추출하는 단계;
    (d) 상기 (c) 단계에서 추출된 LBP 특징 들과 상기 LBP 특징 셋을 이용하여 입력 얼굴 이미지와 타겟 얼굴 이미지의 얼굴 기술자를 생성하는 단계; 및
    (e) 상기 생성된 입력 얼굴 이미지의 얼굴 기술자와 타겟 얼굴 이미지의 얼굴 기술자가 소정의 유사도를 갖는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  15. 제 14 항에 있어서,
    상기 (a) 단계의 확장 LBP 특징 들은 상기 트레이닝 얼굴 이미지로부터 분할된 다수의 서브 이미지 들에서 추출된 LBP 특징인 것을 특징으로 하는 얼굴 인식 방법.
  16. 제 14 항에 있어서, 상기 (d) 단계는
    (d1) 상기 구축된 LBP 특징 셋을 이용한 선형 판별 분석(Linear Discriminant Analysis)을 수행하여 베이시스 벡터를 생성하는 단계; 및
    (d2) 상기 (c) 단계에서 추출된 입력 얼굴 이미지의 LBP 특징 들과 상기 생성된 베이시스 벡터를 이용하여 얼굴 기술자를 생성하는 단계를 포함하는 얼굴 인식 방법.
  17. 제 14 항에 있어서, 상기 (b) 단계는
    상기 확장 LPB 특징 들을 서브셋 들로 분할하는 단계를 더 포함하고, 상기 감독 학습을 수행하는 것은 상기 분할된 서브셋 들 각각에 대하여 병렬적으로 부스팅 학습을 수행하는 것임을 특징으로 하는 얼굴 인식 방법.
  18. 제 14 항에 기재된 방법을 컴퓨터 상에서 실행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  19. 트레이닝 얼굴 이미지로부터 확장 LBP(Local Binary Pattern) 특징 들을 추출하는 LBP 제 1 특징 추출부;
    상기 추출된 확장 LBP 특징 들에 대하여 얼굴 이미지 분류를 위한 감독 학습을 수행하여 확장 LBP 특징 들을 선별하고, 상기 선별된 확장 LBP 특징 들에 따른 LBP 특징 셋을 구축하는 선별부;
    입력 얼굴 이미지에 상기 LBP 특징 셋을 적용하여 입력 얼굴 이미지로부터 LBP 특징을 추출하는 LBP 제 2 특징 추출부; 및
    상기 LBP 제 2 특징 추출부에 의해 추출된 LBP 특징을 이용하여 얼굴 기술자를 생성하는 얼굴 기술자 생성부를 포함하는 얼굴 기술자 생성 장치.
  20. 제 19 항에 있어서,
    상기 생성된 LBP 특징 셋에 대하여 선형 판별 분석 학습을 수행함으로써 베이시스 벡터를 생성하는 베이시스 벡터 생성부를 더 포함하고,
    상기 얼굴 기술자 생성부는 상기 제2 특징 추출부에 의해 추출된 LBP 특징 들과 상기 베이시스 벡터를 이용하여 얼굴 기술자를 생성하는 것을 특징으로 하는 얼굴 기술자 생성 장치.
  21. 제 19 항에 있어서, 상기 선별부는
    상기 제 1 특징 추출부로부터 추출된 LBP 특징 들을 서브 셋으로 분할하는 서브 셋 분할부; 및
    상기 분할된 서브 셋에 대하여 병렬적인 부스팅 학습을 수행함으로써 얼굴 이미지 분류에 효율적인 LBP 특징을 선별하는 학습부를 더 포함하는 것을 특징으로 하는 얼굴 기술자 생성 장치.
  22. 트레이닝 얼굴 이미지로부터 확장 LBP(Local Binary Pattern) 특징 들을 추출하는 LBP 특징 추출부;
    상기 확장 트레이닝 얼굴 이미지의 확장 LBP 특징 들에 대하여 감독 학습을 수행하여 확장 LBP 특징 들을 선별하고, 상기 선별된 LBP 특징 들을 포함하는 LBP 특징 셋을 구축하는 선별부;
    입력 얼굴 이미지에 상기 구축된 LBP 특징 셋을 적용하여 LBP 특징 들을 추출하는 입력 얼굴 이미지의 LBP 특징 추출부;
    타겟 얼굴 이미지에 상기 구축된 LBP 특징 셋을 적용하여 LBP 특징 들을 추출하는 타겟 얼굴 이미지의 LBP 특징 추출부;
    상기 입력 얼굴 이미지와 타겟 얼굴 이미지로부터 추출된 LBP 특징 들과 상기 LBP 특징 셋을 이용하여 입력 얼굴 이미지와 타겟 얼굴 이미지의 얼굴 기술자를 생성하는 얼굴 기술자 생성부; 및
    상기 생성된 입력 얼굴 이미지의 얼굴 기술자와 타겟 얼굴 이미지의 얼굴 기술자가 소정의 유사도를 갖는지 여부를 판단하는 유사도 판단부를 포함하는 것을 특징으로 하는 얼굴 인식 장치.
KR1020070003068A 2007-01-10 2007-01-10 확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치 KR100866792B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070003068A KR100866792B1 (ko) 2007-01-10 2007-01-10 확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치
US11/882,442 US20080166026A1 (en) 2007-01-10 2007-08-01 Method and apparatus for generating face descriptor using extended local binary patterns, and method and apparatus for face recognition using extended local binary patterns

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070003068A KR100866792B1 (ko) 2007-01-10 2007-01-10 확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080065866A KR20080065866A (ko) 2008-07-15
KR100866792B1 true KR100866792B1 (ko) 2008-11-04

Family

ID=39594337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070003068A KR100866792B1 (ko) 2007-01-10 2007-01-10 확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치

Country Status (2)

Country Link
US (1) US20080166026A1 (ko)
KR (1) KR100866792B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588530B2 (en) 2010-07-15 2013-11-19 Samsung Techwin Co., Ltd. Method and camera for detecting a region having a specific shape

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472133B (zh) * 2007-12-28 2010-12-08 鸿富锦精密工业（深圳）有限公司 影像校正装置及影像校正方法
WO2009139161A1 (ja) * 2008-05-15 2009-11-19 株式会社ニコン 画像処理装置、画像処理方法、処理装置、処理方法およびプログラム
FI121901B (fi) * 2008-10-17 2011-05-31 Visidon Oy Objektien ilmaiseminen ja seuraaminen digitaalisissa kuvissa
KR101527408B1 (ko) 2008-11-04 2015-06-17 삼성전자주식회사 얼굴 표정 검출 방법 및 시스템
KR101592999B1 (ko) 2009-02-09 2016-02-11 삼성전자주식회사 휴대용 단말기에서 손 모양을 인식하기 위한 장치 및 방법
US8406483B2 (en) * 2009-06-26 2013-03-26 Microsoft Corporation Boosted face verification
FI123982B (fi) 2009-10-09 2014-01-15 Visidon Oy Kasvojen tunnistaminen digitaalisissa kuvissa
KR101038706B1 (ko) * 2009-11-18 2011-06-02 장정아 화상 인증 방법 및 장치
KR101066343B1 (ko) * 2009-11-24 2011-09-20 포항공과대학교 산학협력단 상호 정보 최대화 기반의 국부 이진 패턴 코드를 이용한 패턴 인식 방법, 장치 및 그 기록 매체
JP5434708B2 (ja) * 2010-03-15 2014-03-05 オムロン株式会社 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
KR101165357B1 (ko) * 2011-02-14 2012-07-18 (주)엔써즈 이미지 특징 데이터 생성 장치 및 방법
JP5777390B2 (ja) * 2011-04-20 2015-09-09 キヤノン株式会社 情報処理方法及び装置、パターン識別方法及び装置
WO2012168538A1 (en) * 2011-06-07 2012-12-13 Nokia Corporation Method, apparatus and computer program product for object detection
JP5913940B2 (ja) * 2011-12-01 2016-05-11 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
CN104838390B (zh) 2012-04-10 2018-11-09 艾戴克斯公司 生物计量感测
US9202108B2 (en) 2012-04-13 2015-12-01 Nokia Technologies Oy Methods and apparatuses for facilitating face image analysis
US9165180B2 (en) 2012-10-12 2015-10-20 Microsoft Technology Licensing, Llc Illumination sensitive face recognition
TWI498845B (zh) 2012-12-14 2015-09-01 Ind Tech Res Inst 飲食管理方法與系統
CN103077378B (zh) * 2012-12-24 2016-08-31 西安电子科技大学 基于扩展八邻域局部纹理特征的非接触式人脸识别算法和签到系统
CN103116765B (zh) * 2013-03-18 2015-12-23 山东大学 一种奇、偶分组的局部二元模式的人脸表情识别方法
US9113036B2 (en) 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
CN103440646B (zh) * 2013-08-19 2016-08-10 成都品果科技有限公司 用于颜色分布和纹理分布图像检索的相似度获取方法
US9390327B2 (en) * 2013-09-16 2016-07-12 Eyeverify, Llc Feature extraction and matching for biometric authentication
KR101412727B1 (ko) * 2013-11-15 2014-07-01 동국대학교 산학협력단 얼굴 인식 장치 및 방법
CN103632154B (zh) * 2013-12-16 2018-02-02 福建师范大学 基于二次谐波图像纹理分析的皮肤瘢痕图像判断方法
CN103679151B (zh) * 2013-12-19 2016-08-17 成都品果科技有限公司 一种融合LBP、Gabor特征的人脸聚类方法
CN103996018B (zh) * 2014-03-03 2018-03-02 天津科技大学 基于4dlbp的人脸识别方法
CN103942543B (zh) * 2014-04-29 2018-11-06 Tcl集团股份有限公司 一种图像识别方法及装置
KR101681233B1 (ko) * 2014-05-28 2016-12-12 한국과학기술원 저 에너지/해상도 가지는 얼굴 검출 방법 및 장치
CN104112117B (zh) * 2014-06-23 2018-01-12 大连民族学院 一种基于改进的局部二值模式特征的舌头动作识别方法
CN104091163A (zh) * 2014-07-19 2014-10-08 福州大学 一种消除遮挡影响的lbp人脸识别方法
CN104143091B (zh) * 2014-08-18 2017-09-12 江南大学 基于改进mLBP的单样本人脸识别方法
EP3183689A4 (en) 2014-08-22 2017-08-23 Microsoft Technology Licensing, LLC Face alignment with shape regression
KR101598712B1 (ko) * 2014-10-15 2016-02-29 유상희 물체 검출을 위한 학습 방법 및 그 물체 검출 방법
CN104636730B (zh) * 2015-02-10 2018-09-04 北京信息科技大学 人脸验证的方法和装置
US9762393B2 (en) * 2015-03-19 2017-09-12 Conduent Business Services, Llc One-to-many matching with application to efficient privacy-preserving re-identification
CN105005776A (zh) * 2015-07-30 2015-10-28 广东欧珀移动通信有限公司 指纹识别方法及装置
WO2017047862A1 (ko) * 2015-09-18 2017-03-23 민운기 영상의 색 히스토그램 및 질감 정보를 이용한 영상 키 인증 방법 및 시스템
CN105260749B (zh) * 2015-11-02 2018-11-13 中国电子科技集团公司第二十八研究所 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN105809132B (zh) * 2016-03-08 2019-07-23 山东师范大学 一种改进的压缩感知人脸识别方法
CN106022223B (zh) * 2016-05-10 2019-10-25 武汉理工大学 一种高维局部二值模式人脸识别方法及系统
CN106204842B (zh) * 2016-07-08 2018-06-22 步阳集团有限公司 一种通过虹膜进行识别的门锁
CN106006312B (zh) * 2016-07-08 2018-06-26 樱花电梯（中山）有限公司 一种通过虹膜进行识别的电梯轿箱
CN106250841B (zh) * 2016-07-28 2019-03-19 山东师范大学 一种用于人脸识别的自适应冗余字典构造方法
CN107294947A (zh) * 2016-08-31 2017-10-24 张梅 基于物联网的停车信息公共服务平台
CN106529468B (zh) * 2016-11-07 2019-03-05 重庆工商大学 一种基于卷积神经网络的手指静脉识别方法及系统
CN106599870A (zh) * 2016-12-22 2017-04-26 山东大学 一种基于自适应加权局部特征融合的人脸识别方法
BR102016030449A2 (pt) * 2016-12-23 2018-07-17 Faculdades Catolicas Associacao Sem Fins Lucrativos Mantenedora Da Pontificia Univ Catolica Do Rio D método para avaliação e seleção de amostras de imagens faciais para o reconhecimento facial a partir de sequências de vídeo
CN106897700B (zh) * 2017-02-27 2020-04-07 苏州大学 一种单样本人脸识别方法及系统
CN107229936B (zh) * 2017-05-22 2020-06-23 西安电子科技大学 基于球状鲁棒序列局部二值化模式的序列分类方法
CN107273824B (zh) * 2017-05-27 2020-04-07 西安电子科技大学 基于多尺度多方向局部二值模式的人脸识别方法
CN109558812B (zh) * 2018-11-13 2021-07-23 广州铁路职业技术学院（广州铁路机械学校） 人脸图像的提取方法和装置、实训系统和存储介质
CN110008811A (zh) * 2019-01-21 2019-07-12 北京工业职业技术学院 人脸识别系统及方法
WO2021027440A1 (zh) * 2019-08-15 2021-02-18 华为技术有限公司 一种人脸检索方法及装置
EP4148662A4 (en) * 2020-05-08 2023-07-05 Fujitsu Limited IDENTIFICATION PROCESS, GENERATION PROCESS, IDENTIFICATION PROGRAM AND IDENTIFICATION DEVICE
DE102022211287A1 (de) * 2022-10-25 2024-04-25 Stellantis Auto Sas Fahrzeugfunktionssteuerung mittels von Mobilgerät erkannter Mimik

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030053685A1 (en) 2001-06-01 2003-03-20 Canon Kabushiki Kaisha Face detection in colour images with complex background
US20060062478A1 (en) 2004-08-16 2006-03-23 Grandeye, Ltd., Region-sensitive compression of digital video
KR20060079060A (ko) * 2004-12-30 2006-07-05 삼성전자주식회사 얼굴의 텍스쳐 정보를 갖는 분류자 검출방법 및 장치와텍스쳐 정보의 통계적 특성을 이용한 얼굴 인식방법 및장치
KR20060133345A (ko) * 2005-06-20 2006-12-26 삼성전자주식회사 국부이진패턴 구별 방법을 이용한 얼굴 검증 방법 및 장치
KR20070075644A (ko) * 2006-01-13 2007-07-24 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
TW200539046A (en) * 2004-02-02 2005-12-01 Koninkl Philips Electronics Nv Continuous face recognition with online learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030053685A1 (en) 2001-06-01 2003-03-20 Canon Kabushiki Kaisha Face detection in colour images with complex background
US20060062478A1 (en) 2004-08-16 2006-03-23 Grandeye, Ltd., Region-sensitive compression of digital video
KR20060079060A (ko) * 2004-12-30 2006-07-05 삼성전자주식회사 얼굴의 텍스쳐 정보를 갖는 분류자 검출방법 및 장치와텍스쳐 정보의 통계적 특성을 이용한 얼굴 인식방법 및장치
KR20060133345A (ko) * 2005-06-20 2006-12-26 삼성전자주식회사 국부이진패턴 구별 방법을 이용한 얼굴 검증 방법 및 장치
KR20070075644A (ko) * 2006-01-13 2007-07-24 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588530B2 (en) 2010-07-15 2013-11-19 Samsung Techwin Co., Ltd. Method and camera for detecting a region having a specific shape

Also Published As

Publication number Publication date
KR20080065866A (ko) 2008-07-15
US20080166026A1 (en) 2008-07-10

Similar Documents

Publication Publication Date Title
KR100866792B1 (ko) 확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치
KR100846500B1 (ko) 확장된 가보 웨이브렛 특징 들을 이용한 얼굴 인식 방법 및장치
US20180293429A1 (en) Age invariant face recognition using convolutional neural networks and set distances
KR100944247B1 (ko) 얼굴 인식 방법 및 시스템
KR20130037734A (ko) 방사형 기저 함수 신경회로망 알고리즘을 이용한 실시간 얼굴 인식 시스템
KR101743927B1 (ko) 확장된 곡선형 가버 필터를 이용한 객체 기술자 생성 방법 및 장치
Gale et al. Evolution of performance analysis of iris recognition system by using hybrid methods of feature extraction and matching by hybrid classifier for iris recognition system
Ramya et al. Certain investigation on iris image recognition using hybrid approach of Fourier transform and Bernstein polynomials
Ruhitha et al. Implementation of IOT based attendance management system on Raspberry Pi
Benlamoudi et al. Face spoofing detection using multi-level local phase quantization (ML-LPQ)
El-Naggar et al. Ear detection in the wild using faster R-CNN deep learning
KR20090005920A (ko) 곡선형 가버 필터를 이용한 객체 기술자 생성 방법 및 장치
Bindu et al. Kernel-based scale-invariant feature transform and spherical SVM classifier for face recognition
Dubovečak et al. Face Detection and Recognition Using Raspberry PI Computer
Sukkar et al. A Real-time Face Recognition Based on MobileNetV2 Model
Bukis et al. Survey of face detection and recognition methods
Abhila et al. A deep learning method for identifying disguised faces using AlexNet and multiclass SVM
Intan Combining of feature extraction for real-time facial authentication system
Irhebhude et al. Northern Nigeria Human Age Estimation From Facial Images Using Rotation Invariant Local Binary Pattern Features with Principal Component Analysis.
Osman et al. Face Verification across Aging using Deep Learning with Histogram of Oriented Gradients
Kolli et al. An Efficient Face Recognition System for Person Authentication with Blur Detection and Image Enhancement
Abbas Frs-occ: Face recognition system for surveillance based on occlusion invariant technique
Hashim et al. Handwritten Signature Identification Based on Hybrid Features and Machine Learning Algorithms
Raut et al. A Review on Various Techniques for Face Detection
El mehdi Cherrat et al. Convolutional neural networks approach for multimodal biometric identification system using the fusion of fingerprint, finger-vein and face images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee