KR20100102949A - 블록 단위 기반 얼굴 인식 방법 및 그 장치 - Google Patents

블록 단위 기반 얼굴 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR20100102949A
KR20100102949A KR1020090021279A KR20090021279A KR20100102949A KR 20100102949 A KR20100102949 A KR 20100102949A KR 1020090021279 A KR1020090021279 A KR 1020090021279A KR 20090021279 A KR20090021279 A KR 20090021279A KR 20100102949 A KR20100102949 A KR 20100102949A
Authority
KR
South Korea
Prior art keywords
block
face image
similarity
query
registered
Prior art date
Application number
KR1020090021279A
Other languages
English (en)
Inventor
윤우한
김도형
윤호섭
이재연
황대환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090021279A priority Critical patent/KR20100102949A/ko
Publication of KR20100102949A publication Critical patent/KR20100102949A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 블록 단위 기반 얼굴 인식방법에 관한 것으로서, 일면에 따른 블록단위기반의 얼굴인식방법은 쿼리 얼굴 영상을 소정의 블록 단위로 나누고 각 블록마다 특징값을 추출하는 단계; 상기 쿼리 얼굴 영상의 각 블록의 특징값과 상기 각 블록에 대응하는 등록 얼굴 영상의 각 블록의 특징값을 비교하여 블록 유사도를 산출하는 단계; 상기 쿼리 얼굴 영상의 각 블록에 대응하는 등록자의 상기 등록 얼굴 영상의 블록 중에서 상기 블록 유사도가 최대인 최대 유사 블록을 추출하는 단계; 상기 등록자의 상기 최대 유사 블록들의 유사도를 합산하여 상기 쿼리 얼굴 영상과 상기 등록자의 상기 등록 얼굴 영상 사이의 최종 유사도를 추출하는 단계; 및 상기 최종 유사도를 모든 등록자의 상기 등록 얼굴 영상에 대하여 추출하고, 상기 최종 유사도가 최대인 상기 등록자의 상기 등록 얼굴 영상을 상기 쿼리 얼굴 영상의 인식결과로 하는 단계를 포함하는 것을 특징으로 한다.
얼굴인식, 유사도, 블록

Description

블록 단위 기반 얼굴 인식 방법 및 그 장치{METHOD AND APPARATUS FOR FACE RECOGNITION BASED ON BLOCK-UNIT}
본 발명은 얼굴 인식 방법에 관한 것으로서, 구체적으로는 블록 단위의 얼굴 영상을 기반으로 하여 쿼리 얼굴 영상과 등록 얼굴 영상의 유사도를 측정함으로써 카메라를 통해 입력된 사용자의 얼굴을 미리 등록된 얼굴 영상과 비교하여 가장 유사한 얼굴을 찾는 블록 단위 기반 얼굴 인식 방법 및 그 장치에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-037-01, 과제명: u-로봇 HRI 솔루션 및 핵심 소자 기술 개발].
일반적으로 얼굴 인식기술은 특정인으로부터 입력된 얼굴 영상(이하 '쿼리 얼굴 영상'이라 함)을 기준으로 하여 미리 데이터베이스에 저장된 얼굴 영상과 비교함으로써 입력된 쿼리 얼굴 영상과 동일하거나 가장 유사한 등록 얼굴 영상을 데이터베이스에서 검색하는 것이다.
현재까지 연구된 얼굴 인식 기술은 전처리 방법, 특징추출 방법, 분류방법에 따라 다양하게 나눌 수 있다.
전처리 방법들로는 히스토그램 정규화, 감마값 정규화, 뎁스맵(Depthmap) 이용 등이 있으며, 특징추출 및 모델링 방법으로는 고유얼굴(Eigenface)을 이용한 주성분 분석(Principal Components Analysis; PCA)방법, 클래스(사람)별 분산은 최대로 하고 클래스 내(한 사람의 다양한 영상 간) 분산은 최소로 하는 프로젝션(변환 매트릭스)W를 학습에 의해 결정하고 결정된 프로젝션 W를 이용하여 얼굴 영상을 소정의 서술자로 표현하는 선형 판별 분석(LDA: Linear Discriminant Analysis) 방법을 비롯하여 동적 외형 모델(AAM: Active Appearance Model)과 임의의 형태를 갖는 밀도를 부드럽게 근사화된 형태로 모델을 구성하는 가우시안 혼합 모델(GMM: Gaussian Mixture Model) 등이 있다.
분류방법으로는 유클리디안(Euclidean)거리나 마하라노비스(Mahalanobis)거리를 사용하는 k-니어리스트 네이버(k-Nearest Neighbor)를 비롯하여 다양한 방법이 있다.
일반적으로 얼굴 영상은 픽셀로 구분되고, 이 픽셀들은 고차원의 행렬(벡터)로 표현되는데, 그 행렬 데이터의 양이 많기 때문에 정확성을 제공하면서도 적은 양의 데이터로 얼굴 영상을 표현하고, 입력된 얼굴 영상을 미리 저장된 얼굴 영상 데이터베이스에서 검색할 때 적은 계산량으로 검색을 수행하기 위해 많은 연구가 진행되고 있다.
한편, 미리 저장된 등록 얼굴 영상과 가장 유사한 얼굴 영상을 인식하고자 할 때 정확한 결과를 얻기 위해서는, 한 사람의 얼굴 영상들에 대한 조명, 포즈, 표정 변화 등과 무관하게 그 얼굴 영상의 주체(identity)를 가장 잘 구분할 수 있 는 특징으로 그 사람의 얼굴 영상들이 데이터화 되어야 하는 점과 다수 사람의 다수 얼굴 영상들이 저장된 대용량의 얼굴 영상 데이터베이스를 고려할 때 간략한 유사도 판단 방법이 필요하다.
특히, 지능형 로봇과 관련하여 인간-로봇 상호작용기술(HRI: Human-Robot Interaction) 중에서 비디오 기반 상호작용 기술의 가장 중요한 기능을 담당하고, 다양한 응용 서비스가 가능한 얼굴 인식 기술은 데이터베이스에 등록되는 얼굴 영상수가 적고 그 환경이 다양하지 않은 로봇환경에서는 일반적인 얼굴 인식 방법을 사용하면 인식 성능이 저하되는 문제점이 있다.
본 발명의 목적은 기존의 등록 얼굴 영상 수가 적고 등록 환경이 열악한 경우에 발생하는 얼굴 인식 성능 저하의 단점을 보완하기 위하여 블록 단위로 얼굴 영상의 유사도를 산출하는 얼굴 인식방법 및 그 장치를 제공하는 하는 것이다.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 블록 단위 기반 얼굴 인식방법은, 쿼리 얼굴 영상을 소정의 블록 단위로 나누고 각 블록마다 특징값을 추출하는 단계; 상기 쿼리 얼굴 영상의 각 블록의 특징값과 상기 각 블록에 대응하는 등록 얼굴 영상의 각 블록의 특징값을 비교하여 블록 유사도를 산출하는 단계; 상기 쿼리 얼굴 영상의 각 블록에 대응하는 등록자의 상기 등록 얼굴 영상의 블록 중에서 상기 블록 유사도가 최대인 최대 유사 블록을 추출하는 단계; 상기 등록자의 상기 최대 유사 블록들의 유사도를 합산하여 상기 쿼리 얼굴 영상과 상기 등록자의 상기 등록 얼굴 영상 사이의 최종 유사도를 추출하는 단계; 및 상기 최종 유사도를 모든 등록자의 상기 등록 얼굴 영상에 대하여 추출하고, 상기 최종 유사도가 최대인 상기 등록자의 상기 등록 얼굴 영상을 상기 쿼리 얼굴 영상의 인식결과로 하는 단계를 를 포함한다.
본 발명의 다른 면에 따른 블록 단위 기반 얼굴 인식 장치는 얼굴 영상을 입력받는 영상 입력부; 상기 입력받은 얼굴영상을 소정의 블록 단위로 특징값을 추출하는 특징값 추출부; 상기 블록 단위로 특징값이 추출된 쿼리 얼굴 영상과 등록 얼 굴 영상의 블록 유사도를 산출하는 블록 유사도 산출부; 상기 블록 유사도를 이용하여 개인별 최종 유사도를 추출하는 최종 유사도 추출부; 상기 최종 유사도가 최대인 등록자의 상기 등록 얼굴 영상을 인식하는 인식부를 포함한다.
본 발명에 따른 블록 기반 얼굴 인식 방법에 따르면, 로봇환경과 같이 등록되는 얼굴 영상 수가 적은 경우에도 얼굴 인식 성능을 높일 수 있다.
또한, 입력되는 얼굴 영상을 소정의 블록 단위로 비교하여 유사도를 판단함으로써 다양한 조합의 영상이 만들어지므로 등록 얼굴 영상의 다양성(조명, 표정 등)을 증가시킬 수 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서는, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
도 1은 본 발명의 일실시예에 따른 블록 단위 기반 얼굴 인식장치의 구성도 를 나타낸 것이다.
도 1을 참조하면, 본 발명의 블록 단위 기반 얼굴 인식장치는 영상 입력부(100), 얼굴 영상의 특징값을 추출하는 특징값 추출부(100), 등록 얼굴 영상을 저장하는 데이터베이스(300), 유사도 측정부(400), 얼굴 영상의 블록 유사도를 산출하는 블록 유사도 산출부(410), 개인별 얼굴 영상의 최종 유사도를 추출하는 최종 유사도 추출부(420), 쿼리 얼굴 영상과 가장 유사한 얼굴 영상을 데이터베이스(300)에 저장된 등록 얼굴 영상 중에서 인식하는 인식부(500)를 포함한다.
영상 입력부(100)는 얼굴 영상의 유사도 산출을 위한 입력 얼굴 영상을 획득한다. 상기 획득된 입력 얼굴 영상(이하 '쿼리 얼굴 영상'이라 함)은 얼굴 영상을 획득할 수 있는 카메라, 캠코더 등의 영상 획득 장치를 통해 획득될 수 있다.
영상 입력부(100)를 통해 획득된 쿼리 얼굴 영상은 소정의 전처리부(미도시)를 통해 정규화하는 것이 바람직하다. 쿼리 얼굴 영상에 대한 정규화 프로세스는 입력된 얼굴 영상으로부터 배경 영상을 제거하고, 가우시안 저역 통과필터를 통해 얼굴 이미지를 필터링한 다음, 필터링된 이미지로부터 예컨대, 눈 영역을 찾아 눈의 위치를 기준으로 이미지를 정규화시키고, 조명을 변화시켜 조명의 분산을 제거하는 단계를 포함한다.
영상 입력부(100)를 통해 입력받은 개인별 얼굴 영상은 소정의 블록 단위로 구획되고, 블록별 특징값이 추출되면 블록 단위로 특징값이 추출된 얼굴 영상(이하'등록 얼굴 영상'이라 함)이 데이터베이스(300)에 저장된다. 외부에서 개인별 하나 이상의 얼굴 영상이 입력되면 등록 얼굴 영상을 생성하고, 등록 얼굴 영상을 각각 소정의 블록 단위로 나눈다.
예컨대, 가정에서 지능형 로봇을 사용하여 가족들의 습관, 취향, 선호도 등을 고려한 개인 맞춤형 서비스를 제공하고자 하는 경우 상기 지능형 로봇은 미리 저장된 가족구성원의 얼굴 영상과 쿼리 얼굴 영상을 비교하여 쿼리 얼굴 영상과 일치하는 가족 구성원을 찾아내어 맞춤형 서비스를 제공할 수 있다. 특히, 로봇 환경과 같이 등록 얼굴 영상의 수가 적은 경우에는 등록 얼굴 영상들을 효율적으로 이용할 필요가 있다.
특징값 추출부(200)는 소정의 블록 단위로 나누어진 얼굴 영상을 블록별로 특징값을 추출한다. 특징값은 픽셀값 자체가 될 수도 있고, 히스토그램의 정규화 결과값과 같이 간단한 영상처리로 획득할 수 있다. 또한 얼굴 인식 방법에 있어서의 특징추출기법인 주성분 분석(Principal Components Analysis: PCA) 결과값 혹은 선형 판별 분석(Linear Discriminant Analysis) 결과값이 될 수도 있다.
데이터베이스(300)는 소정의 블록 단위로 특징값이 추출된 등록 얼굴 영상을 저장한다. 데이터베이스(300)에 저장되는 등록 얼굴 영상은 개인별로 하나 이상의 얼굴 영상이 등록될 수 있다. 예컨대, 가정에서 사용하는 지능형 로봇의 경우 가족들의 수만큼의 등록자에 대하여, 등록자별 하나 이상의 얼굴 영상을 등록시킬 수 있다.
유사도 측정부(400)는 블록 유사도 추출부(410), 최종 유사도 추출부(420)를 포함한다.
얼굴 영상의 유사도는 비교 대상이 되는 얼굴 영상의 특징값을 비교하여 측 정될 수 있다. 쿼리 얼굴 영상의 각 블록과 데이터베이스에 미리 저장된 등록 얼굴 영상의 각 블록의 특징값을 비교하여 블록 단위의 유사도를 산출한다.
블록 유사도 추출부(410)는 각 블록들의 특징값을 비교하여 유사도를 계산한다. 블록 유사도는 아래의 수학식 1에 의해 계산될 수 있다.
Figure 112009015121148-PAT00001
sim(a,b)는 a와 b의 유사도를 구하는 함수이고, Finput(i, j)는 쿼리로 입력된 영상의 i 번째 행, j 번째 열에 위치한 블록의 특징값이고, Fg L(i, j)는 L번째 등록된 사람의 g 번째 등록 얼굴 영상에서 i 번째 행, j 번째 열에 위치한 블록의 특징값이다. 따라서 상기 수학식 1은 쿼리 얼굴 영상과 등록 얼굴 영상을 소정의 블록 단위로 블록화시켜 블록 매트릭스를 구성하였을 때, 쿼리 얼굴 영상의 (i,j) 블록과 등록 얼굴 영상의 (i,j) 블록의 유사도를 산출하기 위한 식이다.
최종 유사도 추출부(420)는 블록 유사도 추출부(410)를 통해 추출된 각 블록 유사도를 이용하여 개인별 최종 유사도를 추출한다. 개인별 최종 유사도는 쿼리 얼굴 영상의 소정의 블록과 가장 유사한 블록을 등록 얼굴 영상의 블록에서 찾은 후, 상기 가장 유사한 블록들의 유사도 값을 모두 합산한 결과값으로 계산된다.
이때 가장 유사한 블록을 찾는 방법은 수학식 1을 통해 계산된 모든 블록의 유사도 산출결과를 이용한다. 즉, 가장 유사한 블록의 유사도는 수학식 1을 통해 계산된 블록 유사도 중 최대값이며, 다음의 식으로 계산된다.
Figure 112009015121148-PAT00002
수학식 2의 valueL(i, j)는 쿼리 얼굴 영상과 L번째 등록자의 등록 얼굴 영상들 중에서 (i,j)블록의 유사도의 최대값을 찾는 식이다. max()는 주어진 영역(수학식 2의 경우는 1 < g < NL)에서 가장 큰 값을 찾는 함수를 의미한다. 따라서, L번째 등록자의 블록 유사도를 구해서, 유사도 값이 최대인 블록이 쿼리 얼굴 영상의 소정의 블록과 가장 유사한 블록이 된다.
Figure 112009015121148-PAT00003
Figure 112009015121148-PAT00004
수학식 3의 SimilarityL은 개인별 최종 유사도이고, 이는 가장 유사한 블록들의 유사도 값들을 합한 값이다.
본 발명의 일실시예에 따라서 아래의 표와 같이 L 번째 사람의 2장의 얼굴 영상이 2×2의 블록 매트리스로 블록화되어 등록 얼굴 영상으로 데이터베이스(300)에 저장되어 있다고 가정한다.
Figure 112009015121148-PAT00005
상기 표 1에서 a,b,c,d 는 쿼리 얼굴 영상의 각 블록의 특징값을 나타낸다. a 는 (1,1) 블록의 특징값을 나타낸다. 1,2,3...8은 등록 얼굴 영상 각 블록의 특징값을 나타낸다. 1 은 L 번째 등록자의 첫째 얼굴 영상의 (1,1) 블록의 특징값이고, 5 는 L 번째 등록자의 두 번째 얼굴 영상의 (1,1) 블록의 특징값이다.
수학식 3에 따른 개인별 최종 유사도를 산출하는 과정을 살펴보면 다음과 같다.
(1,1) 블록의 유사도는 각각 sim(a,1)와 sim(a,5)이다. sim(a,5)값이 sim(a,1)보다 큰 경우 valueL(i, j)는 sim(a,5) 값이 되고, (1,1) 블록과 가장 유사한 블록은 두 번째 얼굴 영상의 (1,1) 블록이다.
(1,2) 블록의 유사도는 각각 sim(b,2)와 sim(b,6)이고, 이 중에서 sim(b,2)가 최대값이면 (1,2) 블록과 가장 유사한 블록은 첫째 얼굴 영상의 (1,2)블록이다.
(2,1) 블록의 유사도는 각각 sim(c,3)와 sim(c,7)이고, 이 중에서 sim(c,3)이 최대값이면 (2,1) 블록과 가장 유사한 블록은 첫째 얼굴 영상의 (2,1)블록이다.
(2,2) 블록의 유사도는 각각 sim(d,4)와 sim(d,8)이고, 이 중에서 sim(d,8)이 최대값이면 (2,2) 블록과 가장 유사한 블록은 두 번째 얼굴 영상의 (2,2)블록이다.
따라서, L번째 등록자의 최종 유사도 SimilarityL = sim(a,5)+sim(b,2)+ sim(c,3)+sim(d,8) 값을 가진다. 전술한 방법으로 데이터베이스에 등록 얼굴 영상을 등록한 모든 등록자들의 최종 유사도를 계산하고, 개인별 최종 유사도 값 중에서 최대값을 가지는 등록자가 쿼리 얼굴 영상과 매칭되는 사람이다.
결국, 쿼리 얼굴 영상은 첫째 등록 얼굴 영상과 둘째 등록 얼굴 영상의 블록들의 새로운 조합으로 생긴 이미지와 비교하는 효과가 있다. 이는 로봇환경에서와 같이 등록 얼굴 영상의 수가 적은 경우에 유용한 방법이 될 수 있다.
Figure 112009015121148-PAT00006
즉, 등록 얼굴 영상의 각 블록들을 조합하면 아래와 같은 새로운 이미지들을 생성할 수 있고, 한 장의 쿼리 얼굴 영상과 16장의 등록 얼굴 영상의 블록 이미지 조합들을 비교할 수 있게 되어 다양한 조합의 영상이 만들어지므로 등록 영상의 다양성(조명, 표정 등)이 증가하는 효과가 있다.
Figure 112009015121148-PAT00007
만약, 한 사람의 등록 영상 수가 5장이라면 54 = 625장의 블록 이미지 조합을 만들어 비교하는 효과가 있다.
인식부(500)는 개인별 최종 유사도값 중에서 가장 큰 값을 가지는 사람을 쿼리 얼굴 영상에 매칭되는 사람으로 인식한다. 상기 인식결과는 등록 얼굴 영상 및 등록자의 이름으로 디스플레이 또는 음성 송출 등의 방식을 이용하여 출력할 수 있다.
도 2는 본 발명의 일실시예에 따른 블록 단위 기반의 얼굴 인식 방법을 나타내는 흐름도이고, 도 3은 본 발명의 일실시예에 따른 블록 유사도 산출방법을 나타내는 흐름도이다.
먼저, 입력되는 얼굴 영상에 매칭되는 등록 얼굴 영상을 찾기 위해서는 데이터베이스(300)에 등록 얼굴 영상을 저장하고 있어야 한다. 데이터베이스(300)에 등록 얼굴 영상을 저장하고자 할 때, 먼저 전체 얼굴 영상을 소정의 블록 단위로 나눈 후(S10), 특징값 추출부(200)를 통해 블록별 특징값을 추출하여 저장한다(S20). 즉, 등록 얼굴 영상의 블록별 특징값이 추출된 영상을 데이터베이스(300)에 저장하게 된다.
다만, 등록 얼굴 영상을 데이터베이스(300)에 저장시킨 후에 쿼리 얼굴 영상의 블록화에 따라 등록 얼굴 영상을 블록화시킨 후 블록 유사도 산출부(410)를 통해 블록별로 유사도를 계산할 수도 있고, 혹은 데이터베이스(300)에 블록별로 저장시킨 후 입력되는 쿼리 얼굴 영상과의 블록별 계산을 위해 데이터베이스(300)에 저장된 블록별 얼굴 영상을 독출하여 특징값을 계산한 후 블록 유사도를 산출할 수도 있다.
그러나, 이는 계산량이 많아지고 연산속도가 느려지는 단점이 존재하므로 입력되는 얼굴 영상을 소정의 블록 단위로 블록화시키고, 블록별 특징값이 추출된 등록 얼굴 영상을 데이터베이스에 저장시킨 후, 쿼리 얼굴 영상과 블록 유사도를 계산하는 것이 바람직하다.
블록 유사도를 계산함에 있어서, 블록의 특징값을 비교할 때마다 데이터베이스에 저장된 얼굴 영상의 블록의 특징값을 추출하는 경우 계산량이 많아져 연산속도가 느려지고 얼굴 인식 성능이 저하될 우려도 존재한다. 따라서, 얼굴 영상이 블록화되어 특징값이 추출된 상태에서 데이터베이스(300)에 저장하면 유사도 계산시에는 블록화 및 특징값 추출에 소모되는 시간은 필요로 하지 않기 때문에 효율적인 얼굴 인식방법을 구현할 수 있다.
쿼리 얼굴 영상이 상기 블록 단위로 구획되고, 블록별 특징값이 추출되면 블록 유사도를 산출한다(S30). 블록 유사도는 동일한 위치의 모든 서로 대응하는 위치에 있는 블록의 유사도를 산출한다.
유사도는 해당 블록의 특징값을 비교하여 산출되므로 먼저 쿼리 얼굴 영상을 블록화시키고(S31), 블록의 특징값을 추출한다(S32). 추출된 쿼리 얼굴 영상 블록의 특징값과 등록 얼굴 영상의 블록의 특징값을 비교하여 블록 유사도를 산출한다.(S33)
블록의 특징값은 다양한 방법으로 추출될 수 있다. 블록의 특징값은 각 블록의 픽셀값, 히스토그램 정규화 결과값, PCA(Principal Components Analysis) 결과값, LDA(Linear Discriminant Analysis) 결과값 등을 이용하여 산출될 수 있다.
블록 유사도는 추출된 특징값과 유사도 비교함수 sim()를 통해 산출한다(S32). 블록 유사도는 먼저 L번째 등록자의 모든 등록 얼굴 영상에 대하여 블록 유사도를 산출한 후, 쿼리 얼굴 영상의 각 블록과 가장 유사한 블록을 찾기 위해 블록별로 유사도 값이 최대인 등록 얼굴 영상의 블록들을 추출한다(S34).
상기 추출된 등록 얼굴 영상의 블록들의 유사도를 합산하여 L번째 등록자의 최종 유사도(SimilarityL)를 추출한다(S40). 한편, 데이터베이스에 등록된 모든 등록자에 대하여 S32, S33, S40 과정을 반복하여 모든 등록자 각각의 최종 유사도를 추출한다.
최종적으로 쿼리 얼굴 영상과 가장 유사한 등록 얼굴 영상을 찾기 위해 모든 등록자 각각의 최종 유사도를 비교하여 가장 큰 최종 유사도를 가지는 등록 얼굴 영상을 선별한다(S50).
본 발명에 따른 블록 단위 기반의 얼굴 인식 방법을 사용할 경우 예컨대, 가정에서 사용하는 지능형 로봇에 등록되어 있는 사람 이외의 사람의 얼굴 영상이 쿼리 얼굴 영상으로 입력되는 경우에도 로봇의 데이터베이스에 저장되어 있는 등록 얼굴 영상과 가장 유사한 얼굴 영상을 인식할 수 있다.
물론, 쿼리 얼굴 영상과 등록 얼굴 영상의 최종 유사도값이 소정의 임계치 이상인 경우에만 쿼리 얼굴 영상의 인식 결과를 출력하도록 구성하는 것을 배제하지는 않는다.
도 4는 본 발명의 일실시예에 따른 블록 단위 기반의 얼굴 인식 방법에 따라 블록 단위가 2×2이며, 등록 얼굴 영상이 3장일 경우에 블록 유사도 판단을 통한 얼굴 인식의 예이다.
도 4에서 L번째 등록자의 입력 얼굴 영상에 있어서 3장의 얼굴 영상의 얼굴 표정이 각각 다르다. 얼굴 영상을 등록하고자 할 때 조명, 표정 등이 다양하게 적용될 수 있기 때문에 얼굴 인식의 성능을 높이기 위해서는 등록 얼굴 영상의 수가 많을 수로 유리하다.
본 실시예에서는 입력되는 얼굴 영상을 2×2 블록으로 나누어 데이터베이스(300)에 저장한다. 쿼리 얼굴 영상이 입력되면 쿼리 얼굴 영상 또한 2×2 블록으로 나눈다.
블록 유사도를 산출하기 위해서 (a,1),(a,5),(a,9) 블록의 유사도를 계산한다. 도 4에 따르면 (a,1)블록의 유사도가 최대가 됨을 알 수 있다. 이와 같은 방식으로 블록 유사도를 산출하면 1블록, 6블록, 11블록, 12블록으로 구성되는 새로운 전체 얼굴 영상의 조합이 만들어진다. 상기 1블록, 6블록, 11블록, 12블록이 각각 쿼리 얼굴 영상의 a블록, b블록, c블록, d블록과 가장 유사한 블록으로 검색된다.
L번째 등록자의 최종 유사도는 a블록과 1블록의 유사도, b블록과 6블록의 유사도, c블록과 11블록의 유사도, d블록과 12블록의 유사도를 모두 합산하여 추출된다.
이와 같은 방식으로 모든 등록자의 최종 유사도가 계산되면, 등록자들 중에서 최종 유사도 값이 가장 큰 등록자를 쿼리 얼굴 영상과 가장 유사한 얼굴 영상으로 인식한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 본 발명은 컴퓨터로 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예컨대, 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드, 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일실시예에 따른 블록 단위 기반 얼굴 인식장치의 구성도.
도 2는 본 발명의 일실시예에 따른 블록 단위 기반 얼굴 인식방법을 나타내는 흐름도.
도 3은 본 발명의 일실시예에 따른 블록 유사도 산출방법을 나타내는 흐름도.
도 4는 본 발명의 일실시예에 따른 블록 단위 기반의 얼굴 인식방법에 따라 블록 단위가 2×2이며, 등록 얼굴 영상이 3장일 경우에 블록 유사도 판단을 통한 얼굴인식의 예.
〈도면의 주요부분에 대한 부호의 설명〉
100: 영상입력부 200: 특징값 추출부
300: 데이터 베이스 400: 유사도 측정부
410: 블록 유사도 산출부 420: 최종 유사도 추출부

Claims (8)

  1. 쿼리 얼굴 영상을 소정의 블록 단위로 나누고 각 블록마다 특징값을 추출하는 단계;
    상기 쿼리 얼굴 영상의 각 블록의 특징값과 상기 각 블록에 대응하는 등록 얼굴 영상의 각 블록의 특징값을 비교하여 블록 유사도를 산출하는 단계;
    상기 쿼리 얼굴 영상의 각 블록에 대응하는 등록자의 상기 등록 얼굴 영상의 블록 중에서 상기 블록 유사도가 최대인 최대 유사 블록을 추출하는 단계;
    상기 등록자의 상기 최대 유사 블록들의 유사도를 합산하여 상기 쿼리 얼굴 영상과 상기 등록자의 상기 등록 얼굴 영상 사이의 최종 유사도를 추출하는 단계; 및
    상기 최종 유사도를 모든 등록자의 상기 등록 얼굴 영상에 대하여 추출하고, 상기 최종 유사도가 최대인 상기 등록자의 상기 등록 얼굴 영상을 상기 쿼리 얼굴 영상의 인식결과로 하는 단계;
    를 포함하는 블록 단위 기반 얼굴 인식방법.
  2. 제1항에 있어서, 상기 등록 얼굴 영상은
    등록자별 하나 이상의 얼굴 영상을 입력받아 상기 각각의 얼굴 영상을 소정의 블록 단위로 나누고, 상기 블록의 특징값을 추출하여 데이터베이스에 저장되어 있는 것인 블록 단위 기반 얼굴 인식방법.
  3. 제1항에 있어서, 상기 특징값은
    각 블록의 픽셀값, 히스토그램 정규화 결과값, PCA(Principal Components Analysis) 결과값, LDA(Linear Discriminant Analysis) 결과값 중 어느 하나인 것을 특징으로 하는 블록 단위 기반 얼굴 인식방법.
  4. 제1항에 있어서, 상기 인식결과는
    음성 또는 영상으로 안내되는 것을 특징으로 하는 블록 단위 기반 얼굴 인식방법.
  5. 얼굴 영상을 입력받는 영상 입력부;
    상기 입력받은 얼굴영상을 소정의 블록 단위로 특징값을 추출하는 특징값 추출부;
    상기 블록 단위로 특징값이 추출된 쿼리 얼굴 영상과 등록 얼굴 영상의 블록 유사도를 산출하는 블록 유사도 산출부;
    상기 블록 유사도를 이용하여 개인별 최종 유사도를 추출하는 최종 유사도 추출부; 및
    상기 최종 유사도가 최대인 등록자의 상기 등록 얼굴 영상을 인식하는 인식부;
    를 포함하는 블록 단위 기반 얼굴 인식 장치.
  6. 제5항에 있어서,
    상기 블록 단위로 특징값이 추출된 등록자별 등록 얼굴 영상이 저장되는 데이터베이스를 더 포함하는 블록 단위 기반 얼굴 인식 장치.
  7. 제5항에 있어서, 상기 블록 유사도 산출부는
    상기 쿼리 얼굴 영상의 소정의 블록의 특징값과 상기 쿼리 얼굴 영상의 소정의 블록에 대응하는 상기 등록 얼굴 영상의 블록의 특징값을 비교하여 상기 블록 유사도를 산출하는 것인 블록 단위 기반 얼굴 인식장치.
  8. 제5항에 있어서, 상기 최종 유사도 산출부는
    상기 쿼리 얼굴 영상의 소정의 블록에 대응하는 상기 각 등록 얼굴 영상의 블록 중에서 블록 유사도가 최대인 블록들의 유사도를 합산하여 상기 최종 유사도를 산출하는 것인 블록 단위 기반 얼굴 인식장치.
KR1020090021279A 2009-03-12 2009-03-12 블록 단위 기반 얼굴 인식 방법 및 그 장치 KR20100102949A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090021279A KR20100102949A (ko) 2009-03-12 2009-03-12 블록 단위 기반 얼굴 인식 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090021279A KR20100102949A (ko) 2009-03-12 2009-03-12 블록 단위 기반 얼굴 인식 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20100102949A true KR20100102949A (ko) 2010-09-27

Family

ID=43007801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090021279A KR20100102949A (ko) 2009-03-12 2009-03-12 블록 단위 기반 얼굴 인식 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20100102949A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012138004A1 (ko) * 2011-04-06 2012-10-11 조선대학교산학협력단 피씨에이를 이용한 지문인증 장치 및 그 방법
WO2013151205A1 (ko) * 2012-04-03 2013-10-10 조선대학교산학협력단 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치
KR101322168B1 (ko) * 2012-01-17 2013-10-28 성균관대학교산학협력단 실시간 얼굴 인식 장치
WO2014069822A1 (en) * 2012-11-01 2014-05-08 Samsung Electronics Co., Ltd. Apparatus and method for face recognition
US8861805B2 (en) 2011-11-01 2014-10-14 Samsung Electronics Co., Ltd. Face recognition apparatus and method for controlling the same
US9405969B2 (en) 2013-03-19 2016-08-02 Huawei Technologies Co., Ltd. Face recognition method and device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012138004A1 (ko) * 2011-04-06 2012-10-11 조선대학교산학협력단 피씨에이를 이용한 지문인증 장치 및 그 방법
US8861805B2 (en) 2011-11-01 2014-10-14 Samsung Electronics Co., Ltd. Face recognition apparatus and method for controlling the same
KR101322168B1 (ko) * 2012-01-17 2013-10-28 성균관대학교산학협력단 실시간 얼굴 인식 장치
WO2013151205A1 (ko) * 2012-04-03 2013-10-10 조선대학교산학협력단 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치
WO2014069822A1 (en) * 2012-11-01 2014-05-08 Samsung Electronics Co., Ltd. Apparatus and method for face recognition
US9471831B2 (en) 2012-11-01 2016-10-18 Samsung Electronics Co., Ltd. Apparatus and method for face recognition
US9405969B2 (en) 2013-03-19 2016-08-02 Huawei Technologies Co., Ltd. Face recognition method and device

Similar Documents

Publication Publication Date Title
Kumar et al. The p-destre: A fully annotated dataset for pedestrian detection, tracking, and short/long-term re-identification from aerial devices
Kumar et al. Real time face recognition using adaboost improved fast PCA algorithm
US8989451B2 (en) Computer-implemented method for performing similarity searches
Fisher et al. Speaker association with signal-level audiovisual fusion
KR100825756B1 (ko) 얼굴 특징 추출 방법 및 그 장치
JP4697106B2 (ja) 画像処理装置および方法、並びにプログラム
Manna et al. Face recognition from video using deep learning
WO2007117448A2 (en) Forming connections between image collections
KR20100102949A (ko) 블록 단위 기반 얼굴 인식 방법 및 그 장치
Chakrabarti et al. Facial expression recognition using eigenspaces
Vani et al. Using the keras model for accurate and rapid gender identification through detection of facial features
Günther et al. 2D face recognition: An experimental and reproducible research survey
Ponce-López et al. Non-verbal communication analysis in victim–offender mediations
Bakshi et al. Optimized periocular template selection for human recognition
Boodoo et al. Robust multi biometric recognition using face and ear images
Luque et al. Audio, video and multimodal person identification in a smart room
KR20080017763A (ko) 스코어 레벨 결합을 통한 홍채 인식 방법
Roy et al. Facial Recognition Techniques and Their Applicability to Student Concentration Assessment: A Survey
CN110490027B (zh) 人脸特征提取训练方法及系统
Shirkey et al. An image mining system for gender classification & age prediction based on facial features
CN111191563A (zh) 基于数据样本与测试数据集训练的人脸识别方法及系统
Zhang et al. Micro-expression recognition using micro-variation boosted heat areas
Ushir et al. Mathematical modeling for face recognition system
CN113269141B (zh) 一种图像处理方法及装置
CN117851835B (zh) 一种深度学习的物联网识别系统及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application