KR20080056591A - 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법 - Google Patents

얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법 Download PDF

Info

Publication number
KR20080056591A
KR20080056591A KR1020060129680A KR20060129680A KR20080056591A KR 20080056591 A KR20080056591 A KR 20080056591A KR 1020060129680 A KR1020060129680 A KR 1020060129680A KR 20060129680 A KR20060129680 A KR 20060129680A KR 20080056591 A KR20080056591 A KR 20080056591A
Authority
KR
South Korea
Prior art keywords
face image
feature vector
basis
similarity
training
Prior art date
Application number
KR1020060129680A
Other languages
English (en)
Other versions
KR100860989B1 (ko
Inventor
황원준
황의현
문영수
박규태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060129680A priority Critical patent/KR100860989B1/ko
Priority to US11/882,714 priority patent/US20080144891A1/en
Priority to JP2007325232A priority patent/JP2008152789A/ja
Publication of KR20080056591A publication Critical patent/KR20080056591A/ko
Application granted granted Critical
Publication of KR100860989B1 publication Critical patent/KR100860989B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

본 발명은 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴 영상 검색 방법 및 장치 그리고 얼굴 합성 방법을 개시한다. 본 발명에 따른 얼굴 영상의 유사도 산출 방법은 얼굴 영상의 전체 특징에 따른 얼굴 영상의 전체적인 유사도와 얼굴 영상의 국부 특징에 따른 얼굴 영상의 국부적인 유사도를 각각 별도로 계산하고, 계산된 유사도 결과를 가중치에 따라 합산하여 대비되는 얼굴 영상의 유사도를 계산함으로써, 얼굴의 전체적인 특징과 국부적인 특징이 모두 고려된 얼굴 유사도 계산 결과를 얻을 수 있고, 얼굴 영상 유사도 계산의 신뢰성을 향상시킬 수 있으며, 복잡성(complexity)을 낮출 수 있다.

Description

얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴 영상 검색 방법 및 장치 그리고 얼굴 합성 방법{Method and apparatus for calculating similarity of face image, method and apparatus for retrieving face image, and method for synthesizing face image}
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 유사도 산출 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상 유사도 산출 방법을 나타내는 흐름도이다.
도 3은 도2에 도시된 120단계에 대한 상세 흐름도이다.
도 4는 도3의 고유 벡터 행렬에 따른 영상의 예를 나타낸 것이다.
도 5는 도2에 도시된 140단계에 대한 상세 흐름도이다.
도 6은 도5의 커널 행렬에 따른 영상의 예를 나타낸 것이다.
도 7a는 얼굴 영역 중 눈 영역을 국부 영역으로 선택하는 일 예를 나타내고, 도 7b는 각 픽셀에 따른 가중치의 예를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 얼굴 영상 검색 장치를 나타내는 블록도이다.
도 9a와 9b는 본 발명의 일 실시예에 따른 얼굴 영상 검색 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 얼굴 영상 합성 장치를 나타내는 블록도이다.
도 11은 본 발명의 일 실시예에 따른 얼굴 영상 합성 방법을 나타내는 흐름도이다.
본 발명은 얼굴 영상 유사도 산출 방법 및 장치와 이를 이용한 얼굴 영상 검색 방법 및 장치 그리고 얼굴 합성 방법에 관한 것으로서, 특히 얼굴 영상으로부터 전체 특징 벡터와 국부 특징 벡터를 추출하여 얼굴 영상 간의 유사도를 산출하는 방법 및 장치에 관한 것이다. 본 발명의 얼굴 영상 유사도 산출 방법 및 장치는 얼굴 영상 간의 유사 정도를 계산하는 얼굴 유사도 계산 시스템과 얼굴 영상 검색(retrieval) 시스템 등에 사용된다.
근래 들어 테러와 정보 도난 사건이 빈번하게 발생함에 따라 이를 억제하기 위한 하나의 수단인 얼굴 인식 시스템의 중요성은 더욱 높아지고 있다. 얼굴 영상간의 유사도를 계산하는 효율적인 알고리즘은 얼굴 인식 시스템에 있어서 가장 중요한 이슈 중의 하나이다.
얼굴 유사도 계산하기 위한 종래의 방법으로는 중요 성분 분석(Principal Components Analysis) 기법이 있다. 중요 성분 분석 기법은 얼굴 전체 특 징(holistic face features)을 이용하여 얼굴 전체의 유사도를 비교하는 방법이다. 중요 성분 분석 기법을 이용할 경우 유사도 계산 결과가 머리 스타일이나 얼굴 윤곽에 따라 달라지는 한계가 있었다.
선형 판별 분석(Linear Discriminant Analysis) 기법은 집단들 사이의 특성 차이를 극대화시켜 줄 수 있는 변수들의 선형 결합을 도출하고, 이러한 선형결합에 의해 새로운 변수상에 집단들이 어떻게 배열되는지를 고려하여, 각 변수에 부여된 가중치를 재조정함으로써 두개 또는 두개 이상의 클래스를 가장 잘 분류할 수 있는 특징(features)의 조합을 찾는 방법이다. 이러한 선형 판별 분석을 이용하여 얼굴 영상 간의 유사도를 계산할 경우, 선형 판별 분석 방법의 특성상 이종의 클래스에 속하는 얼굴 영상 간의 유사도 값은 매우 낮은 값에 집중된 분포를 갖기 때문에, 다른 클래스에 속하는 얼굴 영상 간의 유사 정도를 파악하기 위하여 활용하기 어려운 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는, 얼굴 영상의 전체적인 특징과 국부적인 특징이 유사도 결과에 모두 반영함으로써 얼굴 영상 유사도 계산의 신뢰성을 향상시키고, 복잡성을 낮출 수 있는 얼굴 영상 유사도 판단 방법 및 장치와 이를 이용한 얼굴 영상 검색 방법 및 장치 그리고 얼굴 영상 합성 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 얼굴 유사도 산출 방법 은, 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 전체 영역에 대한 제1 베이시스에 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 단계 ; 상기 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 국부 영역에 대한 제2 베이시스에 상기 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성하는 단계; 및 상기 트레이닝 얼굴 영상 셋에서 선택된 어느 하나의 트레이닝 얼굴 영상에 따른 전체 특징 벡터와 국부 특징 벡터 및 상기 입력 얼굴 영상의 전체 특징 벡터와 국부 특징 벡터를 이용하여 상기 선택된 트레이닝 얼굴 영상과 입력 얼굴 영상의 유사도를 산출하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 얼굴 영상의 유사도 산출 방법은 트레이닝 얼굴 영상 셋으로부터 얼굴 전체 영역에 대한 제1 베이시스를 생성하는 단계; 상기 트레이닝 얼굴 영상 셋으로부터 얼굴 국부 영역에 대한 제2 베이시스를 생성하는 단계; 입력 얼굴 영상을 상기 제1 베이시스에 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 단계; 상기 입력 얼굴 영상을 상기 제2 베이시스에 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성하는 단계; 상기 트레이닝 얼굴 영상 셋으로부터 선택된 어느 하나의 트레이닝 얼굴 영상을 상기 제1 베이시스에 투영하여 상기 선택된 트레이닝 얼굴 영상의 전체 특징 벡터를 생성하는 단계; 상기 선택된 트레이닝 얼굴 영상을 상기 제2 베이시스에 투영하여 상기 선택된 트레이닝 얼굴 영상의 국부 특징 벡터를 생성하는 단계; 상기 입력 얼굴 영상과 상기 선택된 트레이닝 얼굴 영상의 전체 특징 벡터를 비교하는 단계; 상기 입력 얼굴 영상과 상기 선택된 트레이닝 얼굴 영상의 국부 특징 벡터를 비교하는 단 계; 및 상기 비교 결과를 이용하여 상기 입력 얼굴 영상과 상기 선택된 트레이닝 얼굴 영상의 유사도를 산출하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 본 발명의 얼굴 영상 유사도 산출 방법을 실행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 얼굴 영상의 유사도 산출 장치는 입력 얼굴 영상을 수신하는 수신부; 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 전체 영역에 대한 제1 베이시스에 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 전체 특징 생성부; 상기 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 국부 영역에 대한 제2 베이시스에 입력 얼굴 영상을 투영하여 입력 얼굴 국부 특징 벡터를 생성하는 국부 특징 생성부; 및 상기 트레이닝 얼굴 영상 셋에서 선택된 어느 하나의 트레이닝 얼굴 영상에 따른 전체 특징 벡터와 국부 특징 벡터 및 상기 입력 얼굴 영상에 따른 전체 특징 벡터와 국부 특징 벡터를 이용하여 상기 선택된 트레이닝 얼굴 영상과 입력 얼굴 영상의 유사도를 산출하는 유사도 산출부를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 얼굴 영상 검색 방법은 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 전체 영역에 대한 제1 베이시스에 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 단계; 상기 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 국부 영역에 대한 제2 베이시스에 상기 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성하는 단계; 및 상기 생성된 전체 특징 벡터와 국부 특징 벡터를 이용하여, 상기 입력 얼굴 영상과 소정의 유사도를 갖는 얼굴 영상을 상기 트레이닝 얼굴 영상 셋에서 검색하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 얼굴 영상 검색 장치는 입력 얼굴 영상을 수신하는 수신부; 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 전체 영역에 대한 제1 베이시스에 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 전체 특징 생성부; 상기 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 국부 영역에 대한 제2 베이시스에 상기 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성하는 국부 특징 생성부; 및 상기 입력 얼굴 영상에 따른 전체 특징 벡터와 국부 영상 벡터를 이용하여, 상기 입력 얼굴 영상과 소정의 유사도를 갖는 얼굴 영상을 상기 트레이닝 얼굴 영상 셋에서 검색하는 검색부를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 얼굴 영상 합성 방법은 얼굴 합성을 위한 2개 이상의 얼굴 영상을 선택하는 단계; 상기 선택된 각각의 얼굴 영상으로부터 전체 특징 벡터와 국부 특징 벡터를 추출하는 단계; 상기 선택된 각각의 얼굴 영상으로부터 추출된 전체 특징 벡터를 이용하여 전체 특징에 따른 얼굴 영상 벡터를 복원하는 단계; 상기 선택된 각각의 얼굴 영상으로부터 추출된 국부 특징 벡터를 이용하여 국부 특징에 따른 얼굴 영상 벡터를 복원하는 단계; 및 상기 복원된 얼굴 영상 벡터를 합성하는 단계를 포함한다.
이하에서는 본 발명의 도면과 실시예를 참조하여 본 발명의 얼굴 영상 유사 도 산출 방법 및 장치에 대하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상의 유사도 산출 장치를 나타내는 블록도이다. 본 실시예에 따른 얼굴 영상의 유사도 산출 장치는 수신부(10), 트레이닝 얼굴 영상 저장부(20), 전체 특징 벡터 생성부(holistic features generating unit, 30), 국부 특징 벡터 생성부(local features generating unit, 40), 전체 특징 유사도 계산부(50), 국부 특징 유사도 계산부(60), 가중치 선택부(70) 및 최종 유사도 산출부(80)를 포함하여 구비된다.
수신부(10)는 얼굴 영상의 유사도 산출을 위한 입력 얼굴 영상을 수신한다. 상기 수신된 입력 얼굴 영상은 얼굴 영상을 획득할 수 있는 카메라, 캠코더 등의 영상 획득 장치를 통해 획득될 수 있다.
수신부(10)를 통해 획득된 입력 얼굴 영상은 소정의 전처리부(미도시)를 통해 정규화하는 것이 바람직하다. 입력 얼굴 영상에 대한 정규화 프로세스는 입력된 얼굴 영상으로부터 배경 영상을 제거하고, 가우시안 저역 통과 필터를 통해 얼굴 이미지를 필터링한 다음, 필터링된 이미지로부터 눈 영역을 찾아 눈의 위치를 기준으로 이미지를 정규화시키고, 조명을 변화시켜 조명의 분산을 제거하는 단계를 포함한다.
트레이닝 얼굴 영상 저장부(20)는 트레이닝 얼굴 영상 셋에 대한 정보를 저장한다. 상기 트레이닝 얼굴 영상 셋은 복수개의 트레이닝 얼굴 영상 들로 이루어진다. 본 실시예는 후술하는 전체 특징 벡터 생성부(30)와 국부 특징 벡터 생성부(40)를 통해 트레이닝 얼굴 영상 들에 대한 전체 특징 벡터와 국부 특징 벡터를 추출하는 예를 개시한다. 본 실시예와 달리 트레이닝 얼굴 영상에 대한 PCA(Principal Components Analysis)와 LFA(Local Feature Analysis)를 사전에 수행함으로써, 이를 통해 추출된 각각의 트레이닝 얼굴 영상에 따른 전체 특징 벡터와 국부 특징 벡터의 데이터베이스를 미리 구축함으로써, 트레이닝 얼굴 영상들로부터 특징 벡터를 추출하는 프로세스가 필요 없도록 시스템을 구성하는 것도 가능하다.
전체 특징 벡터 생성부(30)는 입력 얼굴 영상과 트레이닝 얼굴 영상을 각각 PCA 베이시스(제1 베이시스)에 투영(projection)하여 얼굴 전체 특징(holistic facial features)에 대한 전체 특징 벡터를 각각 생성한다.
여기에서 PCA 베이시스(basis)는 얼굴 전체 영역에 대한 고유 벡터(eigen vector)로서, 트레이닝 얼굴 영상 들에 대하여 중요 성분 분석(PCA)을 수행함으로써 생성된다. PCA를 수행하는 방법과 PCA 베이시스를 얻는 방법에 대하여는 후술 한다.
국부 특징 벡터 생성부(40)는 입력 얼굴 영상과 트레이닝 얼굴 영상을 각각 LFA 베이시스(제2 베이시스)에 투영하여 얼굴 국부 특징(local facial features)에 대한 국부 특징 벡터를 각각 생성한다. 여기에서 LFA 베이시스는 트레이닝 얼굴 영상에 대하여 국부 특징 분석(LFA)을 수행함으로써 생성된다. LFA 베이시스는 얼굴 국부 영역에 따른 특징을 추출하기 위한 벡터로서, LFA를 수행하는 방법과 LFA 베이시스를 얻는 방법에 대하여는 후술한다.
국부 특징 백터 생성부(40)를 통해 생성되는 국부 특징 벡터는 얼굴의 특정 영역에 따른 특징을 반영하는 특징 벡터이다. 본 실시예에서 얼굴의 국부 영역은 눈을 중심으로 하는 영역, 코를 중심으로 하는 영역, 입을 중심으로 하는 영역을 의미한다. 여기에서 국부 특징 벡터는 눈, 코, 입 등과 같이 선택된 특정 영역에 상대적으로 큰 가중치를 부여하여 얼굴 전체 영역으로부터 추출되는 특징 벡터를 의미하는 것이지, 선택된 특정 영역 만으로부터 추출된 특징 벡터를 의미하는 것이 아니다.
국부 특징 벡터 생성부(40)는 제1 국부 특징 벡터 생성부(41), 제2 국부 특징 벡터 생성부(42) 및 제3 국부 특징 벡터 생성부(43)를 포함하여 구비된다.
제1 국부 특징 벡터 생성부(41)는 눈 영역으로부터 특징 벡터 추출을 위한 LFA 기저 벡터에 입력 얼굴 영상을 투영함으로써, 눈 영역의 특징을 주로 반영하는 제1 국부 특징 벡터를 생성한다. 제2 국부 특징 벡터 생성부(42)는 코 영역을 위주로 하는 제2 국부 특징 벡터를 생성하고, 제3 국부 특징 벡터 생성부(43)는 입 영역을 위주로 하는 제3 국부 특징 벡터를 생성한다.
전체 특징 유사도 계산부(50)는 전체 특징 벡터 생성부(30)에서 생성된 입력 얼굴 영상의 전체 특징 벡터와 트레이닝 얼굴 영상 저장부(20)에 저장된 트레이닝 얼굴 영상의 전체 특징 벡터의 유사도를 계산한다.
국부 특징 유사도 계산부(60)는 국부 특징 벡터 생성부(40)에서 생성된 입력 얼굴 영상의 국부 특징 벡터와 트레이닝 얼굴 영상 저장부(20)에 저장된 트레이닝 얼굴 영상의 국부 특징 벡터의 유사도를 계산한다.
제1 국부 특징 유사도 계산부(61)는 제1 국부 특징 생성부(41)에서 생성된 입력 얼굴 영상의 제1 국부 특징 벡터와 트레이닝 얼굴 영상의 제1 국부 특징 벡터의 유사도를 계산한다. 마찬가지로, 제2 국부 특징 유사도 계산부(62)와 제3 국부 특징 유사도 계산부(63)는 제2 국부 특징 벡터 간의 유사도와 제3 국부 특징 벡터 간의 유사도를 각각 계산한다.
국부 특징 유사도 합산부(64)는 제1 내지 제3 국부 특징 유사도 계산부를 통해 계산된 유사도값을 가중치 선택부(70)를 통해 특정된 가중치에 따라 합산하여 통합된 부분 유사도 값을 계산한다.
가중치 선택부(70)는 얼굴 영역을 특정 영역으로 분할하고, 분할된 영역에 각각 다른 가중치를 부여한다. 예를 들어, 눈, 코, 입의 영역에 따른 국부 특징 벡터 간의 유사도를 계산하고, 상기 계산된 각각의 유사도를 합산시에 눈 영역에 더 큰 가중치를 부여함으로써 통합된 유사도를 얻을 수 있다. 얼굴의 국부 영역에 따른 가중치 값은 사용자 인터페이스를 통해 용이하게 특정될 수 있으며, 얼굴 영상간의 유사 정도를 파악하고자 하는 사용자의 성향을 반영할 수 있고, 다각적인 관점에서의 유사 정도 측정이 가능하다는 장점이 있다.
또한, 가중치 선택부(70)는 전체 특징 유사도 계산부(50)를 통해 계산된 유사도와 국부 특징 유사도 계산부(60)를 통해 계산된 유사도 값을 최종 유사도 결과에 반영하기 위한 소정의 가중치를 부여한다. 전체 특징 벡터 간의 유사도 값에 가중치가 크게 부여될 경우, 최종 유사도 계산에 있어서 국부 특징 벡터 간의 상이함(difference)의 비중은 상대적으로 낮아지게 된다.
최종 유사도 산출부(80)는 전체 특징 유사도 계산부(50)와 국부 특징 유사도 계산부(60)를 통해 계산된 전체 특징 유사도값과 국부 특징 유사도값을 가중치 선택부(70)를 통해 특정된 가중치에 따라 합산하고, 합산된 결과를 디스플레이 또는 음성 송출 등의 방식을 이용하여 출력한다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상 유사도 산출 방법을 나타내는 흐름도이다. 본 실시예에 따른 얼굴 영상 유사도 산출 방법은 얼굴 영상 유사도 산출 장치(1)에서 시계열적으로 처리되는 다음과 같은 단계들을 포함한다.
110단계에서 수신부(10)는 얼굴 영상의 유사도 산출을 위한 입력 얼굴 영상을 수신한다.
120단계에서 전체 특징 벡터 생성부(40)는 수신된 입력 얼굴 영상을 제1 베이시스(PCA 베이시스)에 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하고, 트레이닝 얼굴 영상 셋에서 선택된 하나의 트레이닝 얼굴 영상을 제1 베이시스에 투영하여 상기 선택된 트레이닝 얼굴 영상의 전체 특징 벡터를 생성한다.
도 3은 도 2에 도시된 120 단계에 대한 상세 흐름도이다.
도 3은 PCA 베이시스를 계산하는 방법, 입력 얼굴 영상과 트레이닝 얼굴 영상으로부터 전체 특징 벡터를 생성하는 방법에 대한 상세도이다. 본 실시예와 달리 트레이닝 얼굴 영상 셋에 포함되어 있는 모든 트레이닝 얼굴 영상에 대하여 PCA 학습을 미리 수행한 경우에는 PCA 베이시스를 계산하는 단계가 별도로 필요하지 않다.
121단계에서 베이시스 생성부(미도시)는 트레이닝 얼굴 영상이 저장된 트레 이닝 얼굴 영상 셋에 저장된 M 개의 트레이닝 얼굴 영상(
Figure 112006093753018-PAT00001
)의 평균값을 하기 수학식 1에 따라 계산한다.
[수학식 1]
Figure 112006093753018-PAT00002
여기에서,
Figure 112006093753018-PAT00003
는 각각의 트레이닝 얼굴 영상 벡터를 나타내고, M은 트레이닝 얼굴 영상의 개수를 나타낸다.
122단계에서 베이시스 생성부(미도시)는 트레이닝 얼굴 영상(
Figure 112006093753018-PAT00004
)과 평균값(m)의 차(x i)를 하기 수학식2에 따라 계산한다.
[수학식2]
Figure 112006093753018-PAT00005
123단계에서 베이시스 생성부는 행렬
Figure 112006093753018-PAT00006
를 이용하여 하기 수학식 3에 따라 공분산 행렬을 계산한다.
[수학식 3]
Figure 112006093753018-PAT00007
124단계에서 베이시스 생성부는 하기 수학식4를 이용하여 고유 벡터 행렬(U)과 고유값 행렬(Λ)을 계산한다.
[수학식 4]
Figure 112006093753018-PAT00008
상기 수학식 4를 통해 계산된 고유 벡터 행렬(U)는 본 실시예에서 얼굴 유사도 계산을 위한 PCA 베이시스로 사용된다.
도 4는 도3에 따른 PCA 베이시스의 예를 도시한 것이다. 도4에서 좌측 상단의 고유 얼굴은 분산도가 가장 크며, 오른쪽에 있거나 또는 아래 쪽으로 갈수록 고유 얼굴의 분산도는 작아진다.
125단계에서 베이시스 생성부(미도시)는 124단계를 통해 생성된 고유 벡터 행렬(U) 즉 PCA 베이시스와 121단계를 통해 생성된 평균 벡터(m)를 이용하여 하기 수학식 5에 따라 PCA 프로젝션을 수행한다.
[수학식 5]
Figure 112006093753018-PAT00009
여기에서
Figure 112006093753018-PAT00010
는 입력 얼굴 영상 벡터이며,
Figure 112006093753018-PAT00011
는 입력 얼굴 영상의 전체 특징 벡터이다. 이와 마찬가지로, 트레이닝 얼굴 영상의 전체 특징 벡터는 트레이닝 얼굴 영상 벡터를
Figure 112006093753018-PAT00012
에 대입시킴으로써 계산될 수 있다.
130단계에서 전체 특징 유사도 계산부(50)는 입력 얼굴 영상과 트레이닝 얼굴 영상의 전체 특징 벡터간의 유사도를 계산한다. 전체 특징 벡터 간의 유사도는 각각의 전체 특징 벡터간의 코사인 거리, 유클리디안 거리(Euclidean distance), 마하라오비스 거리(Mahalanobis distance) 등을 이용하여 계산할 수 있다. 예를 들 어, 가중치 기반 유클리디안 거리를(Weighted Euclidean Distance) 이용한 유사도는 하기 수학식 6에 따라 계산될 수 있다.
[수학식 6]
Figure 112006093753018-PAT00013
여기에서,
Figure 112006093753018-PAT00014
와
Figure 112006093753018-PAT00015
는 각각 비교하고자 얼굴 영상에 따른 전체 특징 벡터이고, k는 PCA 베이시스 중에서 고유 분산도가 높은 순으로 선택된 n개를 의미하며,
Figure 112006093753018-PAT00016
는 얼굴 유사도 계산을 위해서 미래 설정된 전체 특징 벡터에 따른 가중치이다.
140단계에서 국부 특징 벡터 생성부(40)는 수신된 입력 얼굴 영상을 제2 베이시스(LFA 베이시스)에 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성한다. 또한, 국부 특징 벡터 생성부(40)는 트레이닝 얼굴 영상 셋에서 선택된 하나의 트레이닝 얼굴 영상을 제2 베이시스에 투영하여 상기 선택된 트레이닝 얼굴 영상의 국부 특징 벡터를 생성한다. 다른 국부 영역에 따른 국부 특징 벡터를 추가로 생성하고자 하는 경우, 140단계는 상기 다른 국부 영역에 따른 제3 베이시스에 상기 각각의 얼굴 영상을 투영하는 단계를 더욱 포함한다.
도 5은 도 2에 도시된 140단계에 대한 상세 흐름도이다. 도3은 LFA 베이시스를 계산하는 단계를 포함하고, 입력 얼굴 영상과 트레이닝 얼굴 영상으로부터 전체 특징 벡터를 생성하는 방법에 대한 상세도이다. 도2에는 LFA 베이시스(제2 베이시 스)를 생성하는 단계가 도시되어 있지 않다. 트레이닝 얼굴 영상 셋에 포함되어 있는 모든 트레이닝 얼굴 영상에 대하여 LFA 학습을 미리 수행한 경우 LFA 베이시스를 계산하는 단계는 필요하지 않다.
141단계에서 베이시스 생성부(미도시)는 124단계를 통해 계산된 고유값 행렬(Λ)로부터 LFA 고유값 행렬을 하기 수학식 7 또는 8에 따라 계산한다.
[수학식 7]
Figure 112006093753018-PAT00017
여기에서
Figure 112006093753018-PAT00018
는 고유값 행렬 Λ을 구성하는 각 고유값 성분이고, diag()는 대각 행렬 함수이다.
[수학식8]
Figure 112006093753018-PAT00019
여기에서,
Figure 112006093753018-PAT00020
이고, n은 노이즈 제거를 위해서 설정된 일종의 Low-Pass Filter(Fi)의 파라미티이다.
142 단계에서, 124단계를 통해 생성된 고유 벡터 행렬(U)과 141단계를 통해 생성된 고유값 행렬 (
Figure 112006093753018-PAT00021
)을 이용하여 하기 수학식9에 따라 커널 행렬(
Figure 112006093753018-PAT00022
,
Figure 112006093753018-PAT00023
)을 계산한다.
[수학식9]
Figure 112006093753018-PAT00024
,
Figure 112006093753018-PAT00025
상기 커널 행렬은 본 실시예에서 얼굴 영상의 국부 특징에 따른 유사도를 계산하기 위한 LFA 베이시스로 사용된다.
도6은 도5에 따른 LFA 베이시스의 예를 도시한 것이다. 어두운 부분은 유사도 계산에 있어서 비중이 낮은 영역이고, 밝은 부분은 비중이 높은 영역을 나타낸다.
143단계에서 베이시스 생성부(미도시)는 142단계를 통해 생성된 커널 행렬 즉 LFA 베이시스와 121단계를 통해 생성된 평균 벡터(m)를 이용하여 하기 수학식10에 따라 LFA 프로젝션을 수행한다.
[수학식10]
Figure 112006093753018-PAT00026
,
Figure 112006093753018-PAT00027
여기에서
Figure 112006093753018-PAT00028
는 입력 얼굴 영상 벡터이며,
Figure 112006093753018-PAT00029
는 입력 얼굴 영상의 국부 특징 벡터이다. 이와 마찬가지로, 트레이닝 얼굴 영상의 국부 특징 벡터는 트레이닝 얼굴 영상 벡터를
Figure 112006093753018-PAT00030
에 대입시킴으로써 계산할 수 있다.
150단계에서 국부 특징 유사도 계산부(60)는 입력 얼굴 영상과 트레이닝 얼굴 영상의 국부 특징 벡터간의 유사도를 계산한다. 얼굴 영상으로부터 복수개의 국부 특징 벡터를 추출한 경우, 예를 들어 눈, 코, 입에 따른 각각의 국부 특징 벡터를 추출한 경우, 국부 특징 유사도는 각각의 영역에 따라 별도로 계산되며, 가중치 선택부(70)에 의하여 부여된 소정의 가중치에 따라 합산된다.
국부 영역 즉 눈, 코, 입 영역으로부터 추출된 국부 특징 벡터 간의 유사도 는 하기 수학식11의 유클리디안 거리 함수를 이용하여 계산할 수 있다.
[수학식11]
Figure 112006093753018-PAT00031
여기에서,
Figure 112006093753018-PAT00032
는 소정의 영역(region)에 속하는 영상 좌표를 나타낸다.
도 7a는 얼굴 영역 중 눈 영역을 국부 영역으로 선택하는 일 예를 나타내고, 도 7b는 각 픽셀에 따른 가중치의 예를 나타낸다.
도 7a에서 박스 처리된 영역은 눈에 대한 국부 영역으로서, 수학식 11에서
Figure 112006093753018-PAT00033
는 박스 처리된 영역에 속하는 영상 좌표를 나타낸다. 국부 특징 벡터의 유사도는 각 영상 좌표에 따른 국부 영역 특징 값인
Figure 112006093753018-PAT00034
와
Figure 112006093753018-PAT00035
의 유클리디안 거리로 나타낼 수 있다. 이러한 국부 영상의 유사도를 구할 때 미리 설정된 영역 가중치 W를 사용할 수 있는데, 이 값은 수학식 12을 통해서 얻을 수 있다.
[수학식 12]
Figure 112006093753018-PAT00036
수학식 12는 동일인의 얼굴 변화에 따른 분산의 합 즉 각각의 클래스에 속하는 얼굴 영상의 변화에 따른 분산의 합을 각 픽셀별(Pixel)로 계산한 것이다.
여기에서,
Figure 112006093753018-PAT00037
는 j번째 인물의 i번째 영상을 뜻하고,
Figure 112006093753018-PAT00038
는 j번째 인물의 평균 얼굴 영상을 뜻한다. 이렇게 구해진 인물의 각 Pixel 분산도는 도 7b와 같다. 도 7b는 국부 영역에 따른 가중치의 예시로서 이때 밝은 색은 동일인의 영상에서 분산도가 낮은 것을 뜻하고, 검은색은 분산도가 높은 것을 뜻한다. 분산도가 높다는 의미는 동일인의 사진에서도 표정이나, 포즈 변화에 따라서 픽셀값의 변화가 크다는 의미가 된다. 결국 가중치
Figure 112006093753018-PAT00039
는
Figure 112006093753018-PAT00040
과 동일한 의미가 된다.
하기 수학식 13은 국부 영역 별 가중치를 고려하여 국부 특징 유사도를 통합하기 위한 함수이다.
[수학식 13]
Figure 112006093753018-PAT00041
여기에서,
Figure 112006093753018-PAT00042
는 국부 영역
Figure 112006093753018-PAT00043
에 따른 최종 가중치이다. 이 값은 사용자의 의도나 응용 프로그램에 따라서 서로 다른 값이 설정될 수 있다.
160단계에서 최종 유사도 산출부(70)는 130단계를 통해 계산된 전체 특징 벡터의 유사도값과 150단계를 통해 계산된 국부 특징 벡터의 유사도 값을 합산하되, 가중치 선택부(30)에 의하여 부여된 소정의 가중치에 따라 유사도 값을 합산함으로써 최종 유사도를 계산한다.
[수학식 14]
Figure 112006093753018-PAT00044
여기에서, wH는 전체 특징 벡터간의 유사도에 대한 가중치이고, wL 국부 특징 벡터의 유사도에 대한 가중치이다.
이하에서는 본 발명의 도면과 실시예를 참조하여 본 발명의 얼굴 영상 검색 장치 및 방법에 대하여 상세히 설명한다.
도 8은 본 발명의 일 실시예에 따른 얼굴 영상 검색 장치를 나타내는 블록도이다.
본 실시예에 따른 얼굴 영상 검색 장치(200)는 수신부(210), 트레이닝 얼굴 영상 저장부(220), 전체 특징 벡터 생성부(230), 국부 특징 벡터 생성부(240), 전체 특징 유사도 계산부(250), 국부 특징 유사도 계산부(260), 제1 비교부(270), 가중치 선택부(280), 최종 유사도 산출부(290) 및 제2 비교부(295)를 포함하여 구비된다. 본 실시예의 얼굴 영상 검색 장치(200)는 도1에 도시된 얼굴 영상 유사도 산출 장치(1)와 많은 구성요소가 공통되므로, 이하 공통된 설명은 생략한다.
수신부(210)는 검색(retrieval)하고자 하는 얼굴 영상에 대한 정보를 수신한다.
트레이닝 얼굴 영상 저장부(220)는 복수 개의 트레이닝 얼굴 영상 들을 저장한다. 얼굴 영상의 검색은 트레이닝 얼굴 영상 저장부(20)에 저장된 트레이닝 얼굴 영상 들에 대하여 수행된다.
전체 특징 벡터 생성부(230)는 입력 얼굴 영상과 트레이닝 얼굴 영상을 각각 PCA 베이시스에 투영하고, 각각의 얼굴 영상에 따른 전체 특징 벡터를 생성한다. 전체 특징 유사도 계산부(250)는 전체 특징 벡터 생성부(230)를 통해 생성된 전체 특징 벡터의 유사도를 계산한다.
제1 비교부(270)는 상기 유사도와 소정의 기준값을 비교한다. 비교 결과, 상 기 유사도가 소정의 기준값 보다 큰 경우 국부 특징 벡터 생성부(240)는 입력 얼굴 영상과 트레이닝 얼굴 영상에 따른 국부 특징 벡터를 생성한다. 상기 유사도가 소정의 기준값 보다 작은 경우 현재의 트레이닝 얼굴 영상은 입력 얼굴 영상과 비유사도가 큰 것을 의미하며, 이 경우 현재의 트레이닝 얼굴 영상에 대한 국부 특징 벡터가 불필요하다. 이 경우 제1 비교부(270)의 판단 결과에 따라 트레이닝 얼굴 영상 저장부(220)는 또 하나의 트레이닝 얼굴 영상에 대한 데이터를 전체 특징 벡터 생성부(230)에 전달한다. 상기 전달된 트레이닝 얼굴 영상에 대한 데이터에 따라 유사도 값을 계산하고, 유사도 값이 소정의 기준값과 비교하는 프로세스가 다시 반복된다. 본 실시예에서 전체 특징 벡터 생성부(230), 전체 특징 유사도 계산부(250), 제1 비교부(270)는 트레이닝 얼굴 영상 저장부에 저장된 모든 트레이닝 얼굴 영상 들에 대하여 각각의 유사 여부를 판단할 때 까지 상기 프로세스를 반복 수행한다.
국부 특징 벡터 생성부(240)는 입력 얼굴 영상과 트레이닝 얼굴 영상을 LFA 베이시스에 투영하여 각각의 얼굴 영상에 따른 국부 특징 벡터를 생성한다. 제1 국부 특징 벡터 생성부(241)는 눈을 중심으로 하는 영역으로부터 제1 국부 특징 벡터를 추출하고, 제2 국부 특징 벡터 생성부(242)는 코를 중심으로 하는 영역으로부터 제2 국부 특징 벡터를 추출하고, 제3 국부 특징 벡터 생성부(243)는 입을 중심으로 하는 영역으로부터 제3 국부 특징 벡터를 추출한다.
제1 내지 제3 국부 특징 유사도 계산부(261~263)는 제1 내지 제3 국부 특징 벡터 생성부(241~243)에서 생성된 입력 얼굴 영상과 트레이닝 얼굴 영상으로부터 추출된 국부 특징 벡터 간의 유사도를 각각 계산한다.
국부 특징 유사도 합산부(264)는 가중치 선택부(280)를 통해 특정되는 소정의 가중치에 따라 상기 계산된 유사도값을 합산한다.
최종 유사도 산출부(290)는 전체 특징과 부분 특징의 유사도 값을 소정의 가중치에 따라 합산한다.
제2 비교부(295)는 최종 유사도 값을 소정의 기준값과 비교하여, 최종 유사도 값이 기준값 보다 더 클 경우 현재의 트레이닝 얼굴 영상을 검색 결과로서 출력한다.
도 9a와 9b는 본 발명의 일 실시예에 따른 얼굴 영상 검색 방법을 나타내는 흐름도이다. 본 실시예의 얼굴 영상 검색 방법은 얼굴 영상 검색 장치(200)에서 시계열적으로 처리되는 다음의 단계 들을 포함한다.
310단계는 입력 얼굴 영상을 수신하여, 수신된 입력 얼굴 영상과 트레이닝 얼굴 영상 저장부(220)에 저장된 트레이닝 얼굴 영상의 전체 유사도를 계산하는 단계로서, 311 내지 315단계를 포함한다.
311단계에서 수신부(210)는 검색하고자 하는 입력 얼굴 영상 정보를 수신한다.
312단계에서 전체 특징 벡터 생성부(230)는 수신된 입력 얼굴 영상을 PCA 베이시스에 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성한다.
313단계에서 전체 특징 벡터 생성부(230)는 트레이닝 얼굴 영상을 PCA 베이시스에 투영하여 n 번째 트레이닝 얼굴 영상의 전체 특징 벡터를 생성한다. 여기서 n 번째 트레이닝 얼굴 영상은 트레이닝 얼굴 영상 셋으로부터 선택된 하나의 트레이닝 얼굴 영상으로서, 현재 단계에서 입력 얼굴 영상과 유사한지 여부를 판단하고 있는 현재의 트레이닝 얼굴 영상을 의미한다.
314단계에서 전체 특징 유사도 계산부(250)는 입력 얼굴 영상과 트레이닝 얼굴 영상 간의 유사도를 계산한다.
315단계에서 제1 비교부(270)는 전체 특징 벡터의 유사도 값이 소정의 기준값 보다 큰지 여부를 판단한다. 본 단계의 판단 결과 유사도 값이 소정의 기준값 보다 큰 경우에는 이후의 단계가 수행되고, 소정의 기준값 보다 작은 경우에는 다음의 (n+1 번째) 트레이닝 얼굴 영상을 트레이닝 얼굴 영상 저장부(220)로부터 불러오는 단계(360단계)가 수행된다. 전체 특징 생성부(230)는 360단계를 통해 불러온 트레이닝 얼굴 영상을 PCA 베이시스에 투영하여 전체 특징 벡터를 생성한다.
320단계는 수신된 입력 얼굴 영상과 트레이닝 얼굴 영상 저장부(220)에 저장된 트레이닝 얼굴 영상의 국부적인 유사도를 계산하는 단계로서, 321 내지 323단계를 포함한다.
321단계에서 국부 특징 벡터 생성부(240)는 입력 얼굴 영상을 LFA 베이시스에 투영하여, 입력 얼굴 영상의 국부 특징 벡터를 생성한다. 본 실시예의 국부 특징 벡터 생성부(240)는 제1 내지 제3 국부 특징 생성부(241~243)를 포함하여 구비되며, 도1에 도시된 국부 특징 생성부와 마찬가지로 눈, 코, 입 영역으로부터 국부 특징 벡터를 생성한다.
322단계에서 국부 특징 벡터 생성부(240)는 트레이닝 얼굴 영상을 LFA 베이 시스에 투영하여 트레이닝 얼굴 영상의 국부 특징 벡터를 생성한다.
323단계에서 국부 특징 유사도 계산부(260)는 입력 얼굴 영상과 트레이닝 얼굴 영상로부터 추출된 국부 특징 벡터 들의 유사도를 계산한다. 본 실시예의 국부 유사도 계산부(260)는 제1 내지 제3 국부 특징 유사도 계산부(261~263)를 포함하며, 가중치 선택부(280)에 의해 특정된 가중치에 따라 각각의 국부 특징에 따른 유사도 값을 합산하는 유사도 합산부(264)를 포함하여 구비된다.
330단계는 최종 유사도를 계산하고, 계산된 최종 유사도를 소정의 기준값과 비교하는 단계로서, 331단계와 332단계를 포함한다.
331단계에서 최종 유사도 산출부(290)는 315단계에서 계산된 전체 특징 벡터의 유사도와 323단계에서 계산된 국부 특징 벡터의 유사도를 가중치 선택부(280)에 따른 가중치에 따라 합산한다.
332단계에서 제2 비교부(295)는 최종 유사도 값과 소정의 기준값을 비교한다. 본 단계의 판단 결과 유사도 값이 소정의 기준값 보다 큰 경우에는 현재의 트래이닝 얼굴 영상을 검색 결과로서 출력한다.
340단계에서 결과 출력부(미도시)는 사용자에게 현재의 트레이닝 얼굴 영상과 유사도 결과에 대한 정보를 검색 결과로서 보여준다.
350단계에서 제2 비교부(295)는 모든 트레이닝 얼굴 영상에 대하여 유사도를 판단하였는지 여부를 판단한다. 유사도를 판단하지 않은 트레이닝 얼굴 영상이 더 이상 없는 경우에는 본 프로세스는 종료된다.
360단계에서 전체 특징 벡터 생성부(230)는 다른 트레이닝 얼굴 영상(n+1 번 째 트레이닝 얼굴 영상)에 대한 데이터를 트레이닝 얼굴 영상 저장부(220)로부터 독출한다. 313 단계 내지 350단계는 다시 수행되며, 모든 트레이닝 얼굴 영상과 입력 얼굴 영상과의 유사도 계산을 수행할 때까지 반복된다.
이하에서는 본 발명의 도면과 실시예를 참조하여 본 발명의 얼굴 영상 합성 장치 및 방법에 대하여 상세히 설명한다.
도 10은 본 발명의 일 실시예에 따른 얼굴 영상 합성 장치를 나타내는 블록도이다. 본 실시예의 얼굴 영상 합성 장치(400)는 제1 얼굴 영상 선택부(411), 제2 얼굴 영상 선택부(412), 전체 특징 추출부(421, 423), 국부 특징 추출부(422, 424), 제1 가중치 선택부(431), 제2 가중치 선택부(432), 전체 특징 벡터 생성부(441), 국부 특징 벡터 선택부(442), 전체 특징 벡터에 따른 얼굴 영상 복원부(451), 국부 특징 벡터에 따른 얼굴 영상 복원부(452) 및 얼굴 영상 합성부(460)을 포함한다.
제1 얼굴 영상 선택부(411)와 제2 얼굴 영상 선택부(412)는 사용자 인터페이스를 통해 2개의 얼굴 영상에 대한 정보를 수신한다.
전체 특징 벡터 추출부(421)는 제1 얼굴 영상으로부터 전체 특징 벡터를 추출하고, 국부 특징 벡터 추출부(422)는 제1 얼굴 영상으로부터 국부 특징 벡터를 추출한다. 본 실시예는 선택된 얼굴 영상에 대한 특징 벡터 추출부가 포함되지만, 트레이닝 얼굴 영상에 대한 PCA, LFA 학습을 미리 수행하고 이를 데이터베이스로 구축하였을 경우, 별도의 특징 벡터 추출부는 불필요하다.
제1 가중치 선택부(431)는 전체 특징 벡터 추출부(421, 423)로부터 추출된 전체 특징 벡터에 소정의 가중치를 부여한다. 여기서 소정의 가중치는 최종 결과물인 합성된 얼굴 영상에서 제1 얼굴 영상과 제2 얼굴 영상이 차지하는 비중을 반영하는 것으로서 사용자의 기호에 따라 다양하게 조절될 수 있다.
전체 특징 벡터 생성부(441)는 상기 가중치에 따라 제1 얼굴 영상과 제2 얼굴 영상의 전체 특징 벡터를 합산한다.
전체 특징 벡터에 따른 얼굴 영상 복원부(451)는 합산된 전체 특징 벡터 값과 수학식 6을 이용하여 얼굴 영상 벡터(
Figure 112006093753018-PAT00045
)를 복원한다.
마찬가지로, 제2 가중치 선택부(432)는 국부 특징 벡터 추출부(422, 424)로부터 추출된 국부 특징 벡터에 소정의 가중치를 부여한다. 국부 특징 벡터 생성부(442)는 상기 가중치에 따라 제1 얼굴 영상과 제2 얼굴 영상의 국부 특징 벡터를 합산한다. 국부 특징 벡터에 따른 얼굴 영상 복원부(452)는 합산된 국부 특징 벡터값과 수학식10을 이용하여 얼굴 영상 벡터(
Figure 112006093753018-PAT00046
)을 복원한다.
얼굴 영상 합성부(460)는 얼굴 영상 복원부(451, 452)를 통해 복원된 각각의 얼굴 영상 벡터를 합산한다.
도 10에 도시되지는 않았지만, 얼굴 영상 합성부(460)를 통해 합산된 얼굴 영상 벡터는 사용자가 시각적으로 인식할 수 있는 신호의 형태로 변경되고, 별도의 디스플레이부(미도시)를 통해 디스플레이되도록 구비될 수 있다.
도 11은 본 발명의 일 실시예에 따른 얼굴 영상 합성 방법을 나타내는 흐름도이다. 본 실시예의 얼굴 영상 합성 방법은 얼굴 영상 합성 장치(400)에서 시계열적으로 처리되는 다음의 단계를 포함한다.
510단계에서 제1얼굴 영상 선택부(411)와 제2 얼굴 영상 선택부(412)는 얼굴 영상 합성을 위한 2개의 얼굴 영상을 선택한다.
520단계는 제1 얼굴 영상과 제2 얼굴 영상의 조합에 따른 전체 특징 벡터를 생성하는 단계이다. 521단계는 제1 얼굴 영상과 제2 얼굴 영상으로부터 전체 특징 벡터를 추출하는 단계이고, 522단계는 각각의 전체 특징 벡터에 가중치를 부여하는 단계이며, 523단계는 소정의 가중치에 따라 전체 특징 벡터를 합산하여, 새로운 전체 특징 벡터를 생성하는 단계이다.
530단계는 제1 얼굴 영상과 제2 얼굴 영상의 조합에 따른 국부 특징 벡터를 생성하는 단계이다. 531단계는 제1 얼굴 영상과 제2 얼굴 영상으로부터 국부 특징 벡터를 추출하는 단계이고, 532단계는 각각의 국부 특징 벡터에 가중치를 부여하는 단계이며, 533단계는 소정의 가중치에 따라 국부 특징 벡터를 합산하여, 새로운 국부 특징 벡터를 생성하는 단계이다.
540단계에서 얼굴 영상 복원부(451, 452)는 520단계와 530단계를 통해 생성된 전체 특징 벡터와 국부 특징 벡터를 이용하여 얼굴 영상 벡터를 복원한다.
마지막으로, 550단계에서 얼굴 영상 합성부(460)는 얼굴 영상 복원부(451, 452)를 통해 복원된 각각의 얼굴 영상 벡터를 합산한다. 도10에는 도시되지 않았지만, 상기 합산된 얼굴 영상 벡터를 사용자가 시각적으로 인식 하도록 디스플레이하는 단계를 더 포함할 수 있다.
본 발명의 도면에는 도시되지 않았지만, 본 발명에 따른 얼굴 영상의 유사도 산출 방법, 유사 영상 검색 방법 및 얼굴 영상 합성 방법은 복잡성(complexity)이 낮기 때문에 모바일 단말을 통하여 구현 가능하다. 특히, 트레이닝 얼굴 영상에 대한 사전 학습을 통해 추출된 전체 특징 벡터와 국부 특징 벡터에 대한 데이터베이스를 미리 구축함으로써, 얼굴 영상의 유사도 계산 속도를 향상시킬 수 있다.
또한, 본 발명은 입력 얼굴 영상의 수신 또는 가중치 입력만을 수행하는 모바일 단말, 얼굴 영상의 유사도 판단 서비스를 제공하는 별도의 서버, 상기 서버측에 구축되어 있는 트레이닝 얼굴 영상에 대한 데이터베이스를 포함하는 유사한 얼굴을 검색하여 주는 시스템의 형태로 사용될 수 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이 다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명에 따르면, 얼굴 영상의 전체 특징에 따른 얼굴 영상의 전체적인 유사도와 얼굴 영상의 국부 특징에 따른 얼굴 영상의 국부적인 유사도를 각각 별도로 계산하고, 계산된 유사도 결과를 가중치에 따라 합산하여 대비되는 얼굴 영상의 유사도를 계산함으로써, 얼굴의 전체적인 특징과 국부적인 특징이 모두 고려된 얼굴 유사도 계산 결과를 얻을 수 있고, 얼굴 영상 유사도 계산의 신뢰성을 향상시킬 수 있으며, 복잡성(complexity)을 낮출 수 있다.

Claims (19)

  1. (a) 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 전체 영역에 대한 제1 베이시스에 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 단계 ;
    (b) 상기 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 국부 영역에 대한 제2 베이시스에 상기 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성하는 단계; 및
    (c) 상기 트레이닝 얼굴 영상 셋에서 선택된 어느 하나의 트레이닝 얼굴 영상에 따른 전체 특징 벡터와 국부 특징 벡터 및 상기 (a) 단계와 (b) 단계를 통해 생성된 전체 특징 벡터와 국부 특징 벡터를 이용하여 상기 선택된 트레이닝 얼굴 영상과 입력 얼굴 영상의 유사도를 산출하는 단계를 포함하는 얼굴 영상 유사도 산출 방법.
  2. 제1 항에 있어서, 상기 (c) 단계는
    (c1) 상기 트레이닝 얼굴 영상 셋에서 선택된 어느 하나의 트레이닝 얼굴 영상에 따른 전체 특징 벡터와 상기 입력 얼굴 영상에 따른 전체 특징 벡터의 유사도를 계산하는 단계;
    (c2) 상기 선택된 트레이닝 얼굴 영상에 따른 국부 특징 벡터와 상기 입력 얼굴 영상에 따른 국부 특징 벡터의 유사도를 계산하는 단계; 및
    (c3) 상기 (c1) 및 (c2)에서 계산된 유사도에 소정의 가중치를 부여하고 상기 선택된 트레이닝 얼굴 영상과 입력 얼굴 영상의 유사도를 산출하는 단계를 포함하는 것을 특징으로 하는 얼굴 영상 유사도 산출 방법.
  3. 제1 항에 있어서, 상기 제1 베이시스는 상기 트레이닝 얼굴 영상 셋에 대한 중요 성분 분석(PCA)을 수행하여 생성하는 것을 특징으로 하는 얼굴 영상 유사도 산출 방법.
  4. 제1 항에 있어서, 상기 제2 베이시스는 트레이닝 얼굴 영상 셋에 대하여 국부 특징 분석(LFA)을 수행하여 생성하는 것을 특징으로 하는 얼굴 영상 유사도 산출 방법.
  5. 제3 항에 있어서, 상기 중요 성분 분석(PCA)을 수행하는 것은
    상기 트레이닝 얼굴 영상 셋에 따른 얼굴 영상 평균 벡터를 계산하는 단계;
    상기 트레이닝 얼굴 영상 셋에 속하는 각각의 트레이닝 얼굴 영상 벡터와 상기 얼굴 영상 평균 벡터의 차이에 따른 행렬을 생성하는 단계;
    상기 생성된 행렬의 공분산 행렬을 생성하는 단계; 및
    상기 생성된 공분산 행렬에 대한 고유 분석(eigen alalysis)을 수행하여 고유 벡터 행렬을 생성하는 단계를 포함하고,
    상기 제1 베이시스는 상기 고유 벡터 행렬인 것을 특징으로 하는 얼굴 영상 유사도 산출 방법.
  6. 제5 항에 있어서,
    상기 제2 베이시스는 트레이닝 얼굴 영상 셋에 대하여 국부 특징 분석(LFA)을 수행하여 생성되는 것이고, 상기 국부 특징 분석(LFA)을 수행하는 것은
    상기 생성된 공분산 행렬에 대한 고유값을 더욱 생성하는 단계;
    상기 생성된 고유값을 이용하여 제1 국부 영역(local region)에 따른 고유값 행렬을 생성하는 단계; 및
    상기 생성된 고유값 행렬과 상기 제1 베이시스를 이용하여 제2 베이시스를 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 영상 유사도 산출 방법.
  7. 제6 항에 있어서,
    상기 고유값 행렬과 상기 제2 베이시스를 생성하는 것은 하기 수학식1과 2에 따라 생성하는 것을 특징으로 하는 얼굴 영상 유사도 산출 방법.
    수학식 1
    Figure 112006093753018-PAT00047
    수학식 2
    Figure 112006093753018-PAT00048
    여기에서,
    Figure 112006093753018-PAT00049
    이고,
    Figure 112006093753018-PAT00050
    는 고유값 행렬(
    Figure 112006093753018-PAT00051
    )을 구성하는 각 고유값 성분이며, diag()은 대각 행렬 함수이고, n은 저역 통과 필터의 파라미터이며,
    Figure 112006093753018-PAT00052
    는 상기 제1 베이시스 행렬이고,
    Figure 112006093753018-PAT00053
    는 제2 베이시스 행렬이다.
  8. 제6 항에 있어서,
    상기 생성된 고유값을 이용하여 상기 제1 국부 영역과 동일하지 않은 제2 국부 영역(local region)에 따른 고유값 행렬을 생성하고, 상기 생성된 제2 국부 영역에 따른 고유값 행렬과 상기 제1 베이시스를 이용하여 제3 베이시스를 생성하는 단계를 더 포함하고,
    상기 (b) 단계는 상기 제3 베이시스에 상기 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성하는 단계를 더 포함하며,
    상기 (c) 단계에서 상기 트레이닝 얼굴 영상과 입력 얼굴 영상의 유사도를 산출하는 것은 상기 제3 베이시스에 상기 입력 얼굴 영상을 투영함으로써 생성된 국부 특징 벡터와, 상기 제3 베이시스에 상기 선택된 트레이닝 얼굴 영상을 투영함으로써 생성된 국부 특징 벡터를 더욱 이용하여 산출하는 것을 특징으로 하는 얼굴 영상 유사도 산출 방법.
  9. 제2 항에 있어서,
    상기 제2 베이시스는 2개 이상의 국부 영역에 대한 복수개의 국부 베이시스로 이루어지며,
    상기 (c2) 단계는 상기 국부 영역에 따른 소정의 가중치를 더욱 고려하여 국 부 특징 벡터의 유사도를 계산하는 것을 특징으로 하는 얼굴 영상 유사도 산출 방법.
  10. 제1 항에 있어서, 상기 입력 얼굴 영상과 상기 선택된 트레이닝 얼굴 영상은,
    가우시안 저역 통과 필터를 이용하여 얼굴 영상을 필터링하는 단계; 상기 필터링된 얼굴 이미지에서 눈 영역을 찾는 단계;
    상기 눈 영역을 기준으로 얼굴 영상을 정규화시키는 단계; 및
    조명의 분산을 제거하기 위하여 조명을 변화시키는 단계를 통해 전처리된 것을 특징으로 하는 얼굴 영상 유사도 산출 방법.
  11. 제1 항 내지 제10 항 중 어느 한 항에 따른 얼굴 영상 유사도 산출 방법을 실행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  12. (a) 트레이닝 얼굴 영상 셋으로부터 얼굴 전체 영역에 대한 제1 베이시스를 추출하는 단계;
    (b) 상기 트레이닝 얼굴 영상 셋으로부터 얼굴 국부 영역에 대한 제2 베이시스를 추출하는 단계;
    (c) 입력 얼굴 영상을 상기 제1 베이시스에 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 단계;
    (d) 상기 입력 얼굴 영상을 상기 제2 베이시스에 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성하는 단계;
    (e) 상기 트레이닝 얼굴 영상 셋으로부터 선택된 어느 하나의 트레이닝 얼굴 영상을 상기 제1 베이시스에 투영하여 상기 선택된 트레이닝 얼굴 영상의 전체 특징 벡터를 생성하는 단계;
    (f) 상기 선택된 트레이닝 얼굴 영상을 상기 제2 베이시스에 투영하여 상기 선택된 트레이닝 얼굴 영상의 국부 특징 벡터를 생성하는 단계;
    (g) 상기 입력 얼굴 영상과 상기 선택된 트레이닝 얼굴 영상의 전체 특징 벡터를 비교하는 단계;
    (h) 상기 입력 얼굴 영상과 상기 선택된 트레이닝 얼굴 영상의 국부 특징 벡터를 비교하는 단계; 및
    (i) 상기 비교 결과를 이용하여 상기 입력 얼굴 영상과 상기 선택된 트레이닝 얼굴 영상의 유사도를 산출하는 단계를 포함하는 얼굴 영상 유사도 산출 방법.
  13. 입력 얼굴 영상을 수신하는 수신부;
    트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 전체 영역에 대한 제1 베이시스에 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 전체 특징 생성부;
    상기 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 국부 영역에 대한 제2 베이시스에 입력 얼굴 영상을 투영하여 입력 얼굴 국부 특징 벡터를 생성하는 국부 특징 생성부; 및
    상기 트레이닝 얼굴 영상 셋에서 선택된 어느 하나의 트레이닝 얼굴 영상에 따른 전체 특징 벡터와 국부 특징 벡터 및 상기 입력 얼굴 영상에 따른 전체 특징 벡터와 국부 특징 벡터를 이용하여 상기 선택된 트레이닝 얼굴 영상과 입력 얼굴 영상의 유사도를 산출하는 유사도 산출부를 포함하는 얼굴 영상의 유사도 산출 장치.
  14. 제13 항에 있어서,
    상기 트레이닝 얼굴 영상 셋에 대한 중요 성분 분석(PCA)을 수행하여 상기 제1 베이시스를 생성하는 PCA 베이시스 생성부를 더 포함하는 것을 특징으로 하는 얼굴 영상 유사도 산출 장치.
  15. 제13 항에 있어서, 상기 트레이닝 얼굴 영상 셋에 대한 국부 성분 분석(LFA)을 수행하여 상기 제2 베이시스를 생성하는 LFA 베이시스 생성부를 더 포함하는 것을 특징으로 하는 얼굴 영상 유사도 산출 장치.
  16. 제13 항에 있어서, 상기 유사도 산출부는
    상기 선택된 트레이닝 얼굴 영상에 따른 전체 특징 벡터와 상기 입력 얼굴 영상에 따른 전체 특징 벡터의 유사도를 계산하는 제1 유사도 계산부;
    상기 선택된 트레이닝 얼굴 영상에 따른 국부 특징 벡터와 상기 입력 얼굴 영상에 따른 국부 특징 벡터의 유사도를 계산하는 제2 유사도 계산부를 더 포함하고,
    상기 유사도 산출부는 상기 제1 및 제2 유사도 계산부를 통해 계산된 각각의 유사도값을 이용하여 상기 선택된 트레이닝 얼굴 영상과 입력 얼굴 영상의 유사도를 산출하는 것을 특징으로 하는 얼굴 유사도 산출 장치.
  17. 얼굴 영상 검색 방법에 있어서,
    (a) 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 전체 영역에 대한 제1 베이시스에 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 단계 ;
    (b) 상기 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 국부 영역에 대한 제2 베이시스에 상기 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성하는 단계; 및
    (c) 상기 상기 (a) 단계와 (b) 단계를 통해 생성된 전체 특징 벡터와 국부 특징 벡터를 이용하여, 상기 입력 얼굴 영상과 소정의 유사도 갖는 얼굴 영상을 상기 트레이닝 얼굴 영상 셋에서 검색하는 단계를 포함하는 것을 특징으로 하는 얼굴 영상 검색 방법.
  18. 입력 얼굴 영상을 수신하는 수신부;
    트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 전체 영역에 대한 제1 베이시스 에 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 전체 특징 벡터를 생성하는 전체 특징 생성부;
    상기 트레이닝 얼굴 영상 셋으로부터 추출된 얼굴 국부 영역에 대한 제2 베이시스에 상기 입력 얼굴 영상을 투영하여 입력 얼굴 영상의 국부 특징 벡터를 생성하는 국부 특징 생성부; 및
    상기 입력 얼굴 영상에 따른 전체 특징 벡터와 국부 영상 벡터를 이용하여, 상기 입력 얼굴 영상과 소정의 유사도를 갖는 얼굴 영상을 상기 트레이닝 얼굴 영상 셋에서 검색하는 검색부를 포함하는 것을 특징으로 하는 얼굴 영상 검색 장치.
  19. (a) 얼굴 합성을 위한 2개 이상의 얼굴 영상을 선택하는 단계;
    (b) 상기 선택된 각각의 얼굴 영상으로부터 전체 특징 벡터와 국부 특징 벡터를 추출하는 단계;
    (c) 상기 선택된 각각의 얼굴 영상으로부터 추출된 전체 특징 벡터를 이용하여 전체 특징에 따른 얼굴 영상 벡터를 복원하는 단계;
    (d) 상기 선택된 각각의 얼굴 영상으로부터 추출된 국부 특징 벡터를 이용하여 국부 특징에 따른 얼굴 영상 벡터를 복원하는 단계; 및
    (e) 상기 (c) 단계와 (d) 단계를 통해 복원된 얼굴 영상 벡터를 합성하는 단계를 포함하는 것을 특징으로 하는 얼굴 영상 합성 방법
KR1020060129680A 2006-12-18 2006-12-18 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법 KR100860989B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060129680A KR100860989B1 (ko) 2006-12-18 2006-12-18 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법
US11/882,714 US20080144891A1 (en) 2006-12-18 2007-08-03 Method and apparatus for calculating similarity of face image, method and apparatus for retrieving face image, and method of synthesizing face image
JP2007325232A JP2008152789A (ja) 2006-12-18 2007-12-17 顔映像の類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060129680A KR100860989B1 (ko) 2006-12-18 2006-12-18 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법

Publications (2)

Publication Number Publication Date
KR20080056591A true KR20080056591A (ko) 2008-06-23
KR100860989B1 KR100860989B1 (ko) 2008-09-30

Family

ID=39527274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060129680A KR100860989B1 (ko) 2006-12-18 2006-12-18 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법

Country Status (3)

Country Link
US (1) US20080144891A1 (ko)
JP (1) JP2008152789A (ko)
KR (1) KR100860989B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR20160053833A (ko) * 2014-11-05 2016-05-13 모르포 개선된 데이터 비교 방법
KR20220071528A (ko) * 2020-11-24 2022-05-31 한국전력공사 얼굴 인식 장치 및 방법
CN114937293A (zh) * 2022-04-06 2022-08-23 江苏商贸职业学院 基于gis的农业服务管理方法及系统

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414348A (zh) * 2007-10-19 2009-04-22 三星电子株式会社 多角度人脸识别方法和系统
JP5408128B2 (ja) * 2008-05-15 2014-02-05 株式会社ニコン 画像処理装置、画像処理方法、処理装置、およびプログラム
US9066054B2 (en) * 2008-05-27 2015-06-23 Xerox Corporation Image indexed rendering of images for tuning images from single or multiple print engines
JP5127067B2 (ja) * 2009-03-06 2013-01-23 パナソニック株式会社 画像検索装置及び画像検索方法
CN101840514B (zh) * 2009-03-19 2014-12-31 株式会社理光 图像对象分类装置及方法
JPWO2010122721A1 (ja) 2009-04-22 2012-10-25 日本電気株式会社 照合装置、照合方法および照合プログラム
JP5554984B2 (ja) * 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
JP5777380B2 (ja) * 2011-04-05 2015-09-09 キヤノン株式会社 画像認識装置、画像認識方法、及びプログラム
JP5800557B2 (ja) * 2011-04-20 2015-10-28 キヤノン株式会社 パターン認識装置、パターン認識方法及びプログラム
US8903198B2 (en) * 2011-06-03 2014-12-02 International Business Machines Corporation Image ranking based on attribute correlation
JP5548723B2 (ja) * 2012-04-27 2014-07-16 楽天株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US9158996B2 (en) * 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
US10395045B2 (en) * 2015-04-17 2019-08-27 Dropbox, Inc. Collection folder for collecting file submissions and scanning for plagiarism
CN105072337B (zh) * 2015-07-31 2019-03-26 小米科技有限责任公司 图片处理方法及装置
US10546185B2 (en) * 2015-12-01 2020-01-28 Casio Computer Co., Ltd. Image processing apparatus for performing image processing according to privacy level
US10713966B2 (en) 2015-12-31 2020-07-14 Dropbox, Inc. Assignments for classrooms
JP6874772B2 (ja) * 2016-11-25 2021-05-19 日本電気株式会社 画像生成装置、画像生成方法、およびプログラム
KR102387570B1 (ko) 2016-12-16 2022-04-18 삼성전자주식회사 표정 생성 방법, 표정 생성 장치 및 표정 생성을 위한 학습 방법
US10860841B2 (en) 2016-12-29 2020-12-08 Samsung Electronics Co., Ltd. Facial expression image processing method and apparatus
CN109389015A (zh) * 2017-08-10 2019-02-26 丽宝大数据股份有限公司 脸部相似度评估方法与电子装置
CN107944497A (zh) * 2017-12-06 2018-04-20 天津大学 基于主成分分析的图像块相似性度量方法
CN109359570A (zh) * 2018-09-30 2019-02-19 广东司法警官职业学院 一种视频人物鉴定的方法
US10970953B2 (en) * 2019-03-21 2021-04-06 Techolution LLC Face authentication based smart access control system
CN111580553A (zh) * 2020-05-11 2020-08-25 桂林电子科技大学 一种无人机飞行控制器、无人机防疫监管系统和方法
CN113449708B (zh) * 2021-08-31 2022-01-07 深圳市爱深盈通信息技术有限公司 人脸识别方法、装置、设备终端和可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259814A (ja) * 1999-03-11 2000-09-22 Toshiba Corp 画像処理装置及びその方法
JP4743823B2 (ja) 2003-07-18 2011-08-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
KR100543707B1 (ko) * 2003-12-04 2006-01-20 삼성전자주식회사 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치
KR100608595B1 (ko) * 2004-11-16 2006-08-03 삼성전자주식회사 얼굴 인식 방법 및 장치
CN1797420A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 一种基于统计纹理分析的人脸识别方法
KR100723406B1 (ko) * 2005-06-20 2007-05-30 삼성전자주식회사 국부이진패턴 구별 방법을 이용한 얼굴 검증 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR20160053833A (ko) * 2014-11-05 2016-05-13 모르포 개선된 데이터 비교 방법
KR20220071528A (ko) * 2020-11-24 2022-05-31 한국전력공사 얼굴 인식 장치 및 방법
CN114937293A (zh) * 2022-04-06 2022-08-23 江苏商贸职业学院 基于gis的农业服务管理方法及系统

Also Published As

Publication number Publication date
JP2008152789A (ja) 2008-07-03
KR100860989B1 (ko) 2008-09-30
US20080144891A1 (en) 2008-06-19

Similar Documents

Publication Publication Date Title
KR100860989B1 (ko) 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법
US7715597B2 (en) Method and component for image recognition
JP4271964B2 (ja) 構成成分基盤ｐｃａ／ｉｃａを利用した顔認識方法及びその装置
EP2088535B1 (en) Image processing apparatus and method, and program
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
Wimmer et al. Low-level fusion of audio and video feature for multi-modal emotion recognition
JP2006012130A (ja) 画像を表現する方法、この方法の使用により導出される記述子、この記述子の送信、受信、および記憶のいずれかを含む使用ないし記述子の記憶装置、顔の認識、検出、または分類を行う方法及び装置ないしそのコンピュータプログラム及びコンピュータ読み取り可能な記憶媒体
JP2005149506A (ja) 対象物自動認識照合方法および装置
JP2000003452A (ja) デジタル画像における顔面の検出方法、顔面検出装置、画像判定方法、画像判定装置およびコンピュ―タ可読な記録媒体
CN108564061A (zh) 一种基于二维主元分析的图像识别方法和系统
Xia et al. Face occlusion detection using deep convolutional neural networks
Prabhu et al. Facial Expression Recognition Using Enhanced Convolution Neural Network with Attention Mechanism.
JP2005141437A (ja) パターン認識装置及びその方法
KR100480783B1 (ko) 구성요소 기반 ｐｃａ／ｉｃａ를 이용한 얼굴 인식 방법및 그 장치
Monwar et al. Eigenimage based pain expression recognition
Kotropoulos et al. Frontal face authentication using variants of dynamic link matching based on mathematical morphology
Karungaru et al. Face recognition in colour images using neural networks and genetic algorithms
Mobaraki et al. Masked Face Recognition Using Convolutional Neural Networks and Similarity Analysis
JP2004272326A (ja) 部分空間成分特徴を用いた顔面描写および認識用の確率的顔面成分融合方法
CN111353353A (zh) 跨姿态的人脸识别方法及装置
Pande et al. Parallel processing for multi face detection and recognition
Mokalla Deep learning based face detection and recognition in MWIR and visible bands
Bouguila et al. Simultaneous non-gaussian data clustering, feature selection and outliers rejection
Lajevardi et al. Feature selection for facial expression recognition based on mutual information
JP2004038937A (ja) 高次固有成分を用いる顔の記述および認識のための方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee