KR20150143304A - 화상 인식 장치 및 화상 인식 장치에의 특징량 데이터 등록 방법 - Google Patents

화상 인식 장치 및 화상 인식 장치에의 특징량 데이터 등록 방법 Download PDF

Info

Publication number
KR20150143304A
KR20150143304A KR1020150073698A KR20150073698A KR20150143304A KR 20150143304 A KR20150143304 A KR 20150143304A KR 1020150073698 A KR1020150073698 A KR 1020150073698A KR 20150073698 A KR20150073698 A KR 20150073698A KR 20150143304 A KR20150143304 A KR 20150143304A
Authority
KR
South Korea
Prior art keywords
class
data
new
feature
database
Prior art date
Application number
KR1020150073698A
Other languages
English (en)
Inventor
아츠시 이리에
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20150143304A publication Critical patent/KR20150143304A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • G06K9/00288—
    • G06K9/00295—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof

Abstract

화상 인식 장치가, 복수의 오브젝트의 특징량 데이터가 오브젝트마다 클래스 나눔하여 등록되어 있는 데이터베이스와, 미지의 오브젝트의 식별을 행하는 식별부와, 데이터베이스에 특징량 데이터를 등록하는 특징량 데이터 등록부를 갖는다. 데이터베이스는, 같은 오브젝트에 대해 복수의 클래스를 설정 가능하다. 특징량 데이터 등록부는, 데이터베이스에 이미 등록되어 있는 제1의 오브젝트에 관해 신규의 특징량 데이터를 추가할 때에, 신규의 특징량 데이터와 소정의 유사 조건을 충족시키는 제2의 오브젝트가 데이터베이스에 존재한 경우에는, 제1의 오브젝트에 대해 기존의 클래스와는 다른 신규의 클래스를 설정하고, 신규의 특징량 데이터를 신규의 클래스에 등록한다.

Description

화상 인식 장치 및 화상 인식 장치에의 특징량 데이터 등록 방법{IMAGE RECOGNITION DEVICE AND METHOD FOR REGISTERING FEATURE DATA IN IMAGE RECOGNITION DEVICE}
본 발명은, 화상 인식 장치에 관한 것으로, 특히, 화상 인식 장치에 대해 특징량 데이터를 등록하기 위한 기술에 관한 것이다.
화상 인식이란, 화상으로부터 특징량 데이터를 추출하고, 그 데이터를 데이터베이스에 미리 등록되어 있는 기지(旣知) 오브젝트의 특징량 데이터와 대조함으로써, 화상 중의 피사체의 식별(동정(同定))을 행하는 기술이다. 화상 인식은, 예를 들면, 얼굴 화상 등의 바이오메트릭스 화상을 이용한 본인 인증이나 개인 식별, 침입자나 수상한 물건을 검출하는 감시 시스템, 생산 라인 등에서의 워크 검사, 교통 인프라에서의 통행인이나 통행 차량의 식별 등, 다종다양한 분야에 적용되어 있다.
도 8(a)는, 데이터베이스에 등록된 특징량 데이터와 클래스의 개념을 설명하는 도면이다. 통상, 1매의 화상으로부터는 복수개의 특징량이 추출되고, 특징량 데이터는 복수개의 특징량으로 이루어지는 다차원의 벡터(특징 벡터라고 불린다)로 표현된다. 특징 벡터로 뻗어지는 공간은 특징 공간이라고 불린다. 도 8(a)는 특징 공간을 모식적으로 도시한 것이고, 점(A1∼A4)이 오브젝트(A)의 특징량 데이터, 점(B1∼B4)이 오브젝트(B)의 특징량 데이터, 점(C1∼C4)이 오브젝트(C)의 특징량 데이터를 나타내고 있다. 통상, 특징량 데이터는 오브젝트마다 분류되고, 오브젝트마다 하나의 통합된 데이터 세트(「클래스」라고 불린다)로서 등록·관리되고 있다. 도 8(a)의 예에서는 오브젝트(A)∼오브젝트(C)에 대응하는 3개의 클래스(KA)∼클래스(KC)가 정의되어 있다.
여기서, 미지의 오브젝트(X)의 특징량 데이터(X)가 주어진 때, 오브젝트(X)의 식별(동정)은, 특징량 데이터(X)가 클래스(KA)∼클래스(KC)의 어느 것에 속하는지(또는 어느 것에도 속하지 않는지)를 판정하는 문제로서 파악할 수 있다. 예를 들면, 특징량 데이터(X)와 각 클래스의 특징량 데이터와의 유사도를 계산하고, 가장 유사도가 높은 클래스에 특징량 데이터(X)를 귀속시킨다. 도 8(a)의 예에서는, 특징량 데이터(X)는 클래스(KB)에 가장 가깝기 때문에, 오브젝트(X)는 오브젝트(B)라는 식별 결과를 얻을 수 있게 된다.
그런데, 화상 인식에서는 카메라로 촬영한 화상을 사용하기 때문에, 그때그때의 촬영 조건(오브젝트의 상태(얼굴의 경우는, 방향, 표정, 장신구의 유무, 화장, 머리모양 등)나 조명 상태 등)에 의해, 추출된 특징량에 편차가 나오는 것은 피할 수가 없다. 그래서, 촬영 조건의 차이에 대한 로버스트성을 높이고, 인식 정밀도를 향상하기 위한 대책으로서, 같은 오브젝트에 관해 촬영 조건이 다른 복수의 화상으로부터 추출한 복수의 특징량 데이터를 등록하여 둔다는 방법이 일반적으로 채택되고 있다. 환언하면, 데이터베이스에 등록한 특징량 데이터의 변화를 높이는 것이, 화상 인식의 정밀도를 향상하기 위해서는 바람직하다.
그러나, 본 발명자들의 검토 중에서, 특징량 데이터의 베리에이션 화상 인식의 정밀도를 저하시키는 경우가 있는 것을 알아 왔다. 도 8(b)에 그 한 예를 도시한다. 도 8(b)는, 도 8(a)의 데이터베이스에 대해, 오브젝트(A)의 특징량 데이터(A5)를 새롭게 추가한 예이다. 예를 들면, 인물의 얼굴을 촬영한 때에, 표정, 화장, 음영 등에 의해, 타인과 잘 닮은 화상을 얻을 수 있는 것이 있다. 그와 같은 화상을 이용한 경우, 도 8(b)에 도시하는 바와 같이, 오브젝트(A)의 특징량 데이터(A5)였음에도 불구하고, 다른 오브젝트(B)의 특징량 데이터(B1∼B4)에 가까운 특징량 데이터(A5)가 추출되는 일이 있을 수 있다. 이와 같은 특징량 데이터(A5)를 클래스(KA)에 추가하면, 특징 공간상에서 클래스(KA)와 클래스(KB)가 근접 내지 중복되고, 2개의 클래스의 식별성(분리성)이 저하되어 버린다. 예를 들면, 미지 오브젝트의 특징량 데이터(X)로서 도 8(a)와 같은 것이 입력되었다고 한다. 이때, 도 8(c)에 도시하는 바와 같이, 특징량 데이터(X)가 클래스(KA)와 클래스(KB)의 어느 것에 속하는 것인지 판연(判然)하지 않기 때문에, 미지 오브젝트에 대해 오브젝트(A)라는 잘못된 식별 결과가 출력될 가능성이 있다.
또한, 특징량 데이터의 데이터베이스의 구조를 궁리한 선행례로서, 예를 들면, 특허문헌 1을 들 수 있다. 특허문헌 1에서는, 동화상에 등장하는 인물의 얼굴을 분류하고, 인물얼굴 데이터베이스를 구축할 때에, 동일 인물의 얼굴을 얼굴방향마다 각각의 클래스에 세분류함으로써, 보다 좋은 클러스터링 결과를 얻는 방법이 제안되고 있다. 그러나, 특허문헌 1에서는 다른 오브젝트(인물얼굴)의 사이에서의 식별성(분리성)에 관해서는 전혀 고려되고 있지 않기 때문, 이 방법을 적용하였다고 하여도, 도 8(c)로 설명한 바와 같은 오인식은 해결할 수가 없다.
일본 특개2008-77536호 공보
본 발명은, 상기 실정을 감안하여 이루어진 것으로, 기등록(旣登錄)의 오브젝트에 대해 신규의 특징량 데이터를 추가할 때에, 다른 오브젝트와의 사이의 식별성의 저하를 억제하기 위한 기술을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명에서는, 다른 오브젝트와의 사이의 식별성의 저하를 초래할 가능성이 있는 특징량 데이터를 추가할 때는, 기등록의 데이터와는 클래스를 나누어서 등록한다라는 구성을 채용한다.
구체적으로는, 본 발명에 관한 화상 인식 장치는, 복수의 오브젝트의 특징량 데이터가 오브젝트마다 클래스 나눔하여 등록되어 있는 데이터베이스와, 미지의 오브젝트에 대해, 상기 미지의 오브젝트의 화상으로부터 얻어지는 특징량 데이터가 상기 데이터베이스에 등록되어 있는 어느 클래스의 특징량 데이터에 가장 유사하여 있는지 평가함에 의해, 상기 미지의 오브젝트의 식별을 행하는 식별부와, 상기 데이터베이스에 특징량 데이터를 등록하는 특징량 데이터 등록부를 갖는 화상 인식 장치로서, 상기 데이터베이스는, 같은 오브젝트에 대해 복수의 클래스를 설정 가능하고, 상기 특징량 데이터 등록부는, 상기 데이터베이스에 이미 등록되어 있는 제1의 오브젝트에 관해 신규의 특징량 데이터를 추가할 때에, 상기 신규의 특징량 데이터와 소정의 유사 조건을 충족시키는 제2의 오브젝트가 상기 데이터베이스에 존재한 경우에는, 상기 제1의 오브젝트에 대해 기존의 클래스와는 다른 신규의 클래스를 설정하고, 상기 신규의 특징량 데이터를 상기 신규의 클래스에 등록하는 것을 특징으로 한다.
이 구성에 의하면, 제1의 오브젝트의 특징량 데이터 중, 제2의 오브젝트와 유사한 데이터와 그 이외의 데이터가 각각의 클래스로 분류된다. 그 때문에, 제1의 오브젝트의 모든 특징량 데이터를 포함하는 단일의 클래스를 설정하는 것에 비하여, 제1의 오브젝트의 클래스와 제2의 오브젝트의 클래스 사이의 특징 공간상에서의 근접 내지 중복이 생기기 어려워진다. 따라서 제1의 오브젝트와 제2의 오브젝트 사이의 식별성의 저하(예를 들면, 제2의 오브젝트의 특징량 데이터를 제1의 오브젝트의 것으로 오인식할 가능성)를 억제할 수 있다. 더하여, 신규의 특징량 데이터의 추가에 의해 제1의 오브젝트의 특징량 데이터의 베리에이션이 늘기 때문에, 제1의 오브젝트에 대한 식별 정밀도의 향상을 기대할 수 있다.
「소정의 유사 조건」에는 다양한 조건을 설정할 수 있다. 예를 들면, 소정의 유사 조건이, 「상기 신규의 특징량 데이터와 상기 제2의 오브젝트의 클래스의 특징량 데이터와의 유사도가, 상기 신규의 특징량 데이터와 상기 제1의 오브젝트의 상기 기존 클래스의 특징량 데이터와의 유사도보다도 높다」는 조건을 포함하면 좋다. 제1의 오브젝트의 기등록 데이터보다도 제2의 오브젝트의 기등록 데이터의 쪽에 가까운 특징량 데이터를 추가하면, 제1의 오브젝트와 제2의 오브젝트 사이의 식별성이 저하될 가능성이 높기 때문이다. 상기 조건에 「상기 신규의 특징량 데이터와 상기 제2의 오브젝트의 클래스의 특징량 데이터와의 유사도가 임계치보다도 높다」는 조건을 조합시켜도 좋다. 제1의 오브젝트의 기등록 데이터와 제2의 오브젝트의 기등록 데이터의 어느 것이나 유사도가 낮은 경우에는, 그와 같은 특징량 데이터를 추가하여도, 제1의 오브젝트와 제2의 오브젝트 사이의 식별성에 주는 영향은 작기 때문이다.
또는, 제1의 오브젝트의 기등록 데이터와의 유사도와 제2의 오브젝트의 기등록 데이터와의 유사도의 상대 평가를 행하는 것이 아니라, 단순하게, 「상기 신규의 특징량 데이터와 상기 제2의 오브젝트의 클래스의 특징량 데이터와의 유사도가 임계치보다도 높은」지의 여부라는 조건만으로 판단하여도 좋다. 제2의 오브젝트와의 유사도가 매우 높은 경우에는, (제1의 오브젝트의 기등록 데이터와의 유사도의 크기에 의하지 않고) 제1의 오브젝트와 제2의 오브젝트 사이의 식별성이 저하될 가능성이 높기 때문이다.
또한, 「상기 신규의 특징량 데이터를 상기 제1의 오브젝트의 상기 기존의 클래스에 추가한 경우에 상기 기존의 클래스의 분산(分散)이 증가한다」는 조건을 조합시키거나, 나아가서는 「상기 신규의 특징량 데이터를 상기 제1의 오브젝트의 상기 기존의 클래스에 추가한 경우에, 상기 제1의 오브젝트의 상기 기존의 클래스의 클래스 내 분산이 증가하고, 또한, 상기 제1의 오브젝트의 상기 기존의 클래스와 상기 제2의 오브젝트의 클래스 사이의 클래스 사이 분산이 감소한다」는 조건을 조합시켜도 좋다. 분산은, 신규의 특징량 데이터의 추가가 클래스 전체에 미치는 영향을 평가할 수 있기 때문에, 유사도보다도 보다 타당한 결과가 얻어진다고 기대할 수 있다.
또한, 소정의 유사 조건은, 「상기 식별부에 의해 상기 신규의 특징량 데이터가 상기 제2의 오브젝트의 특징량 데이터라고 잘못 식별된다」는 조건이라도 좋다. 식별부의 식별 결과의 정오(正誤)를 조건으로 함으로써, 제1의 오브젝트와 제2의 오브젝트 사이의 식별성의 저하(즉, 제2의 오브젝트의 특징량 데이터를 제1의 오브젝트의 것으로 오인식할 가능성)를 정확하게 평가할 수 있기 때문이다. 예를 들면, 상기 특징량 데이터 등록부는, 상기 식별부에 의한 식별 결과가 정해(正解)인지의 여부를 유저에게 문의함에 의해, 상기 신규의 특징량 데이터가 상기 소정의 유사 조건을 충족하는지를 판단할 수 있다.
본 발명에 있어서, 「오브젝트」란, 화상 인식의 대상물을 말한다. 화상 특징량에 의한 인식이 가능하기만 하면, 어떤 것도 본 발명의 「오브젝트」가 될 수 있다. 한 예를 들면, 사람이나 동물의 개체 인식의 경우에는, 바이오메트릭스 정보라고 불리는, 얼굴, 안저(眼底), 눈동자, 지문, 장문(掌紋), 귀, 상반신, 전신 등이 오브젝트가 될 수 있고, 일반물체 인식의 경우에는, 물체나 그 일부 등이 오브젝트가 될 수 있다.
또한, 본 발명은, 상기 구성 내지 기능의 적어도 일부를 갖는 화상 인식 장치, 또는, 화상 인식 장치에 대해 특징량 데이터의 등록을 행하는 등록 장치, 또는, 화상 인식 장치를 구비한 전자 기기로서 파악할 수 있다. 또한, 본 발명은, 상기 처리의 적어도 일부를 포함하는 화상 인식 방법, 또는, 화상 인식 장치에 대한 특징량 데이터 등록 방법, 또는, 이러한 방법을 화상 인식 장치(컴퓨터)에 실행시키기 위한 프로그램, 또는, 그와 같은 프로그램을 비일시적으로 기록한 컴퓨터 판독 가능한 기록 매체로서 파악하는 것도 가능하다. 상기 구성 및 처리의 각각은 기술적인 모순이 생기지 않는 한 서로 조합시켜서 본 발명을 구성할 수 있다.
본 발명에 의하면, 기등록의 오브젝트에 대해 신규의 특징량 데이터를 추가할 때에, 다른 오브젝트와의 사이의 식별성의 저하를 억제할 수 있다.
도 1은, 본 발명의 실시 형태에 관한 얼굴 인증 시스템의 구성을 모식적으로 도시하는 도면.
도 2(a) 내지 도 2(c)는, 데이터베이스에 등록된 특징량 데이터의 예를 모식적으로 도시하는 도면.
도 3은, 얼굴 인증 처리의 흐름을 도시하는 플로 차트.
도 4는, 제1 실시 형태의 데이터 등록 처리의 흐름을 도시하는 플로 차트.
도 5는, 제2 실시 형태의 데이터 등록 처리의 흐름을 도시하는 플로 차트.
도 6은, 제3 실시 형태의 데이터 등록 처리의 흐름을 도시하는 플로 차트.
도 7은, 제4 실시 형태의 데이터 등록 처리의 흐름을 도시하는 플로 차트.
도 8(a) 내지 도 8(c)는, 종래 기술의 문제를 설명하기 위한 모식도.
이하, 도면을 참조하여 본 발명의 알맞은 실시 형태에 관해 설명한다. 이하의 실시 형태에서는, 화상 인식에 의해 사람의 얼굴을 식별하는 얼굴 인증 시스템에 본 발명을 적용한 예를 설명한다.
<제1 실시 형태>
(시스템 구성)
도 1은, 본 발명의 제1 실시 형태에 관한 얼굴 인증 시스템 (화상 인식 장치)의 기능 구성을 모식적으로 도시하는 도면이다. 얼굴 인증 시스템(1)은, 얼굴 화상을 이용하여 대조 대상자의 본인 인증 또는 개인 식별을 행하는 장치이다. 본인 인증이란, 대조 대상자가 본인인지의 여부를 확인하는 처리(1대1의 대조)이고, 개인 식별이란, 대조 대상자가 데이터베이스에 등록되어 있는 등록자 중의 누구인가를 동정하는 처리(1대다(多)의 대조)이다. 이러한 얼굴 인증 기술은, 예를 들면, 전자 기기(컴퓨터, 스마트 폰, 태블릿 단말을 포함한다)에서의 시큐리티 장치, 침입자 검지를 행하는 감시 시스템, 입퇴실 관리나 도어의 자물쇠 제어를 행하는 게이트 시스템 등의 다양한 용도에 응용 가능하다.
얼굴 인증 시스템(1)은, 도 1에 도시하는 바와 같이, 화상 취득부(10), 얼굴 검출부(11), 특징량 추출부(12), 특징량 데이터베이스(13), 식별부(14), 특징량 데이터 등록부(15) 등의 기능 요소를 구비하고 있다. 얼굴 인증 시스템(1)은, 예를 들면, 프로세서(CPU), 메모리, 보조 기억 장치, 입력 장치, 표시 장치, 카메라 등의 하드웨어 자원을 구비한 컴퓨터 시스템에 의해 구성할 수 있고, 도 1에 도시하는 각 기능 요소는, 프로세서가 프로그램을 실행하고, 보조 기억 장치, 입력 장치, 표시 장치, 카메라 등을 적절히 제어함으로써 실현되는 것이다. 단, 이들 기능 요소의 전부 또는 일부를 전용의 칩(로직 회로)로 구성하여도 상관없다. 또한, 하나의 컴퓨터가 아니라, 복수의 컴퓨터의 조합 또는 클라우드 컴퓨팅에 의해 얼굴 인증 시스템(1)을 구성할 수도 있다.
화상 취득부(10)는, 카메라로부터 화상 데이터를 받아들이는 기능이다. 얼굴 검출부(11)는, 화상으로부터 얼굴을 검출하고, 얼굴의 위치나 크기 등을 특정하는 기능이다. 여기서 검출된 얼굴 부분의 화상을 얼굴 화상이라고 부른다. 얼굴 검출 처리에는 기존의 어떤 기술이 적용되어도 좋다. 예를 들면, 텍스처 정보를 이용한 패턴 매칭, 윤곽이나 얼굴의 기관(눈, 코, 입 등)에 의거한 모델 피팅에 의해 얼굴을 검출하는 방법, 피부의 색이나 농담의 분포에 의거하여 얼굴을 검출하는 방법 등이 있다.
특징량 추출부(12)는, 얼굴 화상으로부터 특징량 데이터를 추출하는 기능이다. 특징량에는 어떤 종류의 것을 이용하여도 좋다. 예를 들면, 얼굴 중에 설정한 특징점(눈, 코, 입의 중심이나 단점(端点) 등)의 위치 관계, 특징점 부근의 농담치나 그 주기성·방향성, 색 분포 등을 특징량으로서 채용할 수 있다. 또한 얼굴 화상 자체를 특징량 데이터로서 이용할 수도 있다. 특징량의 개수는 기대하는 인식 정밀도에 응하여 임의로 설정할 수 있지만, 일반적으로는, 하나의 얼굴 화상으로부터 수십부터 수만개 이상의 특징량이 추출된다. 이와 같이 추출된 특징량의 조(組)(특징량 데이터 또는 특징 벡터라고 부른다)은, 화상에 찍히어 있는 얼굴의 특징을 수치화한 것이라고 말할 수 있다. 사람에 따라 얼굴의 특징이 상위함과 마찬가지로, 사람에 따라 특징량 데이터에 유의한 차가 나온다.
특징량 데이터베이스(13)는, 얼굴 인증 시스템(1)에 의해 인식 가능한 인물의 정보를 기억하는 데이터베이스이고, 앨범 데이터나 사전 데이터라고 불리는 일도 있다. 특징량 데이터베이스(13)에는, 복수의 인물의 특징량 데이터가 라벨 정보(개인의 ID나 명칭 등)와 함께 클래스 나눔하여 등록되어 있다. 얼굴 방향, 표정, 머리 모양, 화장, 촬영 시기(연령), 조명 상태 등이 다르면, 같은 인물이라도 특징량 데이터에 편차가 생긴다. 따라서 특징량 데이터베이스(13)에는, 동일한 인물에 대해, 촬영 조건이나 촬영 시기 등이 다른 복수의 얼굴 화상의 특징량 데이터를 등록할 수 있도록 하고 있다. 또한, 상세는 후술하지만, 특징량 데이터베이스(13)에는, 같은 인물에 대해 복수의 클래스를 설정할 수 있다. 도 2(a)는, 특징량 데이터베이스(13)에 등록되어 있는 특징량 데이터를 특징 공간에 매핑한 모식도이다. 인물(A) 인물(B), 인물(C)에 대응하는 3개의 클래스(KA, KB, KC)의 특징량 데이터의 예를 나타내고 있다. 또한, 도시의 편리로부터 2차원의 특징 공간을 나타내고 있지만, 실제의 시스템에서는, 수십부터 수만차원 이상의 특징 공간이 사용된다.
식별부(14)는, 특징량 데이터를 비교함에 의해 미지의 인물을 식별(동정)하는 기능이다. 또한, 특징량 데이터 등록부(15)는, 소정의 조건에 따라 특징량 데이터베이스(13)에 대해 특징량 데이터를 등록하는 기능이다. 이들 기능의 상세에 관해서는, 얼굴 인증 처리 및 데이터 등록 처리의 플로와 함께 설명한다.
(얼굴 인증 처리)
도 3은, 얼굴 인증 시스템(1)의 얼굴 인증 처리의 흐름을 도시하는 플로 차트이다.
우선, 화상 취득부(10)가, 대조 대상자(미지의 인물)의 화상을 카메라로부터 취입한다(스텝 S30). 취입된 화상은, 필요에 응하여, 유저에 의한 확인을 위해 표시 장치에 표시된다. 다음에, 얼굴 검출부(11)가, 화상으로부터 얼굴 부분을 검출한다(스텝 S31). 만약 얼굴이 검출되지 않으면, 화상의 취입부터 재시도한다. 얼굴이 검출된 경우는, 특징량 추출부(12)가, 검출된 얼굴 부분의 화상으로부터 특징량 데이터의 추출을 행한다(스텝 S32).
계속해서, 식별부(14)가, 스텝 S32에서 추출된 대조 대상자의 특징량 데이터와, 각 클래스의 특징량 데이터 사이의 유사도를 계산한다(스텝 S33). 유사도에는 어떤 지표를 이용하여도 좋다. 예를 들면, 특징 공간상에서의, 대조 대상자의 특징량 데이터와 클래스의 특징량 데이터 사이의 거리(유클리드 거리 등) 또는 벡터의 내적을 유사도로서 이용할 수 있다. 클래스 내에 복수의 특징량 데이터가 존재하는 경우에는, 각각의 특징량 데이터에 대한 유사도를 구하고, 그들의 합계치 또는 대표치(최대치, 평균 등)를 계산하면 좋다. 또는, 클래스를 대표하는 특징량 데이터(클래스 분포의 중심 등)를 구하고, 그 대표 특징량 데이터에 대한 유사도를 구하여도 좋다. 마할라노비스 거리(mahalanobis distance) 등을 이용하여, 대조 대상자의 특징량 데이터와 클래스 분포 사이의 유사도를 구할 수도 있다.
그 후, 식별부(14)는, 모든 클래스 중에서 최대의 유사도를 나타낸 클래스를 선택하고, 그 유사도의 값이 소정의 하한치를 초과하고 있는지 체크한다(스텝 S34). 하한치를 초과한 유사도를 갖는 클래스가 검출된 경우에는, 식별부(14)는, 그 클래스에 관련시켜진 라벨(개인의 ID나 명칭 등)을 식별 결과로서 출력한다(스텝 S35). 하한치를 초과한 유사도를 갖는 클래스가 존재하지 않는 경우에는, 대조 대상자는 「불명(Unknown)」이라는 식별 결과를 출력한다(스텝 S36).
(데이터 등록 처리)
음에, 도 4를 참조하여, 새로운 특징량 데이터를 얼굴 인증 시스템(1)에 등록하는 처리에 관해 설명한다. 도 4는, 데이터 등록 처리의 흐름을 도시하는 플로 차트이다.
우선, 화상 취득부(10)가, 신규의 등록용 화상을 카메라로부터 취입한다(스텝 S40). 취입된 화상은, 필요에 응하여, 유저에 의한 확인을 위해 표시 장치에 표시된다. 다음에, 얼굴 검출부(11)가, 화상으로부터 얼굴 부분을 검출한다(스텝 S41). 만약 얼굴이 검출되지 않으면, 화상의 취입부터 재시도한다. 얼굴이 검출된 경우는, 특징량 추출부(12)가, 검출된 얼굴 부분의 화상으로부터 특징량 데이터의 추출을 행한다(스텝 S42). 이하, 등록용 화상으로부터 추출된 특징량 데이터를 신규 데이터라고 부른다. 여기까지의 처리는 얼굴 인증 처리의 스텝 S30∼S32와 실질적으로 같다.
다음에, 식별부(14)가, 스텝 S42로 추출된 신규 데이터와, 특징량 데이터베이스(13)에 등록되어 있는 각 클래스의 특징량과의 사이의 유사도를 계산한다(스텝 S43). 그리고, 모든 클래스 중에서 최대의 유사도를 나타낸 클래스를 선택하고, 그 유사도의 값이 소정의 하한치를 초과하고 있는지 체크한다(스텝 S44). 여기까지의 처리는 얼굴 인증 처리의 스텝 S33∼S34와 실질적으로 같다.
식별부(14)에 의한 식별 결과에 응하여, 특징량 데이터 등록부(15)가 이후의 처리를 행한다. 우선, 스텝 S44에서 하한치를 초과한 유사도를 갖는 클래스가 검출된 경우, 특징량 데이터 등록부(15)는, 그 식별 결과가 정해인지를 유저에게 문의한다(스텝 S45). 예를 들면, 「인물(A)」이라는 식별 결과가 얻어진 경우라면, 스텝 S40에서 취입한 등록용 화상과 함께 「A씨로서 등록합니까? YES/NO」라고 하는 확인 메시지를 출력하고, 유저 입력을 촉구한다. 유저가 「YES」를 입력한 경우, 즉, 식별 결과가 정해졌던 경우에는, 특징량 데이터 등록부(15)는, 이 등록용 화상으로부터 추출한 신규 데이터를, 인물(A)의 기등록 데이터와 같은 클래스(KA)에 추가한다(스텝 S460). 도 2(b)는 신규 데이터(N)를 기존의 클래스(KA)에 추가한 경우의 특징 공간을 도시하고 있다.
다음에, 식별 결과가 부정해(不正解)였던 경우의 처리를 설명한다. 예를 들면, 인물(A)의 등록용 화상이었음에도 불구하고, 「인물(B)」이라는 식별 결과가 얻어진 케이스를 상정한다. 이와 같은 오식별은, 신규 데이터(N)와 인물(B)의 기등록 데이터(B1∼B4)와의 유사도가, 신규 데이터(N)과 인물(A)의 기등록 데이터(A1∼A4)와의 유사도보다도 높은 경우에 발생한다. 인물(A)과 인물(B)의 얼굴모습이 원래 비슷한 경우나, 촬영시의 표정이나 얼굴방향 등에 의해 우연히 인물(B)의 얼굴과 비슷한 화상이 얻어진 경우 등에, 이와 같은 오식별이 일어날 가능성이 있다.
상기한 바와 마찬가지로 특징량 데이터 등록부(15)는, 등록용 화상(인물(A)의 화상)과 함께 「B씨로서 등록합니까? YES/NO」라는 확인 메시지를 출력한다(스텝 S45). 여기서 유저가 「NO」를 선택한 경우, 특징량 데이터 등록부(15)는 유저에게 정해의 입력을 촉구한다(스텝 S47). 예를 들면, 등록완료의 인물명 리스트를 제시하고 그 중에서 선택시켜도 좋고, 인물명을 입력시켜도 좋다. 유저에 의해 정해 「인물(A)」가 교시(敎示)되면, 특징량 데이터 등록부(15)는, 「인물(A)」이 특징량 데이터베이스(13)에 이미 등록되고 있는 인물인지의 여부를 체크한다(스텝 S48). 기등록의 인물이었던 경우, 도 2(c)에 도시하는 바와 같이, 특징량 데이터 등록부(15)는, 인물(A)에 대해 기존의 클래스(KA)와는 다른 신규의 클래스(KA2)를 설정하고, 등록용 화상으로부터 추출한 신규 데이터(N)을 신규의 클래스(KA2)에 등록한다(스텝 S461).
한편, 기등록의 인물이 아닌 경우(예를 들면, 등록용 화상이 인물(D)의 화상이었던 경우)에는, 특징량 데이터 등록부(15)는, 특징량 데이터베이스(13)에 신규의 인물의 클래스를 설정하고, 그곳에 등록용 화상으로부터 추출한 신규 데이터를 등록한다(스텝 S462). 또한, 스텝 S44에서 하한치를 초과한 유사도를 갖는 클래스를 검출할 수가 없었던 경우(즉, 식별 결과가 불명(Unknown)이였던 경우)에도, 스텝 S47로 진행하여, 신규의 인물로서 등록된다.
(본 실시 형태의 이점)
이상 기술한 데이터 등록 처리에 의하면, 같은 인물(A)의 특징량 데이터(N)라도, 타인(B)의 기등록 데이터(B1∼B4)와의 유사도의 쪽이 본인(A)의 기등록 데이터(A1∼A4)와의 유사도보다도 높은 경우에는, 신규의 특징량 데이터(N)는 기등록 데이터(A1∼A4)와는 다른 클래스(KA2)로 나누어서 등록된다. 또한, 2개의 클래스(KA, KA2)는 동일한 인물(A)에 대응하는 클래스이기 때문에, 라벨 정보는 같은 것이 할당된다.
이와 같은 특징량 데이터베이스(13)를 이용하여 얼굴 인증 처리를 행하면, 다음과 같은 이점이 있다. 제1로, 모든 특징량 데이터를 포함하는 단일의 클래스(도 8(b) 참조)를 설정하는 것에 비하여, 인물(A)의 클래스(KA, KA2)와 인물(B)의 클래스(KB) 사이 특징 공간상에서의 근접 내지 중복이 생기기 어려워진다(도 2(c) 참조). 따라서 얼굴 인증 처리에서 인물(A)과 인물(B) 사이의 식별성(분리성)의 저하를 억제할 수 있고, 예를 들면, 도 8(c)와 같은 특징량 데이터(X)가 입력된 경우에도 「인물(B)」이라는 올바른 식별 결과를 얻을 수 있다. 제2로, 인물(A)의 특징량 데이터의 베리에이션이 늘어나기 때문에, 인물(A)에 대한 식별 정밀도의 향상도 기대할 수 있다. 즉, 인물(A)의 얼굴 인증을 행할 때에는, 촬영 조건에 의해, 클래스(KA)에 가까운 특징량 데이터와 클래스(KA2)에 가까운 특징량 데이터의 어느 것도 입력될 가능성이 있는데, 본 실시 형태의 데이터베이스를 이용함으로써 어느 경우에도 「인물(A)」이라는 올바른 식별 결과를 얻을 수 있다.
또한, 본 실시 형태의 데이터 등록 처리에서의 스텝 S45 이후의 처리를, 도 3에서 기술한 얼굴 인증 처리를 계속해서 실행하여도 좋다. 즉, 얼굴 인증 처리가 실패한 때(식별 결과가 부정해 또는 불명(Unknown)일 때)에 신규의 특징량 데이터를 특징량 데이터베이스(13)에 추가하여 감에 의해, 데이터베이스의 자동학습이 실현될 수 있다.
<제2 실시 형태>
제2 실시 형태도, 타인의 기등록 데이터와의 유사도의 쪽이 본인의 기등록 데이터와의 유사도보다도 높은 경우에, 신규의 특징량 데이터를 본인의 기등록 데이터와는 다른 클래스에 등록한다는 점에서 제1 실시 형태와 기본적인 사고방식은 같다. 단, 제1 실시 형태에서는, 얼굴 인증 처리가 부정해였던 경우에 올바른 라벨(인물)을 유저가 교시함에 대해, 제2 실시 형태에서는, 등록용 화상과 함께 정해의 라벨 정보를 사전에 입력하는 점이 다르다.
도 5의 플로 차트를 참조하여, 제2 실시 형태의 데이터 등록 처리의 흐름을 설명한다. 또한, 시스템 구성 및 얼굴 인증 처리의 흐름에 관해서는 제1 실시 형태와 같기 때문에 설명을 생략한다.
우선, 화상 취득부(10)가, 신규의 등록용 화상을 카메라로부터 취입한다(스텝 S50). 취입된 화상은, 필요에 응하여, 유저에 의한 확인을 위해 표시 장치에 표시된다. 다음에, 얼굴 검출부(11)가, 화상으로부터 얼굴 부분을 검출한다(스텝 S51). 만약 얼굴이 검출되지 않으면, 화상의 취입부터 재시도한다. 얼굴이 검출된 경우는, 특징량 추출부(12)가, 검출된 얼굴 부분의 화상으로부터 특징량 데이터의 추출을 행한다(스텝 S52).
다음에, 특징량 데이터 등록부(15)가, 등록용 화상의 라벨 정보(인물의 ID, 명칭 등)를 취득한다(스텝 S53). 예를 들면, 터치패널 등의 입력 디바이스를 이용하여 유저에게 ID나 명칭 등을 입력시키면 좋다. 또한, 스텝 S50 및 S53의 처리는, 화상 데이터베이스 등으로부터 얼굴 화상 데이터와 라벨 정보를 판독하는 처리로 치환할 수도 있다. 예를 들면, 일괄 처리로 다수의 등록용 화상을 데이터베이스 등록하는 경우에는, 후자의 처리의 쪽이 알맞다.
계속해서, 특징량 데이터 등록부(15)는, 스텝 S53로 취득한 라벨 정보로 특정되는 인물의 특징량 데이터가 특징량 데이터베이스(13)에 존재하는지의 여부를 체크한다(스텝 S54). 본인의 기등록 데이터가 존재하지 않는 경우에는(스텝 S54의 NO), 특징량 데이터 등록부(15)는, 특징량 데이터베이스(13)에 신규의 인물의 클래스를 설정하고, 그곳에 스텝 S52에서 추출한 특징량 데이터를 등록한다(스텝 S552).
본인의 기등록 데이터가 존재하는 경우에는(스텝 S54의 YES), 특징량 데이터 등록부(15)는, 신규의 특징량 데이터와 타인의 기등록 데이터 사이의 유사도(Se)를 클래스마다 계산하고, 그 중의 최대치(Semax)를 구한다(스텝 S56). 또한, 특징량 데이터 등록부(15)는, 신규의 특징량 데이터와 본인의 기등록 데이터 사이의 유사도(Si)를 계산한다(스텝 S57). 또한, 본인의 클래스가 복수 존재하는 경우에는, 유사도(Si)의 최대치를 구하면 좋다. 여기서의 유사도(Se, Si)는, 제1 실시 형태에서 기술한 얼굴 인증 처리에서의 유사도와 같은 지표를 이용할 수 있다(따라서 스텝 S56, S57의 처리에는 식별부(14)의 기능을 이용하여도 좋다.).
계속해서, 특징량 데이터 등록부(15)는, 스텝 S56, S57에서 구한 유사도(Semax, Si)를 평가하고, 신규의 특징량 데이터가, 본인의 기등록 데이터에 가까운지(Semax≤Si), 그렇지 않으면, 본인의 기등록 데이터보다도 타인의 기등록 데이터의 쪽에 가까운지(Semax>Si)를 판단한다(스텝 S58). 신규의 특징량 데이터가 본인의 기등록 데이터의 쪽에 가까운 경우(스텝 S58의 YES), 특징량 데이터 등록부(15)는, 신규의 특징량 데이터를 본인의 기등록 데이터와 같은 클래스에 추가한다(스텝 S550. 도 2(b) 참조). 또한, 본인의 클래스가 복수 존재하는 경우에는, 가장 유사도가 높은 클래스에 신규의 특징량 데이터를 추가하면 좋다. 한편, 신규의 특징량 데이터가 본인의 기등록 데이터보다도 타인의 기등록 데이터의 쪽에 가까운 경우(스텝 S58의 NO), 특징량 데이터 등록부(15)는, 기존의 본인 클래스와는 별개로 신규의 클래스를 설정하고, 신규의 특징량 데이터를 신규의 클래스에 등록한다(스텝 S551. 도 2(c) 참조).
이상 기술한 본 실시 형태의 데이터 등록 처리에 의해서도, 제1 실시 형태와 같은 작용 효과를 이룰 수 있다.
또한, 스텝 S58에서는, 본인의 기등록 데이터에 대한 유사도(Si)와 타인의 기등록 데이터에 대한 유사도(Semax)의 상대 평가(비교)에 의해, 기존 클래스에 추가하는지 클래스를 분할하는지를 판단하였지만, 보다 단순한 방법으로서, 타인의 기등록 데이터에 대한 유사도(Semax)가 소정의 임계치(Th1)보다도 높은지의 여부(Semax>Th1)라는 조건만으로, 기존 클래스에 추가하는지 클래스를 분할하는지를 판단하여도 상관없다. 타인의 기등록 데이터에 대한 유사도(Semax)가 매우 높은 경우에는, (본인의 기등록 데이터와의 유사도(Si)의 크기에 관계없이) 본인과 타인의 식별성의 저하를 초래할 가능성이 있기 때문이다.
또는, 본인의 기등록 데이터에 대한 유사도(Si)보다 타인의 기등록 데이터에 대한 유사도(Semax)의 쪽이 큰 경우라도, 그 유사도(Semax)가 임계치(Th2)에 못미치는 경우에는(Si<Semax<Th2), 클래스 분할은 행하지 않고 기존 클래스에 데이터를 추가하여도 좋다. 본인과 타인의 어느 것이나 유사도가 낮은 데이터를 추가하여도, 본인과 타인 사이의 식별성에 주는 영향은 작기 때문이다.
<제3 실시 형태>
전술한 제1 및 제2 실시 형태에서는, 본인의 기등록 데이터에 대한 유사도(Si)와 타인의 기등록 데이터에 대한 유사도(Se)를 평가함에 대해, 제3 실시 형태에서는, 본인의 기등록 데이터의 분산(分散)(σ2)의 변화와 타인의 기등록 데이터에 대한 유사도(Se)를 평가함에 의해, 기존 클래스에 추가하는지 클래스를 분할하는지를 판단한다.
도 6의 플로 차트를 참조하여, 제3 실시 형태의 데이터 등록 처리의 흐름을 설명한다. 또한, 시스템 구성 및 얼굴 인증 처리의 흐름에 관해서는 제1 실시 형태와 같기 때문에 설명을 생략한다.
스텝 S60∼S64, S652의 처리는, 제2 실시 형태(도 5)의 스텝 S50∼S54, S552의 처리와 같다.
본인의 기등록 데이터가 존재하는 경우에는(스텝 S64의 YES), 특징량 데이터 등록부(15)는, 신규의 특징량 데이터와 타인의 기등록 데이터 사이의 유사도(Se)를 클래스마다 계산하고, 그 중의 최대치(Semax)를 구한다(스텝 S66). 스텝 S66의 처리도 제2 실시 형태의 스텝 S56과 실질적으로 같다.
다음에, 특징량 데이터 등록부(15)는, 본인 클래스의 분산(σ1 2)과, 신규의 특징량 데이터를 본인 클래스에 추가한 경우의 분산(σ2 2)을 각각 계산하고, 분산의 변화량(Δσ2=σ2 2-σ1 2)을 구한다(스텝 S67). 또한, 본인 클래스가 복수 존재하는 경우에는, 분산의 변화량(Δσ2)의 최소치를 구하면 좋다.
계속해서, 특징량 데이터 등록부(15)는, 스텝 S66, S67에서 구한 유사도(Semax)와 분산의 변화량(Δσ2)을 평가한다(스텝 S68). 신규의 특징량 데이터가 타인의 기등록 데이터에 대해 매우 가깝고(Semax>임계치(Th3)), 또한, 신규의 특징량 데이터의 추가에 의해 본인 클래스의 분산이 증가하는(Δσ2>0, 또는, Δσ2>임계치(Th4)) 경우에는(스텝 S68의 YES), 특징량 데이터 등록부(15)는, 기존의 본인 클래스와는 별개로 신규의 클래스를 설정하고, 신규의 특징량 데이터를 신규의 클래스에 등록한다(스텝 S651. 도 2(c) 참조). 한편, 신규의 특징량 데이터에 유사한 타인의 기등록 데이터가 없든지(Semax≤임계치(Th3)), 신규의 특징량 데이터의 추가가 본인 클래스의 분산에 영향을 주지 않는(Δσ2=0, 또는, Δσ2≤임계치(Th4)) 경우에는(스텝 S68의 NO), 특징량 데이터 등록부(15)는, 신규의 특징량 데이터를 본인의 기등록 데이터와 같은 클래스에 추가한다(스텝 S650. 도 2(b) 참조). 또한, 본인의 클래스가 복수 존재하는 경우에는, 분산의 변화량이 가장 작은 클래스에 신규의 특징량 데이터를 추가하면 좋다.
이상 기술한 본 실시 형태의 데이터 등록 처리에 의해서도, 제1 및 제2 실시 형태와 같은 작용 효과를 이룰 수 있다.
<제4 실시 형태>
전술한 제3 실시 형태에서는, 본인의 기등록 데이터의 분산(σ2)의 변화와 타인의 기등록 데이터에 대한 유사도(Se)를 평가에 이용함에 대해, 제4 실시 형태에서는, 신규의 특징량 데이터를 추가하기 전과 후에서의, 클래스 내 분산과 클래스 사이 분산의 변화를 평가함에 의해, 기존 클래스에 추가하는지 클래스를 분할하는지를 판단한다.
도 7의 플로 차트를 참조하여, 제4 실시 형태의 데이터 등록 처리의 흐름을 설명한다. 또한, 시스템 구성 및 얼굴 인증 처리의 흐름에 관해서는 제1 실시 형태와 같기 때문에 설명을 생략한다.
스텝 S70∼S74, S752의 처리는, 제2 실시 형태(도 5)의 스텝 S50∼S54, S552의 처리와 같다.
본인의 기등록 데이터가 존재하는 경우에는(스텝 S74의 YES), 특징량 데이터 등록부(15)는, 타인 클래스 중에서 신규의 특징량 데이터에 가장 가까운 것(즉, 신규의 특징량 데이터를 추가함으로써 본인 클래스와의 사이의 식별성이 저하될 가능성이 가장 높은 타인 클래스)를 선택한다(스텝 S76). 이 처리는, 제2 실시 형태(도 5)의 스텝 S56과 마찬가지로 신규의 특징량 데이터와 각 클래스 사이의 유사도를 구함에 의해 행할 수 있다.
다음에, 특징량 데이터 등록부(15)는, 본인 클래스의 클래스 내 분산(σ1 2)과, 신규의 특징량 데이터를 본인 클래스에 추가한 경우의 클래스 내 분산(σ2 2)을 각각 계산하고, 분산의 변화량(Δσ2=σ2 2-σ1 2)을 구한다(스텝 S77). 또한, 본인 클래스가 복수 존재하는 경우에는, 분산의 변화량(Δσ2)이 가장 작은 본인 클래스를 선택한다.
다음에, 특징량 데이터 등록부(15)는, 본인 클래스와 스텝 S86에서 선택된 타인 클래스(이하, 대상 타인 클래스라고 부른다) 사이의 클래스 사이 분산(σB1 2)과, 신규의 특징량 데이터를 본인 클래스에 추가한 경우의 본인 클래스와 대상 타인 클래스 사이의 클래스 사이 분산(σB2 2)을 각각 계산하고, 클래스 사이 분산의 변화량(ΔσB 2=σB2 2-σB1 2)을 구한다(스텝 S78).
계속해서, 특징량 데이터 등록부(15)는, 스텝 S77, S78로 구한 클래스 내 분산의 변화량(Δσ2)과 클래스 사이 분산의 변화량(ΔσB 2)을 평가한다(스텝 S79). 신규의 특징량 데이터를 추가함으로써, 클래스 내 분산이 증가하고(Δσ2>0, 또는, Δσ2>임계치(Th5)), 또한, 클래스 사이 분산이 감소하는(ΔσB 2<0, 또는, ΔσB 2<임계치(Th6)<0) 경우에는(스텝 S79의 YES), 특징량 데이터 등록부(15)는, 기존의 본인 클래스와는 별개로 신규의 클래스를 설정하고, 신규의 특징량 데이터를 신규의 클래스에 등록한다(스텝 S751. 도 2(c) 참조). 한편, 신규의 특징량 데이터를 추가하여도, 클래스 내 분산이 증가하지 않거나, 클래스 사이 분산이 감소하지 않는 경우에는(스텝 S79의 NO), 특징량 데이터 등록부(15)는, 신규의 특징량 데이터를 본인의 기등록 데이터와 같은 클래스에 추가한다(스텝 S750. 도 2(b) 참조). 또한, 본인의 클래스가 복수 존재하는 경우에는, 분산의 변화량이 가장 작은 클래스에 신규의 특징량 데이터를 추가하면 좋다.
이상 기술한 본 실시 형태의 데이터 등록 처리에 의해서도, 제1 및 제2 실시 형태와 같은 작용 효과를 이룰 수 있다. 특히 본 실시 형태의 방법에 의하면, 신규의 특징량 데이터를 본인 클래스에 추가한 경우에, 본인과 잘 닮은 타인과의 사이의 식별성(분리성)이 저하되는지의 여부를, 클래스 내 분산과 클래스 사이 분산이라는 보다 직접적인 지표로 평가할 수 있기 때문에, 보다 타당한 사이즈의 클래스를 형성할 수 있다고 기대된다.
또한, 본 실시 형태의 스텝 S79에서는, 클래스 내 분산의 변화와 클래스 사이 분산의 변화를 별개로 평가하였지만, 클래스 내 분산과 클래스 사이 분산의 비(일방을 타방으로 나눈 값)의 변화를 평가하여도 좋다. 예를 들면, σ2 2/σB2 2<σ1 2/σB1 2, 또는, (σ2 2/σB2 2-σ1 2/σB1 2)<임계치(Th7)라는 평가식을 이용함에 의해, 클래스 사이 분산의 증가와 클래스 내 분산의 감소를 판정할 수 있다. 분모와 분자를 바꾸어 넣은 식, 즉, σB2 2/σ2 2>σB1 2/σ1 2, 또는, (σB2 2/σ2 2-σB1 2/σ1 2)>임계치(Th8)라는 평가식이라도 마찬가지로 클래스 사이 분산의 증가와 클래스 내 분산의 감소를 판정할 수 있다.
<기타의 실시 형태>
상술한 각 실시 형태는 본 발명의 한 구체례를 나타낸 것에 지나지 않는다. 예를 들면, 본 발명의 실시 형태로서 이하와 같은 구성도 취할 수 있다.
상기 제1 및 제2 실시 형태에서는, 유사도(특징량 데이터끼리의 거리 등)를 평가에 이용하고, 제3 실시 형태에서는, 본인 클래스에 대해서는 분산을, 타인 클래스에 대해서는 유사도를 평가에 이용하고, 제4 실시 형태에서는, 본인 클래스에 관해서는 클래스 내 분산을, 타인 클래스에 대해서는 클래스 사이 분산을 평가에 이용하였지만, 이들 이외의 지표를 이용하여도 상관없다. 또 유사도와 분산에는 각각 다른 메리트가 있기 때문에, 양자를 조합시켜서 이용하여도 좋다. 예를 들면, 유사도는, 분산에 비하여 계산 비용이 작고, 고속으로 처리할 수 있다는 이점이 있다. 또한, 특징량 데이터의 데이터수가 적은 때라도 이용할 수 있다는 이점도 있다(환언하면, 분산은, 어느 정도의 데이터수가 없으면 신뢰성이 낮다). 한편, 분산은, 신규의 데이터의 추가가 클래스 전체에 미치는 영향을 평가하기 때문에, (데이터수가 많으면) 유사도보다도 타당한 결과가 얻어진다고 기대할 수 있다. 예를 들면, 신규의 데이터가 본인 클래스의 평균으로부터 상당히 벗어난 위치에 있는 경우, 유사도에 의한 평가 방법에서는, 본인 클래스가 분할될 가능성이 높다. 그러면, 특징량 데이터의 편차가 큰 사람의 경우, 클래스가 너무 세분화될 가능성도 있다. 이에 대해, 제3 실시 형태와 같이 분산을 평가에 이용하면, 신규의 데이터가 본인 클래스의 평균으로부터 상당히 벗어난 위치에 있다고 하여도, 신규의 데이터의 추가에 의한 분산의 변화가 작으면, 본인 클래스의 분할은 불필요하다고 판단되어, 타당한 사이즈의 본인 클래스가 형성되게 된다.
상기 실시 형태에서는 얼굴 인증 시스템을 예시하였지만, 본 발명은 얼굴 인증 시스템 이외에도 모든 화상 인식 장치에 적용 가능하다. 또한, 얼굴 이외에도, 안저, 눈동자, 지문, 장문, 귀, 상반신, 전신을 인식 대상(오브젝트)으로 할 수도 있고, 사람이나 동물이라는 생체뿐만 아니라, 공업 제품이나 차량이나 식품 등의 일반물체를 인식 대상으로 할 수도 있다. 요컨대, 화상 특징량에 의한 인식이 가능한 오브젝트라면, 본 발명을 적용하는 것이 가능하다.
1 : 얼굴 인증 시스템
10 : 화상 취득부
11 : 얼굴 검출부
12 : 특징량 추출부
13 : 특징량 데이터베이스
14 : 얼굴 인증부
15 : 특징량 데이터 등록부

Claims (10)

  1. 복수의 오브젝트의 특징량 데이터가 오브젝트마다 클래스 나눔하여 등록되어 있는 데이터베이스와,
    미지의 오브젝트에 대해, 상기 미지의 오브젝트의 화상으로부터 얻어지는 특징량 데이터가 상기 데이터베이스에 등록되어 있는 어느 클래스의 특징량 데이터에 가장 유사하여 있는지 평가함에 의해, 상기 미지의 오브젝트의 식별을 행하는 식별부와,
    상기 데이터베이스에 특징량 데이터를 등록하는 특징량 데이터 등록부를 갖는 화상 인식 장치로서,
    상기 데이터베이스는, 같은 오브젝트에 대해 복수의 클래스를 설정 가능하고,
    상기 특징량 데이터 등록부는,
    상기 데이터베이스에 이미 등록되어 있는 제1의 오브젝트에 관해 신규의 특징량 데이터를 추가할 때에,
    상기 신규의 특징량 데이터와 소정의 유사 조건을 충족시키는 제2의 오브젝트가 상기 데이터베이스에 존재한 경우에는, 상기 제1의 오브젝트에 대해 기존의 클래스와는 다른 신규의 클래스를 설정하고, 상기 신규의 특징량 데이터를 상기 신규의 클래스에 등록하는 것을 특징으로 하는 화상 인식 장치.
  2. 제1항에 있어서,
    상기 소정의 유사 조건은, 상기 신규의 특징량 데이터와 상기 제2의 오브젝트의 클래스의 특징량 데이터와의 유사도가, 상기 신규의 특징량 데이터와 상기 제1의 오브젝트의 상기 기존의 클래스의 특징량 데이터와의 유사도보다도 높다는 조건을 포함하는 것을 특징으로 하는 화상 인식 장치.
  3. 제1항에 있어서,
    상기 소정의 유사 조건은, 상기 신규의 특징량 데이터와 상기 제2의 오브젝트의 클래스의 특징량 데이터와의 유사도가 임계치보다도 높다는 조건을 포함하는 것을 특징으로 하는 화상 인식 장치.
  4. 제2항에 있어서,
    상기 소정의 유사 조건은, 상기 신규의 특징량 데이터를 상기 제1의 오브젝트의 상기 기존의 클래스에 추가한 경우에 상기 기존의 클래스의 분산이 증가한다는 조건을 포함하는 것을 특징으로 하는 화상 인식 장치.
  5. 제1항에 있어서,
    상기 소정의 유사 조건은, 상기 신규의 특징량 데이터를 상기 제1의 오브젝트의 상기 기존의 클래스에 추가한 경우에, 상기 제1의 오브젝트의 상기 기존의 클래스의 클래스 내 분산이 증가하고, 또한, 상기 제1의 오브젝트의 상기 기존의 클래스와 상기 제2의 오브젝트의 클래스 사이의 클래스 사이 분산이 감소한다는 조건을 포함하는 것을 특징으로 하는 화상 인식 장치.
  6. 제1항에 있어서,
    상기 소정의 유사 조건은, 상기 신규의 특징량 데이터를 상기 제1의 오브젝트의 상기 기존의 클래스에 추가한 경우에, 상기 제1의 오브젝트와 상기 제2의 오브젝트 사이의 상기 식별부에 의한 식별성이 저하된다는 조건인 것을 특징으로 하는 화상 인식 장치.
  7. 제1항에 있어서,
    상기 소정의 유사 조건은, 상기 식별부에 의해 상기 신규의 특징량 데이터가 상기 제2의 오브젝트의 특징량 데이터라고 잘못 식별된다는 조건이고,
    상기 특징량 데이터 등록부는, 상기 식별부에 의한 식별 결과가 정해인지의 여부를 유저에게 문의함에 의해, 상기 신규의 특징량 데이터가 상기 소정의 유사 조건을 충족하는지를 판단하는 것을 특징으로 하는 화상 인식 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 오브젝트는, 사람의 얼굴인 것을 특징으로 하는 화상 인식 장치.
  9. 복수의 오브젝트의 특징량 데이터가 오브젝트마다 클래스 나눔하여 등록되어 있는 데이터베이스와, 미지의 오브젝트에 대해, 상기 미지의 오브젝트의 화상으로부터 얻어지는 특징량 데이터가 상기 데이터베이스에 등록되어 있는 어느 클래스의 특징량 데이터에 가장 유사하여 있는지 평가함에 의해, 상기 미지의 오브젝트의 식별을 행하는 식별부를 갖는 화상 인식 장치에 대해, 특징량 데이터를 등록하는 방법으로서,
    컴퓨터가, 상기 데이터베이스에 이미 등록되어 있는 제1의 오브젝트에 관해 신규의 특징량 데이터를 취득하는 스텝과,
    컴퓨터가, 상기 신규의 특징량 데이터와 소정의 유사 조건을 충족시키는 제2의 오브젝트가 상기 데이터베이스에 존재한 경우에는, 상기 제1의 오브젝트에 대해 기존의 클래스와는 별개의 신규의 클래스를 설정하고, 상기 신규의 특징량 데이터를 상기 신규의 클래스에 등록하는 스텝을 포함하는 것을 특징으로 하는 화상 인식 장치에 대한 특징량 데이터 등록 방법.
  10. 복수의 오브젝트의 특징량 데이터가 오브젝트마다 클래스 나눔하여 등록되어 있는 데이터베이스와, 미지의 오브젝트에 대해, 상기 미지의 오브젝트의 화상으로부터 얻어지는 특징량 데이터가 상기 데이터베이스에 등록되어 있는 어느 클래스의 특징량 데이터에 가장 유사하여 있는지 평가함에 의해, 상기 미지의 오브젝트의 식별을 행하는 식별부를 갖는 화상 인식 장치에 대해, 특징량 데이터를 등록하기 위한 프로그램을 기억하는 컴퓨터 판독 가능한 기억 매체로서,
    상기 프로그램은,
    상기 데이터베이스에 이미 등록되어 있는 제1의 오브젝트에 관해 신규의 특징량 데이터를 취득하는 스텝과,
    상기 신규의 특징량 데이터와 소정의 유사 조건을 충족시키는 제2의 오브젝트가 상기 데이터베이스에 존재한 경우에는, 상기 제1의 오브젝트에 대해 기존의 클래스와는 다른 신규의 클래스를 설정하고, 상기 신규의 특징량 데이터를 상기 신규의 클래스에 등록하는 스텝을 컴퓨터에 실행시키는 프로그램인 것을 특징으로 하는 기억 매체.
KR1020150073698A 2014-06-12 2015-05-27 화상 인식 장치 및 화상 인식 장치에의 특징량 데이터 등록 방법 KR20150143304A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-121908 2014-06-12
JP2014121908A JP6427973B2 (ja) 2014-06-12 2014-06-12 画像認識装置及び画像認識装置への特徴量データ登録方法

Publications (1)

Publication Number Publication Date
KR20150143304A true KR20150143304A (ko) 2015-12-23

Family

ID=53284027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150073698A KR20150143304A (ko) 2014-06-12 2015-05-27 화상 인식 장치 및 화상 인식 장치에의 특징량 데이터 등록 방법

Country Status (5)

Country Link
US (1) US9740934B2 (ko)
EP (1) EP2955666B1 (ko)
JP (1) JP6427973B2 (ko)
KR (1) KR20150143304A (ko)
CN (1) CN105184304B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102002024B1 (ko) * 2018-12-06 2019-07-22 주식회사 아임클라우드 객체 라벨링 처리 방법 및 객체 관리 서버
KR20200094640A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 연속 학습을 이용해 검출 가능한 클래스의 종류를 실시간으로 업데이트할 수 있는 객체 검출 시스템을 제공하는 방법 및 이를 이용한 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198483B2 (en) * 2015-02-02 2019-02-05 Opower, Inc. Classification engine for identifying business hours
EP3423974A4 (en) * 2016-03-02 2020-05-06 Tinoq Inc. SYSTEMS AND METHODS FOR EFFICIENT FACE RECOGNITION
WO2017173168A1 (en) 2016-03-30 2017-10-05 Tinoq Inc. Systems and methods for user detection and recognition
CN107368770B (zh) * 2016-05-12 2021-05-11 江苏安纳泰克能源服务有限公司 一种回头客自动识别方法及系统
JP6838903B2 (ja) * 2016-09-13 2021-03-03 東芝テック株式会社 物品読取装置およびプログラム
JP7107932B2 (ja) * 2016-11-30 2022-07-27 コーニンクレッカ フィリップス エヌ ヴェ 患者識別システムおよび方法
US10621419B2 (en) * 2016-12-06 2020-04-14 Robert William Kocher Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
US11468592B2 (en) 2017-03-30 2022-10-11 Sony Corporation Information processing apparatus and information processing method
KR102468118B1 (ko) * 2018-01-22 2022-11-18 엘지전자 주식회사 전자 기기 및 그 제어방법
WO2020041352A1 (en) 2018-08-21 2020-02-27 Tinoq Inc. Systems and methods for member facial recognition based on context information
WO2020084423A1 (en) * 2018-10-24 2020-04-30 Radient Technologies Innovations Inc. Extraction-based contract execution
CN109886182A (zh) * 2019-02-19 2019-06-14 北方民族大学 一种复杂环境下的刹车盘识别与定位方法
CN110569777B (zh) * 2019-08-30 2022-05-06 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077536A (ja) 2006-09-25 2008-04-03 Sony Corp 画像処理装置および方法、並びにプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136433A1 (en) * 2001-03-26 2002-09-26 Koninklijke Philips Electronics N.V. Adaptive facial recognition system and method
JP4314016B2 (ja) 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
JP2005100062A (ja) * 2003-09-24 2005-04-14 Sanyo Electric Co Ltd 認証装置および認証方法
CN1266642C (zh) * 2003-10-09 2006-07-26 重庆大学 基于多类别的人脸分类识别方法
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
JP4389956B2 (ja) * 2007-04-04 2009-12-24 ソニー株式会社 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム
JP5298552B2 (ja) * 2008-02-04 2013-09-25 新日鐵住金株式会社 判別装置、判別方法及びプログラム
JP4775515B1 (ja) * 2011-03-14 2011-09-21 オムロン株式会社 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
KR101180471B1 (ko) 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN104094287A (zh) * 2011-12-21 2014-10-08 诺基亚公司 用于情境识别的方法、装置以及计算机软件
JP5900052B2 (ja) 2012-03-15 2016-04-06 オムロン株式会社 登録判定装置、その制御方法および制御プログラム、並びに電子機器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077536A (ja) 2006-09-25 2008-04-03 Sony Corp 画像処理装置および方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102002024B1 (ko) * 2018-12-06 2019-07-22 주식회사 아임클라우드 객체 라벨링 처리 방법 및 객체 관리 서버
KR20200094640A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 연속 학습을 이용해 검출 가능한 클래스의 종류를 실시간으로 업데이트할 수 있는 객체 검출 시스템을 제공하는 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
EP2955666A1 (en) 2015-12-16
EP2955666B1 (en) 2020-04-29
CN105184304A (zh) 2015-12-23
US20150363642A1 (en) 2015-12-17
US9740934B2 (en) 2017-08-22
CN105184304B (zh) 2018-08-28
JP2016001450A (ja) 2016-01-07
JP6427973B2 (ja) 2018-11-28

Similar Documents

Publication Publication Date Title
KR20150143304A (ko) 화상 인식 장치 및 화상 인식 장치에의 특징량 데이터 등록 방법
KR101714350B1 (ko) 화상 인식장치 및 화상 인식장치에 대한 데이터 등록방법
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4156430B2 (ja) データベース自動更新方法を用いた顔検証方法及びそのシステム
US8929595B2 (en) Dictionary creation using image similarity
KR20120069922A (ko) 얼굴 인식 장치 및 그 방법
KR100940902B1 (ko) 손가락 기하학 정보를 이용한 바이오 인식 방법
KR20130106256A (ko) 생체 정보 처리 장치
KR20130048076A (ko) 얼굴 인식 장치 및 그 제어방법
Charity et al. A bimodal biometrie student attendance system
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2018061786A1 (ja) 生体認証装置
Korkmaz et al. Face recognition by using back propagation artificial neural network and windowing method
KR101089847B1 (ko) 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
KR101455666B1 (ko) 인증 장치 및 그 인증 방법
CN116457824A (zh) 认证方法、信息处理装置以及认证程序
Xu et al. Robust shape-feature-vector-based face recognition system
US10528805B2 (en) Biometric authentication apparatus, biometric authentication method, and computer-readable storage medium
Sundaresan et al. Monozygotic twin face recognition: An in-depth analysis and plausible improvements
Sehgal Palm recognition using LBP and SVM
JP2013218604A (ja) 画像認識装置、画像認識方法及びプログラム
Indrawal et al. Development of efficient and secured face recognition using biometrics
Saurova et al. ARTIFICIAL INTELLIGENCE BASED METHODS OF IDENTIFICATION AND AUTHENTICATION BY FACE IMAGE
KR20220140240A (ko) 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템
Reddy et al. Profile Identification through Face Recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal