KR102592668B1 - 안면 인식 방법 및 디바이스 - Google Patents

안면 인식 방법 및 디바이스 Download PDF

Info

Publication number
KR102592668B1
KR102592668B1 KR1020217010470A KR20217010470A KR102592668B1 KR 102592668 B1 KR102592668 B1 KR 102592668B1 KR 1020217010470 A KR1020217010470 A KR 1020217010470A KR 20217010470 A KR20217010470 A KR 20217010470A KR 102592668 B1 KR102592668 B1 KR 102592668B1
Authority
KR
South Korea
Prior art keywords
facial image
facial
modality
feature
image
Prior art date
Application number
KR1020217010470A
Other languages
English (en)
Other versions
KR20210058882A (ko
Inventor
샤오린 황
웨이 황
강 류
신 후
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20210058882A publication Critical patent/KR20210058882A/ko
Application granted granted Critical
Publication of KR102592668B1 publication Critical patent/KR102592668B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 출원의 실시예들은 안면 인식 방법 및 디바이스를 개시하고, 인공 지능 AI에서의 컴퓨터 비전의 분야에 속한다. 이 방법은: 제1 안면 이미지 및 제2 안면 이미지를 획득하는 단계 - 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지임 -; 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계; 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이하다면, 제1 안면 이미지 및 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징 및 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계; 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계를 포함한다. 본 출원의 실시예들에 따르면, 교차-모달 안면 인식 속도가 증가될 수 있다.

Description

안면 인식 방법 및 디바이스
본 출원은 컴퓨터 기술 분야에 관한 것으로, 특히 안면 인식 방법 및 디바이스에 관한 것이다.
안면 인식의 생체 특징 기반 인식 기술은 비접촉성이기 때문에, 본 기술은 차량 분야에서 광범위한 발전 및 응용 전망을 갖는다. 차량내 안면 인식은 차량 내부의 카메라를 이용하여 신원 인증 또는 신원 검색을 수행하는 기술이다. 종래의 안면 인식 기술은 가시 광 모달리티(visible light modality)에서의 안면 이미지를 획득한다. 예를 들어, 차고에서 또는 야간에 조명이 좋지 않은 차량내 시나리오가 종종 발생하기 때문에, 차량내 시나리오에서 가시 광 모달리티에서 안면 이미지를 이용하여 인물의 신원을 인식하는 정도는 비교적 낮다. 따라서, 차량내 시나리오의 대부분의 경우에 주변 광에 의해 영향을 받지 않는 근적외선 카메라가 사용된다.
근적외선 카메라는 육안으로 보이지 않는 적외선 광을 방출하여, 촬영 대상을 조명하고 적외선 반사를 통해 획득된 이미지를 생성한다. 따라서, 육안으로 보이지 않는 이미지가 어두운 환경에서도 촬영될 수 있고, 이것은 차량내 시나리오들에 적용가능하다. 그러나, 근적외선 카메라 및 가시 광 카메라에 의해 촬영된 이미지들은 상이한 모달리티들로부터 유래한다. 상이한 모달리티들에서의 카메라들의 감광 과정들은 상이하기 때문에, 동일한 대상에 대해 상이한 모달리티들에서 카메라들에 의해 획득되는 이미지들 간에는 비교적 큰 차이가 있다. 결과적으로, 차량내 안면 인식의 인식 정도가 감소된다. 예를 들어, 사용자는 가시 광 모달리티에서의 안면 이미지를 이용하여 차량내 디바이스에 대한 신원 인증을 수행하였다. 동일한 사용자가 근적외선 모달리티에서의 안면 이미지를 이용하여 동일한 차량내 디바이스에 대해 신원 인증을 수행할 때, 근적외선 모달리티에서의 이미지와 가시 광 모달리티에서의 이미지 간에 비교적 큰 차이가 있기 때문에, 사용자의 신원에 대한 인증이 성공할 수 없을 가능성이 높다.
현 단계에서, 대부분의 교차-모달(cross-modal) 안면 인식 방법들은 합성곱 신경망(convolutional neural network)에 기초하는 딥 러닝(deep learning) 알고리즘을 이용한다. 이 방법에서는, 먼저 가시 광 모달리티에서의 안면 이미지 및 근적외선 모달리티에서의 안면 이미지에 대해 동일한 전처리가 수행되고, 그 후 가시 광 모달리티에서의 전처리된 안면 이미지를 이용하여 딥 합성곱 신경망이 미리 훈련되어, 교차-모달 이미지 기반 딥 합성곱 신경망 훈련에 대한 사전 지식을 제공한다. 그 후 가시 광 모달리티에서의 안면 이미지 및 근적외선 모달리티에서의 안면 이미지는 미리 설정된 규칙에 따라 트리플릿을 형성하고, 미리 훈련된 교차-모달 이미지 기반 딥 합성곱 신경망에서 구별하기 어려운 트리플릿(difficult triplet)이 선택된다. 선택된 어려운 트리플릿을 미리 훈련된 교차-모달 이미지 기반 딥 합성곱 신경망에 입력하여 미세 조정을 수행하고, 어려운 트리플릿의 선택 및 미세 조정은 교차-모달 이미지 기반 딥 합성곱 신경망의 성능이 더 이상 개선되지 않을 때까지 반복된다. 마지막으로, 훈련된 교차-모달 이미지 기반 딥 합성곱 신경망 모델을 이용하여 교차-모달 안면 인식이 수행된다.
어려운 트리플릿은 전술한 알고리즘의 성능에 영향을 미치는 중요한 요소이다. 그러나, 실제 응용에서는, 합성곱 신경망의 딥 러닝을 위해 많은 양의 훈련 데이터가 요구되기 때문에, 어려운 샘플 트리플릿을 선택하는 것이 어렵다. 따라서, 망의 과적합(overfitting)이 발생하는 경향이 있고, 신원 인식 정도가 감소된다. 또한, 합성곱 신경망의 계산은 그래픽 처리 유닛(graphics processing unit, GPU)을 이용하여 가속될 필요가 있다. GPU가 없는 디바이스 상에서는, 신경망 기반 알고리즘 동작 속도가 비교적 낮고, 실시간 요구가 만족될 수 없다.
본 출원의 실시예들은, 교차-모달 안면 인식 속도가 증가될 수 있고, 그에 의해 실시간 요구를 만족시키도록, 안면 인식 방법 및 디바이스를 제공한다.
제1 방면에 따르면, 본 출원의 실시예는 안면 인식 방법을 제공한다. 이 방법은: 제1 안면 이미지 및 제2 안면 이미지를 획득하는 단계 - 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지임 -; 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계; 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다면, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계 - 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간임 -; 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계를 포함한다.
이러한 방식으로, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑되고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계는: 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하는 단계; 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 단계; 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계를 포함한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하는 단계는: 매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하는 단계를 포함한다. 이러한 방식으로, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이 동시에 결정될 수 있어, 안면 인식 속도가 증가된다.
제1 방면과 관련하여, 옵션 구현에서, 매칭 추적 MP 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계는: 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계를 포함하고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도이다.
제1 방면과 관련하여, 옵션 구현에서, 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하는 단계는: 최적 방향 방법 MOD 알고리즘을 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하는 단계를 포함하고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬이다.
제1 방면과 관련하여, 옵션 구현에서, D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 단계는: 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하는 단계; 및 상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하는 단계를 포함한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계는: 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하는 단계; 및 상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하는 단계를 포함한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계는: 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환하는 단계; 상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하는 단계; 및 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계를 포함한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약(norm constraint), 1-표준 제약, 및 2-표준 제약 중 하나이다.
제1 방면과 관련하여, 옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약이다. 이러한 방식으로, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 하여, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계는: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하는 단계; 및 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하는 단계; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하는 단계를 포함한다.
제2 방면에 따르면, 본 출원의 실시예는 안면 인식 디바이스를 제공한다. 이 디바이스는 획득 유닛, 결정 유닛, 맵핑 유닛, 및 인식 유닛을 포함한다. 상기 획득 유닛은 제1 안면 이미지 및 제2 안면 이미지를 획득하도록 구성되고, 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지이다. 상기 결정 유닛은 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구성된다. 상기 맵핑 유닛은: 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다면, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성되고, 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간이다. 상기 인식 유닛은 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하도록 구성된다.
이 디바이스에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이 안면 인식 디바이스는 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
제2 방면에 관련하여, 옵션 구현에서, 상기 맵핑 유닛은 획득 서브유닛, 제1 맵핑 서브유닛, 및 제2 맵핑 서브유닛을 포함한다. 상기 획득 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하도록 구성된다. 상기 제1 맵핑 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하도록 구성된다. 상기 제2 맵핑 서브유닛은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성된다.
제2 방면과 관련하여, 옵션 구현에서, 상기 획득 서브유닛은: 매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하고 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하도록 구체적으로 구성된다. 이 디바이스에 따르면, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이 동시에 결정될 수 있어, 안면 인식 속도가 증가된다.
제2 방면과 관련하여, 옵션 구현에서, 상기 획득 서브유닛은 상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하도록 구체적으로 구성되고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도이다.
제2 방면과 관련하여, 옵션 구현에서, 상기 획득 서브유닛은 최적 방향 방법 MOD 알고리즘을 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하도록 구체적으로 구성되고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬이다.
제2 방면과 관련하여, 옵션 구현에서, D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다.
제2 방면에 관련하여, 옵션 구현에서, 상기 제1 맵핑 서브유닛은: 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하고; 상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하도록 구체적으로 구성된다.
제2 방면에 관련하여, 옵션 구현에서, 상기 제2 맵핑 서브유닛은: 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하고; 상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하도록 구체적으로 구성된다.
제2 방면과 관련하여, 옵션 구현에서, 상기 결정 유닛은: 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환하고; 상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하고; 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구체적으로 구성된다.
제2 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
제2 방면과 관련하여, 옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나이다.
제2 방면과 관련하여, 옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약이다. 이러한 방식으로, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 하여, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
제2 방면에 관련하여, 옵션 구현에서, 상기 인식 유닛은: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하고; 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하고; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하도록 구체적으로 구성된다.
제3 방면에 따르면, 본 출원의 실시예는, 프로세서 및 메모리를 포함하는, 다른 디바이스를 제공한다. 상기 프로세서 및 상기 메모리는 서로 연결되고, 상기 메모리는 프로그램 명령어들을 저장하도록 구성되고, 상기 프로세서는 상기 메모리 내의 프로그램 명령어들을 호출하여 제1 방면 및 제1 방면의 가능한 구현들 중 어느 하나에서 기술된 방법을 수행하도록 구성된다.
제4 방면에 따르면, 본 출원의 실시예는 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 저장 매체는 프로그램 명령어들을 저장하고, 상기 프로그램 명령어들이 프로세서 상에서 실행될 때, 상기 프로세서는 제1 방면 및 제1 방면의 가능한 구현들 중 어느 하나에서 기술된 방법을 수행한다.
제5 방면에 따르면, 본 출원의 실시예는 컴퓨터 프로그램을 제공한다. 컴퓨터 프로그램이 프로세서 상에서 실행될 때, 상기 프로세서는 제1 방면 및 제1 방면의 가능한 구현들 중 어느 하나에서 기술된 방법을 수행한다.
본 출원의 실시예들에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
본 출원의 실시예들 또는 종래 기술에서의 기술적 해결책들을 더 명확하게 설명하기 위해, 이하에서는 실시예들 또는 종래 기술을 설명하기 위한 첨부 도면들을 간단히 설명한다.
도 1은 본 출원의 실시예에 따른 안면 인식 시스템의 개략적인 아키텍처 도이다.
도 2는 본 출원의 실시예에 따른 안면 이미지를 획득하는 개략도이다.
도 3은 본 출원의 실시예에 따른 안면 이미지를 획득하는 다른 개략도이다.
도 4는 본 출원의 실시예에 따른 안면 인식 방법의 흐름도이다.
도 5는 본 출원의 실시예에 따른 다른 안면 인식 방법의 흐름도이다.
도 6은 본 출원의 실시예에 따른 안면 인식 디바이스의 개략도이다.
도 7은 본 출원의 실시예에 따른 다른 안면 인식 디바이스의 개략도이다.
이하에서는 본 출원의 실시예들에서의 기술적 해결책들을 상세히 설명한다.
도 1은 본 출원의 실시예에 따른 안면 인식 시스템의 개략적인 아키텍처 도이다. 이 시스템은 이동 단말기 및 차량내 안면 인식 디바이스를 포함하고, 이동 단말기는 네트워크를 이용하여 안면 인식 디바이스와 통신할 수 있다. 구체적으로, 가시 광 카메라가 보통 이동 단말기 상에 배치되고, 가시 광 모달리티에서의 사용자의 안면 이미지를 획득할 수 있다. 도 2는 본 출원의 실시예에 따른 안면 이미지를 획득하는 개략도이다. 획득된 안면 이미지는 가시 광 모달리티에서의 안면 이미지이고, 사용자는 안면 이미지를 이용하여 신원 등록 및 신원 인증을 수행할 수 있다. 이동 단말기는 안면 이미지를 저장을 위해 네트워크를 이용하여 차량내 안면 인식 디바이스에 송신할 수 있다. 대응적으로, 차량내 안면 인식 디바이스는, 네트워크를 이용하여, 이동 단말기에 의해 송신된 안면 이미지를 수신할 수 있다.
근적외선 카메라가 차량내 안면 인식 디바이스 상에 배치되고, 예를 들어, 차고에서 또는 야간에 조명이 좋지 않은 자주 발생하는 차량내 시나리오에서 사용자의 안면 이미지를 수집하도록 구성된다. 차량내 안면 인식 시스템에 의해 획득된 안면 이미지는 근적외선 모달리티(near-infrared modality)에서의 안면 이미지이다. 도 3은 본 출원의 실시예에 따른 안면 이미지를 획득하는 다른 개략도이다. 차량내 안면 인식 시스템에 의해 획득된 안면 이미지는 근적외선 모달리티에서의 안면 이미지이다. 차량내 안면 인식 디바이스는 사용자의 획득된 현재 안면 이미지를 저장된 안면 이미지와 비교하여 안면 인식을 수행한다. 구체적으로, 안면 인식은, 차량 보안을 개선하기 위해, 현재 사용자가 신원 인증에 성공하는지를 검증하기 위해 사용될 수 있다; 그리고 안면 인식은 또한 사용자의 신원을 결정하여, 사용자의 신원에 대응하는 개성화된 서비스(예를 들어, 좌석을 조정하거나, 전용 음악 라이브러리에서의 음악을 재생하거나, 차량 애플리케이션 허가를 가능하게 함)를 수행하기 위해 사용될 수 있다.
옵션 구현에서, 시스템은 결정 디바이스를 추가로 포함할 수 있고, 결정 디바이스는 차량내 안면 인식 디바이스의 안면 인식 결과에 기초하여 대응하는 동작을 수행하도록 구성된다. 예를 들어, 안면 인식에서 검증이 성공하는 결과에 기초하여 차량의 시동 또는 차량내 에어컨의 시작과 같은 동작이 수행될 수 있다. 안면 인식을 통해 결정되는 사용자의 신원에 기초하여 사용자의 신원에 대응하는 개성화된 서비스(예를 들어, 좌석을 조정하거나, 전용 음악 라이브러리에서의 음악을 재생하거나, 차량내 애플리케이션 허가를 가능하게 함)가 추가로 수행될 수 있다.
도 4는 본 출원의 실시예에 따른 안면 인식 방법의 흐름도이다. 이 방법은 도 1에 도시된 아키텍처에 기초하여 구현될 수 있다. 다음의 안면 인식 디바이스는 도 1에 도시된 시스템 아키텍처에서의 차량내 안면 인식 디바이스일 수 있다. 이 방법은 다음의 단계들을 포함하지만 이로 제한되지는 않는다.
S401. 안면 인식 디바이스는 제1 안면 이미지 및 제2 안면 이미지를 획득한다.
구체적으로, 사용자가 차량에 진입한 후에, 안면 인식 디바이스는 배치된 근적외선 카메라를 이용하여 사용자의 현재 제1 안면 이미지를 수집할 수 있다; 또는 사용자가 개성화된 서비스(예를 들어, 좌석을 조정하거나, 전용 음악 라이브러리에서의 음악을 재생하거나, 차량내 애플리케이션 허가를 가능하게 함)에 대한 신원 검증을 트리거한 후에, 안면 인식 디바이스는 배치된 근적외선 카메라를 이용하여 사용자의 현재 제1 안면 이미지를 수집할 수 있다.
제2 안면 이미지는 저장된 참고 안면 이미지이다. 제2 안면 이미지는 안면 인식 디바이스에 의해 이전에 촬영되고 저장되어 있는 안면 이미지, 안면 인식 디바이스에 의해 수신되고 다른 디바이스(예를 들어, 이동 단말기)에 의해 송신 및 저장되어 있는 안면 이미지, 다른 저장 매체로부터 판독되고 안면 인식 디바이스에 의해 저장되어 있는 안면 이미지 등일 수 있다. 제2 안면 이미지는 인물의 신원과 대응관계를 가질 수 있고, 제2 안면 이미지는 또한 개성화된 서비스와의 대응관계를 가질 수 있다.
S402. 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정한다.
구체적으로, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
S403. 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이하다면, 제1 안면 이미지 및 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징 및 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득한다.
교차-모달 공간은 제1 안면 이미지의 특징 및 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간이다. 전통적으로, 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이한 경우, 제1 안면 이미지 및 제2 안면 이미지는 보통 합성곱 신경망을 이용하여 직접 인식된다. 이러한 방식으로, GPU의 가속이 요구되고, GPU가 없는 디바이스에서는 계산이 느리다. 결과적으로, 실시간 요구가 만족될 수 없다. 또한, 합성곱 신경망의 파라미터가 끊임없이 조정될 필요가 있고, 많은 양의 훈련 샘플들이 요구된다. 따라서, 네트워크의 과적합이 발생하는 경향이 있다. 본 출원에서는, 제1 안면 이미지 및 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하고, 맵핑을 통해 획득되는 제1 희소 안면 특징 및 제2 희소 안면 특징을 비교하여, 안면 인식을 수행한다. 이러한 방식은 합성곱 신경망에도 GPU의 가속에도 의존하지 않고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
S404. 제1 희소 안면 특징 및 제2 희소 안면 특징에 기초하여 제1 안면 이미지에 대해 안면 인식을 수행한다.
옵션으로, 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계는: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하는 단계; 및 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하는 단계; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하는 단계를 포함한다. 유사도 임계값은 실험을 통해 교정될 수 있다.
제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이할 때, 전술한 방식을 참고로 이용하여 상이한 모달리티들에서의 안면 이미지들을 교차-모달 공간에 맵핑하고 그 후 맵핑을 통해 획득된 희소 안면 특징들을 비교하여, 안면 인식 결과를 획득할 수 있다는 점에 유의해야 한다. 예를 들어, 제1 안면 이미지의 모달리티는 근적외선 모달리티일 수 있고, 제2 안면 이미지의 모달리티는 가시 광 모달리티일 수 있다; 제1 안면 이미지의 모달리티는 2차원(two-dimensional, 2D) 모달리티일 수 있고, 제2 안면 이미지의 모달리티는 3차원(three-dimensional, 3D) 모달리티일 수 있다; 제1 안면 이미지의 모달리티는 저정밀도 모달리티일 수 있고, 제2 안면 이미지의 모달리티는 고정밀도 모달리티일 수 있다; 등등. 제1 안면 이미지의 모달리티 및 제2 안면 이미지의 모달리티는 제한되지 않는다.
도 4에 도시된 방법에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
도 5는 본 출원의 실시예에 따른 다른 안면 인식 방법의 흐름도이다. 이 방법은 도 1에 도시된 아키텍처에 기초하여 구현될 수 있다. 다음의 안면 인식 디바이스는 도 1에 도시된 시스템 아키텍처에서의 차량내 안면 인식 디바이스일 수 있다. 이 방법은 다음의 단계들을 포함하지만 이로 제한되지는 않는다.
S501. 안면 인식 디바이스는 제1 안면 이미지 및 제2 안면 이미지를 획득한다.
구체적으로, 사용자가 차량에 진입한 후에, 안면 인식 디바이스는 배치된 근적외선 카메라를 이용하여 사용자의 현재 제1 안면 이미지를 수집할 수 있다; 또는 사용자가 개성화된 서비스(예를 들어, 좌석을 조정하거나, 전용 음악 라이브러리에서의 음악을 재생하거나, 차량내 애플리케이션 허가를 가능하게 함)에 대한 신원 검증을 트리거한 후에, 안면 인식 디바이스는 배치된 근적외선 카메라를 이용하여 사용자의 현재 제1 안면 이미지를 수집할 수 있다.
제2 안면 이미지는 저장된 참고 안면 이미지이다. 제2 안면 이미지는 안면 인식 디바이스에 의해 이전에 촬영되고 저장되어 있는 안면 이미지, 안면 인식 디바이스에 의해 수신되고 다른 디바이스(예를 들어, 이동 단말기)에 의해 송신 및 저장되어 있는 안면 이미지, 다른 저장 매체로부터 판독되고 안면 인식 디바이스에 의해 저장되어 있는 안면 이미지 등일 수 있다. 제2 안면 이미지는 인물의 신원과 대응관계를 가질 수 있고, 제2 안면 이미지는 또한 개성화된 서비스와의 대응관계를 가질 수 있다.
옵션으로, 제1 안면 이미지 및 제2 안면 이미지를 획득한 후에, 안면 인식 디바이스는 제1 안면 이미지 및 제2 안면 이미지를 전처리한다. 전처리는 크기 조정 처리 및 표준화 처리를 포함한다. 전처리를 통해, 처리를 통해 획득된 안면 이미지 데이터는 표준 정규 분포에 부합하는데, 다시 말해서, 평균은 0이고, 표준 편차는 1이다. 표준화 처리 방식은 공식 1-1에 제시될 수 있다:
공식 1-1에서, μ는 안면 이미지의 모달리티에 대응하는 평균이고, σ는 안면 이미지의 모달리티에 대응하는 표준 편차이고, 상이한 모달리티들에 대응하는 μ 및 σ의 값들은 상이하다. 예를 들어, 제1 안면 이미지가 전처리되면, 공식 1-1 내의 μ는 제1 안면 이미지의 모달리티에 대응하는 평균이고, 공식 1-1 내의 σ는 제1 안면 이미지의 모달리티에 대응하는 표준 편차이다. 제1 안면 이미지의 모달리티에 대응하는 평균 및 제1 안면 이미지의 모달리티에 대응하는 표준 편차는 실험을 통해 교정될 수 있고, 제1 안면 이미지의 모달리티에 대응하는 평균 및 제1 안면 이미지의 모달리티에 대응하는 표준 편차는 복수의 제1 안면 이미지의 모달리티들에서의 복수의 안면 이미지 샘플들에 대해 계산 처리를 수행하는 것에 의해 획득될 수 있다. 제2 안면 이미지의 모달리티에 대응하는 평균 및 제2 안면 이미지의 모달리티에 대응하는 표준 편차가 동일한 방식으로 획득될 수 있다. 세부사항들은 여기서 다시 설명되지 않는다.
S502. 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정한다.
구체적으로, 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정하는 특정 구현은 다음과 같다:
(1) 제1 안면 이미지 및 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환한다.
구체적으로, 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 변환하는 방식은 다음의 공식 1-2에서 제시될 수 있다:
공식 1-2에서, R은 안면 이미지에서의 픽셀의 적색 채널의 값을 표현하고, G는 픽셀의 녹색 채널의 값을 표현하고, B는 픽셀의 청색 채널의 값을 표현하고, Y는 픽셀의 루마 성분 값을 표현하고, Cb는 픽셀의 청색-차이 크로마 성분 값을 표현하고, Cr은 픽셀의 적색-차이 크로마 성분 값을 표현한다.
(2) YCbCr 공간에서의 제1 안면 이미지의 값 및 YCbCr 공간에서의 제2 안면 이미지의 값에 기초하여 제1 안면 이미지의 색 계수 값 및 제2 안면 이미지의 색 계수 값을 결정한다.
구체적으로, 안면 이미지의 색 계수 값을 계산하는 방식은 공식 1-3에서 제시될 수 있다:
공식 1-3에서, y는 안면 이미지의 모달 특징을 표현할 수 있는 안면 이미지의 색 계수 값을 표현하고, n은 안면 이미지 내의 픽셀들의 수량을 표현하고, cri는 안면 이미지 내의 i 번째 픽셀의 적색-차이 크로마 성분 값이고, cbi는 안면 이미지 내의 i 번째 픽셀의 청색-차이 크로마 성분 값이다.
(3) 제1 안면 이미지의 색 계수 값 및 제2 안면 이미지의 색 계수 값에 기초하여, 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정한다.
구체적으로, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
안면 이미지의 색 계수 값이 제1 임계값보다 크다면, 안면 이미지는 가시 광 모달리티에서의 이미지이다. 안면 이미지의 색 계수 값이 제1 임계값보다 크기 않다면, 안면 이미지는 근적외선 모달리티에서의 이미지이다. 제1 임계값은 실험에서 교정된 값이다. 예를 들어, 제1 임계값은 0.5일 수 있다.
S503. 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이하다면, 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득한다.
안면 이미지의 특징을 표현하기 위한 희소 표현 방법이 먼저 설명된다. 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나이다.
이하에서는 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하기 위한 방법을 설명한다. 이 방법은 다음의 단계들을 포함하지만 이로 제한되지는 않는다.
(1) 교차-모달 초기화 사전 D(0)를 구성한다.
초기화 사전 D(0) 내의 값은 랜덤하게 생성된 값일 수 있거나, 안면 이미지 샘플로부터 랜덤하게 선택된 샘플에 기초하여 생성된 값일 수 있다. 교차-모달 초기화 사전이 구성된 후에, 교차-모달 초기화 사전 D(0)의 열들이 정규화된다. 구체적으로, 안면 이미지 샘플은 복수의 샘플을 포함한다.
(2) k=0이라고 가정하고, 가 제2 임계값보다 작을 때까지 절차 A를 주기적으로 수행한다. 이 경우, D(k)는 D이다.
Y는 안면 이미지 샘플의 특징 표현 행렬이다. 구체적으로, 이고, 여기서 YV는 제1 안면 이미지의 모달리티에서의 안면 이미지 샘플의 안면 특징이고, YN은 제2 안면 이미지의 모달리티에서의 안면 이미지 샘플의 안면 특징이다. Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 제1 안면 특징 YV이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 제2 안면 특징 YN이다. 구체적으로, YV 내의 하나의 열 벡터는 제1 안면 이미지의 모달리티에서의 하나의 샘플의 특징을 표현하고, YN 내의 하나의 열 벡터는 제2 안면 이미지의 모달리티에서의 하나의 샘플의 특징을 표현한다.
D는 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 포함하는 행렬이다. 구체적으로, 이고, 여기서 DV는 제1 안면 이미지의 모달리티에 대응하는 제1 사전이고, DN은 제2 안면 이미지의 모달리티에 대응하는 제2 사전이다. D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다. X(k)는 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬이다.
는 안면 이미지 샘플을 교차-모달 공간에 맵핑하는 것에 의해 획득된 희소 안면 특징을 표현하고, 는 안면 이미지 샘플의 특징과 안면 이미지 샘플을 교차-모달 공간에 맵핑하는 것에 의해 획득된 희소 안면 특징 간의 차이를 표현하고, 차이가 작을수록 제1 사전 및 제2 사전의 성능이 더 양호한 것을 지시한다.
구체적으로, 절차 A는 다음과 같다:
1. k=k+1.
2. 매칭 추적(matching pursuit, MP) 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득한다 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이다.
구체적으로, 다음의 공식 1-4는 MP 알고리즘을 이용하여 해를 구하여, 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬 X(k)를 획득할 수 있다. 공식 1-4는 다음과 같다:
공식 1-4에서, yi는 안면 이미지 샘플의 특징 표현 행렬 Y 내의 i 번째 열 벡터이고, 안면 이미지 샘플의 특징 표현 행렬 Y는 총 M개의 열 벡터를 포함한다. 구체적으로, 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬 X(k)는 를 포함하고, 여기서 1<i<M이다. K는 희소도이고, D(k-1)은 (k-1) 번째 업데이트 후에 획득되고 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 포함하는 행렬이다.
n은 희소의 제약 방식을 표현하고, n의 값은 0, 1, 및 2 중 하나이다. 구체적으로, n의 값이 0일 때, 희소의 제약 방식은 0-표준 제약이고, 는 x에서 0이 아닌 요소들의 수량이 희소도 K 이하인 것을 지시한다. n의 값이 1일 때, 희소의 제약 방식은 1-표준 제약이고, 는 x 내의 요소들의 절대 값들의 합이 희소도 K 이하인 것을 지시한다. N의 값이 2일 때, 희소의 제약 방식은 2-표준 제약이고, 는 x 내의 요소들의 제곱들의 합이 희소도 K 이하인 것을 지시한다. 구체적으로, 2-표준 제약의 해를 구하는 방식을 이용하여 안면 이미지의 희소 안면 특징을 찾는 것은 희소에 대한 제한을 느슨하게 할 수 있어, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
3. 최적 방향 방법(method of optimal directions, MOD) 알고리즘을 이용하여 제1 안면 이미지의 모달리티에서의 안면 이미지 샘플의 안면 특징, 제2 안면 이미지의 모달리티에서의 안면 이미지 샘플의 안면 특징, 및 특징 표현 행렬에 기초하여, 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 결정한다.
구체적으로, 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전은 공식 1-5에 따라 결정될 수 있다. 공식 1-5는 다음과 같다:
공식 1-5에서, F는 행렬 놈(matrix norm)이고, X(k-1)은, (k-1) 번째 업데이트 후에 획득되는, 교차-모달 공간에서의, 특징 표현 행렬이다. D(k)는 k 번째 업데이트 후에 획득되고 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 포함하는 행렬이다.
전술한 방법에 따르면, 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전이 동시에 획득될 수 있고, 그에 의해 연산 시간을 감소시키고 사전 획득 속도를 증가시킬 수 있다. 또한, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 할 수 있어, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
S504. 제1 안면 이미지의 모달리티에 대응하는 제1 사전에 기초하여 제1 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 획득한다.
구체적으로, 제1 안면 이미지의 모달리티에 대응하는 제1 사전에 기초하여 제1 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 방식은: 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 페널티 계수에 기초하여, 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 결정하는 것; 및 제1 안면 이미지 및 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 이용하여 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 계산하는 것이다.
제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 페널티 계수에 기초하여, 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 결정하는 계산 방식은 공식 1-6에서 제시될 수 있다:
공식 1-6에서, DV는 제1 안면 이미지의 모달리티에 대응하는 제1 사전이고, Pa는 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬이고, λ는 페널티 계수이고, 희소도와 관련되고, 실험을 통해 교정될 수 있고, I는 단위 행렬이다.
구체적으로, 제1 안면 이미지 및 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 이용하여 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 계산하는 계산 방식은 공식 1-7에서 제시될 수 있다:
공식 1-7에서, Ai는 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징이고, yai는 제1 안면 이미지의 특징 표현 행렬에서의 i 번째 열 벡터이고, Pa는 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬이다.
S505. 제2 안면 이미지의 모달리티에 대응하는 제2 사전에 기초하여 제2 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득한다.
구체적으로, 제2 안면 이미지의 모달리티에 대응하는 제2 사전에 기초하여 제2 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 방식은: 제2 안면 이미지의 모달리티에 대응하는 제2 사전 및 페널티 계수에 기초하여, 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 결정하는 것; 및 제2 안면 이미지 및 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 이용하여 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 계산하는 것이다.
제2 안면 이미지의 모달리티에 대응하는 제2 사전 및 페널티 계수에 기초하여, 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 결정하는 계산 방식은 공식 1-8에서 제시될 수 있다:
공식 1-8에서, DN은 제2 안면 이미지의 모달리티에 대응하는 제2 사전이고, Pb는 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬이고, λ는 페널티 계수이고, 희소도와 관련되고, 실험을 통해 교정될 수 있고, I는 단위 행렬이다.
구체적으로, 제2 안면 이미지 및 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 이용하여 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 계산하는 계산 방식은 공식 1-9에서 제시될 수 있다:
공식 1-9에서, Bi는 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징이고, ybi는 제2 안면 이미지의 특징 표현 행렬에서의 i 번째 열 벡터이고, Pb는 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬이다.
S506. 제1 희소 안면 특징 및 제2 희소 안면 특징에 기초하여 제1 안면 이미지에 대해 안면 인식을 수행한다.
구체적으로, 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계는: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하는 단계; 및 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하는 단계; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하는 단계를 포함한다. 유사도 임계값은 실험을 통해 교정될 수 있다.
옵션으로, 제1 희소 안면 특징과 제2 희소 안면 특징 사이의 유사도를 계산하는 방식은 제1 희소 안면 특징과 제2 희소 안면 특징 사이의 코사인 거리를 계산하는 것일 수 있다. 제1 희소 안면 특징과 제2 희소 안면 특징 사이의 코사인 거리를 계산하는 방식은 공식 1-10에서 제시될 수 있다:
공식 1-10에서, Ai는 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징이고, Bi는 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징이고, n은 희소 특징의 차원을 표현한다. 제1 희소 안면 특징과 제2 희소 안면 특징 사이의 유사도는 다른 방식으로 계산될 수 있고, 이는 여기서 제한되지 않는다는 점에 유의해야 한다.
도 5에 도시된 방법에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
도 6은 본 출원의 실시예에 따른 안면 인식 디바이스의 개략도이다. 안면 인식 디바이스(60)는 획득 유닛(601), 결정 유닛(602), 맵핑 유닛(603), 및 인식 유닛(604)을 포함한다. 이하에서는 이들 유닛을 설명한다.
획득 유닛(601)은 제1 안면 이미지 및 제2 안면 이미지를 획득하도록 구성된다. 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 제2 안면 이미지는 저장된 참고 안면 이미지이다.
결정 유닛(602)은 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구성된다.
맵핑 유닛(603)은: 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이할 때, 제1 안면 이미지 및 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징 및 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성된다. 교차-모달 공간은 제1 안면 이미지의 특징 및 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간이다.
인식 유닛(604)은 제1 희소 안면 특징 및 제2 희소 안면 특징에 기초하여 제1 안면 이미지에 대해 안면 인식을 수행하도록 구성된다.
이 디바이스에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이 안면 인식 디바이스는 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
옵션 구현에서, 맵핑 유닛은 획득 서브유닛, 제1 맵핑 서브유닛, 및 제2 맵핑 서브유닛을 포함한다. 상기 획득 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하도록 구성된다. 상기 제1 맵핑 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하도록 구성된다. 상기 제2 맵핑 서브유닛은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성된다.
옵션 구현에서, 상기 획득 서브유닛은: 매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하고 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하도록 구체적으로 구성된다. 이 디바이스에 따르면, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이 동시에 결정될 수 있어, 안면 인식 속도가 증가된다.
옵션 구현에서, 상기 획득 서브유닛은 상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하도록 구체적으로 구성되고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도이다.
옵션 구현에서, 상기 획득 서브유닛은 최적 방향 방법 MOD 알고리즘을 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하도록 구체적으로 구성되고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬이다.
옵션 구현에서, D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다.
옵션 구현에서, 상기 제1 맵핑 서브유닛은: 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하고; 상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하도록 구체적으로 구성된다.
옵션 구현에서, 상기 제2 맵핑 서브유닛은: 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하고; 상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하도록 구체적으로 구성된다.
옵션 구현에서, 상기 결정 유닛은: 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환하고; 상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하고; 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구체적으로 구성된다.
옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
옵션 구현에서, 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나이다.
옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약이다. 이러한 방식으로, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 하여, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
옵션 구현에서, 상기 인식 유닛은: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하고; 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하고; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하도록 구체적으로 구성된다.
도 6에서의 각각의 동작의 구현에 대해서는, 도 4 또는 도 5에 도시된 방법 실시예에서의 대응하는 설명들을 추가로 대응적으로 참조한다.
도 6에 도시된 안면 인식 디바이스에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
도 7은 본 출원의 실시예에 따른 다른 안면 인식 디바이스의 개략도이다. 제1 디바이스(70)는 하나 이상의 프로세서(701), 하나 이상의 입력 디바이스(702), 하나 이상의 출력 디바이스(703), 및 메모리(704)를 포함할 수 있다. 프로세서(701), 입력 디바이스(702), 출력 디바이스(703), 및 메모리(704)는 버스(705)를 이용하여 연결된다. 메모리(704)는 명령어들을 저장하도록 구성된다.
프로세서(701)는 중앙 처리 유닛일 수 있거나, 프로세서는 다른 범용 프로세서, 디지털 신호 프로세서, 주문형 집적 회로, 다른 프로그램 가능 로직 디바이스 등일 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나, 또는 프로세서는 임의의 종래의 프로세서 등일 수 있다.
입력 디바이스(702)는 통신 인터페이스, 데이터 케이블 등을 포함할 수 있고, 출력 디바이스(703)는 디스플레이(예를 들어, LCD), 스피커, 데이터 케이블, 통신 인터페이스 등을 포함할 수 있다.
메모리(704)는 판독 전용 메모리 및 랜덤 액세스 메모리를 포함할 수 있고, 명령어들 및 데이터를 프로세서(701)에 제공할 수 있다. 메모리(704)의 일부는 비휘발성 랜덤 액세스 메모리를 추가로 포함할 수 있다. 예를 들어, 메모리(704)는 디바이스 유형의 정보를 추가로 저장할 수 있다.
프로세서(701)는 메모리(704)에 저장된 명령어들을 실행하여 다음의 동작들을 수행하도록 구성된다:
제1 안면 이미지 및 제2 안면 이미지를 획득하는 단계 - 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지임 -;
상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계;
상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다면, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계 - 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간임 -; 및
상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계.
옵션 구현에서, 프로세서(701)는: 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하고; 제1 안면 이미지의 모달리티에 대응하는 제1 사전에 기초하여 제1 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 획득하고; 제2 안면 이미지의 모달리티에 대응하는 제2 사전에 기초하여 제2 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구체적으로 구성된다.
옵션 구현에서, 프로세서(701)는: 매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하고 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하도록 구체적으로 구성된다. 이 디바이스에 따르면, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이 동시에 결정될 수 있어, 안면 인식 속도가 증가된다.
옵션 구현에서, 프로세서(701)는 상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하도록 구체적으로 구성되고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도이다.
옵션 구현에서, 프로세서(701)는 최적 방향 방법 MOD 알고리즘을 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하도록 구체적으로 구성되고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬이다.
옵션 구현에서, D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다.
옵션 구현에서, 프로세서(701)는: 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하고; 상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하도록 구체적으로 구성된다.
옵션 구현에서, 프로세서(701)는: 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하고; 상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하도록 구체적으로 구성된다.
옵션 구현에서, 프로세서(701)는: 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환하고; 상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하고; 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구체적으로 구성된다.
옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
옵션 구현에서, 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나이다.
옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약이다. 이러한 방식으로, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 하여, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
옵션 구현에서, 프로세서(701)는: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하고; 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하고; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하도록 구체적으로 구성된다.
도 7에서의 각각의 동작의 구현에 대해서는, 도 4 또는 도 5에 도시된 방법 실시예에서의 대응하는 설명들을 추가로 대응적으로 참조한다.
도 7에 도시된 안면 인식 디바이스에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
본 발명의 다른 실시예는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 도 4 또는 도 5에 도시된 실시예에서의 방법이 구현된다.
본 발명의 다른 실시예는 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램이 컴퓨터에 의해 실행될 때, 도 4 또는 도 5에 도시된 실시예에서의 방법이 구현된다.
전술한 설명들은 단지 본 출원의 특정 실시예들에 불과하고, 본 출원의 보호 범위를 제한하도록 의도되는 것은 아니다. 본 출원에 개시된 기술적 범위 내에서 본 기술분야의 통상의 기술자에 의해 용이하게 안출되는 임의의 수정 또는 대체가 본 출원의 보호 범위 내에 속할 것이다. 따라서, 본 출원의 보호 범위는 청구항들의 보호 범위에 따라야 한다.

Claims (28)

  1. 안면 인식 방법으로서,
    제1 안면 이미지 및 제2 안면 이미지를 획득하는 단계 - 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지임 -;
    상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계;
    상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이할 때, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계 - 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간임 -; 및
    상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계를 포함하고,
    상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계는:
    상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하는 단계;
    상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 단계; 및
    상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계를 포함하고,
    상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하는 단계는:
    매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 및
    최적 방향 방법 MOD를 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하는 단계를 포함하는, 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계는:
    상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계를 포함하고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도인, 방법.
  5. 제1항 또는 제4항에 있어서, 최적 방향 방법 MOD를 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하는 단계는:
    최적 방향 방법 MOD를 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하는 단계를 포함하고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬인, 방법.
  6. 제5항에 있어서,
    D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전인, 방법.
  7. 제1항에 있어서, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 단계는:
    상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하는 단계; 및
    상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하는 단계를 포함하는, 방법.
  8. 제1항 또는 제4항에 있어서,
    상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계는:
    상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하는 단계; 및
    상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하는 단계를 포함하는, 방법.
  9. 제1항 또는 제4항에 있어서,
    상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계는:
    상기 제1 안면 이미지 및 상기 제2 안면 이미지를 각각 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 변환하는 단계;
    상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하는 단계; 및
    상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계를 포함하는, 방법.
  10. 제1항 또는 제4항에 있어서,
    상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미하는, 방법.
  11. 제1항 또는 제4항에 있어서,
    상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나인, 방법.
  12. 제1항 또는 제4항에 있어서,
    상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계는:
    상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하는 단계; 및
    상기 유사도가 유사도 임계값보다 크면, 상기 제1 안면 이미지의 안면 인식 결과가 성공이라고 결정하는 단계; 또는
    상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하는 단계를 포함하는, 방법.
  13. 안면 인식 디바이스로서,
    획득 유닛, 결정 유닛, 맵핑 유닛, 및 인식 유닛을 포함하고,
    상기 획득 유닛은 제1 안면 이미지 및 제2 안면 이미지를 획득하도록 구성되고, 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지이고;
    상기 결정 유닛은 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구성되고;
    상기 맵핑 유닛은: 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이할 때, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 각각 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성되고, 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간이고;
    상기 인식 유닛은 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하도록 구성되고,
    상기 맵핑 유닛은 획득 서브유닛, 제1 맵핑 서브유닛, 및 제2 맵핑 서브유닛을 포함하고,
    상기 획득 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하도록 구성되고;
    상기 제1 맵핑 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하도록 구성되고;
    상기 제2 맵핑 서브유닛은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성되고,
    상기 획득 서브유닛은:
    매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하고 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -;
    최적 방향 방법 MOD를 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하도록 구체적으로 구성되는, 디바이스.
  14. 삭제
  15. 삭제
  16. 제13항에 있어서,
    상기 획득 서브유닛은:
    상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하도록 구체적으로 구성되고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도인, 디바이스.
  17. 제13항 또는 제16항에 있어서,
    상기 획득 서브유닛은:
    최적 방향 방법 MOD를 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하도록 구체적으로 구성되고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬인, 디바이스.
  18. 제17항에 있어서,
    D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전인, 디바이스.
  19. 제13항에 있어서,
    상기 제1 맵핑 서브유닛은:
    상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하고;
    상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하도록 구체적으로 구성되는, 디바이스.
  20. 제13항 또는 제16항에 있어서,
    상기 제2 맵핑 서브유닛은:
    상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하고;
    상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하도록 구체적으로 구성되는, 디바이스.
  21. 제13항 또는 제16항에 있어서,
    상기 결정 유닛은:
    상기 제1 안면 이미지 및 상기 제2 안면 이미지를 각각 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분으로 이루어진 YCbCr 공간으로 변환하고;
    상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하고;
    상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구체적으로 구성되는, 디바이스.
  22. 제13항 또는 제16항에 있어서,
    상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미하는, 디바이스.
  23. 제13항 또는 제16항에 있어서,
    희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나인, 디바이스.
  24. 제13항 또는 제16항에 있어서,
    상기 인식 유닛은:
    상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하고;
    상기 유사도가 유사도 임계값보다 크면, 상기 제1 안면 이미지의 안면 인식 결과가 성공이라고 결정하고; 또는
    상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하도록 구체적으로 구성되는, 디바이스.
  25. 프로세서 및 메모리를 포함하는 안면 인식 디바이스로서,
    상기 메모리는 프로그램 명령어들을 저장하도록 구성되고, 상기 프로세서는 상기 프로그램 명령어를 호출하여 제1항 또는 제4항에 따른 방법을 수행하도록 구성되는, 안면 인식 디바이스.
  26. 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 판독가능 저장 매체는 프로그램 명령어들을 저장하고, 상기 프로그램 명령어들이 프로세서 상에서 실행될 때, 상기 프로세서는 제1항 또는 제4항에 따른 방법을 수행할 수 있게 되는, 컴퓨터 판독가능 저장 매체.
  27. 삭제
  28. 삭제
KR1020217010470A 2018-09-18 2019-09-17 안면 인식 방법 및 디바이스 KR102592668B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811090801.6A CN110909582B (zh) 2018-09-18 2018-09-18 一种人脸识别的方法及设备
CN201811090801.6 2018-09-18
PCT/CN2019/106216 WO2020057509A1 (zh) 2018-09-18 2019-09-17 一种人脸识别的方法及设备

Publications (2)

Publication Number Publication Date
KR20210058882A KR20210058882A (ko) 2021-05-24
KR102592668B1 true KR102592668B1 (ko) 2023-10-24

Family

ID=69813650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217010470A KR102592668B1 (ko) 2018-09-18 2019-09-17 안면 인식 방법 및 디바이스

Country Status (5)

Country Link
US (1) US20210201000A1 (ko)
EP (1) EP3842990A4 (ko)
KR (1) KR102592668B1 (ko)
CN (1) CN110909582B (ko)
WO (1) WO2020057509A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022000337A1 (zh) * 2020-06-30 2022-01-06 北京小米移动软件有限公司 生物特征融合方法及装置、电子设备及存储介质
CN113544744A (zh) * 2021-06-01 2021-10-22 华为技术有限公司 一种头部姿态测量方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034789A1 (en) * 2014-08-01 2016-02-04 TCL Research America Inc. System and method for rapid face recognition
CN108256405A (zh) * 2016-12-29 2018-07-06 中国移动通信有限公司研究院 一种人脸识别方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512255B2 (en) * 2003-08-22 2009-03-31 Board Of Regents, University Of Houston Multi-modal face recognition
US8917914B2 (en) * 2011-04-05 2014-12-23 Alcorn State University Face recognition system and method using face pattern words and face pattern bytes
CN102324025B (zh) * 2011-09-06 2013-03-20 北京航空航天大学 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
CN102436645B (zh) * 2011-11-04 2013-08-14 西安电子科技大学 基于mod字典学习采样的谱聚类图像分割方法
CN103136516B (zh) * 2013-02-08 2016-01-20 上海交通大学 可见光与近红外信息融合的人脸识别方法及系统
DE102013219551A1 (de) * 2013-09-27 2015-04-02 Carl Zeiss Meditec Ag Verfahren zur Darstellung zweier digitaler Bilder zur visuellen Erkennung und Bewertung von Unterschieden bzw. Veränderungen
EP3230951A1 (en) * 2014-12-09 2017-10-18 Koninklijke Philips N.V. Feedback for multi-modality auto-registration
CN104700087B (zh) * 2015-03-23 2018-05-04 上海交通大学 可见光与近红外人脸图像的相互转换方法
CN106056647B (zh) * 2016-05-30 2019-01-11 南昌大学 一种基于卷积稀疏双层迭代学习的磁共振快速成像方法
CN106326903A (zh) * 2016-08-31 2017-01-11 中国科学院空间应用工程与技术中心 一种基于仿射尺度不变特征和稀疏表示的典型目标识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034789A1 (en) * 2014-08-01 2016-02-04 TCL Research America Inc. System and method for rapid face recognition
CN108256405A (zh) * 2016-12-29 2018-07-06 中国移动通信有限公司研究院 一种人脸识别方法及装置

Also Published As

Publication number Publication date
CN110909582A (zh) 2020-03-24
EP3842990A1 (en) 2021-06-30
EP3842990A4 (en) 2021-11-17
KR20210058882A (ko) 2021-05-24
US20210201000A1 (en) 2021-07-01
WO2020057509A1 (zh) 2020-03-26
CN110909582B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
US10726244B2 (en) Method and apparatus detecting a target
CN108229468B (zh) 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
EP3937124A1 (en) Image processing method, device and apparatus, and storage medium
CN110473137B (zh) 图像处理方法和装置
CN108427927B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
CN110991389B (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
US20230419646A1 (en) Feature extraction method and apparatus
CN109271930B (zh) 微表情识别方法、装置与存储介质
CN113537254B (zh) 图像特征提取方法、装置、电子设备及可读存储介质
KR102592668B1 (ko) 안면 인식 방법 및 디바이스
WO2022165722A1 (zh) 单目深度估计方法、装置及设备
CN110222718A (zh) 图像处理的方法及装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN112101195A (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN112633222B (zh) 基于对抗网络的步态识别方法、装置、设备及介质
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
JP6202938B2 (ja) 画像認識装置および画像認識方法
Omarov et al. Machine learning based pattern recognition and classification framework development
CN115880530A (zh) 对抗攻击的检测方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant