KR20210058882A - 안면 인식 방법 및 디바이스 - Google Patents
안면 인식 방법 및 디바이스 Download PDFInfo
- Publication number
- KR20210058882A KR20210058882A KR1020217010470A KR20217010470A KR20210058882A KR 20210058882 A KR20210058882 A KR 20210058882A KR 1020217010470 A KR1020217010470 A KR 1020217010470A KR 20217010470 A KR20217010470 A KR 20217010470A KR 20210058882 A KR20210058882 A KR 20210058882A
- Authority
- KR
- South Korea
- Prior art keywords
- facial image
- facial
- modality
- feature
- sparse
- Prior art date
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 1058
- 238000000034 method Methods 0.000 title claims abstract description 150
- 239000011159 matrix material Substances 0.000 claims description 118
- 239000013598 vector Substances 0.000 claims description 106
- 238000013507 mapping Methods 0.000 claims description 52
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 241000023320 Luma <angiosperm> Species 0.000 claims description 9
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013475 authorization Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000017983 photosensitivity disease Diseases 0.000 description 1
- 231100000434 photosensitization Toxicity 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G06K9/46—
-
- G06K9/6255—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G06K2009/4695—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
본 출원의 실시예들은 안면 인식 방법 및 디바이스를 개시하고, 인공 지능 AI에서의 컴퓨터 비전의 분야에 속한다. 이 방법은: 제1 안면 이미지 및 제2 안면 이미지를 획득하는 단계 - 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지임 -; 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계; 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이하다면, 제1 안면 이미지 및 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징 및 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계; 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계를 포함한다. 본 출원의 실시예들에 따르면, 교차-모달 안면 인식 속도가 증가될 수 있다.
Description
본 출원은 컴퓨터 기술 분야에 관한 것으로, 특히 안면 인식 방법 및 디바이스에 관한 것이다.
안면 인식의 생체 특징 기반 인식 기술은 비접촉성이기 때문에, 본 기술은 차량 분야에서 광범위한 발전 및 응용 전망을 갖는다. 차량내 안면 인식은 차량 내부의 카메라를 이용하여 신원 인증 또는 신원 검색을 수행하는 기술이다. 종래의 안면 인식 기술은 가시 광 모달리티(visible light modality)에서의 안면 이미지를 획득한다. 예를 들어, 차고에서 또는 야간에 조명이 좋지 않은 차량내 시나리오가 종종 발생하기 때문에, 차량내 시나리오에서 가시 광 모달리티에서 안면 이미지를 이용하여 인물의 신원을 인식하는 정도는 비교적 낮다. 따라서, 차량내 시나리오의 대부분의 경우에 주변 광에 의해 영향을 받지 않는 근적외선 카메라가 사용된다.
근적외선 카메라는 육안으로 보이지 않는 적외선 광을 방출하여, 촬영 대상을 조명하고 적외선 반사를 통해 획득된 이미지를 생성한다. 따라서, 육안으로 보이지 않는 이미지가 어두운 환경에서도 촬영될 수 있고, 이것은 차량내 시나리오들에 적용가능하다. 그러나, 근적외선 카메라 및 가시 광 카메라에 의해 촬영된 이미지들은 상이한 모달리티들로부터 유래한다. 상이한 모달리티들에서의 카메라들의 감광 과정들은 상이하기 때문에, 동일한 대상에 대해 상이한 모달리티들에서 카메라들에 의해 획득되는 이미지들 간에는 비교적 큰 차이가 있다. 결과적으로, 차량내 안면 인식의 인식 정도가 감소된다. 예를 들어, 사용자는 가시 광 모달리티에서의 안면 이미지를 이용하여 차량내 디바이스에 대한 신원 인증을 수행하였다. 동일한 사용자가 근적외선 모달리티에서의 안면 이미지를 이용하여 동일한 차량내 디바이스에 대해 신원 인증을 수행할 때, 근적외선 모달리티에서의 이미지와 가시 광 모달리티에서의 이미지 간에 비교적 큰 차이가 있기 때문에, 사용자의 신원에 대한 인증이 성공할 수 없을 가능성이 높다.
현 단계에서, 대부분의 교차-모달(cross-modal) 안면 인식 방법들은 합성곱 신경망(convolutional neural network)에 기초하는 딥 러닝(deep learning) 알고리즘을 이용한다. 이 방법에서는, 먼저 가시 광 모달리티에서의 안면 이미지 및 근적외선 모달리티에서의 안면 이미지에 대해 동일한 전처리가 수행되고, 그 후 가시 광 모달리티에서의 전처리된 안면 이미지를 이용하여 딥 합성곱 신경망이 미리 훈련되어, 교차-모달 이미지 기반 딥 합성곱 신경망 훈련에 대한 사전 지식을 제공한다. 그 후 가시 광 모달리티에서의 안면 이미지 및 근적외선 모달리티에서의 안면 이미지는 미리 설정된 규칙에 따라 트리플릿을 형성하고, 미리 훈련된 교차-모달 이미지 기반 딥 합성곱 신경망에서 구별하기 어려운 트리플릿(difficult triplet)이 선택된다. 선택된 어려운 트리플릿을 미리 훈련된 교차-모달 이미지 기반 딥 합성곱 신경망에 입력하여 미세 조정을 수행하고, 어려운 트리플릿의 선택 및 미세 조정은 교차-모달 이미지 기반 딥 합성곱 신경망의 성능이 더 이상 개선되지 않을 때까지 반복된다. 마지막으로, 훈련된 교차-모달 이미지 기반 딥 합성곱 신경망 모델을 이용하여 교차-모달 안면 인식이 수행된다.
어려운 트리플릿은 전술한 알고리즘의 성능에 영향을 미치는 중요한 요소이다. 그러나, 실제 응용에서는, 합성곱 신경망의 딥 러닝을 위해 많은 양의 훈련 데이터가 요구되기 때문에, 어려운 샘플 트리플릿을 선택하는 것이 어렵다. 따라서, 망의 과적합(overfitting)이 발생하는 경향이 있고, 신원 인식 정도가 감소된다. 또한, 합성곱 신경망의 계산은 그래픽 처리 유닛(graphics processing unit, GPU)을 이용하여 가속될 필요가 있다. GPU가 없는 디바이스 상에서는, 신경망 기반 알고리즘 동작 속도가 비교적 낮고, 실시간 요구가 만족될 수 없다.
본 출원의 실시예들은, 교차-모달 안면 인식 속도가 증가될 수 있고, 그에 의해 실시간 요구를 만족시키도록, 안면 인식 방법 및 디바이스를 제공한다.
제1 방면에 따르면, 본 출원의 실시예는 안면 인식 방법을 제공한다. 이 방법은: 제1 안면 이미지 및 제2 안면 이미지를 획득하는 단계 - 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지임 -; 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계; 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다면, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계 - 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간임 -; 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계를 포함한다.
이러한 방식으로, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑되고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계는: 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하는 단계; 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 단계; 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계를 포함한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하는 단계는: 매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하는 단계를 포함한다. 이러한 방식으로, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이 동시에 결정될 수 있어, 안면 인식 속도가 증가된다.
제1 방면과 관련하여, 옵션 구현에서, 매칭 추적 MP 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계는: 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계를 포함하고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도이다.
제1 방면과 관련하여, 옵션 구현에서, 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하는 단계는: 최적 방향 방법 MOD 알고리즘을 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하는 단계를 포함하고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬이다.
제1 방면과 관련하여, 옵션 구현에서, D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 단계는: 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하는 단계; 및 상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하는 단계를 포함한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계는: 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하는 단계; 및 상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하는 단계를 포함한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계는: 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환하는 단계; 상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하는 단계; 및 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계를 포함한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
제1 방면과 관련하여, 옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약(norm constraint), 1-표준 제약, 및 2-표준 제약 중 하나이다.
제1 방면과 관련하여, 옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약이다. 이러한 방식으로, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 하여, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
제1 방면과 관련하여, 옵션 구현에서, 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계는: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하는 단계; 및 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하는 단계; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하는 단계를 포함한다.
제2 방면에 따르면, 본 출원의 실시예는 안면 인식 디바이스를 제공한다. 이 디바이스는 획득 유닛, 결정 유닛, 맵핑 유닛, 및 인식 유닛을 포함한다. 상기 획득 유닛은 제1 안면 이미지 및 제2 안면 이미지를 획득하도록 구성되고, 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지이다. 상기 결정 유닛은 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구성된다. 상기 맵핑 유닛은: 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다면, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성되고, 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간이다. 상기 인식 유닛은 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하도록 구성된다.
이 디바이스에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이 안면 인식 디바이스는 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
제2 방면에 관련하여, 옵션 구현에서, 상기 맵핑 유닛은 획득 서브유닛, 제1 맵핑 서브유닛, 및 제2 맵핑 서브유닛을 포함한다. 상기 획득 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하도록 구성된다. 상기 제1 맵핑 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하도록 구성된다. 상기 제2 맵핑 서브유닛은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성된다.
제2 방면과 관련하여, 옵션 구현에서, 상기 획득 서브유닛은: 매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하고 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하도록 구체적으로 구성된다. 이 디바이스에 따르면, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이 동시에 결정될 수 있어, 안면 인식 속도가 증가된다.
제2 방면과 관련하여, 옵션 구현에서, 상기 획득 서브유닛은 상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하도록 구체적으로 구성되고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도이다.
제2 방면과 관련하여, 옵션 구현에서, 상기 획득 서브유닛은 최적 방향 방법 MOD 알고리즘을 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하도록 구체적으로 구성되고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬이다.
제2 방면과 관련하여, 옵션 구현에서, D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다.
제2 방면에 관련하여, 옵션 구현에서, 상기 제1 맵핑 서브유닛은: 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하고; 상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하도록 구체적으로 구성된다.
제2 방면에 관련하여, 옵션 구현에서, 상기 제2 맵핑 서브유닛은: 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하고; 상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하도록 구체적으로 구성된다.
제2 방면과 관련하여, 옵션 구현에서, 상기 결정 유닛은: 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환하고; 상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하고; 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구체적으로 구성된다.
제2 방면과 관련하여, 옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
제2 방면과 관련하여, 옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나이다.
제2 방면과 관련하여, 옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약이다. 이러한 방식으로, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 하여, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
제2 방면에 관련하여, 옵션 구현에서, 상기 인식 유닛은: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하고; 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하고; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하도록 구체적으로 구성된다.
제3 방면에 따르면, 본 출원의 실시예는, 프로세서 및 메모리를 포함하는, 다른 디바이스를 제공한다. 상기 프로세서 및 상기 메모리는 서로 연결되고, 상기 메모리는 프로그램 명령어들을 저장하도록 구성되고, 상기 프로세서는 상기 메모리 내의 프로그램 명령어들을 호출하여 제1 방면 및 제1 방면의 가능한 구현들 중 어느 하나에서 기술된 방법을 수행하도록 구성된다.
제4 방면에 따르면, 본 출원의 실시예는 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 저장 매체는 프로그램 명령어들을 저장하고, 상기 프로그램 명령어들이 프로세서 상에서 실행될 때, 상기 프로세서는 제1 방면 및 제1 방면의 가능한 구현들 중 어느 하나에서 기술된 방법을 수행한다.
제5 방면에 따르면, 본 출원의 실시예는 컴퓨터 프로그램을 제공한다. 컴퓨터 프로그램이 프로세서 상에서 실행될 때, 상기 프로세서는 제1 방면 및 제1 방면의 가능한 구현들 중 어느 하나에서 기술된 방법을 수행한다.
본 출원의 실시예들에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
본 출원의 실시예들 또는 종래 기술에서의 기술적 해결책들을 더 명확하게 설명하기 위해, 이하에서는 실시예들 또는 종래 기술을 설명하기 위한 첨부 도면들을 간단히 설명한다.
도 1은 본 출원의 실시예에 따른 안면 인식 시스템의 개략적인 아키텍처 도이다.
도 2는 본 출원의 실시예에 따른 안면 이미지를 획득하는 개략도이다.
도 3은 본 출원의 실시예에 따른 안면 이미지를 획득하는 다른 개략도이다.
도 4는 본 출원의 실시예에 따른 안면 인식 방법의 흐름도이다.
도 5는 본 출원의 실시예에 따른 다른 안면 인식 방법의 흐름도이다.
도 6은 본 출원의 실시예에 따른 안면 인식 디바이스의 개략도이다.
도 7은 본 출원의 실시예에 따른 다른 안면 인식 디바이스의 개략도이다.
도 1은 본 출원의 실시예에 따른 안면 인식 시스템의 개략적인 아키텍처 도이다.
도 2는 본 출원의 실시예에 따른 안면 이미지를 획득하는 개략도이다.
도 3은 본 출원의 실시예에 따른 안면 이미지를 획득하는 다른 개략도이다.
도 4는 본 출원의 실시예에 따른 안면 인식 방법의 흐름도이다.
도 5는 본 출원의 실시예에 따른 다른 안면 인식 방법의 흐름도이다.
도 6은 본 출원의 실시예에 따른 안면 인식 디바이스의 개략도이다.
도 7은 본 출원의 실시예에 따른 다른 안면 인식 디바이스의 개략도이다.
이하에서는 본 출원의 실시예들에서의 기술적 해결책들을 상세히 설명한다.
도 1은 본 출원의 실시예에 따른 안면 인식 시스템의 개략적인 아키텍처 도이다. 이 시스템은 이동 단말기 및 차량내 안면 인식 디바이스를 포함하고, 이동 단말기는 네트워크를 이용하여 안면 인식 디바이스와 통신할 수 있다. 구체적으로, 가시 광 카메라가 보통 이동 단말기 상에 배치되고, 가시 광 모달리티에서의 사용자의 안면 이미지를 획득할 수 있다. 도 2는 본 출원의 실시예에 따른 안면 이미지를 획득하는 개략도이다. 획득된 안면 이미지는 가시 광 모달리티에서의 안면 이미지이고, 사용자는 안면 이미지를 이용하여 신원 등록 및 신원 인증을 수행할 수 있다. 이동 단말기는 안면 이미지를 저장을 위해 네트워크를 이용하여 차량내 안면 인식 디바이스에 송신할 수 있다. 대응적으로, 차량내 안면 인식 디바이스는, 네트워크를 이용하여, 이동 단말기에 의해 송신된 안면 이미지를 수신할 수 있다.
근적외선 카메라가 차량내 안면 인식 디바이스 상에 배치되고, 예를 들어, 차고에서 또는 야간에 조명이 좋지 않은 자주 발생하는 차량내 시나리오에서 사용자의 안면 이미지를 수집하도록 구성된다. 차량내 안면 인식 시스템에 의해 획득된 안면 이미지는 근적외선 모달리티(near-infrared modality)에서의 안면 이미지이다. 도 3은 본 출원의 실시예에 따른 안면 이미지를 획득하는 다른 개략도이다. 차량내 안면 인식 시스템에 의해 획득된 안면 이미지는 근적외선 모달리티에서의 안면 이미지이다. 차량내 안면 인식 디바이스는 사용자의 획득된 현재 안면 이미지를 저장된 안면 이미지와 비교하여 안면 인식을 수행한다. 구체적으로, 안면 인식은, 차량 보안을 개선하기 위해, 현재 사용자가 신원 인증에 성공하는지를 검증하기 위해 사용될 수 있다; 그리고 안면 인식은 또한 사용자의 신원을 결정하여, 사용자의 신원에 대응하는 개성화된 서비스(예를 들어, 좌석을 조정하거나, 전용 음악 라이브러리에서의 음악을 재생하거나, 차량 애플리케이션 허가를 가능하게 함)를 수행하기 위해 사용될 수 있다.
옵션 구현에서, 시스템은 결정 디바이스를 추가로 포함할 수 있고, 결정 디바이스는 차량내 안면 인식 디바이스의 안면 인식 결과에 기초하여 대응하는 동작을 수행하도록 구성된다. 예를 들어, 안면 인식에서 검증이 성공하는 결과에 기초하여 차량의 시동 또는 차량내 에어컨의 시작과 같은 동작이 수행될 수 있다. 안면 인식을 통해 결정되는 사용자의 신원에 기초하여 사용자의 신원에 대응하는 개성화된 서비스(예를 들어, 좌석을 조정하거나, 전용 음악 라이브러리에서의 음악을 재생하거나, 차량내 애플리케이션 허가를 가능하게 함)가 추가로 수행될 수 있다.
도 4는 본 출원의 실시예에 따른 안면 인식 방법의 흐름도이다. 이 방법은 도 1에 도시된 아키텍처에 기초하여 구현될 수 있다. 다음의 안면 인식 디바이스는 도 1에 도시된 시스템 아키텍처에서의 차량내 안면 인식 디바이스일 수 있다. 이 방법은 다음의 단계들을 포함하지만 이로 제한되지는 않는다.
S401. 안면 인식 디바이스는 제1 안면 이미지 및 제2 안면 이미지를 획득한다.
구체적으로, 사용자가 차량에 진입한 후에, 안면 인식 디바이스는 배치된 근적외선 카메라를 이용하여 사용자의 현재 제1 안면 이미지를 수집할 수 있다; 또는 사용자가 개성화된 서비스(예를 들어, 좌석을 조정하거나, 전용 음악 라이브러리에서의 음악을 재생하거나, 차량내 애플리케이션 허가를 가능하게 함)에 대한 신원 검증을 트리거한 후에, 안면 인식 디바이스는 배치된 근적외선 카메라를 이용하여 사용자의 현재 제1 안면 이미지를 수집할 수 있다.
제2 안면 이미지는 저장된 참고 안면 이미지이다. 제2 안면 이미지는 안면 인식 디바이스에 의해 이전에 촬영되고 저장되어 있는 안면 이미지, 안면 인식 디바이스에 의해 수신되고 다른 디바이스(예를 들어, 이동 단말기)에 의해 송신 및 저장되어 있는 안면 이미지, 다른 저장 매체로부터 판독되고 안면 인식 디바이스에 의해 저장되어 있는 안면 이미지 등일 수 있다. 제2 안면 이미지는 인물의 신원과 대응관계를 가질 수 있고, 제2 안면 이미지는 또한 개성화된 서비스와의 대응관계를 가질 수 있다.
S402. 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정한다.
구체적으로, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
S403. 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이하다면, 제1 안면 이미지 및 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징 및 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득한다.
교차-모달 공간은 제1 안면 이미지의 특징 및 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간이다. 전통적으로, 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이한 경우, 제1 안면 이미지 및 제2 안면 이미지는 보통 합성곱 신경망을 이용하여 직접 인식된다. 이러한 방식으로, GPU의 가속이 요구되고, GPU가 없는 디바이스에서는 계산이 느리다. 결과적으로, 실시간 요구가 만족될 수 없다. 또한, 합성곱 신경망의 파라미터가 끊임없이 조정될 필요가 있고, 많은 양의 훈련 샘플들이 요구된다. 따라서, 네트워크의 과적합이 발생하는 경향이 있다. 본 출원에서는, 제1 안면 이미지 및 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하고, 맵핑을 통해 획득되는 제1 희소 안면 특징 및 제2 희소 안면 특징을 비교하여, 안면 인식을 수행한다. 이러한 방식은 합성곱 신경망에도 GPU의 가속에도 의존하지 않고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
S404. 제1 희소 안면 특징 및 제2 희소 안면 특징에 기초하여 제1 안면 이미지에 대해 안면 인식을 수행한다.
옵션으로, 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계는: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하는 단계; 및 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하는 단계; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하는 단계를 포함한다. 유사도 임계값은 실험을 통해 교정될 수 있다.
제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이할 때, 전술한 방식을 참고로 이용하여 상이한 모달리티들에서의 안면 이미지들을 교차-모달 공간에 맵핑하고 그 후 맵핑을 통해 획득된 희소 안면 특징들을 비교하여, 안면 인식 결과를 획득할 수 있다는 점에 유의해야 한다. 예를 들어, 제1 안면 이미지의 모달리티는 근적외선 모달리티일 수 있고, 제2 안면 이미지의 모달리티는 가시 광 모달리티일 수 있다; 제1 안면 이미지의 모달리티는 2차원(two-dimensional, 4D) 모달리티일 수 있고, 제2 안면 이미지의 모달리티는 3차원(three-dimensional, 3D) 모달리티일 수 있다; 제1 안면 이미지의 모달리티는 저정밀도 모달리티일 수 있고, 제2 안면 이미지의 모달리티는 고정밀도 모달리티일 수 있다; 등등. 제1 안면 이미지의 모달리티 및 제2 안면 이미지의 모달리티는 제한되지 않는다.
도 4에 도시된 방법에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
도 5는 본 출원의 실시예에 따른 다른 안면 인식 방법의 흐름도이다. 이 방법은 도 1에 도시된 아키텍처에 기초하여 구현될 수 있다. 다음의 안면 인식 디바이스는 도 1에 도시된 시스템 아키텍처에서의 차량내 안면 인식 디바이스일 수 있다. 이 방법은 다음의 단계들을 포함하지만 이로 제한되지는 않는다.
S501. 안면 인식 디바이스는 제1 안면 이미지 및 제2 안면 이미지를 획득한다.
구체적으로, 사용자가 차량에 진입한 후에, 안면 인식 디바이스는 배치된 근적외선 카메라를 이용하여 사용자의 현재 제1 안면 이미지를 수집할 수 있다; 또는 사용자가 개성화된 서비스(예를 들어, 좌석을 조정하거나, 전용 음악 라이브러리에서의 음악을 재생하거나, 차량내 애플리케이션 허가를 가능하게 함)에 대한 신원 검증을 트리거한 후에, 안면 인식 디바이스는 배치된 근적외선 카메라를 이용하여 사용자의 현재 제1 안면 이미지를 수집할 수 있다.
제2 안면 이미지는 저장된 참고 안면 이미지이다. 제2 안면 이미지는 안면 인식 디바이스에 의해 이전에 촬영되고 저장되어 있는 안면 이미지, 안면 인식 디바이스에 의해 수신되고 다른 디바이스(예를 들어, 이동 단말기)에 의해 송신 및 저장되어 있는 안면 이미지, 다른 저장 매체로부터 판독되고 안면 인식 디바이스에 의해 저장되어 있는 안면 이미지 등일 수 있다. 제2 안면 이미지는 인물의 신원과 대응관계를 가질 수 있고, 제2 안면 이미지는 또한 개성화된 서비스와의 대응관계를 가질 수 있다.
옵션으로, 제1 안면 이미지 및 제2 안면 이미지를 획득한 후에, 안면 인식 디바이스는 제1 안면 이미지 및 제2 안면 이미지를 전처리한다. 전처리는 크기 조정 처리 및 표준화 처리를 포함한다. 전처리를 통해, 처리를 통해 획득된 안면 이미지 데이터는 표준 정규 분포에 부합하는데, 다시 말해서, 평균은 0이고, 표준 편차는 1이다. 표준화 처리 방식은 공식 1-1에 제시될 수 있다:
공식 1-1에서, μ는 안면 이미지의 모달리티에 대응하는 평균이고, σ는 안면 이미지의 모달리티에 대응하는 표준 편차이고, 상이한 모달리티들에 대응하는 μ 및 σ의 값들은 상이하다. 예를 들어, 제1 안면 이미지가 전처리되면, 공식 1-1 내의 μ는 제1 안면 이미지의 모달리티에 대응하는 평균이고, 공식 1-1 내의 σ는 제1 안면 이미지의 모달리티에 대응하는 표준 편차이다. 제1 안면 이미지의 모달리티에 대응하는 평균 및 제1 안면 이미지의 모달리티에 대응하는 표준 편차는 실험을 통해 교정될 수 있고, 제1 안면 이미지의 모달리티에 대응하는 평균 및 제1 안면 이미지의 모달리티에 대응하는 표준 편차는 복수의 제1 안면 이미지의 모달리티들에서의 복수의 안면 이미지 샘플들에 대해 계산 처리를 수행하는 것에 의해 획득될 수 있다. 제2 안면 이미지의 모달리티에 대응하는 평균 및 제2 안면 이미지의 모달리티에 대응하는 표준 편차가 동일한 방식으로 획득될 수 있다. 세부사항들은 여기서 다시 설명되지 않는다.
S502. 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정한다.
구체적으로, 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정하는 특정 구현은 다음과 같다:
(1) 제1 안면 이미지 및 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환한다.
구체적으로, 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 변환하는 방식은 다음의 공식 1-2에서 제시될 수 있다:
공식 1-2에서, R은 안면 이미지에서의 픽셀의 적색 채널의 값을 표현하고, G는 픽셀의 녹색 채널의 값을 표현하고, B는 픽셀의 청색 채널의 값을 표현하고, Y는 픽셀의 루마 성분 값을 표현하고, Cb는 픽셀의 청색-차이 크로마 성분 값을 표현하고, Cr은 픽셀의 적색-차이 크로마 성분 값을 표현한다.
(2) YCbCr 공간에서의 제1 안면 이미지의 값 및 YCbCr 공간에서의 제2 안면 이미지의 값에 기초하여 제1 안면 이미지의 색 계수 값 및 제2 안면 이미지의 색 계수 값을 결정한다.
구체적으로, 안면 이미지의 색 계수 값을 계산하는 방식은 공식 1-3에서 제시될 수 있다:
공식 1-3에서, y는 안면 이미지의 모달 특징을 표현할 수 있는 안면 이미지의 색 계수 값을 표현하고, n은 안면 이미지 내의 픽셀들의 수량을 표현하고, cri는 안면 이미지 내의 i 번째 픽셀의 적색-차이 크로마 성분 값이고, cbi는 안면 이미지 내의 i 번째 픽셀의 청색-차이 크로마 성분 값이다.
(3) 제1 안면 이미지의 색 계수 값 및 제2 안면 이미지의 색 계수 값에 기초하여, 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정한다.
구체적으로, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
안면 이미지의 색 계수 값이 제1 임계값보다 크다면, 안면 이미지는 가시 광 모달리티에서의 이미지이다. 안면 이미지의 색 계수 값이 제1 임계값보다 크기 않다면, 안면 이미지는 근적외선 모달리티에서의 이미지이다. 제1 임계값은 실험에서 교정된 값이다. 예를 들어, 제1 임계값은 0.5일 수 있다.
S503. 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이하다면, 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득한다.
안면 이미지의 특징을 표현하기 위한 희소 표현 방법이 먼저 설명된다. 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나이다.
이하에서는 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하기 위한 방법을 설명한다. 이 방법은 다음의 단계들을 포함하지만 이로 제한되지는 않는다.
(1) 교차-모달 초기화 사전 D(0)를 구성한다.
초기화 사전 D(0) 내의 값은 랜덤하게 생성된 값일 수 있거나, 안면 이미지 샘플로부터 랜덤하게 선택된 샘플에 기초하여 생성된 값일 수 있다. 교차-모달 초기화 사전이 구성된 후에, 교차-모달 초기화 사전 D(0)의 열들이 정규화된다. 구체적으로, 안면 이미지 샘플은 복수의 샘플을 포함한다.
Y는 안면 이미지 샘플의 특징 표현 행렬이다. 구체적으로, 이고, 여기서 YV는 제1 안면 이미지의 모달리티에서의 안면 이미지 샘플의 안면 특징이고, YN은 제2 안면 이미지의 모달리티에서의 안면 이미지 샘플의 안면 특징이다. Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 제1 안면 특징 YV이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 제2 안면 특징 YN이다. 구체적으로, YV 내의 하나의 열 벡터는 제1 안면 이미지의 모달리티에서의 하나의 샘플의 특징을 표현하고, YN 내의 하나의 열 벡터는 제1 안면 이미지의 모달리티에서의 하나의 샘플의 특징을 표현한다.
D는 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 포함하는 행렬이다. 구체적으로, 이고, 여기서 DV는 제1 안면 이미지의 모달리티에 대응하는 제1 사전이고, DN은 제2 안면 이미지의 모달리티에 대응하는 제2 사전이다. D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다. X(k)는 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬이다.
는 안면 이미지 샘플을 교차-모달 공간에 맵핑하는 것에 의해 획득된 희소 안면 특징을 표현하고, 는 안면 이미지 샘플의 특징과 안면 이미지 샘플을 교차-모달 공간에 맵핑하는 것에 의해 획득된 희소 안면 특징 간의 차이를 표현하고, 차이가 작을수록 제1 사전 및 제2 사전의 성능이 더 양호한 것을 지시한다.
구체적으로, 절차 A는 다음과 같다:
1. k=k+1.
2. 매칭 추적(matching pursuit, MP) 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득한다 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이다.
구체적으로, 다음의 공식 1-4는 MP 알고리즘을 이용하여 해를 구하여, 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬 X(k)를 획득할 수 있다. 공식 1-4는 다음과 같다:
공식 1-4에서, yi는 안면 이미지 샘플의 특징 표현 행렬 Y 내의 i 번째 열 벡터이고, 안면 이미지 샘플의 특징 표현 행렬 Y는 총 M개의 열 벡터를 포함한다. 구체적으로, 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬 X(k)는 를 포함하고, 여기서 1<i<M이다. K는 희소도이고, D(k-1)은 (k-1) 번째 업데이트 후에 획득되고 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 포함하는 행렬이다.
n은 희소의 제약 방식을 표현하고, n의 값은 0, 1, 및 2 중 하나이다. 구체적으로, n의 값이 0일 때, 희소의 제약 방식은 0-표준 제약이고, 는 x에서 0이 아닌 요소들의 수량이 희소도 K 이하인 것을 지시한다. n의 값이 1일 때, 희소의 제약 방식은 1-표준 제약이고, 는 x 내의 요소들의 절대 값들의 합이 희소도 K 이하인 것을 지시한다. N의 값이 2일 때, 희소의 제약 방식은 2-표준 제약이고, 는 x 내의 요소들의 제곱들의 합이 희소도 K 이하인 것을 지시한다. 구체적으로, 2-표준 제약의 해를 구하는 방식을 이용하여 안면 이미지의 희소 안면 특징을 찾는 것은 희소에 대한 제한을 느슨하게 할 수 있어, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
3. 최적 방향 방법(method of optimal directions, MOD) 알고리즘을 이용하여 제1 안면 이미지의 모달리티에서의 안면 이미지 샘플의 안면 특징, 제2 안면 이미지의 모달리티에서의 안면 이미지 샘플의 안면 특징, 및 특징 표현 행렬에 기초하여, 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 결정한다.
구체적으로, 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전은 공식 1-5에 따라 결정될 수 있다. 공식 1-5는 다음과 같다:
공식 1-5에서, F는 행렬 놈(matrix norm)이고, X(k-1)은, (k-1) 번째 업데이트 후에 획득되는, 교차-모달 공간에서의, 특징 표현 행렬이다. D(k)는 k 번째 업데이트 후에 획득되고 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 포함하는 행렬이다.
전술한 방법에 따르면, 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전이 동시에 획득될 수 있고, 그에 의해 연산 시간을 감소시키고 사전 획득 속도를 증가시킬 수 있다. 또한, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 할 수 있어, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
S504. 제1 안면 이미지의 모달리티에 대응하는 제1 사전에 기초하여 제1 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 획득한다.
구체적으로, 제1 안면 이미지의 모달리티에 대응하는 제1 사전에 기초하여 제1 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 방식은: 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 페널티 계수에 기초하여, 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 결정하는 것; 및 제1 안면 이미지 및 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 이용하여 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 계산하는 것이다.
제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 페널티 계수에 기초하여, 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 결정하는 계산 방식은 공식 1-6에서 제시될 수 있다:
공식 1-6에서, DV는 제1 안면 이미지의 모달리티에 대응하는 제1 사전이고, Pa는 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬이고, λ는 페널티 계수이고, 희소도와 관련되고, 실험을 통해 교정될 수 있고, I는 단위 행렬이다.
구체적으로, 제1 안면 이미지 및 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 이용하여 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 계산하는 계산 방식은 공식 1-7에서 제시될 수 있다:
공식 1-7에서, Ai는 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징이고, yai는 제1 안면 이미지의 특징 표현 행렬에서의 i 번째 열 벡터이고, Pa는 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬이다.
S505. 제2 안면 이미지의 모달리티에 대응하는 제2 사전에 기초하여 제2 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득한다.
구체적으로, 제2 안면 이미지의 모달리티에 대응하는 제2 사전에 기초하여 제2 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 방식은: 제2 안면 이미지의 모달리티에 대응하는 제2 사전 및 페널티 계수에 기초하여, 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 결정하는 것; 및 제2 안면 이미지 및 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 이용하여 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 계산하는 것이다.
제2 안면 이미지의 모달리티에 대응하는 제2 사전 및 페널티 계수에 기초하여, 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 결정하는 계산 방식은 공식 1-8에서 제시될 수 있다:
공식 1-8에서, DN은 제2 안면 이미지의 모달리티에 대응하는 제2 사전이고, Pb는 제1 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬이고, λ는 페널티 계수이고, 희소도와 관련되고, 실험을 통해 교정될 수 있고, I는 단위 행렬이다.
구체적으로, 제2 안면 이미지 및 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬을 이용하여 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 계산하는 계산 방식은 공식 1-9에서 제시될 수 있다:
공식 1-9에서, Bi는 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징이고, ybi는 제2 안면 이미지의 특징 표현 행렬에서의 i 번째 열 벡터이고, Pb는 제2 안면 이미지의 모달리티에 대응하는 교차-모달 투영 행렬이다.
S506. 제1 희소 안면 특징 및 제2 희소 안면 특징에 기초하여 제1 안면 이미지에 대해 안면 인식을 수행한다.
구체적으로, 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계는: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하는 단계; 및 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하는 단계; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하는 단계를 포함한다. 유사도 임계값은 실험을 통해 교정될 수 있다.
옵션으로, 제1 희소 안면 특징과 제2 희소 안면 특징 사이의 유사도를 계산하는 방식은 제1 희소 안면 특징과 제2 희소 안면 특징 사이의 코사인 거리를 계산하는 것일 수 있다. 제1 희소 안면 특징과 제2 희소 안면 특징 사이의 코사인 거리를 계산하는 방식은 공식 1-10에서 제시될 수 있다:
공식 1-10에서, Ai는 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징이고, Bi는 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징이고, n은 희소 특징의 차원을 표현한다. 제1 희소 안면 특징과 제2 희소 안면 특징 사이의 유사도는 다른 방식으로 계산될 수 있고, 이는 여기서 제한되지 않는다는 점에 유의해야 한다.
도 5에 도시된 방법에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
도 6은 본 출원의 실시예에 따른 안면 인식 디바이스의 개략도이다. 안면 인식 디바이스(60)는 획득 유닛(601), 결정 유닛(602), 맵핑 유닛(603), 및 인식 유닛(604)을 포함한다. 이하에서는 이들 유닛을 설명한다.
획득 유닛(601)은 제1 안면 이미지 및 제2 안면 이미지를 획득하도록 구성된다. 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 제2 안면 이미지는 저장된 참고 안면 이미지이다.
결정 유닛(602)은 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구성된다.
맵핑 유닛(603)은: 제1 안면 이미지의 모달리티가 제2 안면 이미지의 모달리티와 상이할 때, 제1 안면 이미지 및 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징 및 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성된다. 교차-모달 공간은 제1 안면 이미지의 특징 및 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간이다.
인식 유닛(604)은 제1 희소 안면 특징 및 제2 희소 안면 특징에 기초하여 제1 안면 이미지에 대해 안면 인식을 수행하도록 구성된다.
이 디바이스에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이 안면 인식 디바이스는 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
옵션 구현에서, 맵핑 유닛은 획득 서브유닛, 제1 맵핑 서브유닛, 및 제2 맵핑 서브유닛을 포함한다. 상기 획득 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하도록 구성된다. 상기 제1 맵핑 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하도록 구성된다. 상기 제2 맵핑 서브유닛은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성된다.
옵션 구현에서, 상기 획득 서브유닛은: 매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하고 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하도록 구체적으로 구성된다. 이 디바이스에 따르면, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이 동시에 결정될 수 있어, 안면 인식 속도가 증가된다.
옵션 구현에서, 상기 획득 서브유닛은 상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하도록 구체적으로 구성되고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도이다.
옵션 구현에서, 상기 획득 서브유닛은 최적 방향 방법 MOD 알고리즘을 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하도록 구체적으로 구성되고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬이다.
옵션 구현에서, D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다.
옵션 구현에서, 상기 제1 맵핑 서브유닛은: 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하고; 상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하도록 구체적으로 구성된다.
옵션 구현에서, 상기 제2 맵핑 서브유닛은: 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하고; 상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하도록 구체적으로 구성된다.
옵션 구현에서, 상기 결정 유닛은: 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환하고; 상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하고; 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구체적으로 구성된다.
옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
옵션 구현에서, 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나이다.
옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약이다. 이러한 방식으로, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 하여, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
옵션 구현에서, 상기 인식 유닛은: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하고; 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하고; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하도록 구체적으로 구성된다.
도 6에서의 각각의 동작의 구현에 대해서는, 도 4 또는 도 5에 도시된 방법 실시예에서의 대응하는 설명들을 추가로 대응적으로 참조한다.
도 6에 도시된 안면 인식 디바이스에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
도 7은 본 출원의 실시예에 따른 다른 안면 인식 디바이스의 개략도이다. 제1 디바이스(70)는 하나 이상의 프로세서(701), 하나 이상의 입력 디바이스(702), 하나 이상의 출력 디바이스(703), 및 메모리(704)를 포함할 수 있다. 프로세서(701), 입력 디바이스(702), 출력 디바이스(703), 및 메모리(704)는 버스(705)를 이용하여 연결된다. 메모리(702)는 명령어들을 저장하도록 구성된다.
프로세서(701)는 중앙 처리 유닛일 수 있거나, 프로세서는 다른 범용 프로세서, 디지털 신호 프로세서, 주문형 집적 회로, 다른 프로그램 가능 로직 디바이스 등일 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나, 또는 프로세서는 임의의 종래의 프로세서 등일 수 있다.
입력 디바이스(702)는 통신 인터페이스, 데이터 케이블 등을 포함할 수 있고, 출력 디바이스(703)는 디스플레이(예를 들어, LCD), 스피커, 데이터 케이블, 통신 인터페이스 등을 포함할 수 있다.
메모리(704)는 판독 전용 메모리 및 랜덤 액세스 메모리를 포함할 수 있고, 명령어들 및 데이터를 프로세서(701)에 제공할 수 있다. 메모리(704)의 일부는 비휘발성 랜덤 액세스 메모리를 추가로 포함할 수 있다. 예를 들어, 메모리(704)는 디바이스 유형의 정보를 추가로 저장할 수 있다.
프로세서(701)는 메모리(704)에 저장된 명령어들을 실행하여 다음의 동작들을 수행하도록 구성된다:
제1 안면 이미지 및 제2 안면 이미지를 획득하는 단계 - 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지임 -;
상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계;
상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다면, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계 - 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간임 -; 및
상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계.
옵션 구현에서, 프로세서(701)는: 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하고; 제1 안면 이미지의 모달리티에 대응하는 제1 사전에 기초하여 제1 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제1 안면 이미지의 제1 희소 안면 특징을 획득하고; 제2 안면 이미지의 모달리티에 대응하는 제2 사전에 기초하여 제2 안면 이미지를 교차-모달 공간에 맵핑하여, 교차-모달 공간에서의 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구체적으로 구성된다.
옵션 구현에서, 프로세서(701)는: 매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하고 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하도록 구체적으로 구성된다. 이 디바이스에 따르면, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이 동시에 결정될 수 있어, 안면 인식 속도가 증가된다.
옵션 구현에서, 프로세서(701)는 상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하도록 구체적으로 구성되고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도이다.
옵션 구현에서, 프로세서(701)는 최적 방향 방법 MOD 알고리즘을 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하도록 구체적으로 구성되고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬이다.
옵션 구현에서, D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전이다.
옵션 구현에서, 프로세서(701)는: 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하고; 상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하도록 구체적으로 구성된다.
옵션 구현에서, 프로세서(701)는: 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하고; 상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하도록 구체적으로 구성된다.
옵션 구현에서, 프로세서(701)는: 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 개별적으로 변환하고; 상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하고; 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구체적으로 구성된다.
옵션 구현에서, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미한다.
옵션 구현에서, 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나이다.
옵션 구현에서, 상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약이다. 이러한 방식으로, 해를 구하는 프로세스에서, 2-표준 제약을 이용하여 희소에 대한 제한을 느슨하게 하여, 공식 계산에 대한 해석적 해가 존재하고, 복수의 반복적인 해를 구하는 프로세스에 의해 야기되는 비교적 긴 연산 시간의 문제가 회피되고, 사전 획득 속도가 더 증가된다.
옵션 구현에서, 프로세서(701)는: 상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하고; 상기 유사도가 유사도 임계값보다 크다면, 안면 인식 결과가 성공이라고 결정하고; 또는 상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하도록 구체적으로 구성된다.
도 7에서의 각각의 동작의 구현에 대해서는, 도 4 또는 도 5에 도시된 방법 실시예에서의 대응하는 설명들을 추가로 대응적으로 참조한다.
도 7에 도시된 안면 인식 디바이스에 따르면, 상이한 모달리티들에서의 상기 제1 안면 이미지 및 상기 제2 안면 이미지는 희소 표현 방법을 이용하여 동일한 교차-모달 공간에 맵핑될 수 있고, 그 후 상기 제2 안면 이미지의 제2 희소 안면 특징 및 상기 제1 안면 이미지를 맵핑하는 것에 의해 획득된 제1 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식이 수행된다. 이러한 안면 인식 방식은 GPU의 가속에 의존하지 않고, 하드웨어 디바이스에 대한 요구를 감소시키고, 안면 인식 속도를 증가시키고, 안면 인식에 대한 실시간 요구를 만족시킨다. 또한, 상기 희소 표현 방법은 데이터 양에 대해 비교적 낮은 요구를 가지고, 따라서 과적합 문제가 회피될 수 있다.
본 발명의 다른 실시예는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 도 4 또는 도 5에 도시된 실시예에서의 방법이 구현된다.
본 발명의 다른 실시예는 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램이 컴퓨터에 의해 실행될 때, 도 4 또는 도 5에 도시된 실시예에서의 방법이 구현된다.
전술한 설명들은 단지 본 출원의 특정 실시예들에 불과하고, 본 출원의 보호 범위를 제한하도록 의도되는 것은 아니다. 본 출원에 개시된 기술적 범위 내에서 본 기술분야의 통상의 기술자에 의해 용이하게 안출되는 임의의 수정 또는 대체가 본 출원의 보호 범위 내에 속할 것이다. 따라서, 본 출원의 보호 범위는 청구항들의 보호 범위에 따라야 한다.
Claims (28)
- 안면 인식 방법으로서,
제1 안면 이미지 및 제2 안면 이미지를 획득하는 단계 - 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지임 -;
상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계;
상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이할 때, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계 - 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간임 -; 및
상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 제1 안면 이미지 및 상기 제2 안면 이미지를 교차-모달 공간에 개별적으로 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계는:
상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하는 단계;
상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 단계; 및
상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계를 포함하는, 방법. - 제2항에 있어서,
상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하는 단계는:
매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -; 및
최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하는 단계를 포함하는, 방법. - 제3항에 있어서,
매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계는:
상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하는 단계를 포함하고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬에서의 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도인, 방법. - 제3항 또는 제4항에 있어서, 최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하는 단계는:
최적 방향 방법 MOD 알고리즘을 이용하여 공식 의 해를 구하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 획득하는 단계를 포함하고, 여기서 D는 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 포함하는 행렬이고, X는 상기 특징 표현 행렬인, 방법. - 제5항에 있어서,
D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전인, 방법. - 제2항 또는 제3항에 있어서, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하는 단계는:
상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하는 단계; 및
상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하는 단계를 포함하는, 방법. - 제2항 내지 제4항 중 어느 한 항에 있어서,
상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하는 단계는:
상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하는 단계; 및
상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하는 단계를 포함하는, 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계는:
상기 제1 안면 이미지 및 상기 제2 안면 이미지를 각각 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분의 YCbCr 공간으로 변환하는 단계;
상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하는 단계; 및
상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하는 단계를 포함하는, 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미하는, 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나인, 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약인, 방법. - 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하는 단계는:
상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하는 단계; 및
상기 유사도가 유사도 임계값보다 크면, 상기 제1 안면 이미지의 안면 인식 결과가 성공이라고 결정하는 단계; 또는
상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하는 단계를 포함하는, 방법. - 안면 인식 디바이스로서,
획득 유닛, 결정 유닛, 맵핑 유닛, 및 인식 유닛을 포함하고,
상기 획득 유닛은 제1 안면 이미지 및 제2 안면 이미지를 획득하도록 구성되고, 상기 제1 안면 이미지는 카메라에 의해 획득된 현재 안면 이미지이고, 상기 제2 안면 이미지는 저장된 참고 안면 이미지이고;
상기 결정 유닛은 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구성되고;
상기 맵핑 유닛은: 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이할 때, 상기 제1 안면 이미지 및 상기 제2 안면 이미지를 각각 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징 및 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성되고, 상기 교차-모달 공간은 상기 제1 안면 이미지의 특징 및 상기 제2 안면 이미지의 특징 둘 다가 표현될 수 있는 색 공간이고;
상기 인식 유닛은 상기 제1 희소 안면 특징 및 상기 제2 희소 안면 특징에 기초하여 상기 제1 안면 이미지에 대해 안면 인식을 수행하도록 구성되는, 디바이스. - 제14항에 있어서,
상기 맵핑 유닛은 획득 서브유닛, 제1 맵핑 서브유닛, 및 제2 맵핑 서브유닛을 포함하고,
상기 획득 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 제2 사전을 획득하도록 구성되고;
상기 제1 맵핑 서브유닛은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전에 기초하여 상기 제1 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 획득하도록 구성되고;
상기 제2 맵핑 서브유닛은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전에 기초하여 상기 제2 안면 이미지를 상기 교차-모달 공간에 맵핑하여, 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 획득하도록 구성되는, 디바이스. - 제15항에 있어서,
상기 획득 서브유닛은:
매칭 추적 MP 알고리즘을 이용하여 제1 안면 특징, 제2 안면 특징, 및 초기화 사전에 기초하여 상기 교차-모달 공간에서의 안면 이미지 샘플의 특징 표현 행렬을 획득하고 - 상기 제1 안면 특징은 상기 제1 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징이고, 상기 제2 안면 특징은 상기 제2 안면 이미지의 모달리티에서의 상기 안면 이미지 샘플의 안면 특징임 -;
최적 방향 방법 MOD 알고리즘을 이용하여 상기 제1 안면 특징, 상기 제2 안면 특징, 및 상기 특징 표현 행렬에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전을 결정하도록 구체적으로 구성되는, 디바이스. - 제16항에 있어서,
상기 획득 서브유닛은:
상기 매칭 추적 MP 알고리즘을 이용하여 공식 의 해를 구하여, 상기 교차-모달 공간에서의 상기 안면 이미지 샘플의 특징 표현 행렬을 획득하도록 구체적으로 구성되고, 여기서 1<i<M이고, yi는 상기 제1 안면 특징 및 상기 제2 안면 특징을 포함하는 행렬 Y 내의 i 번째 열 벡터이고, 상기 행렬 Y 내의 제1 행 벡터 내지 M 번째 행 벡터는 상기 제1 안면 특징이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터는 상기 제2 안면 특징이고, 는 상기 교차-모달 공간에서의 상기 특징 표현 행렬 i 번째 열 벡터이고, D(0)은 상기 초기화 사전이고, n은 희소의 제약 방식을 표현하고, K는 희소도인, 디바이스. - 제18항에 있어서,
D는 M개의 열 벡터 및 2M개의 행 벡터를 포함하고, 상기 제1 행 벡터 내지 M 번째 행 벡터를 포함하는 행렬은 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전이고, (M+1) 번째 행 벡터 내지 (2M) 번째 행 벡터를 포함하는 행렬은 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전인, 디바이스. - 제15항 또는 제16항에 있어서,
상기 제1 맵핑 서브유닛은:
상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 사전 및 페널티 계수에 기초하여, 상기 제1 안면 이미지의 모달리티에 대응하는 제1 투영 행렬을 결정하고;
상기 제1 안면 이미지 및 상기 제1 안면 이미지의 모달리티에 대응하는 상기 제1 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제1 안면 이미지의 제1 희소 안면 특징을 계산하도록 구체적으로 구성되는, 디바이스. - 제15항 내지 제17항 중 어느 한 항에 있어서,
상기 제2 맵핑 서브유닛은:
상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 사전 및 페널티 계수에 기초하여, 상기 제2 안면 이미지의 모달리티에 대응하는 제2 투영 행렬을 결정하고;
상기 제2 안면 이미지 및 상기 제2 안면 이미지의 모달리티에 대응하는 상기 제2 투영 행렬을 이용하여 상기 교차-모달 공간에서의 상기 제2 안면 이미지의 제2 희소 안면 특징을 계산하도록 구체적으로 구성되는, 디바이스. - 제14항 내지 제18항 중 어느 한 항에 있어서,
상기 결정 유닛은:
상기 제1 안면 이미지 및 상기 제2 안면 이미지를 각각 적색-녹색-청색 RGB 색 공간으로부터 루마 성분, 청색-차이 크로마 성분, 및 적색-차이 크로마 성분으로 이루어진 YCbCr 공간으로 변환하고;
상기 YCbCr 공간에서의 상기 제1 안면 이미지의 값 및 상기 YCbCr 공간에서의 상기 제2 안면 이미지의 값에 기초하여 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값을 결정하고;
상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값에 기초하여, 상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 동일한지를 결정하도록 구체적으로 구성되는, 디바이스. - 제14항 내지 제22항 중 어느 한 항에 있어서,
상기 제1 안면 이미지의 모달리티가 상기 제2 안면 이미지의 모달리티와 상이하다는 것은, 상기 제1 안면 이미지의 색 계수 값 및 상기 제2 안면 이미지의 색 계수 값 중 하나가 제1 임계값보다 크고, 다른 색 계수 값이 상기 제1 임계값보다 크지 않다는 것을 의미하는, 디바이스. - 제14항 내지 제23항 중 어느 한 항에 있어서,
희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 0-표준 제약, 1-표준 제약, 및 2-표준 제약 중 하나인, 디바이스. - 제14항 내지 제23항 중 어느 한 항에 있어서,
희소는 사전으로부터 선택된 열 벡터들의 선형 조합을 이용하여 원래의 안면 이미지 특징을 표현하는 방식이고, 열 벡터를 선택하는 방식은 2-표준 제약인, 디바이스. - 제14항 내지 제25항 중 어느 한 항에 있어서,
상기 인식 유닛은:
상기 제1 희소 안면 특징과 상기 제2 희소 안면 특징 사이의 유사도를 계산하고;
상기 유사도가 유사도 임계값보다 크면, 상기 제1 안면 이미지의 안면 인식 결과가 성공이라고 결정하고; 또는
상기 유사도가 상기 유사도 임계값 이하이면, 상기 제1 안면 이미지의 안면 인식 결과가 실패라고 결정하도록 구체적으로 구성되는, 디바이스. - 프로세서 및 메모리를 포함하는 안면 인식 디바이스로서,
상기 메모리는 프로그램 명령어들을 저장하도록 구성되고, 상기 프로세서는 상기 프로그램 명령어를 호출하여 제1항 내지 제13항 중 어느 한 항에 따른 방법을 수행하도록 구성되는, 안면 인식 디바이스. - 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 저장 매체는 프로그램 명령어들을 저장하고, 상기 프로그램 명령어들이 프로세서 상에서 실행될 때, 상기 프로세서는 제1항 내지 제13항 중 어느 한 항에 따른 방법을 수행할 수 있게 되는, 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811090801.6A CN110909582B (zh) | 2018-09-18 | 2018-09-18 | 一种人脸识别的方法及设备 |
CN201811090801.6 | 2018-09-18 | ||
PCT/CN2019/106216 WO2020057509A1 (zh) | 2018-09-18 | 2019-09-17 | 一种人脸识别的方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210058882A true KR20210058882A (ko) | 2021-05-24 |
KR102592668B1 KR102592668B1 (ko) | 2023-10-24 |
Family
ID=69813650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020217010470A KR102592668B1 (ko) | 2018-09-18 | 2019-09-17 | 안면 인식 방법 및 디바이스 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210201000A1 (ko) |
EP (1) | EP3842990A4 (ko) |
KR (1) | KR102592668B1 (ko) |
CN (1) | CN110909582B (ko) |
WO (1) | WO2020057509A1 (ko) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111919224B (zh) * | 2020-06-30 | 2024-06-14 | 北京小米移动软件有限公司 | 生物特征融合方法及装置、电子设备及存储介质 |
CN112183480B (zh) * | 2020-10-29 | 2024-06-04 | 奥比中光科技集团股份有限公司 | 一种人脸识别方法、装置、终端设备及存储介质 |
CN113544744A (zh) * | 2021-06-01 | 2021-10-22 | 华为技术有限公司 | 一种头部姿态测量方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160034789A1 (en) * | 2014-08-01 | 2016-02-04 | TCL Research America Inc. | System and method for rapid face recognition |
CN108256405A (zh) * | 2016-12-29 | 2018-07-06 | 中国移动通信有限公司研究院 | 一种人脸识别方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7512255B2 (en) * | 2003-08-22 | 2009-03-31 | Board Of Regents, University Of Houston | Multi-modal face recognition |
US8917914B2 (en) * | 2011-04-05 | 2014-12-23 | Alcorn State University | Face recognition system and method using face pattern words and face pattern bytes |
CN102324025B (zh) * | 2011-09-06 | 2013-03-20 | 北京航空航天大学 | 基于高斯肤色模型和特征分析的人脸检测与跟踪方法 |
CN102436645B (zh) * | 2011-11-04 | 2013-08-14 | 西安电子科技大学 | 基于mod字典学习采样的谱聚类图像分割方法 |
CN103136516B (zh) * | 2013-02-08 | 2016-01-20 | 上海交通大学 | 可见光与近红外信息融合的人脸识别方法及系统 |
DE102013219551A1 (de) * | 2013-09-27 | 2015-04-02 | Carl Zeiss Meditec Ag | Verfahren zur Darstellung zweier digitaler Bilder zur visuellen Erkennung und Bewertung von Unterschieden bzw. Veränderungen |
CN107111875B (zh) * | 2014-12-09 | 2021-10-08 | 皇家飞利浦有限公司 | 用于多模态自动配准的反馈 |
CN104700087B (zh) * | 2015-03-23 | 2018-05-04 | 上海交通大学 | 可见光与近红外人脸图像的相互转换方法 |
CN106056647B (zh) * | 2016-05-30 | 2019-01-11 | 南昌大学 | 一种基于卷积稀疏双层迭代学习的磁共振快速成像方法 |
CN106326903A (zh) * | 2016-08-31 | 2017-01-11 | 中国科学院空间应用工程与技术中心 | 一种基于仿射尺度不变特征和稀疏表示的典型目标识别方法 |
-
2018
- 2018-09-18 CN CN201811090801.6A patent/CN110909582B/zh active Active
-
2019
- 2019-09-17 KR KR1020217010470A patent/KR102592668B1/ko active IP Right Grant
- 2019-09-17 WO PCT/CN2019/106216 patent/WO2020057509A1/zh unknown
- 2019-09-17 EP EP19861630.2A patent/EP3842990A4/en active Pending
-
2021
- 2021-03-16 US US17/202,726 patent/US20210201000A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160034789A1 (en) * | 2014-08-01 | 2016-02-04 | TCL Research America Inc. | System and method for rapid face recognition |
CN108256405A (zh) * | 2016-12-29 | 2018-07-06 | 中国移动通信有限公司研究院 | 一种人脸识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2020057509A1 (zh) | 2020-03-26 |
EP3842990A1 (en) | 2021-06-30 |
KR102592668B1 (ko) | 2023-10-24 |
US20210201000A1 (en) | 2021-07-01 |
EP3842990A4 (en) | 2021-11-17 |
CN110909582A (zh) | 2020-03-24 |
CN110909582B (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10726244B2 (en) | Method and apparatus detecting a target | |
US8582836B2 (en) | Face recognition in digital images by applying a selected set of coefficients from a decorrelated local binary pattern matrix | |
CN108427927B (zh) | 目标再识别方法和装置、电子设备、程序和存储介质 | |
EP2580711B1 (en) | Distinguishing live faces from flat surfaces | |
CN108734087B (zh) | 物体自动识别方法以及系统、购物设备和存储介质 | |
JP6137916B2 (ja) | 信号処理装置、信号処理方法、及び、信号処理システム | |
US20210201000A1 (en) | Facial recognition method and device | |
JP6351240B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8103058B2 (en) | Detecting and tracking objects in digital images | |
WO2021137946A1 (en) | Forgery detection of face image | |
CN110991389B (zh) | 判断目标行人在非重叠相机视角中出现的匹配方法 | |
CN111444744A (zh) | 活体检测方法、装置以及存储介质 | |
CN106803055A (zh) | 人脸识别方法和装置 | |
US10853631B2 (en) | Face verification method and apparatus, server and readable storage medium | |
CN113642639A (zh) | 活体检测方法、装置、设备和存储介质 | |
CN111582155A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
CN111382791A (zh) | 深度学习任务处理方法、图像识别任务处理方法和装置 | |
CN107368832A (zh) | 基于图像的目标检测及分类方法 | |
JP6526494B2 (ja) | 情報処理プログラム及び情報処理装置 | |
JP6202938B2 (ja) | 画像認識装置および画像認識方法 | |
JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
CN115880530A (zh) | 对抗攻击的检测方法和系统 | |
CN111382654A (zh) | 图像处理方法和装置以及存储介质 | |
KR102027786B1 (ko) | 다수의 얼굴 이미지를 동시에 사용하는 얼굴 인식 및 인증 방법 및 시스템 | |
KR102513220B1 (ko) | 3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |