KR20210095817A - 얼굴 합성 이미지의 검출방법, 검출장치, 전자기기 및 저장매체 - Google Patents
얼굴 합성 이미지의 검출방법, 검출장치, 전자기기 및 저장매체 Download PDFInfo
- Publication number
- KR20210095817A KR20210095817A KR1020210091448A KR20210091448A KR20210095817A KR 20210095817 A KR20210095817 A KR 20210095817A KR 1020210091448 A KR1020210091448 A KR 1020210091448A KR 20210091448 A KR20210091448 A KR 20210091448A KR 20210095817 A KR20210095817 A KR 20210095817A
- Authority
- KR
- South Korea
- Prior art keywords
- face image
- detection
- face
- image
- feature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 claims abstract description 346
- 239000013598 vector Substances 0.000 claims abstract description 185
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 55
- 239000002131 composite material Substances 0.000 claims description 109
- 238000010606 normalization Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 22
- 238000013135 deep learning Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G06K9/00228—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 출원은 얼굴 합성 이미지의 검출방법, 장치, 전자기기 및 저장매체를 공개하였는바, 인공지능 딥 러닝 및 패턴인식 분야에 속한다. 얼굴 합성 이미지의 검출방법은, 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하여 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻는 단계; 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 각각 제1 완전 연결 계층 및 제2 완전 연결 계층으로 입력하여 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징벡터 및 검출을 위한 얼굴 이미지에 대응하는 제2 특징벡터를 얻는 단계; 제1특징 벡터 및 제 2 특징벡터를 병합하여 병합 후의 특징벡터를 얻는 단계; 및 병합 후의 특징 벡터를 제3완전 연결 계층으로 입력하여 검출을 위한 얼굴 이미지의 검출결과를 얻는 단계; 를 포함한다. 본 출원의 실시예에 따르면, 얼굴 합성 이미지의 검출의 과적합 상황을 완화하고 얼굴 합성 이미지의 검출의 일반화 및 정확성을 제고하며 미지의 합성샘플에 대한 검출효과를 향상시킬 수 있다.
Description
본 출원은 컴퓨터기술 분야에 관한 것이고 구체적으로는 인공 지능, 딥 러닝 및 패턴 인식 분야에 관한 것으로, 특히 얼굴 합성 이미지의 검출방법, 장치, 전자기기 및 저장매체에 관한 것이다.
얼굴 합성 이미지 검출은 한장의 이미지 중 얼굴이 합성얼굴인지 여부를 구분하는 것이고, 얼굴 합성 이미지 검출 모듈은 얼굴 인식 시스템의 기본적인 조성 모듈로서 얼굴 인식 시스템의 안정성을 보장하는데 쓰인다. 딥 러닝 기술에 기초한 얼굴 합성 이미지 검출 알고리즘은 현재 해당 분야의 주되는 방법이다. 현재 얼굴 합성 이미지 검출 알고리즘은 주요하게 뉴럴 네트워크(neural network)의 딥 러닝 방법이다. 딥 러닝을 이용한 얼굴합성 이미지 검출의 주요 방법은 합성곱 신경망(Convolution neural network, CNN)의 합성 이미지 판별, 장단기 메모리 네트워크(Long Short-Term Memory, LSTM)에 기초한 합성 이미지의 판별 등 방법이 있다.
종래기술 중, 얼굴 합성 이미지 검출모델은 합성 이미지와 원래의 이미지의 판별성을 가지는 특징에 대해 습득하기 어려워 소범위의 트레이닝 샘플에서 과적합이 발생하기 쉽고 미지의 합성 샘플에 대한 일반화(generalization)가 제한적이다. 또한 단일 합성곱 신경망을 사용하기때문에 실제 화면（실제 화면） 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성(robustness)이 떨어져 인식효과가 이상적이지 못하다.
본 출원은 얼굴 합성 이미지의 검출 과적합 상황을 완화하고, 얼굴 합성 이미지 검출의 일반화 및 정확성을 높여 미지의 합성샘플에 대한 검출효과를 향상기킬 수 있는 얼굴 합성 이미지의 검출방법, 검출장치, 전자기기 및 저장매체를 제공한다.
본 출원의 일 측면에서, 본 출원에 따르면 얼굴 합성 이미지의 검출방법을 제공하고, 해당 방법은,
검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 상기 합성곱 신경망을 통해 상기 검출을 위한 얼굴 이미지에 대해 특징 추출을 수행하여, 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻는 단계;
상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제1 완전 연결 계층(fully connected layers)에 입력하고, 상기 제1 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻으며, 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제2 완전 연결 계층에 입력하고, 상기 제2 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻는 단계;
상기 제1 특징 벡터 및 상기 제2 특징 벡터를 병합하여 병합 후 특징 벡터를 얻는 단계; 및
상기 병합 후 특징 벡터를 제3 완전 연결 계층에 입력하고, 상기 제3 완전 연결 계층을 통해 상기 병합 후 특징 벡터에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지의 검출 결과를 얻는 단계; 를 포함하고, 상기 검출 결과는 상기 검출을 위한 얼굴 이미지가 합성 얼굴 이미지 또는 비합성 얼굴 이미지인 것을 포함한다.
본 출원의 다른 측면에서, 본 출원에 따르면, 얼굴 합성 이미지의 검출장치를 제공하고, 해당 장치는 특징 추출 모듈, 벡터 컴퓨팅 모듈, 벡터 병합 모듈 및 결과 컴퓨팅 모듈을 포함한다.
상기 특징 추출 모듈은 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 상기 합성곱 신경망을 통해 상기 검출을 위한 얼굴 이미지에 대해 특징추출을 수행하여, 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻는다.
상기 벡터 컴퓨팅 모듈은 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제1 완전 연결 계층에 입력하고, 상기 제1 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징벡터를 얻으며; 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제2 완전 연결 계층에 입력하고, 상기 제2 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지에 대응하는 제2 특징벡터를 얻는다.
상기 벡터 병합 모듈은 상기 제1 특징벡터 및 상기 제2 특징벡터를 병합하여 병합 후의 특징벡터를 얻는다.
상기 결과 컴퓨팅 모듈은 상기 병합 후의 특징 벡터를 제3 완전 연결 계층에 입력하고, 상기 제3 완전 연결 계층을 통해 상기 병합 후의 특징벡터에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지의 검출 결과를 얻는다. 상기 검출 결과는 상기 검출을 위한 얼굴 이미지의 합성 얼굴 이미지 또는 비합성 얼굴 이미지이다.
본 출원의 또 다른 일 측면에서, 본 출원의 실시예에 따르면, 전자기기를 제공하고, 해당 전자기기는 하나 또는 복수의 프로세서; 및 하나 또는 복수의 프로그램을 저장하는 메모리를 포함하고, 상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 본 출원의 실시예에 따른 상기 얼굴 합성 이미지의 검출방법이 구현된다.
본 출원의 또 다른 일 측면에서, 본 출원의 실시예에 따르면, 컴퓨터 프로그램이 저장되어 있는 비일시적 컴퓨터 판독가능 저장매체를 제공하고, 해당 컴퓨터 프로그램의 명령이 실행될 경우, 본 출원의 임의의 실시예에 따른 얼굴 합성 이미지의 검출방법이 구현된다.
본 출원의 또 다른 일 측면에서, 컴퓨터 판독 가능 저장 매체에 저장되는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램의 명령이 실행될 경우, 본 출원의 임의의 실시예에 따른 얼굴 합성 이미지의 검출방법이 구현된다.
본 출원의 기술은 종래기술에서 얼굴 합성 이미지 검출모델이 합성 이미지와 원래 이미지의 판별성을 가지는 특징에 대해 습득하기 어려워 소범위의 트레이닝 샘플에서 과접합이 발생하기 쉽고 미지의 합성샘플에 대한 일반화가 제한적이; 또 단일 합성곱 신경망을 이용하여 실제 화면 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성이 떨어지고 인식효과가 이상적이지 못한 기술과제를 해결하였다. 본 출원이 제공하는 기술안은 얼굴 합성 이미지 검출의 과적합 상황을 완화하고 얼굴 합성 이미지 검출의 일반화 및 정확성을 높여 미지의 합성 샘플에 대한 검출효과를 향상시킬 수 있다.
본 부분에서 설명하는 내용은 본 출원의 실시예의 관건적 또는 중요한 특징들을 특정화하거나 본 출원의 범위를 한정하려는 것이 아님은 당업자에게 있어서 명백한 것이다. 본 출원의 기타 특징들은 아래의 명세서를 통해 용이하게 이해될 것이다.
첨부된 도면은 본 발명의 해결방법을 보다 잘 이해하기 위해 사용되며, 본 발명을 한정하려 하지 않는다. 여기서,
도 1은 본 출원의 실시예1에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 2는 본 출원의 실시예2에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 3은 본 출원의 실시예3에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 4는 본 출원의 실시예4에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 5는 본 출원의 실시예5에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 6은 본 출원의 실시예6에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 7은 본 출원의 실시예에 따른 얼굴 합성 이미지의 검출방법을 구현하기 위한 전자기기의 블록도이다.
도 1은 본 출원의 실시예1에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 2는 본 출원의 실시예2에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 3은 본 출원의 실시예3에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 4는 본 출원의 실시예4에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 5는 본 출원의 실시예5에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 6은 본 출원의 실시예6에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다.
도 7은 본 출원의 실시예에 따른 얼굴 합성 이미지의 검출방법을 구현하기 위한 전자기기의 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 예시적인 실시예를 설명하고, 이해를 돕기 위해 본 발명의 실시예의 각종 세부사항을 포함하지만 단지 예시적인 것으로 간주하여야 한다. 따라서, 당업자는 본 발명의 범위 및 사상으로부터 벗어나지 않고 본 명세서에 기술된 실시예들에 대한 다양한 변경 및 수정이 이루어질 수 있다는 것을 이해할 것이다. 또한, 잘 알려진 기능 및 구조에 대한 설명은 명확성과 간결성을 위해 다음의 설명에서 생략된다.
실시예1
도 1은 본 출원의 실시예 1에 따른 얼굴 합성 이미지 검출방법의 흐름도이다. 해당 방법은 얼굴 합성 이미지 검출장치 또는 전자기기에 의해 실행되고 해당 장치 또는 전자기기는 소프트웨어 및/또는 하드웨어의 방식을 통해 구현될 수 있으며, 해당 장치 또는 전자기기는 임의의 네트워크 통신 기능을 구비하는 스마트 장치 중에 집적할 수 있다. 도 1에 표시된 바와 같이, 얼굴 합성 이미지 검출방법은 단계 S101 내지 단계 S104를 포함한다.
단계 S101에서, 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 합성곱 신경망을 통해 검출을 위한 얼굴 이미지에 대해 특징 추출을 수행하여, 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻는다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 합성곱 신경망은 검출을 위한 얼굴 이미지에 대해 특징 추출을 수행하여, 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻는다. 본 실시예는 Resnet네트워크를 합성곱 신경으로하고, Resnet는 building block 또는 bottleneck로 조성된다. building block구조는 1개의 잔여 브런치(Residual branch) 및 short-cut 브런치를 포함할 수 있고, 잔여 브런치는 1개의 identity mapping(항등사상)이 증가되어 현재의 출력을 직접 바로 아래 계층 네트워크로 전송하고, 동시에 후속 전파과정 중 아래 계층 네트워크의 경사(gradient)를 바로 위의 계층 네트워크로 전달하여 심층 네트워크의 경사 소멸문제를 해결하였다. 종래의 이미지 특징 추출기인 VGGNet 및 GoogleNet에 비하여 Resnet는 더욱 심도있는 네트워크 계층수를 가지므로 나아가 더욱 많은 파라미터가 이미지 특징의 묘사에 쓰이며, 또 특유의 잔여 네트워크 구조는 네트워크 계층수의 오버레이(Overlay)가 가져오는 불리한 영향을 줄일 수 있다(예를 들어, 트레이닝 과정 중 경사가 소멸). 따라서 Resnet는 더욱 우수한 특징 추출 기능을 가진다. 구체적으로, 본 출원의 실시예는 Resnet18을 합성곱 신경망으로 사용할 수 있다.
단계 S102에서, 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 각각 제1 완전 연결 계층 및 제2 완전 연결 계층으로 입력하고, 제1 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻고; 제2 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 컴퓨팅하여, 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻는다.
본 출원의 구제 실시예에 따르면, 전자기기는 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 각각 제1 완전 연결 계층 및 제2 완전 연결 계층으로 입력하고, 제1 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻고; 제2 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 컴퓨팅하여, 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻는다. 일 실시예에 따르면, 전자기기는 제1 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅 시, 먼저 제1 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징을 추출할 수 있다. 구체적으로는, 얼굴 키 포인트는 각각 
, 
, ..., 
이다. 일 실시예에 따르면, 전자기기는 제2 완전 연결 계층을 통해 검출을 위한 얼굴 이미지 특징에 대해 컴퓨팅 시, 먼저 제2 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 검출을 위한 얼굴 이미지의 키 이미지 특징을 추출하고; 다음 검출을 위한 얼굴의 키 이미지 특징에 근거하여 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻는다. 여기서, 제2 특징 벡터는 144 디멘션 벡터이다.
단계 S103에서, 제1 특징 벡터 및 제2 특징 벡터를 병합하여 병합 후 특징벡터를 얻는다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 제1 특징 벡터 및 제2 특징 벡터를 병합하여 병합 후 특징 벡터를 얻을 수 있다. 일 실시예에 따르면, 전자기기는 제1 특징 벡터 및 제2 특징 벡터를 오버레이하여 288디멘션 벡터를 조성하며 이를 병합 후 특징 벡터로 할 수 있다.
단계 S104에서, 병합 후 특징 벡터를 제3 완전 연결 계층에 입력하고 제3 완전 연결 계층을 통해 병합 후 특징 벡터에 대해 컴퓨팅하여 검출을 위한 얼굴 이미지의 검출 결과를 얻는다, 여기서 검출 결과는 검출을 위한 얼굴 이미지가 합성 얼굴 이미지 또는 비합성 얼굴 이미지인 것을 포함한다.
본 출원의 실시예에 따르면, 전자기기는 병합 후의 특징벡터를 제3 완전 연결 계층에 입력하고 제3 완전 연결 계층을 통해 병합 후의 특징벡터에 대해 컴퓨팅하여 검출을 위한 얼굴 이미지의 검출 결과를 얻는다. 여기서 검출 결과는 검출을 위한 얼굴 이미지가 합성 얼굴 이미지 또는 비합성 얼굴 이미지인 것을 포함한다. 일 실시예에 따르면, 전자기기는 제3 완전 연결 계층을 통해 1개의 2디멘션 벡터를 얻고, 해당 2디멘션 벡터를 통해 검출을 위한 얼굴 이미지가 합성 얼굴 이미지 또는 비합성 얼굴 이미지인지를 판단한다.
본 출원의 실시예에 따른 얼굴 합성 이미지 검출방법은 먼저 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 합성곱 신경망을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻으며; 또 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 각각 제1 완전 연결 계층 및 제2 완전 연결 계층에 입력하고, 제1 완전 연결 계층 및 제2 완전 연결 계층을 통해 각각 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터 및 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻으며; 제1 특징 벡터 및 제2 특징 벡터를 병합하여 병합 후 특징 벡터를 얻고; 마지막으로 병합 후의 특징 벡터를 제3 완전 연결 계층에 입력하고, 제3 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 다시 말하면, 본 출원은 제1 완전 연결 계층 및 제2 완전 연결 계층을 통해 각각 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터 및 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻고, 다음 제3 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 그러나 종래의 얼굴 합성 이미지의 검출방법에서는, 주요하게 뉴럴 네트워크의 딥 러닝 방법을 이용하고, 해당 방법은 합성 이미지와 원래의 이미지의 판별성 있는 특징에 대해 습득하기 어려워 소범위의 트레이닝 샘플에서 과적합이 발생하기 쉽고 미지의 합성 샘플에 대한 일반화(generalization)가 제한적이다. 또한 단일 합성곱 신경망을 사용하기에 실제 화면 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성(robustness)이 떨어져 인식효과가 이상적이지 못하다. 본 출원은 얼굴 키 포인트 및 합성 이미지를 연합하여 검출하는 기술수단을 이용하여 종래기술의 얼굴 합성 이미지 검출 모델이 합성 이미지와 원래의 이미지의 판별성 있는 특징을 습득하기 아주 어려워 소범위의 트레이닝 샘플에서 과적합이 발생하기 쉽고 미지의 합성 샘플에 대한 일반화(generalization)가 제한적이며; 또 단일 합성곱 신경망을 사용하기에 실제 화면 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성(robustness)이 떨어져 인식효과가 이상적이지 못한 기술과제를 해결하였다. 본 출원이 제공하는 기술안은 얼굴 합성 이미지 검출의 과적합 상황을 완화하고 얼굴 합성 이미지 검출의 일반화 및 정확성을 높여 미지의 합성 샘플에 대한 검출효과를 향상시킬 수 있다. 또한 본 출원 실시예의 기술안에 따르면 간단하고 간편하며 보급이 용이하고 적용범위가 더 넓은 효과를 달성할 수 있다.
실시예 2
도 2는 본 출원 실시예 2에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다. 도 2에 표시한 바와 같이, 얼굴 합성 이미지의 검출방법은 단계 S201 내지 단계 S207을 포함한다.
단계 S201에서, 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 합성곱 신경망을 통해 검출을 위한 얼굴 이미지에 대해 특징 추출을 수행하여, 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻는다.
단계 S202에서, 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제1 완전 연결 계층으로 입력하고, 제1 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여, 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징을 추출한다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 각각 제1 완전 연결 계층에 입력하고, 제1 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징을 추출하며; 여기서 얼굴 키 포인트는 72개이고; 상세하게는 얼굴 키 포인트는 각각 
, 
, ..., 
이다.
단계 S203에서, 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징에 근거하여, 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터 얻고; 여기서 제1 특징 벡터는 144디멘션 벡터이다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징에 근거하여, 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻고; 여기서, 제1 특징 벡터는 144디멘션 벡터이다. 상세하게는 각 얼굴 키 포인트는 1개의 2디멘션의 이미지 특징에 대응한다.
단계 S204에서, 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제2 완전 연결 계층에 입력하고, 제2 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 검출을 위한 얼굴 이미지의 키 이미지 특징을 추출한다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제2 완전 연결 계층에 입력하고, 제2 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여, 검출을 위한 얼굴 이미지의 관전 이미지 특징을 추출할 수 있다. 상세하게는 검출을 위한 얼굴 이미지의 오리지널 이미지 특징이 512디멘션 벡터라고 가정하면, 본 단계에서 전자기기는 해당 벡터 중 하나의 144디멘션 벡터를 생성하여 검출을 위한 얼굴 이미지의 키 이미지 특징으로 할 수 있다.
단계 S205에서, 검출을 위한 얼굴의 키 이미지 특징에 근거하여 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻고; 여기서 제2 특징 벡터는 144디멘션 벡터이다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 검출을 위한 얼굴의 키 이미지 특징에 근거하여, 검출을 위한 얼굴 이미지에 대응하는 제2특징 벡터를 얻고; 여기서, 제2 특징 벡터는 144디멘션 벡터이다. 상세하게는 검출을 위한 얼굴 이미지의 키 이미지 특징은 144디멘션 벡터이고, 본 단계에서 전자기기는 해당 벡터를 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터로 결정할 수 있다.
단계 S206에서, 제1 특징벡터 및 제2 특징벡터를 병합하여 병합 후 특징벡터를 얻는다.
단계 S207에서, 병합 후의 특징벡터를 제3 완전 연결 계층으로 입력하고 제3 완전 연결 계층을 통해 병합 후의 특징벡터에 대해 컴퓨팅하여, 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 여기서 검출결과는 검출을 위한 얼굴 이미지가 합성 얼굴 이미지 또는 비합성 얼굴 이미지인 것을 포함한다.
본 출원의 실시예에 따른 얼굴 합성 이미지의 검출방법은 먼저 검출을 위한 이미지를 미리 트레이닝된 합성곱 신경망으로 입력하고, 합성곱 신경망을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻는고, 다음으로 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 각각 제1 완전 연결 계층 및 제2 완전 연결 계층으로 입력하고, 제1 완전 연결 계층 및 제2 완전 연결 계층을 통해 각각 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징벡터 및 검출을 위한 이미지에 대응하는 제2특징벡터를 얻으며, 제1 특징벡터 및 제2특징벡터를 병합하여 병합 후의 특징벡터를 얻고; 마지막으로 병합 후의 특징벡터를 제3완전 연결 계층으로 입력하여 제3 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 다시말하면, 본 출원은 제1 완전 연결 계층 및 제2 완전 연결 계층을 통해 각각 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터 및 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻고, 다음 제3 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 그러나 종래의 얼굴 합성 이미지의 검출방법에서는, 주요하게 뉴럴 네트워크의 딥 러닝 방법을 이용하고, 해당 방법은 합성 이미지와 원래의 이미지의 판별성 있는 특징에 대해 습득하기 어려워 소범위의 트레이닝 샘플에서 과적합이 발생하기 쉽고 미지의 합성 샘플에 대한 일반화(generalization)가 제한적이다. 또한 단일 합성곱 신경망을 사용하기에 실제 화면 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성(robustness)이 떨어져 인식효과가 이상적이지 못하다. 본 출원은 얼굴 키 포인트 및 합성 이미지를 연합하여 검출하는 기술수단을 이용하여 종래기술의 얼굴 합성 이미지 검출 모델이 합성 이미지와 원래의 이미지의 판별성 있는 특징을 습득하기 아주 어려워 소범위의 트레이닝 샘플에서 과적합이 발생하기 쉽고 미지의 합성 샘플에 대한 일반화(generalization)가 제한적이며; 또 단일 합성곱 신경망을 사용하기에 실제 화면 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성(robustness)이 떨어져 인식효과가 이상적이지 못한 기술과제를 해결하였다. 본 출원이 제공하는 기술안은 얼굴 합성 이미지 검출의 과적합 상황을 완화하고 얼굴 합성 이미지 검출의 일반화 및 정확성을 높여 미지의 합성 샘플에 대한 검출효과를 향상시킬 수 있다. 또한 본 출원 실시예의 기술안에 따르면 간단하고 간편하며 보급이 용이하고 적용범위가 더 넓은 효과를 달성할 수 있다.
실시예 3
도 3은 본 출원의 실시예에 따른 얼굴 합성 이미지의 검출방법의 흐름도이다. 도 3에 표시한 바와 같이, 얼굴 합성 이미지의 검출방법은 단계 S301 내지 단계 S308을 포함한다.
단계 S301에서, 검출을 위한 얼굴 이미지를 미리 트레이닝된 얼굴 검출모델로 입력하고 얼굴 검출모델을 통해 검출을 위한 얼굴 이미지에 대해 식별하여 검출을 위한 얼굴 이미지의 얼굴 검출프레임을 얻는다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 검출을 위한 얼굴 이미지를 미리 트레이닝된 얼굴 검출모델로 입력하고, 얼굴 검출모델을 통해 검출을 위한 얼굴 이미지에 대해 식별하여, 검출을 위한 얼굴 이미지의 얼굴 검출프레임을 얻을 수 있다. 상세하게는 전자기기는 먼저 한장의 얼굴을 포함하는 적녹청(RGB) 이미지를 얻고, 해당 RGB이미지를 미리 트레이닝된 얼굴 검출모델로 입력하며, 미리 트레이닝된 얼굴 검출모델을 통해 해당 RGB 이미지에 대해 식별하여, RGB 이미지의 얼굴 검출프레임을 얻을 수 있다. 본 실시예에서 얼굴 검출모델은 기존 얼굴 검출모델일 수 있고, 해당 얼굴 검출모델은 얼굴의 위치를 검출해 낼 수 있다.
단계 S302에서, 검출을 위한 얼굴 이미지의 얼굴 검출프레임을 미리 설정한 배수로 확대하여 확대 후의 얼굴 검출프레임을 얻고, 확대 후의 얼굴 검출 프레임 중 검출을 위한 얼굴 이미지의 얼굴에 대해 캡쳐하여, 켭쳐 후의 얼굴 이미지를 얻으며, 캡쳐 후의 얼굴 이미지를 미리 설정한 사이즈로 조절하여 조절 후의 얼굴 이미지를 얻는다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 검출을 위한 얼굴 이미지의 얼굴 검출프레임을 미리 설정한 배수로 확대하여 확대 후의 얼굴 검출프레임을 얻고, 확대 후의 얼굴 검출프레임 중 검출을 위한 얼굴 이미지의 얼굴에 대해 캡쳐하여 캡쳐 후의 얼굴 이미지를 얻으며, 캡쳐 후의 얼굴 이미지를 미리 설정한 사이즈로 조절하여 조절 후의 얼굴 이미지를 얻는다. 상세하게는 전자기기는 검출을 위한 얼굴 이미지의 얼굴 검출프레임을 1.5배로 확대하고, 다음 검출을 위한 얼굴 이미지를 동일한 사이즈 
로 조절한다.
단계 S303에서, 조절 후의 얼굴 이미지에 기초하여 각 픽셀 도트의 픽셀 값을 컴퓨팅한다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 조절 후의 얼굴 이미지에 기초하여 각 픽셀 도트의 픽셀 값을 컴퓨팅할 수 있다. 상세하게는 전자기기는 조절 후의 얼굴 이미지를 픽셀 컴퓨팅 모델로 입력하고 픽셀 컴퓨팅 모델을 통해 각 픽셀 도트의 픽셀 값을 컴퓨팅해 낼 수 있다.
단계 S304에서, 미리 설정한 방식에 따라 각 픽셀 도트의 픽셀 값에 대해 정규화 처리하여 정규화 처리 후의 얼굴 이미지를 얻고, 정규화 처리 후의 얼굴 이미지 중 각 픽셀 도트의 픽셀 값은 미리 설정한 범위 내에 있다.
본 출원의 구체적인 실시예에 따르면, 전자기기는 미리 설정한 방식에 따라 각 픽셀 도트의 픽셀 값에 대해 정규화 처리하여 정규화 처리 후의 얼굴 이미지를 얻을 수 있고; 정규화 처리 후의 얼굴 이미지 중의 각 픽셀 도트의 픽셀 값은 미리 설정한 범위 내에 있다. 상세하게 전자기기는 각 픽셀 도트의 픽셀 값에서 128을 감하고 256으로 나누어 각 픽셀 도트의 픽셀 값이 [－0.5, 0.5]사이에 있게 한다. 바람직하게 전자기기는 정규화 처리 후의 얼굴 이미지에 대해 무작위로 데이터 증강 처리를 진행할 수 있다.
단계 S305에서, 정규화 처리 후의 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고 합성곱 신경망을 통해 정규화 후의 얼굴 이미지에 대해 특징 추출을 수행하여, 정규화 후의 얼굴 이미지의 오리지널 이미지 특징을 얻는다.
단계 S306에 따르면, 정규화 후의 얼굴 이미지의 오리지널 이미지 특징은 각각 제1 완전 연결 계층 및 제2 완전 연결 계층에 입력하고, 제1 완전 연결 계층을 통해 정규화 후의 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 정규화 후의 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻고; 제2 완전 연결 계층을 통해 정규화 후의 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 정규화 후의 얼굴 이미지 특징에 대응하는 제2 특징 벡터를 얻는다.
단계 S307에서, 제1 특징 벡터 및 제2 특징 벡터를 병합하여 병합 후의 특징 벡터를 얻는다.
단계 S308에서, 병합 후의 특징 벡터를 제3 완전 연결 계층에 입력하고, 제3 완전 연결 계층을 통해 병합 후의 특징 벡터에 대해 컴퓨팅하여, 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 여기서, 검출결과는 검출을 위한 얼굴 이미지의 합성 얼굴 이미지 또는 비합성 얼굴 이미지를 포함한다.
설명해야 할 바는, 본 실시예에 따른 단계S305 내지 단계 S308에서의 정규화 후의 얼굴 이미지에 대한 처리과정은 실시예 1에 따른 단계 S101 내지 단계 S104에서의 검출을 위한 얼굴 이미지의 처리과정과 동일하므로 이에 대한 설명은 생략한다.
바람직하게, 본 출원의 구체적인 실시예에 따르면, 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하기 전에 먼저 제1 완전 연결 계층에 대해 트레이닝 할 수도 있다. 상세하게는 전자기기는 미리 획득된 제1 얼굴 이미지의 오리지널 이미지 특징을 현재의 오리지널 이미지 특징으로 하고; 만약 제1 완전 연결 계층이 그에 대응하는 수렴조건을 만족하지 않을 경우, 현재의 오리지널 이미지 특징을 제1 완전 연결 계층으로 입력하고 현재의 오리지널 이미지 특징을 이용하여 제1완전 연결 계층에 대해 트레이닝하며; 현재의 얼굴 이미지의 다음 얼굴 이미지를 현재의 얼굴 이미지로 하고, 제1 완전 연결 계층이 상기 대응하는 수렴조건을 만족할 때까지 상기 조작을 반복한다.
바람직하게는, 본 출원의 구체적인 실시예에 따르면, 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하기 전 제3 완전 연결 계층에 대해 트레이닝을 할 수도 있다. 상세하게는 전자기기는 미리 획득된 제1 얼굴 이미지의 병합 후의 특징벡터를 현재의 특징벡터로 할 수 있고; 만약 제3 완전 연결 계층이 그에 대응하는 수렴조건을 만족하지 않을 경우, 현재의 특징벡터를 제3 완전 연결 계층으로 입력하고 현재의 특징벡터를 이용하여 제3 완전 연결 계층에 대해 트레이닝하며; 현재의 얼굴 이미지의 다음 얼굴 이미지를 현재의 얼굴 이미지로 하고, 제3 완전 연결 계층이 그에 대응하는 수렴조건을 만족 할 때까지 상기 조작을 반복한다.
4는 본 출원 실시예 3에 따른 얼굴 합성 이미지 검출시스템의 구조도이다. 도 4에 표시한 바와 같이, 얼굴 합성 이미지 검출시스템은 얼굴 검출 모듈, 이미지 사전 처리 모듈, 합성곱 신경망, 제1 완전 연결 계층, 제2 완전 연결 계층 및 제3 완전 연결 계층을 포함하고; 여기서, 얼굴 검출 모듈은 검출을 위한 얼굴 이미지 중의 얼굴에 대해 검출을 진행하여 검출을 위한 얼굴 이미지 중의 얼굴 검출프레임을 얻는다. 여기서, 검출모델은 기존 얼굴 검출 모델이고, 얼굴의 위치를 검출해 낼 수 있다. 이미지 사전 처리 모듈은 검출을 위한 얼굴 이미지 중의 얼굴 검출프레임에 대해 사전처리를 한다. 상세하게는 얼굴 검출프레임을 1.5배 확대하고, 확대 후의 얼굴 검출프레임 중에서 검출을 위한 얼굴 이미지 중의 얼굴에 대해 캡쳐하여 캡쳐후의 얼굴 이미지를 얻고; 캡쳐 후의 얼굴 이미지를 동일 사이즈 
로 조절하여 조절 후의 얼굴 이미지를 얻는다. 전자기기는 조절 후의 얼굴 이미지 중의 각 픽셀 값에서 128을 감하고 256으로 나누어 각 픽셀 도트의 픽셀 값이 [－0.5, 0.5]사이에 있게 한다. 바람직하게 전자기기는 이미지 사전 처리 모듈을 통해 정규화 처리 후의 얼굴 이미지에 대해 무작위로 데이터 증강 처리를 진행할 수 있다. 합성곱 신경망은 ResNet18네트워크를 이용하여 검출을 위한 얼굴 이미지에 대해 특징 추출을 진행하고, 최후 계층 특징 이미지에서 전역평균풀링(global average pooling) 조작 후 2개 브런치의 완전 연결 계층 컴퓨팅을 하며, 1개의 완전 연결 계층 Fc1(제1 완전 연결 계층)을 통해 얼굴의 72개 관전포인트에 대응하는 144디멘션 벡터를 얻는다. 다른 하나의 완전 연결 계층Fc2(제2 완전 연결 계층)를 통해 검출을 위한 얼굴 이미지에 대응하는 144디멘션 벡터를 얻고, 다시Fc1 및 Fc2가 출력한 2개의 144디멘션 벡터를 병합하여 288디멘션 벡터를 얻으며, 마지막으로 완전 연결 계층Fc3(제3 완전 연결 계층)을 더 연결하여 1개의 2디멘션 벡터를 얻어 검출을 위한 얼굴이 합성 얼굴 이미지 또는 비합성 얼굴 이미지인지를 판단한다.
얼굴 합성 이미지의 검출은 얼굴 관련 분야의 기초기술의 하나로서, 보안, 근태, 금융, 통금 등 다양한 환경에 응용되고 있고 현재의 많은 업무 중 널리 이용되고 있다. 본 출원의 기술안에 따르면 얼굴 합성 이미지 다수가 키 포인트 맵(
)에 기초한 사전정보(theoretical prior information )를 이용하여, 키 포인트 및 합성 이미지 검출에 대해 연합 트레이닝하여 합성 이미지 검출에 더욱 많은 모니터링 정보를 제공할 수 있고, 합성 이미지 검출의 과적합 상황을 완화하고, 동시에 모델이 얼굴 합성 이미지 키 포인트 구역의 밀착 흔적에 더욱 주의하도록 하여 원래 이미지와 합성 이미지 중의 더욱 판별성 있는 특징에 대해 뷴류하게 한다. 따라서 본 출원은 얼굴 생체 검출 기술의 기능을 제고하였고, 얼굴 생체 검술 기술을 기초로 하는 많은 어플들이 효과 및 사용자 체험을 향상시키도록 도와주며 업무프로젝트의 더 큰 확충에 유리하다.
본 출원의 실시예에 따르면, 얼굴 합성 이미지 검출방법은 먼저 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 합성곱 신경망을 통해 검출을 위한 얼굴 이미지의 오리지널 얼굴 이미지 특징을 얻고, 다음 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 각각 제1 완전 연결 계층 및 제2 완전 연결 계층으로 입력하고, 제1 완전 연결 계층 및 제2 완전 연결 계층을 통해 각각 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징벡터 및 검출을 위한 얼굴 이미지에 대응하는 제2 특징벡터를 얻고, 제1특징벡터 및 제2 특징벡터를 병합하여 병합 후의 특징벡터를 얻으며, 마지막으로 병합 후의 특징벡터를 제3 완전 연결 계층으로 입력하고 제3 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 다시말하면, 본 출원은 제1 완전 연결 계층 및 제2 완전 연결 계층을 통해 각각 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터 및 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻고, 다음 제3 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 그러나 종래의 얼굴 합성 이미지의 검출방법에서는, 주요하게 뉴럴 네트워크의 딥 러닝 방법을 이용하고, 해당 방법은 합성 이미지와 원래의 이미지의 판별성 있는 특징에 대해 습득하기 어려워 소범위의 트레이닝 샘플에서 과적합이 발생하기 쉽고 미지의 합성 샘플에 대한 일반화(generalization)가 제한적이다. 또한 단일 합성곱 신경망을 사용하기에 실제 화면 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성(robustness)이 떨어져 인식효과가 이상적이지 못하다. 본 출원은 얼굴 키 포인트 및 합성 이미지를 연합하여 검출하는 기술수단을 이용하여 종래기술의 얼굴 합성 이미지 검출 모델이 합성 이미지와 원래의 이미지의 판별성 있는 특징을 습득하기 아주 어려워 소범위의 트레이닝 샘플에서 과적합이 발생하기 쉽고 미지의 합성 샘플에 대한 일반화(generalization)가 제한적이며; 또 단일 합성곱 신경망을 사용하기에 실제 화면 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성(robustness)이 떨어져 인식효과가 이상적이지 못한 기술과제를 해결하였다. 본 출원이 제공하는 기술안은 얼굴 합성 이미지 검출의 과적합 상황을 완화하고 얼굴 합성 이미지 검출의 일반화 및 정확성을 높여 미지의 합성 샘플에 대한 검출효과를 향상시킬 수 있다. 또한 본 출원 실시예의 기술안에 따르면 간단하고 간편하며 보급이 용이하고 적용범위가 더 넓은 효과를 달성할 수 있다.
실시예 4
도 5는 본 출원의 실시예 4에 따른 얼굴 합성 이미지의 검출장치의 제1구조 예시도이다. 도 5에 표시한 바와 같이, 상기 장치(500)는 특징 추출 모듈(501), 벡터 컴퓨팅 모듈(502), 벡터 병합 모듈(503) 및 결과 컴퓨팅 모듈(504)을 포함한다.
상기 특징 추출 모듈(501)은 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 상기 합성곱 신경망을 통해 상기 검출을 위한 얼굴 이미지에 대해 특징 추출하여, 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻는다.
상기 벡터 컴퓨팅 모듈(502)은 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제1 완전 연결 계층으로 입력하고 상기 제1 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻으며, 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제2 완전 연결 계층으로 입력하고 상기 제2 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여 상기 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻는다.
상기 벡터 병합 모듈(503)은 상기 제1 특징 벡터 및 상기 제2 특징 벡터를 병합하여 병합 후의 특징 벡터를 얻는다.
상기 결과 컴퓨팅 모듈(504)은 상기 병합 후의 특징 벡터를 상기 제3 완전 연결 계층으로 입력하고, 상기 제3 완전 연결 계층은 상기 병합 후의 특징 벡터에 대해 컴퓨팅하여 상기 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 여기서, 상기 검출결과는 상기 검출을 위한 얼굴 이미지가 합성 얼굴 이미지 또는 비합성 얼굴 이미지인 것을 포함한다.
상기 벡터 컴퓨팅 모듈(502)은 상기 제1 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징을 추출하고, 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징에 근거하여 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻는다. 여기서 상기 제1 특징 벡터는 144디멘션 벡터이다.
진일보로, 상기 벡터 컴퓨팅 모듈(502)은 상기 제2 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 상기 검출을 위한 얼굴 이미지의 키 이미지 특징을 추출하고; 상기 검출을 위한 얼굴의 키 이미지 특징에 근거하여 상기 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻으며, 상기 제2 특징 벡터는 144디멘션 벡터이다.
도 6은 본 출원의 실시예 4에 따른 얼굴 합성 이미지의 검출장치의 제2구조 예시도이다. 도 6에 표시한 바와 같이, 상기 장치(500)는 이미지 사전 처리 모듈(505)을 더 포함한다. 이미지 사전 처리 모듈(505)은 검출을 위한 얼굴 이미지를 미리 트레이닝된 얼굴 검출모델로 입력하고, 상기 얼굴 검출모델을 통해 상기 검출을 위한 얼굴 이미지에 대해 인식하여 상기 검출을 위한 얼굴 이미지의 검출프레임을 얻고, 상기 검출을 위한 얼굴 이미지의 얼굴 검출프레임을 미리 설정한 배수로 확대하여 확대 후의 얼굴 검출프레임을 얻으며, 상기 확대 후의 얼굴 검출프레임에서 상기 검출을 위한 얼굴 이미지 중의 얼굴에 대해 캡쳐하여 캡쳐 후의 얼굴 이미지를 얻고, 상기 캡쳐 후의 얼굴 이미지를 미리 설정한 사이즈로 조절하여 조절 후의 얼굴 이미지를 얻으며, 상기 조절 후의 얼굴 이미지를 상기 미리 트레이닝된 합성곱 신경망에 입력하는 조작을 수행한다.
상기 이미지 사전 처리 모듈(505)은 상기 조절 후의 얼굴 이미지에 기초하여 각 픽셀 도트의 픽셀 값을 산출하고, 미리 설정한 방식에 따라 각 픽셀 도트의 픽셀 값에 대해 정규화 처리를 수행하여 정규화 처리 후의 얼굴 이미지를 얻는다. 상기 정규화 처리 후의 얼굴 이미지 중의 각 픽셀 도트의 픽셀 값이 미리 설정한 범위 내에 있도록 한다. 상기 정규화 처리 후의 얼굴 이미지를 상기 미리 트레이닝된 합성곱 신경망에 입력하는 조작을 수행한다.
상기 장치는 제1 트레이닝 모듈(506)을 더 포함한다. 제1 트레이닝 모듈(506)(미도시)은 미리 획득된 제1 얼굴 이미지의 오리지널 이미지 특징을 현재의 오리지널 이미지 특징으로 하고; 만약 상기 제1 완전 연결 계층이 그와 대응하는 수렴조건을 만족하지 않을 경우, 상기 현재의 오리지널 이미지 특징을 상기 제1 완전 연결 계층으로 입력하여 상기 현재의 오리지널 이미지 특징을 이용하여 상기 제1 완전 연결 계층에 대해 트레이닝하며; 상기 현재의 얼굴 이미지의 다음 얼굴 이미지를 상기 현재의 얼굴 이미지로 하고 상기 제1 완전 연결 계층이 그와 대응하는 수렴조건을 만족할 때까지 상기 조작을 반복한다.
상기 장치는 제2 트레이닝 모듈(507)을 더 포함한다. 제2 트레이닝 모듈(507)(미도시)은 미리 획득된 제1 얼굴 이미지의 특징벡터를 현재의 특징벡터로 하고; 만약 상기 제3 완전 연결 계층이 그와 대응하는 수렴조건을 만족하지 않을 경우, 상기 현재의 특징벡터를 상기 제3완전 연결 계층으로 입력하여 상기 현재의 특징벡터를 이용하여 상기 제3 완전 연결 계층에 대해 트레이닝하며; 상기 현재의 얼굴 이미지의 다음 얼굴 이미지를 상기 현재의 얼굴 이미지로 하고 상기 제3 완전 연결 계층이 그와 대응하는 수렴조건을 만족할 때까지 상기 조작을 반복한다.
상기 얼굴 합성 이미지 검출장치는 본 출원의 임의의 실시예에 따른 방법을 수행할 수 있고 해당 방법을 수행하는데 대응하는 기능모듈 및 유익한 효과를 구비한다. 본 실시예에서 설명하지 않은 기술의 세부사항은 본 출원의 임의의 실시예에 따른 얼굴 합성 이미지 검출방법을 참조할 수 있다.
실시예 5
본 출원의 실시예에 따르면, 본 출원은 전자기기 및 판독가능한 저장매체를 제공한다.
도 7은 본 출원의 실시예에 따른 얼굴 합성 이미지 검출방법의 전자기기의 블록도이다. 전자기기는 여러가지 형식의 디지털 컴퓨터를 가리키는데, 예를 들어, 랩탑 컴퓨터, 데스크탑 컴퓨터, 워크스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터, 및 다른 적절한 컴퓨터일 수 있다. 전자기기는 또한 개인 디지털 프로세싱, 셀룰러 전화기, 스마트 폰, 웨어러블 장치, 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본 명세서에 나타낸 부품, 그들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것이며, 본 명세서에 설명 및/또는 청구된 본 발명의 구현을 한정하도록 의도되지 않는다.
도 7에 표시한 바와 같이, 상기 전자기기는 하나 또는 복수의 프로세서(7011), 메모리(7022), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부품을 연결하기 위한 인터페이스를 포함한다. 각 부품은 상이한 버스를 이용하여 상호 연결되고, 공통 마더보드 상에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수도 있다. 프로세서는 전자기기 내에서 실행되는 명령을 프로세싱할 수 있고, 외부 입력/출력 장치(예를 들어, 인터페이스에 결합된 디스플레이 장치) 상에 GUI의 그래픽 정보를 디스플레이하기 위해 메모리 또는 메모리 상에 저장된 명령을 포함한다. 다른 실시방식에서, 필요에 따라 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 또한, 복수의 전자기기를 연결할 수 있고, 각 기기는 필요한 동작의 일부를 제공할 수 있다 (예를 들어, 서버 어레이, 한 그룹의 블레이드 서버의 세트 또는 멀티 프로세서 시스템). 도 7에서는 하나의 프로세서(701)를 예로 든다.
메모리(702)는 본 발명에서 제공하는 비일시적 컴퓨터 판독가능 저장 매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 실행가능한 명령이 저장되고, 상기 적어도 하나의 프로세서가 본 발명에서 제공하는 얼굴 합성 이미지의 검출방법을 수행하게 한다. 본 발명의 비일시적 컴퓨터 판독가능 저장 매체에는 컴퓨터가 본 발명에서 제공하는 얼굴 합성 이미지의 검출방법을 실행하게 하기 위한 컴퓨터 명령이 저장된다.
메모리(702)는 비일시적 컴퓨터 판독가능 저장 매체로서, 본 발명의 실시예에 따른 얼굴 합성 이미지의 검출방법에 대응하는 프로그램 명령/모듈(예를 들어, 도 5에 도시된 특징 추출 모듈(501), 벡터 컴퓨팅 모듈(502), 벡터 병합 모듈(503) 및 결과 컴퓨팅 모듈(504)와 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(701)는 메모리(702)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 애플리케이션 및 데이터 처리를 실행하며, 즉 전술한 방법의 실시예에서 제공하는 얼굴 합성 이미지의 검출방법을 구현한다.
상기 메모리(702)는 또 프로그램 저장영역 및 데이터 저장영역을 포함할 수 있으며, 여기서, 프로그램 저장영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고, 데이터 저장영역은 얼굴 합성 이미지의 검출방법에 따른 전자기기의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 다른 비일시적 솔리드 스테이트 저장 장치와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(702)는 선택적으로 프로세서(701)에 대해 원격으로 설치된 메모리를 포함할 수 있고, 당해 원격 메모리는 네트워크를 통해 얼굴 합성 이미지 검출방법의 전자기기에 연결될 수 있다. 이러한 네트워크의 예는 인터넷, 인트라넷, 로컬 영역 네트워크, 이동 통신 네트워크, 및 이들의 조합을 포함하지만, 이에 한정되지 않는다.
얼굴 합성 이미지 검출방법의 전자기기는 입력장치(703) 및 출력장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력장치(703), 및 출력장치(704)는 버스 또는 다른 수단에 의해 연결될 수 있으며, 도 7에서 버스를 통한 연결이 예시되어 있다.
입력장치(703)는 입력된 숫자 또는 문자 정보를 수신할 수 있을 뿐만 아니라, 얼굴 합성 이미지 검출방법의 전자기기의 사용자 설정 및 기능제어에 관련된 키 신호 입력을 생성할 수 있으며, 예를 들어, 터치 스크린, 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등과 같은 입력장치이다. 출력장치(704)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED), 및 햅틱 피드백 장치(예를 들어, 진동 모터)등을 포함할 수 있다. 당해 디스플레이 장치는 액정표시장치(LCD), 발광 다이오드(LED) 디스플레이, 및 플라즈마 디스플레이를 포함할 수 있지만, 이에 한정되지 않는다. 일부 실시방식에서, 디스플레이 장치는 터치 스크린일 수 있다.
본 출원의 실시예에 따르면, 컴퓨터 판독 가능 저장 매체에 저장되는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램의 명령이 실행될 경우, 본 출원의 임의의 실시예의 얼굴 합성 이미지의 검출방법이 수행된다.
본 명세서에 기술된 시스템 및 기술의 다양한 실시방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용ASIC(특정 용도 지향 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 구현될 수 있다. 이들 다양한 실시예는 하나 또는 복수의 컴퓨터 프로그램에서 구현하는 것을 포함할 수 있으며, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능한 시스템 상에서 실행 및/또는 해석될 수 있고, 이 프로그램 가능 프로세서는 전용 또는 일반 프로그램 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령을 당해 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치에 송신할 수 있다.
이들 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로 또한 지칭됨)은 프로그램 가능 프로세서의 기계 명령을 포함하며, 하이 레벨 절차 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, "기계 판독가능 매체"및 "컴퓨터 판독가능 매체"라는 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 디바이스, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 소자(PLD))를 지칭하며, 기계 판독 가능 신호인 기계 명령을 수신하기 위한 기계 판독가능 매체를 포함한다. "기계 판독 가능 신호"라는 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는데 사용되는 임의의 신호를 지칭한다.
사용자와의 대화를 제공하기 위해, 본 명세서에서 설명된 시스템 및 기술을 컴퓨터 상에서 구현할 수 있으며, 당해 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, 음극선관(CRT) 또는 액정표시장치(LCD) 모니터), 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)을 가지고, 사용자는 당해 키보드 및 당해 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 종류의 장치도 사용자와의 대화를 제공하기 위해 사용될 수 있으며, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백) 일 수 있고, 임의의 형태(음향 입력, 음성 입력, 또는 촉각 입력을 포함함)로 사용자로부터의 입력을 수신할 수 있다.
본 명세서에서 설명된 시스템 및 기술은 백그라운드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템 (예를 들어, 애플리케이션 서버), 또는 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 사용자 컴퓨터이고, 사용자는 당해 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 본 명세서에 기술된 시스템 및 기술의 실시예와 대화할 수 있다), 또는 이러한 백그라운드 컴포넌트, 미들웨어 컴포넌트 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예는 근거리 통신망(LAN), 광역통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며, 통상적으로 통신 네트워크를 통해 대화한다. 클라이언트와 서버 사이의 관계는 대응하는 컴퓨터 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 생성된다. 서버는 클라우드 서버, 즉 클라우드 컴퓨팅 서버 또는 클라우드 호스팅일 수 있고, 이는 클라우드 컴퓨팅 시스템 중의 하나의 호스팅 제품으로 종래의 물리적 호시팅과 VPS서비스 중 관리 난이도가 크고 업무 확충성이 떨어지는 단점을 해결하였다.
본 출원의 실시예에 따른 얼굴 합성 이미지 검출방법은 먼저 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 합성곱 신경망을 통해 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻으며; 또 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 각각 제1 완전 연결 계층 및 제2 완전 연결 계층에 입력하고, 제1 완전 연결 계층 및 제2 완전 연결 계층을 통해 각각 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터 및 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻으며; 제1 특징 벡터 및 제2 특징 벡터를 병합하여 병합 후 특징 벡터를 얻고; 마지막으로 병합 후의 특징 벡터를 제3 완전 연결 계층에 입력하고, 제3 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 다시말하면, 본 출원은 제1 완전 연결 계층 및 제2 완전 연결 계층을 통해 각각 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터 및 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻고, 다음 제3 완전 연결 계층을 통해 검출을 위한 얼굴 이미지의 검출결과를 얻는다. 그러나 종래의 얼굴 합성 이미지의 검출방법에서는, 주요하게 뉴럴 네트워크의 딥 러닝 방법을 이용하고, 해당 방법은 합성 이미지와 원래의 이미지의 판별성 있는 특징에 대해 습득하기 어려워 소범위의 트레이닝 샘플에서 과적합이 발생하기 쉽고 미지의 합성 샘플에 대한 일반화(generalization)가 제한적이다. 또한 단일 합성곱 신경망을 사용하기에 실제 화면 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성(robustness)이 떨어져 인식효과가 이상적이지 못하다. 본 출원은 얼굴 키 포인트 및 합성 이미지를 연합하여 검출하는 기술수단을 이용하여 종래기술의 얼굴 합성 이미지 검출 모델이 합성 이미지와 원래의 이미지의 판별성 있는 특징을 습득하기 아주 어려워 소범위의 트레이닝 샘플에서 과적합이 발생하기 쉽고 미지의 합성 샘플에 대한 일반화(generalization)가 제한적이며; 또 단일 합성곱 신경망을 사용하기에 실제 화면 중 얼굴자태가 지나치게 크거나 조명 차이가 비교적 큰 경우 강건성(robustness)이 떨어져 인식효과가 이상적이지 못한 기술과제를 해결하였다. 본 출원이 제공하는 기술안은 얼굴 합성 이미지 검출의 과적합 상황을 완화하고 얼굴 합성 이미지 검출의 일반화 및 정확성을 높여 미지의 합성 샘플에 대한 검출효과를 향상시킬 수 있다. 또한 본 출원 실시예의 기술안에 따르면 간단하고 간편하며 보급이 용이하고 적용범위가 더 넓은 효과를 달성할 수 있다.
전술한 다양한 형태의 흐름을 사용하여, 단계를 재배열, 부가 또는 삭제할 수 있다는 것을 이해해야 한다. 예를 들어, 본 발명에 기재된 각 단계는 본 발명에 개시된 기술안의 원하는 결과를 구현할 수 있는 한, 병렬로 또는 순서로 또는 상이한 순서로 수행될 수 있으며, 본 명세서에서는 한정하지 않는다.
상기 상세한 실시방식은 본 발명의 청구항을 한정하는 것으로 의도되지 않는다. 다양한 수정, 조합, 서브 조합, 및 대체가 설계 요건 및 다른 요인을 고려하여 이루어질 수 있다는 것은 당업자에게 명백할 것이다. 본 발명의 사상 및 원리 내에서 이루어진 임의의 수정, 동등한 교체, 및 개선 등은 본 발명의 청구 범위 내에 포함된다.
Claims (17)
- 얼굴 합성 이미지의 검출방법에 있어서,
검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 상기 합성곱 신경망을 통해 상기 검출을 위한 얼굴 이미지에 대해 특징 추출을 수행하여, 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻는 단계;
상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제1 완전 연결 계층으로 입력하고, 상기 제1 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻으며, 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제2 완전 연결 계층으로 입력하고, 상기 제2 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻는 단계;
상기 제1 특징 벡터 및 상기 제2 특징 벡터를 병합하여 병합 후 특징 벡터를 얻는 단계; 및
상기 합병 후의 특징 벡터를 제3 완전 연결 계층으로 입력하고, 상기 제3 완전 연결 계층을 통해 상기 합병 후의 특징 벡터에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지의 검출결과를 얻는 단계; 를 포함하고
상기 검출결과는 상기 검출을 위한 얼굴 이미지가 합성 얼굴 이미지 또는 비합성 얼굴 이미지인 것을 포함하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출방법. - 제 1 항에 있어서,
상기 제1 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여, 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻는 단계는,
상기 제1 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징을 추출하는 단계; 및
상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트에 근거하여 상기 검출을 위한 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻는 단계를 포함하고,
상기 제1 특징 벡터는 144디멘션 벡터인,
것을 특징으로 하는 얼굴 합성 이미지의 검출방법. - 제 1 항에 있어서,
상기 제2 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 얼굴 이미지 특징에 대해 컴퓨팅하여 상기 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻는 단계는
상기 제2 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 상기 검출을 위한 얼굴 이미지의 키 이미지 특징을 추출하는 단계; 및
상기 검출을 위한 얼굴 이미지의 키 이미지 특징에 기초하여 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻는 단계; 를 포함하고,
상기 제2 특징 벡터는 144디멘션 벡터인,
것을 특징으로 하는 얼굴 합성 이미지의 검출방법. - 제 1 항에 있어서,
상기 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하는 단계 전에,
상기 검출을 위한 얼굴 이미지를 미리 트레이닝된 얼굴 검출 모델로 입력하고 상기 얼굴 검출 모델을 통해 상기 검출을 위한 얼굴 이미지에 대해 인식하여 상기 검출을 위한 얼굴 이미지의 얼굴 검출프레임을 얻는 단계; 및
상기 검출을 위한 얼굴 이미지의 얼굴 검출 프레임을 미리 설정한 배수로 확대하여 확대 후의 얼굴 검출 프레임을 얻으며; 상기 확대 후의 얼굴 검출 프레임 중 상기 검출을 위한 얼굴 이미지 중의 얼굴에 대해 캡쳐하여 캡쳐 후의 얼굴 이미지를 얻고; 상기 캡쳐 후의 얼굴 이미지를 미리 설정한 사이즈로 조절하여 조절 후의 얼굴 이미지를 얻으며; 상기 조절 후의 얼굴 이미지를 상기 미리 트레이닝된 합성곱 신경망에 입력하는 조작을 수행하는 단계; 를 포함하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출방법. - 제 4 항에 있어서,
상기 조절 후의 얼굴 이미지를 상기 미리 트레이닝된 합성곱 신경망에 입력하는 조작을 수행하는 단계 전에,
상기 조절 후의 얼굴 이미지에 기초하여 각 픽셀 도트의 픽셀 값을 산출하는 단계; 및
미리 설정한 방식에 따라 각 픽셀 도트의 픽셀 값에 대해 정규화 처리를 수행하여 정규화 처리 후의 얼굴 이미지를 얻고; 상기 정규화 처리 후의 얼굴 이미지 중의 각 픽셀 도트의 픽셀 값이 미리 설정한 범위 내에 있도록 하며 상기 정규화 처리 후의 얼굴 이미지를 상기 미리 트레이닝된 합성곱 신경망에 입력하는 조작을 수행하는 단계를; 포함하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출방법. - 제 1 항에 있어서,
상기 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하는 단계 전에,
미리 획득된 제1 얼굴 이미지의 오리지널 이미지 특징을 현재 오리지널 이미지 특징으로 하는 단계; 및
상기 제1 완전 연결 계층이 그에 대응하는 수렴조건을 만족하지 않을 경우, 상기 현재 오리지널 이미지 특징을 상기 제1 완전 계층으로 입력하고, 상기 현재 오리지널 이미지 특징을 이용하여 상기 제1 완전 연결 계층에 대해 트레이닝하며; 상기 현재 얼굴 이미지의 다음 얼굴 이미지를 현재 얼굴 이미지로 하고 상기 제1 연결 계층이 그에 대응하는 수렴조건을 만족할 때까지 상기 조작을 반복하여 수행하는 단계; 를 포함하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출방법. - 제 1 항에 있어서,
상기 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하는 단계 전에,
미리 획득된 제1 얼굴 이미지의 병합 후의 특징 벡터를 현재 특징 벡터로 하는 단계; 및
상기 제3 완전 연결 계층이 그에 대응하는 수렴조건을 만족하지 않을 경우, 상기 현재 특징 벡터를 상기 제3 완전 연결 계층으로 입력하고, 상기 현재 특징 벡터를 이용하여 상기 제3 완전 연결 계층에 대해 트레이닝하며; 상기 현재 얼굴 이미지의 다음 얼굴 이미지를 상기 현재 얼굴 이미지로 하고 상기 제3 완전 연결 계층이 그에 대응하는 수렴조건을 만족할 때까지 상기 조작을 반복하는 단계; 를 포함하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출방법. - 얼굴 합성 이미지의 검출장치에 있어서,
특징 추출 모듈, 벡터 컴퓨팅 모듈, 벡터 병합 모듈 및 결과 컴퓨팅 모듈을 포함하고,
상기 특징 추출 모듈은 검출을 위한 얼굴 이미지를 미리 트레이닝된 합성곱 신경망에 입력하고, 상기 합성곱 신경망을 통해 상기 검출을 위한 얼굴 이미지에 대해 특징 추출을 수행하여, 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 얻고;
상기 벡터 컴퓨팅 모듈은 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 제1 완전 연결 계층으로 입력하고, 상기 제1 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻으며; 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징을 상기 제2 완전 연결 계층으로 입력하고, 상기 제2 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 대해 컴퓨팅하여 상기 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻고;
상기 벡터 병합 모듈은 상기 제1특징 벡터 및 상기 제2 특징 벡터를 병합하여 병합 후의 특징 벡터를 얻으며;
상기 결과 컴퓨팅 모듈은 상기 병합 후의 특징 벡터를 상기 제3 완전 연결 계층으로 입력하고 상기 제3 완전 연결 계층을 통해 상기 병합 후의 특징 벡터에 대해 컴퓨팅하여 상기 검출을 위한 얼굴 이미지의 검출결과를 얻고;
상기 검출결과는 상기 검출을 위한 얼굴 이미지가 합성 얼굴 이미지 또는 비합성 얼굴 이미지인 것을 포함하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출장치. - 제8항에 있어서,
상기 벡터 컴퓨팅 모듈은 상기 제1 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징을 추출하고; 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트 및 각 얼굴 키 포인트의 이미지 특징에 근거하여 상기 검출을 위한 얼굴 이미지의 얼굴 키 포인트에 대응하는 제1 특징 벡터를 얻고,
상기 제1 특징 벡터는 144디멘션 벡터인,
것을 특징으로 하는 얼굴 합성 이미지의 검출장치. - 제8항에 있어서,
상기 벡터 컴퓨팅 모듈은 상기 제2 완전 연결 계층을 통해 상기 검출을 위한 얼굴 이미지의 오리지널 이미지 특징에 기초하여 상기 검출을 위한 얼굴 이미지의 키 이미지 특징을 추출하고; 상기 검출을 위한 얼굴의 키 이미지 특징에 근거하여 상기 검출을 위한 얼굴 이미지에 대응하는 제2 특징 벡터를 얻고,
상기 제2 특징 벡터는 144디멘션 벡터인
것을 특징으로 하는 얼굴 합성 이미지의 검출장치. - 제8항에 있어서,
상기 장치는 이미지 사전 처리 모듈을 포함하고,
상기 이미지 사전 처리 모듈은 상기 검출을 위한 얼굴 이미지를 미리 트레이닝된 얼굴 검출 모델로 입력하고 상기 얼굴 검출 모델을 통해 상기 검출을 위한 얼굴 이미지에 대해 인식하여 상기 검출을 위한 얼굴 이미지의 얼굴 검출프레임을 얻으며; 상기 검출을 위한 얼굴 이미지의 얼굴 검출프레임을 미리 설정한 배수로 확대하여 확대 후의 얼굴 검출프레임을 얻고; 상기 확대 후의 얼굴 검출프레임에서 상기 검출을 위한 얼굴 이미지 중 얼굴에 대해 캡쳐하여 캡쳐 후의 얼굴 이미지를 얻고; 상기 캡쳐 후의 얼굴 이미지를 미리 설정한 사이즈로 조절하여 조절 후의 얼굴 이미지를 얻으며; 상기 조절 후의 얼굴 이미지를 상기 미리 트레이닝된 합성곱 신경망에 입력하는 조작을 수행하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출장치. - 제11항에 있어서,
상기 이미지 사전 처리 모듈은 상기 조절 후의 얼굴 이미지에 기초하여 각 픽셀 도트의 픽셀 값을 산출하고; 미리 설정한 방식에 따라 각 픽셀 도트의 픽셀 값에 대해 정규화 처리를 수행하여 정규화 처리 후의 얼굴 이미지를 얻으며; 상기 정규화 처리 후의 얼굴 이미지 중 각 픽셀 도트의 픽셀 값이 미리 설정한 범위 내에 있게 하며; 상기 정규화 처리 후의 얼굴 이미지를 상기 미리 트레이닝된 합성곱 신경망으로 입력하는 조작을 수행하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출장치. - 제8항에 있어서,
상기 장치는 제1 트레이닝 모듈을 포함하고,
상기 제1 트레이닝 모듈은 미리 획득된 제1 얼굴 이미지의 오리지널 이미지 특징을 현재 오리지널 이미지 특징으로 하고; 상기 제1 완전 연결 계층이 그에 대응하는 수렴조건을 만족하지 않을 경우, 상기 현재 오리지널 이미지 특징을 상기 제1 완전 연결 계층으로 입력하고 상기 현재 오리지널 이미지 특징을 이용하여 상기 제1 완전 연결 계층에 대해 트레이닝하며; 상기 현재 얼굴 이미지의 다음 얼굴 이미지를 상기 현재 얼굴 이미지로 하고 상기 제1 완전 연결 계층이 그에 대응하는 수렴조건을 만족할 때까지 상기 조작을 반복하여 수행하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출장치. - 제8항에 있어서,
상기 장치는 제2 트레이닝 모듈을 포함하고,
상기 제2 트레이닝 모듈은 미리 획득된 제1 얼굴 이미지의 병합 후 특징 벡터를 현재 특징 벡터로 하고; 상기 제3 완전 연결 계층이 그에 대응하는 수렴조건을 만족하지 않을 경우, 상기 현재 특징 벡터를 이용하여 상기 제3 완전 연결 계층에 대해 트레이닝하며; 상기 현재 얼굴 이미지의 다음 얼굴 이미지를 현재 얼굴 이미지로 하고 상기 제3 완전 연결 계층이 그에 대응하는 조건을 만족할 때까지 상기 조작을 반복하는,
것을 특징으로 하는 얼굴 합성 이미지의 검출장치. - 전자기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리; 를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 제1항 내지 제7항 중 어느 한 항에 따른 얼굴 합성 이미지의 검출방법이 실행되는,
것을 특징으로 하는 전자기기. - 컴퓨터 프로그램이 저장되어 있는 비일시적 컴퓨터 판독가능 저장매체에 있어서,
상기 컴퓨터 프로그램의 명령이 실행될 경우, 제1항 내지 제7항 중 어느 한 항에 따른 얼굴 합성 이미지의 검출방법이 실행되는,
것을 특징으로 하는 컴퓨터 프로그램이 저장되어 있는 비일시적 컴퓨터 판독가능 저장매체. - 컴퓨터 판독 가능 저장 매체에 저장되는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램의 명령이 실행될 경우, 제1항 내지 제7항 중 어느 한 항에 따른 얼굴 합성 이미지의 검출방법이 실행되는,
것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장되는 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010681942.6 | 2020-07-15 | ||
| CN202010681942.6A CN111862030B (zh) | 2020-07-15 | 2020-07-15 | 一种人脸合成图检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210095817A true KR20210095817A (ko) | 2021-08-03 |
| KR102612354B1 KR102612354B1 (ko) | 2023-12-11 |
Family
ID=72984126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210091448A KR102612354B1 (ko) | 2020-07-15 | 2021-07-13 | 얼굴 합성 이미지의 검출방법, 검출장치, 전자기기 및 저장매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11881050B2 (ko) |
| EP (1) | EP3940587A1 (ko) |
| JP (1) | JP7126586B2 (ko) |
| KR (1) | KR102612354B1 (ko) |
| CN (1) | CN111862030B (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257645B (zh) * | 2020-11-02 | 2023-09-01 | 浙江大华技术股份有限公司 | 人脸的关键点定位方法和装置、存储介质及电子装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345818A (zh) * | 2017-01-23 | 2018-07-31 | 北京中科奥森数据科技有限公司 | 一种人脸活体检测方法及装置 |
| CN111368666A (zh) * | 2020-02-25 | 2020-07-03 | 上海蠡图信息科技有限公司 | 一种基于新型池化及注意力机制双流网络的活体检测方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009107237A1 (ja) * | 2008-02-29 | 2009-09-03 | グローリー株式会社 | 生体認証装置 |
| CN103745235B (zh) * | 2013-12-18 | 2017-07-04 | 小米科技有限责任公司 | 人脸识别方法、装置及终端设备 |
| US10360494B2 (en) * | 2016-11-30 | 2019-07-23 | Altumview Systems Inc. | Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules |
| GB201710560D0 (en) * | 2017-06-30 | 2017-08-16 | Norwegian Univ Of Science And Tech (Ntnu) | Detection of manipulated images |
| CN108701216B (zh) * | 2017-11-13 | 2021-12-03 | 深圳和而泰智能控制股份有限公司 | 一种人脸脸型识别方法、装置和智能终端 |
| CN108229363A (zh) * | 2017-12-27 | 2018-06-29 | 北京市商汤科技开发有限公司 | 关键帧调度方法和装置、电子设备、程序和介质 |
| CN108446674A (zh) * | 2018-04-28 | 2018-08-24 | 平安科技（深圳）有限公司 | 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质 |
| CN109684911B (zh) * | 2018-10-30 | 2021-05-11 | 百度在线网络技术（北京）有限公司 | 表情识别方法、装置、电子设备及存储介质 |
| CN110930547A (zh) * | 2019-02-28 | 2020-03-27 | 上海商汤临港智能科技有限公司 | 车门解锁方法及装置、系统、车、电子设备和存储介质 |
| CN110046551B (zh) * | 2019-03-18 | 2021-04-20 | 中国科学院深圳先进技术研究院 | 一种人脸识别模型的生成方法及设备 |
| CN110210393A (zh) * | 2019-05-31 | 2019-09-06 | 百度在线网络技术（北京）有限公司 | 人脸图像的检测方法和装置 |
| CN110211563B (zh) * | 2019-06-19 | 2024-05-24 | 平安科技（深圳）有限公司 | 面向情景及情感的中文语音合成方法、装置及存储介质 |
| CN110321845B (zh) * | 2019-07-04 | 2021-06-18 | 北京奇艺世纪科技有限公司 | 一种从视频中提取表情包的方法、装置及电子设备 |
| CN110659582A (zh) * | 2019-08-29 | 2020-01-07 | 深圳云天励飞技术有限公司 | 图像转换模型训练方法、异质人脸识别方法、装置及设备 |
| CN111222434A (zh) * | 2019-12-30 | 2020-06-02 | 深圳市爱协生科技有限公司 | 基于局部二值模式和深度学习的合成人脸图像取证方法 |
| CN111339832B (zh) * | 2020-02-03 | 2023-09-12 | 中国人民解放军国防科技大学 | 人脸合成图像的检测方法及装置 |
| CN111274987B (zh) * | 2020-02-10 | 2023-10-20 | 广东九联科技股份有限公司 | 人脸表情识别方法及人脸表情识别装置 |
-
2020
- 2020-07-15 CN CN202010681942.6A patent/CN111862030B/zh active Active
-
2021
- 2021-04-14 JP JP2021068318A patent/JP7126586B2/ja active Active
- 2021-06-14 EP EP21179290.8A patent/EP3940587A1/en not_active Withdrawn
- 2021-06-15 US US17/347,854 patent/US11881050B2/en active Active
- 2021-07-13 KR KR1020210091448A patent/KR102612354B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345818A (zh) * | 2017-01-23 | 2018-07-31 | 北京中科奥森数据科技有限公司 | 一种人脸活体检测方法及装置 |
| CN111368666A (zh) * | 2020-02-25 | 2020-07-03 | 上海蠡图信息科技有限公司 | 一种基于新型池化及注意力机制双流网络的活体检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3940587A1 (en) | 2022-01-19 |
| CN111862030A (zh) | 2020-10-30 |
| US11881050B2 (en) | 2024-01-23 |
| CN111862030B (zh) | 2024-02-09 |
| KR102612354B1 (ko) | 2023-12-11 |
| JP2021114313A (ja) | 2021-08-05 |
| JP7126586B2 (ja) | 2022-08-26 |
| US20210312162A1 (en) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| EP3475791B1 (en) | Eye gaze tracking using neural networks | |
| CN111507914B (zh) | 人脸修复模型的训练方法、修复方法、装置、设备和介质 | |
| WO2021258588A1 (zh) | 一种人脸图像识别方法、装置、设备及存储介质 | |
| CN112150551B (zh) | 物体位姿的获取方法、装置和电子设备 | |
| KR20210156228A (ko) | 광학 문자 인식 방법, 장치, 전자기기 및 기록매체 | |
| US11810319B2 (en) | Image detection method, device, storage medium and computer program product | |
| KR102551835B1 (ko) | 능동적 인터랙션 방법, 장치, 전자 기기 및 판독 가능 기록 매체 | |
| EP4080470A2 (en) | Method and apparatus for detecting living face | |
| CN111783619B (zh) | 人体属性的识别方法、装置、设备及存储介质 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| CN111862031A (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
| KR20210095817A (ko) | 얼굴 합성 이미지의 검출방법, 검출장치, 전자기기 및 저장매체 | |
| CN116228867A (zh) | 位姿确定方法、装置、电子设备、介质 | |
| CN116311526A (zh) | 图像区域确定方法、装置、电子设备及存储介质 | |
| CN116052288A (zh) | 活体检测模型训练方法、活体检测方法、装置和电子设备 | |
| CN114067394A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN115578797B (zh) | 模型训练方法、图像识别方法、装置及电子设备 | |
| CN113538537B (zh) | 图像配准、模型训练方法、装置、设备、服务器及介质 | |
| CN116246026B (zh) | 三维重建模型的训练方法、三维场景渲染方法及装置 | |
| CN115222955B (zh) | 图像匹配模型的训练方法、装置、电子设备及存储介质 | |
| CN113065523B (zh) | 目标追踪方法及装置、电子设备和存储介质 | |
| CN114202805A (zh) | 活体检测方法、装置、电子设备及存储介质 | |
| CN116843833A (zh) | 三维模型生成方法、装置和电子设备 | |
| CN116052181A (zh) | 图像方向的确定方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |