KR102334279B1 - 얼굴 특징점 위치결정 방법 및 장치 - Google Patents
얼굴 특징점 위치결정 방법 및 장치 Download PDFInfo
- Publication number
- KR102334279B1 KR102334279B1 KR1020197037564A KR20197037564A KR102334279B1 KR 102334279 B1 KR102334279 B1 KR 102334279B1 KR 1020197037564 A KR1020197037564 A KR 1020197037564A KR 20197037564 A KR20197037564 A KR 20197037564A KR 102334279 B1 KR102334279 B1 KR 102334279B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fusion
- facial feature
- facial
- feature
- Prior art date
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 245
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003708 edge detection Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims description 182
- 238000005457 optimization Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 210000000744 eyelid Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010020400 Hostility Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G06K9/00228—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G06K9/00281—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 개시는 얼굴 특징점 위치결정 방법 및 장치에 관한 것이다. 상기 얼굴 특징점 위치결정 방법은 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하는 단계; 및 상기 얼굴 이미지와 상기 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는 단계를 포함한다. 본 개시에 따르면 얼굴 특징선을 결부하여 얼굴 특징점 위치결정을 진행하여 얼굴 특징점 위치결정 정확성을 향상시킬 수 있고, 얼굴 이미지 중의 얼굴이 가려지거나, 얼굴이 큰 각도의 측면이거나, 얼굴 표정이 과장된 등 복잡한 상황에서도 얼굴 특징점을 정확하게 포지셔닝할 수 있다.
Description
관련 출원의 상호 참조
본원 발명은 2018년 4월 24일에 중국 특허청에 제출한 출원번호가 201810373871.6이고 발명의 명칭이 “얼굴 특징점 위치결정 방법 및 장치”인 중국 특허 출원의 우선권을 주장하는 바, 그 모든 내용은 본원 발명에 원용된다.
본 개시는 컴퓨터 시각 기술분야에 관한 것으로, 특히 얼굴 특징점 위치결정 방법 및 장치에 관한 것이다.
얼굴 특징점 위치결정은 얼굴 관련 컴퓨터 시각 문제의 중요한 종류이다. 얼굴 특징점 위치결정 태스크는 얼굴 이미지에서 복수의 얼굴 특징점의 위치를 계산하는 것이다. 예를 들면, 얼굴 이미지 중 안각, 입가, 코끝 등 얼굴 특징점의 위치를 계산하는 것이다.
얼굴 특징점 위치결정 문제는 딥 신경망을 통해 해결할 수 있다. 그러나 딥 신경망의 계층 수가 증가함에 따라, 얼굴 구조 정보의 손실이 심각해진다. 얼굴 이미지 중의 얼굴이 가려지거나, 얼굴이 큰 각도의 측면이거나, 얼굴 표정이 과장된 등 복잡한 상황에서 얼굴 특징점 위치결정 정확성이 크게 떨어진다.
이를 감안하여 본 개시는 얼굴 특징점 위치결정 방법 및 장치를 제공한다.
본 개시의 일 양태에 따르면,
얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하는 단계; 및
상기 얼굴 이미지와 상기 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는 단계를 포함하는 얼굴 특징점 위치결정 방법을 제공한다.
일 가능한 실시형태에서, 상기 얼굴 이미지와 상기 얼굴 특징선 이미지를 융합하기 전에,
상기 얼굴 특징선 이미지에 대해 유효성 판단을 진행하여 최적화된 얼굴 특징선 이미지를 얻는 단계를 더 포함하고,
상기 얼굴 이미지와 상기 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는 단계는,
상기 얼굴 이미지와 상기 최적화된 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는 단계를 포함한다.
일 가능한 실시형태에서, 상기 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하는 단계는,
상기 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득하는 단계; 및
상기 특징선 이미지에 대해 최적화를 진행하여 상기 얼굴 특징선 이미지를 획득하는 단계를 포함한다.
일 가능한 실시형태에서, 상기 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득하는 단계는,
상기 얼굴 이미지에 대해 순차적으로 콘볼루션, 잔여 연산, 다운샘플링 및 잔여 연산의 조작을 수행하여 상기 특징선 이미지를 획득하는 단계를 포함한다.
일 가능한 실시형태에서, 상기 특징선 이미지에 대해 최적화를 진행하여 상기 얼굴 특징선 이미지를 획득하는 단계는,
상기 특징선 이미지를 최소 1레벨의 최적화 네트워크를 거쳐 상기 얼굴 특징선 이미지를 획득하는 단계를 포함하고, 각 레벨의 상기 최적화 네트워크는 잔여 연산을 실현하는 아워글래스 네트워크 및 특징선 정보 전달을 실현하는 정보 전달층을 포함한다.
일 가능한 실시형태에서, 상기 얼굴 이미지와 상기 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는 단계는,
상기 얼굴 이미지에 대해 입력 이미지 융합을 진행하여 제1 융합 이미지를 얻는 단계;
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 가장자리 이미지 융합을 진행하여 제2 융합 이미지를 얻는 단계; 및
상기 제2 융합 이미지에 대해 매핑을 진행하여 특징점의 위치 벡터를 얻고 상기 특징점의 위치 벡터를 얼굴 특징점의 위치 정보로 하는 단계를 포함한다.
일 가능한 실시형태에서, 상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 가장자리 이미지 융합을 진행하기 전에,
상기 제1 융합 이미지에 대해 최적화 처리를 진행하여 최적화된 제1 융합 이미지를 얻는 단계를 더 포함하고,
상기 최적화 처리는 순차적으로 콘볼루션, 다운샘플링 및 잔여 연산을 포함한다.
일 가능한 실시형태에서, 상기 얼굴 이미지에 대해 입력 이미지 융합을 진행하여 제1 융합 이미지를 얻는 단계는,
상기 얼굴 이미지와 각각의 미리 정의된 특징선 이미지를 픽셀 단위로 곱하여 각각의 미리 정의된 특징선 이미지와 일대일로 대응되는 복수의 경계 특징을 얻는 단계; 및
복수의 상기 경계 특징과 상기 얼굴 이미지를 중첩하여 제1 융합 이미지를 얻는 단계를 포함한다.
일 가능한 실시형태에서, 상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 가장자리 이미지 융합을 진행하여 제2 융합 이미지를 얻는 단계는,
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지를 중첩하여 제3 융합 이미지를 얻는 단계;
상기 제3 융합 이미지에 대해 잔여 연산을 진행하여 상기 얼굴 특징선 이미지와 크기가 같은 제4 융합 이미지를 얻는 단계;
상기 제1 융합 이미지와 상기 제4 융합 이미지를 픽셀 단위로 곱하여 제5 융합 이미지를 얻는 단계; 및
상기 제1 융합 이미지와 상기 제5 융합 이미지를 중첩하여 상기 제2 융합 이미지를 얻는 단계를 포함한다.
일 가능한 실시형태에서, 각 레벨의 상기 가장자리 이미지를 융합하는 사이에, 각 레벨의 경계 융합 결과에 대해 잔여 연산을 진행하는 단계를 더 포함한다.
일 가능한 실시형태에서, 상기 제2 융합 이미지에 대해 매핑을 진행하여 특징점의 위치 벡터를 얻는 단계는,
상기 제2 융합 이미지에 대해 순차적으로 잔여 연산 및 전체 연결 조작을 진행하여 상기 특징점의 위치 벡터를 얻는 단계를 포함한다.
본 개시의 다른 양태에 따르면,
얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하는 가장자리 검출 모듈; 및
상기 얼굴 이미지와 상기 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는 융합 모듈을 포함하는 얼굴 특징점 위치결정 장치를 제공한다.
일 가능한 실시형태에서, 상기 얼굴 특징점 위치결정 장치는,
상기 얼굴 특징선 이미지에 대해 유효성 판단을 진행하여 최적화된 얼굴 특징선 이미지를 얻는 판단 모듈을 더 포함하고,
상기 융합 모듈은,
상기 얼굴 이미지와 상기 최적화된 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는다.
일 가능한 실시형태에서, 상기 가장자리 검출 모듈은,
상기 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득하는 특징 추출 서브모듈; 및
상기 특징선 이미지에 대해 최적화를 진행하여 상기 얼굴 특징선 이미지를 획득하는 제1 최적화 서브모듈을 포함한다.
일 가능한 실시형태에서, 상기 특징 추출 서브모듈은,
상기 얼굴 이미지에 대해 순차적으로 콘볼루션, 잔여 연산, 다운샘플링 및 잔여 연산의 조작을 수행하여 상기 특징선 이미지를 획득한다.
일 가능한 실시형태에서, 상기 제1 최적화 서브모듈은,
상기 특징선 이미지를 최소 1레벨의 최적화 네트워크를 거쳐 상기 얼굴 특징선 이미지를 획득하고, 각 레벨의 상기 최적화 네트워크는 잔여 연산을 실현하는 아워글래스 네트워크 및 특징선 정보 전달을 실현하는 정보 전달층을 포함한다.
일 가능한 실시형태에서, 상기 융합 모듈은,
상기 얼굴 이미지에 대해 입력 이미지 융합을 진행하여 제1 융합 이미지를 얻는 제1 융합 서브모듈;
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 가장자리 이미지 융합을 진행하여 제2 융합 이미지를 얻는 제2 융합 서브모듈; 및
상기 제2 융합 이미지에 대해 매핑을 진행하여 특징점의 위치 벡터를 얻고 상기 특징점의 위치 벡터를 얼굴 특징점의 위치 정보로 하는 매핑 서브모듈을 포함한다.
일 가능한 실시형태에서, 상기 융합 모듈은,
상기 제1 융합 이미지에 대해 최적화 처리를 진행하여 최적화된 제1 융합 이미지를 얻는 제2 최적화 서브모듈을 더 포함하고,
상기 최적화 처리는 순차적으로 콘볼루션, 다운샘플링 및 잔여 연산을 포함한다.
일 가능한 실시형태에서, 상기 제1 융합 서브모듈은,
상기 얼굴 이미지와 각각의 미리 정의된 특징선 이미지를 픽셀 단위로 곱하여 각각의 미리 정의된 특징선 이미지와 일대일로 대응되는 복수의 경계 특징을 얻는 제1 곱셈 유닛; 및
복수의 상기 경계 특징과 상기 얼굴 이미지를 중첩하여 제1 융합 이미지를 얻는 제1 중첩 유닛을 포함한다.
일 가능한 실시형태에서, 상기 제2 융합 서브모듈은,
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지를 중첩하여 제3 융합 이미지를 얻는 제2 중첩 유닛;
상기 제3 융합 이미지에 대해 잔여 연산을 진행하여 상기 얼굴 특징선 이미지와 크기가 같은 제4 융합 이미지를 얻는 잔여 연산 유닛;
상기 제1 융합 이미지와 상기 제4 융합 이미지를 픽셀 단위로 곱하여 제5 융합 이미지를 얻는 제2 곱셈 유닛; 및
상기 제1 융합 이미지와 상기 제5 융합 이미지를 중첩하여 상기 제2 융합 이미지를 얻는 제3 중첩 유닛을 포함한다.
일 가능한 실시형태에서, 상기 융합 모듈은,
각 레벨의 경계 융합 결과에 대해 잔여 연산을 진행하는 잔여 연산 서브모듈을 더 포함한다.
일 가능한 실시형태에서, 상기 매핑 서브모듈은,
상기 제2 융합 이미지에 대해 순차적으로 잔여 연산 및 전체 연결 조작을 진행하여 상기 특징점의 위치 벡터를 얻는다.
본 개시의 또 다른 양태에 따르면, 프로세서; 프로세서에 의해 실행 가능한 명령이 저장된 메모리를 포함하고, 상기 프로세서는 상기 얼굴 특징점 위치결정 방법을 구현하는 전자 기기를 제공한다.
본 개시의 또 다른 양태에 따르면, 프로세서에 의해 실행될 경우 상기 얼굴 특징점 위치결정 방법을 구현하는 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독가능 저장매체를 제공한다.
본 개시의 각 양태의 얼굴 특징점 위치결정 방법 및 장치는 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하고, 얼굴 이미지와 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는다. 이로써 얼굴 특징선을 결부하여 얼굴 특징점 위치결정을 진행하여 얼굴 특징점 위치결정 정확성을 향상시키고, 얼굴 이미지 중의 얼굴이 가려지거나, 얼굴이 큰 각도의 측면이거나, 얼굴 표정이 과장된 등 복잡한 상황에서도 얼굴 특징점을 정확하게 포지셔닝할 수 있다.
아래 도면을 참조하여 예시적 실시예에 대해 상세히 설명하며 본 개시의 다른 특징 및 양태도 더 명확해질 것이다.
명세서에 포함되어 명세서의 일부분을 구성하는 도면과 명세서를 참조하여 본 개시의 예시적 실시예, 특징 및 양태를 설명하며 본 개시의 원리를 해석한다.
도 1은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 흐름도이다.
도 2는 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 일 예시적 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S11의 일 예시적 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S12의 일 예시적 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S121의 일 예시적 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S122의 일 예시적 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 장치의 블록도이다.
도 8은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 장치의 일 예시적 블록도이다.
도 9는 일 예시적 실시예에 따라 도시한 얼굴 특징점 위치결정 장치(800)의 블록도이다.
도 10은 일 예시적 실시예에 따라 도시한 얼굴 특징점 위치결정 장치(1900)의 블록도이다.
도 1은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 흐름도이다.
도 2는 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 일 예시적 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S11의 일 예시적 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S12의 일 예시적 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S121의 일 예시적 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S122의 일 예시적 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 장치의 블록도이다.
도 8은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 장치의 일 예시적 블록도이다.
도 9는 일 예시적 실시예에 따라 도시한 얼굴 특징점 위치결정 장치(800)의 블록도이다.
도 10은 일 예시적 실시예에 따라 도시한 얼굴 특징점 위치결정 장치(1900)의 블록도이다.
아래 도면을 참조하여 본 개시의 다양한 예시적 실시예, 특징 및 양태를 설명한다. 도면에서 같은 도면부호는 기능이 같거나 유사한 소자를 표시한다. 도면에서 실시예의 다양한 양태를 도시하였으나 특별히 한정하지 않는 한 비율에 따라 도시된 것이 아니다.
여기서 전문 용어 “예시적”은 "예, 실시예 또는 설명의 의도”를 가리킨다. 여기서 “예시적”으로 설명된 임의의 실시예는 다른 실시예보다 좋거나 우수한 것으로 이해해서는 안된다.
이밖에, 본 개시를 더 잘 설명하기 위해 아래 구체적인 실시형태에서 다양한 구체적인 세부사항을 설명한다. 본 기술분야의 통상의 기술자는 어느 구체적인 세부사항을 생략하더라도 마찬가지로 본 개시를 실시할 수 있음을 이해할 것이다. 일부 구현예에서 본 개시의 요지를 흐리지 않도록 본 기술분야의 통상의 기술자에게 공지된 방법, 수단, 소자 및 회로에 대해서는 상세히 설명하지 않는다.
도 1은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 흐름도이다. 도 1에 도시된 바와 같이, 상기 얼굴 특징점 위치결정 방법은 단계 S11 및 단계 S12를 포함한다.
단계 S11에서 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득한다
본 실시예에서, 얼굴 이미지는 얼굴을 포함하는 이미지를 가리키거나, 얼굴 특징점 위치결정이 필요한 이미지를 가리킬 수 있다.
본 개시의 실시예는 과련 기술에서 Sobel 연산자 또는 Canny 연산자를 이용하여 가장자리 검출을 진행할 수 있으며 여기서는 더 이상 한정하지 않는다.
일 가능한 실시형태에서, 콘볼루션 신경망을 통해 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득한다.
단계 S12에서 얼굴 이미지와 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는다
본 실시예에서, 얼굴 특징선 이미지가 제공하는 로버스트(Robust) 얼굴 구조 정보에 기초하여 얼굴 이미지에 대해 정확한 얼굴 특징점 위치결정이 가능하다.
본 실시예에서, 얼굴 특징점은 얼굴 윤곽 특징점, 눈썹 특징점, 눈 특징점, 코 특징점 및 입술 특징점 중의 하나 이상을 포함할 수 있다. 여기서 눈 특징점은 눈꺼풀 특징점을 포함할 수 있고, 눈꺼풀 특징점은 안각 특징점을 포함할 수 있으며, 코 특징점은 콧대 특징점을 포함할 수 있고, 입술 특징점은 입술선 특징점을 포함할 수 있다.
일 가능한 실시형태에서, 특징점 예측 네트워크를 통해 얼굴 이미지와 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는다.
본 개시의 실시예에서, 얼굴 이미지와 얼굴 특징선 이미지를 융합하는 것은 얼굴 이미지 중의 정보와 얼굴 특징선 이미지 중의 정보를 결합하는 것일 수 있다. 예를 들면, 얼굴 이미지 중의 픽셀 및/또는 특징과 얼굴 특징선 이미지 중의 픽셀 및/또는 특징을 어떤 방식으로 결합할 수 있다.
본 실시예는 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하고, 얼굴 이미지와 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는다. 이로써 얼굴 특징선을 결부하여 얼굴 특징점 위치결정을 진행하여 얼굴 특징점 위치결정 정확성을 향상시키고, 얼굴 이미지 중의 얼굴이 가려지거나, 얼굴이 큰 각도의 측면이거나, 얼굴 표정이 과장된 등 복잡한 상황에서도 얼굴 특징점을 정확하게 포지셔닝할 수 있다.
도 2는 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 일 예시적 흐름도이다. 도 2에 도시된 바와 같이, 상기 얼굴 특징점 위치결정 방법은 단계 S21 내지 단계 S23을 포함한다.
단계 S21에서 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득한다
단계 S21에 대한 설명은 상기 단계 S11에 대한 설명을 참조할 수 있다.
단계 S22에서 얼굴 특징선 이미지에 대해 유효성 판단을 진행하여 최적화된 얼굴 특징선 이미지를 얻는다
일 가능한 실시형태에서, 적대 생성 모델에 기반한 콘볼루션 신경망을 이용하여 얼굴 특징선 이미지에 대해 유효성 판단을 진행하여 최적화된 얼굴 특징선 이미지를 얻는다. 상기 실시형태에서 적대 생성 모델 중의 판단 모델은 얼굴 특징선 이미지에 대한 유효성 판단에 사용될 수 있다. 즉 판단 모델은 얼굴 특징선 이미지의 유효 여부를 판단하고, 적대 생성 모델 중의 생성 모델은 최적화된 얼굴 특징선 이미지를 생성할 수 있다.
단계 S23에서 얼굴 이미지와 최적화된 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는다
본 실시예에서, 얼굴 특징선 이미지의 검출 결과는 최종 얼굴 특징점 위치결정의 정확성에 크게 영향 준다. 따라서 얼굴 특징선 이미지에 대해 유효성 판단을 진행하여 최적화된 얼굴 특징선 이미지를 얻고, 얼굴 이미지와 최적화된 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는다. 이로써 얼굴 특징선 이미지의 품질을 크게 향상시키고 얼굴 특징점 위치결정의 정확성을 더 향상시킨다.
도 3은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S11의 일 예시적 흐름도이다. 도 3에 도시된 바와 같이, 단계 S11는 단계 S111 및 단계 S112를 포함한다.
단계 S111에서 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득한다
본 실시예에서, 특징선은 얼굴 윤곽 특징선, 왼쪽 눈썹 특징선, 오른쪽 눈썹 특징선, 콧대 특징선, 왼쪽 눈의 위쪽 눈꺼풀 특징선, 왼쪽 눈의 아래쪽 눈꺼풀 특징선, 오른쪽 눈의 위쪽 눈꺼풀 특징선, 오른쪽 눈의 아래쪽 눈꺼풀 특징선, 윗입술의 위쪽 가장자리 특징선, 윗입술의 아래쪽 가장자리 특징선, 아랫입술의 위쪽 가장자리 특징선 및 아랫입술의 아래쪽 가장자리 특징선 중의 하나 이상을 포함할 수 있다.
일 가능한 실시형태에서, 콘볼루션 신경망을 이용하여 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득한다. 예를 들면 ResNet18을 이용하여 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득할 수 있다.
일 가능한 실시형태에서, 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득하는 단계는, 얼굴 이미지에 대해 순차적으로 콘볼루션(convolution), 잔여 연산(residual operation), 다운샘플링(downsampling) 및 잔여 연산의 조작을 수행하여 특징선 이미지를 획득하는 단계를 포함한다.
단계 S112에서 특징선 이미지에 대해 최적화를 진행하여 얼굴 특징선 이미지를 획득한다.
일 가능한 실시형태에서, 특징선 이미지에 대해 최적화를 진행하여 얼굴 특징선 이미지를 획득하는 단계는, 특징선 이미지를 최소 1레벨의 최적화 네트워크를 거쳐 얼굴 특징선 이미지를 획득하는 단계를 포함하고, 각 레벨의 최적화 네트워크는 잔여 연산을 실현하는 아워글래스 네트워크(hourglass-shaped network) 및 특징선 정보 전달을 실현하는 정보 전달층을 포함한다. 예를 들어, 1레벨의 최적화 네트워크를 포함하면 특징선 이미지에 대해 순차적으로 아워글래스 네트워크 및 정보 전달층을 통해 최적화 처리를 진행하여 얼굴 특징선 이미지를 획득한다. 2레벨의 최적화 네트워크를 포함하면 특징선 이미지에 대해 순차적으로 제1 아워글래스 네트워크, 제1 정보 전달층, 제2 아워글래스 네트워크 및 제2 정보 전달층을 통해 최적화 처리를 진행하여 얼굴 특징선 이미지를 획득한다. 다른 실시예에서 3레벨 및 그 이상의 최적화 네트워크를 포함할 경우의 처리 방식은 전술한 방식으로 유추할 수 있다.
도 4는 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S12의 일 예시적 흐름도이다. 도 4에 도시된 바와 같이, 단계 S12는 단계 S121 내지 단계 S123를 포함한다.
단계 S121에서 얼굴 이미지에 대해 입력 이미지 융합을 진행하여 제1 융합 이미지를 얻는다
본 실시예에서, 제1 융합 이미지는 얼굴 이미지 중의 각 특징선의 경계 특징을 나타낼 수 있다.
단계 S122에서 제1 융합 이미지와 얼굴 특징선 이미지에 대해 최소 1레벨의 가장자리 이미지 융합을 진행하여 제2 융합 이미지를 얻는다,
단계 S123에서 제2 융합 이미지에 대해 매핑을 진행하여 특징점의 위치 벡터를 얻고 특징점의 위치 벡터를 얼굴 특징점의 위치 정보로 한다.
일 가능한 실시형태에서, 제2 융합 이미지에 대해 매핑을 진행하여 특징점의 위치 벡터를 얻는 단계는, 제2 융합 이미지에 대해 순차적으로 잔여 연산 및 전체 연결 조작(full-connection operation)을 진행하여 특징점의 위치 벡터를 얻는 단계를 포함한다.
일 가능한 실시형태에서, 제1 융합 이미지와 얼굴 특징선 이미지에 대해 최소 1레벨의 가장자리 이미지 융합을 진행하기 전에, 제1 융합 이미지에 대해 최적화 처리를 진행하여 최적화된 제1 융합 이미지를 얻는 단계를 더 포함하고, 최적화 처리는 순차적으로 콘볼루션, 다운샘플링 및 잔여 연산을 포함한다.
일 가능한 실시형태에서, 각 레벨의 가장자리 이미지를 융합하는 사이에, 각 레벨의 경계 융합 결과에 대해 잔여 연산을 진행하는 단계를 더 포함한다.
도 5는 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S121의 일 예시적 흐름도이다. 도 5에 도시된 바와 같이, 단계 S121는 단계 S1211 및 단계 S1212를 포함한다.
단계 S1211에서 얼굴 이미지와 각각의 미리 정의된 특징선 이미지를 픽셀 단위로 곱하여 각각의 미리 정의된 특징선 이미지와 일대일로 대응되는 복수의 경계 특징을 얻는다.
단계 S1212에서 복수의 경계 특징과 얼굴 이미지를 중첩하여 제1 융합 이미지를 얻는다.
일 가능한 실시형태에서, 식 1을 이용하여 제1 융합 이미지 F를 얻을 수 있다.
식 1: 
여기서 
는 얼굴 이미지, 
는 i번째 미리 정의된 특징선 이미지, 
는 미리 정의된 특징선 이미지의 개수를 표시한다.
는 
와 
의 픽셀을 곱한 것을 표시하고, 
는 중첩 조작을 표시한다.
상기 실시형태는 얼굴 이미지와 각각의 미리 정의된 특징선 이미지를 픽셀 단위로 곱하여 각각의 미리 정의된 특징선 이미지와 일대일로 대응되는 복수의 경계 특징을 얻고, 복수의 경계 특징과 얼굴 이미지를 중첩하여 제1 융합 이미지를 얻는다. 이렇게 얻은 제1 융합 이미지는 얼굴 이미지 중 구조가 풍부한 부분과 특징 부분에 초점을 두고, 얼굴 이미지 중의 배경 부분 및 구조가 풍부하지 않은 부분은 무시함으로써, 제1 융합 이미지의 후속의 네트워크 입력 유효성을 크게 향상시킬 수 있다. 상기 실시형태는 또한 원시 얼굴 이미지를 고려하기에 얼굴 이미지 중 가치가 있는 정보를 이용하여 후속적인 특징점 예측이 가능하다.
일 가능한 실시형태에서, 상기 얼굴 특징점 위치결정 방법은 트레이닝 이미지 집합 중의 임의의 하나의 트레이닝 이미지에 대해 트레이닝 이미지에 얼굴 특징점을 주석 달기(annotating)하는 단계; 트레이닝 이미지 중의 얼굴 특징점에 대해 보간을 진행하여 트레이닝 이미지 중의 얼굴 특징선 정보를 얻는 단계; 트레이닝 이미지 집합 중의 각 트레이닝 이미지 및 각 트레이닝 이미지 중의 얼굴 특징선 정보에 따라, 미리 정의된 특징선 이미지를 획득하기 위한 콘볼루션 신경망을 트레이닝하는 단계를 더 포함한다. 상기 실시형태에서 트레이닝 이미지 집합은 복수의 트레이닝 이미지를 포함할 수 있고, 각각의 트레이닝 이미지에 각각 106 개의 얼굴 특징점을 표시할 수 있다. 상기 실시형태에서, 트레이닝 이미지 중 인접한 얼굴 특징점 사이에서 보간을 진행하여 곡선을 얻고, 보간을 통해 얻은 곡선을 상기 트레이닝 이미지 중의 얼굴 특징선으로 할 수 있다. 상기 실시형태는 트레이닝 이미지 집합 중의 임의의 하나의 트레이닝 이미지에 대해, 트레이닝 이미지에 얼굴 특징점을 주석 달기하고 트레이닝 이미지 중의 얼굴 특징점에 대해 보간을 진행하여 트레이닝 이미지 중의 얼굴 특징선 정보를 얻으며, 트레이닝 이미지 집합 중의 각 트레이닝 이미지 및 각 트레이닝 이미지 중의 얼굴 특징선 정보에 따라 미리 정의된 특징선 이미지를 획득하기 위한 콘볼루션 신경망을 트레이닝한다. 이로써 주석 달기 처리된 얼굴 특징점을 이용하여 얼굴 특징선을 보간하여 미리 정의된 특징선 이미지를 획득하기 위한 콘볼루션 신경망을 트레이닝하는 것을 모니터링한다.
도 6은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 방법의 단계 S122의 일 예시적 흐름도이다. 도 6에 도시된 바와 같이, 단계 S122는 단계 S1221 내지 단계 S1214를 포함한다.
단계 S1221에서 제1 융합 이미지와 얼굴 특징선 이미지를 중첩하여 제3 융합 이미지를 얻는다
단계 S1222에서 제3 융합 이미지에 대해 잔여 연산을 진행하여 얼굴 특징선 이미지와 크기가 같은 제4 융합 이미지를 얻는다
단계 S1223에서 제1 융합 이미지와 제4 융합 이미지를 픽셀 단위로 곱하여 제5 융합 이미지를 얻는다
단계 S1224에서 제1 융합 이미지와 제5 융합 이미지를 중첩하여 제2 융합 이미지를 얻는다
일 가능한 실시형태에서, 식 2를 이용하여 제2 융합 이미지 H를 얻을 수 있다.
식 2: 
여기서, 
는 제1 융합 이미지, 
은 얼굴 특징선 이미지, 
는 제1 융합 이미지와 얼굴 특징선 이미지를 중첩하는 것, 
는 제3 융합 이미지를 표시한다. 
는 제3 융합 이미지에 대해 잔여 연산을 진행하는 것을 표시하고, 
는 제4 융합 이미지이다. 본 실시예에서, 얼굴 특징선 이미지 
의 채널 수는 미리 정의된 특징선의 개수에 따라 결정되기에 변환 구조 
를 통해 얼굴 특징선 이미지 
과 제1 융합 이미지 
의 채널이 같도록 해야 한다. 여기서, 변환 구조 
는 아워글래스 네트워크를 사용할 수 있다. 
는 제1 융합 이미지 
와 제4 융합 이미지 
의 픽셀 곱셈을 표시하고, 
는 제5 융합 이미지이다. 
는 제1 융합 이미지 
와 제5 융합 이미지
를 중첩하는 것을 표시한다.
일 가능한 실시형태에서, 상기 얼굴 특징점 위치결정 방법은 트레이닝 이미지 집합 중의 각각의 트레이닝 이미지 및 각각의 트레이닝 이미지 중의 얼굴 특징선 정보를 특징점 예측 네트워크의 입력으로 하고 각각의 트레이닝 이미지 중의 얼굴 특징점의 위치 정보를 특징점 예측 네트워크의 입력으로 하여 특징점 예측 네트워크를 트레이닝하는 단계를 더 포함한다. 여기서 각각의 트레이닝 이미지 중의 얼굴 특징점의 개수는 모두 106 개일 수 있다. 상기 실시형태는 트레이닝 이미지 집합 중의 각각의 트레이닝 이미지 및 각각의 트레이닝 이미지 중의 얼굴 특징선 정보를 특징점 예측 네트워크의 입력으로 하고 각각의 트레이닝 이미지 중의 얼굴 특징점의 위치 정보를 특징점 예측 네트워크의 입력으로 하여 특징점 예측 네트워크를 트레이닝함으로써, 얼굴 특징선 정보를 융합하고 얼굴 이미지 중의 얼굴 특징점을 이용하여 트레이닝을 모니터링한다. 트레이닝을 거쳐 얻은 특징점 예측 네트워크는 얼굴 특징선 정보를 융합하였기에 정확도가 더 높은 얼굴 특징점 위치결정 결과를 얻을 수 있다.
도 7은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 장치의 블록도이다. 도 7에 도시된 바와 같이, 상기 얼굴 특징점 위치결정 장치는 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하는 가장자리 검출 모듈(71); 및 얼굴 이미지와 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는 융합 모듈(72)을 포함한다.
도 8은 본 개시의 일 실시예에 따른 얼굴 특징점 위치결정 장치의 일 예시적 블록도이다. 도 8에 도시된 바와 같이,
일 가능한 실시형태에서, 상기 얼굴 특징점 위치결정 장치는, 얼굴 특징선 이미지에 대해 유효성 판단을 진행하여 최적화된 얼굴 특징선 이미지를 얻는 판단 모듈(73)을 더 포함하고, 융합 모듈(72)은, 얼굴 이미지와 최적화된 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는다.
일 가능한 실시형태에서, 가장자리 검출 모듈(71)은 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득하는 특징 추출 서브모듈(711); 및 특징선 이미지에 대해 최적화를 진행하여 얼굴 특징선 이미지를 획득하는 제1 최적화 서브모듈(712)을 포함한다.
일 가능한 실시형태에서, 특징 추출 서브모듈(711)은 얼굴 이미지에 대해 순차적으로 콘볼루션, 잔여 연산, 다운샘플링 및 잔여 연산의 조작을 수행하여 특징선 이미지를 획득한다.
일 가능한 실시형태에서, 제1 최적화 서브모듈(712)은 특징선 이미지를 최소 1레벨의 최적화 네트워크를 거쳐 얼굴 특징선 이미지를 얻고, 각 레벨의 최적화 네트워크는 잔여 연산을 실현하는 아워글래스 네트워크 및 특징선 정보 전달을 실현하는 정보 전달층을 포함한다.
일 가능한 실시형태에서, 융합 모듈(72)은 얼굴 이미지에 대해 입력 이미지 융합을 진행하여 제1 융합 이미지를 얻는 제1 융합 서브모듈(721); 제1 융합 이미지와 얼굴 특징선 이미지에 대해 최소 1레벨의 가장자리 이미지 융합을 진행하여 제2 융합 이미지를 얻는 제2 융합 서브모듈(722); 및 제2 융합 이미지에 대해 매핑을 진행하여 특징점의 위치 벡터를 얻고 특징점의 위치 벡터를 얼굴 특징점의 위치 정보로 하는 매핑 서브모듈(723)을 포함한다.
일 가능한 실시형태에서, 융합 모듈(72)은 제1 융합 이미지에 대해 최적화 처리를 진행하여 최적화된 제1 융합 이미지를 얻는 제2 최적화 서브모듈(724)을 더 포함하고, 최적화 처리는 순차적으로 콘볼루션, 다운샘플링 및 잔여 연산을 포함한다.
일 가능한 실시형태에서, 제1 융합 서브모듈(721)은, 얼굴 이미지와 각각의 미리 정의된 특징선 이미지를 픽셀 단위로 곱하여 각각의 미리 정의된 특징선 이미지와 일대일로 대응되는 복수의 경계 특징을 얻는 제1 곱셈 유닛; 및 복수의 경계 특징과 얼굴 이미지를 중첩하여 제1 융합 이미지를 얻는 제1 중첩 유닛을 포함한다.
일 가능한 실시형태에서, 제2 융합 서브모듈(722)은, 제1 융합 이미지와 얼굴 특징선 이미지를 중첩하여 제3 융합 이미지를 얻는 제2 중첩 유닛; 제3 융합 이미지에 대해 잔여 연산을 진행하여 얼굴 특징선 이미지와 크기가 같은 제4 융합 이미지를 얻는 잔여 연산 유닛; 제1 융합 이미지와 제4 융합 이미지를 픽셀 단위로 곱하여 제5 융합 이미지를 얻는 제2 곱셈 유닛; 및 제1 융합 이미지와 제5 융합 이미지를 중첩하여 제2 융합 이미지를 얻는 제3 중첩 유닛을 포함한다.
일 가능한 실시형태에서, 융합 모듈(72)은 각 레벨의 경계 융합 결과에 대해 잔여 연산을 진행하는 잔여 연산 서브모듈(725)을 더 포함한다.
일 가능한 실시형태에서, 매핑 서브모듈(723)은 제2 융합 이미지에 대해 순차적으로 잔여 연산 및 전체 연결 조작을 진행하여 특징점의 위치 벡터를 얻는다.
본 실시예는 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하고, 얼굴 이미지와 얼굴 특징선 이미지를 융합하여 얼굴 특징점의 위치 정보를 얻는다. 이로써 얼굴 특징선을 결부하여 얼굴 특징점 위치결정을 진행하여 얼굴 특징점 위치결정 정확성을 향상시키고, 얼굴 이미지 중의 얼굴이 가려지거나, 얼굴이 큰 각도의 측면이거나, 얼굴 표정이 과장된 등 복잡한 상황에서도 얼굴 특징점을 정확하게 포지셔닝할 수 있다.
도 9는 일 예시적 실시예에 따라 도시한 얼굴 특징점 위치결정 장치(800)의 블록도이다. 예를 들어 장치(800)는 모바일 전화, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 기기, 게임콘솔, 태블릿 기기, 의료 기기, 헬스 기기, 개인 정보 단말기 등일 수 있다.
도 9를 참조하면, 장치(800)는 프로세싱 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수의 컴포넌트를 포함할 수 있다.
프로세싱 컴포넌트(802)는 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 장치(800)의 전체 동작을 제어한다. 프로세싱 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하도록 하나 또는 복수의 프로세서(820)를 포함하여 명령을 실행한다. 이외에, 프로세싱 컴포넌트(802)는, 프로세싱 컴포넌트(802)와 다른 컴포넌트 사이의 인터랙션을 진행하도록 하나 또는 복수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(802)는, 멀티미디어 모듈(808)과 프로세싱 컴포넌트(802) 사이의 인터랙션을 편리하게 진행하도록 멀티미디어 모듈을 포함할 수 있다.
메모리(804)는 다양한 유형의 데이터를 저장하여 장치(800)에서의 동작을 지원한다. 이러한 데이터의 예시는 장치(800)에서 동작하는 임의의 응용 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 이미지, 영상 등을 포함한다. 메모리(804)는, 정적 랜덤 액세스 메모리(SRAM), 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM), 소거 가능한 프로그램 가능 판독 전용 메모리(EPROM), 프로그램 가능 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 광 디스크와 같은 임의의 유형의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.
전원 컴포넌트(806)은 장치(800)의 다양한 컴포넌트에게 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수의 전원, 및 장치(800)의 생성, 관리, 및 전원 할당과 관련된 다른 컴포넌트를 포함할 수 있다.
멀티미디어 컴포넌트(808)는 상기 장치(800)와 사용자 사이에 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 만약, 스크린이 터치 패널을 포함하면, 사용자로부터 입력 신호를 수신하도록 스크린은 터치 스크린으로 구현될 수 있다. 터치 패널은, 패널에서의 터치, 슬라이드, 터치 패널의 제스처를 감지하기 위한 하나 또는 복수의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 슬라이드에 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및/또는 후방 카메라를 포함한다. 장치(800)가, 촬영 모드 또는 영상 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각각의 전방 카메라와 후방 카메라는 하나의 고정식 광학 렌즈 시스템 또는 초점 거리 및 광학 줌 기능을 가질 수 있다.
오디오 컴포넌트(810)은 오디오 신호를 출력 및/또는 입력한다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고 장치(800)가 통화 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드일 경우, 마이크는 외부 오디오 신호를 수신한다. 수신된 오디오 신호는 메모리(804)에 저장되거나 통신 컴포넌트(816)를 통해 발송될 수 있다. 일부 실시예에서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 스피커를 포함한다.
I/O 인터페이스(812)는 프로세싱 컴포넌트(802)와 주변 장치 인터페이스 모듈 사이의 인터페이스를 제공하며, 상기 주변 장치 인터페이스 모듈은 키보드, 클릭 휠(Click Wheel), 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지는 않는다.
센서 컴포넌트(814)는 다양한 양태의 상태 평가를 장치(800)에 제공하기 위한 하나 또는 복수의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 장치의 온/오프 상태, 컴포넌트의 상대적 위치를 감지할 수 있고, 예를 들어, 상기 컴포넌트는 장치(800)의 디스플레이 및 키패드이고 센서 컴포넌트(814)는 장치(800) 또는 장치(800)의 컴포넌트의 위치 변화, 사용자와 장치(800) 사이의 접촉 여부, 장치(800) 방위 또는 가속/감속 및 장치(800)의 온도 변화를 감지할 수 있다. 센서 컴포넌트(814)는 물리적 접촉없이 주변 물체의 존재를 감지하는 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 이미징 애플리케이션에 사용하기 위한 CMOS 또는 CCD 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.
통신 컴포넌트(816)은 장치(800)와 다른 기기 사이의 유선 또는 무선 방식의 통신이 용이하도록 구성된다. 장치(800)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 예시적인 일 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터 방송 신호 또는 방송 관련 정보를 수신한다. 예시적인 일 실시예에서, 상기 통신 컴포넌트(816)는 근거리 통신을 촉진하는 근거리 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 통신 규격(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술 기반으로 구현될 수 있다.
예시적인 실시예에서, 장치(800)는 하나 또는 복수의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 프로세서 기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 상기 방법을 실행할 수 있다.
예시적인 실시예에서 비휘발성 컴퓨터 판독가능 저장매체를 더 제공하고, 예를 들면 컴퓨터 프로그램 명령을 포함하는 메모리(804)이며, 상기 컴퓨터 프로그램 명령은 장치(800)의 프로세서(802)에 의해 실행되어 상기 방법을 구현한다.
도 10은 일 예시적 실시예에 따라 도시한 얼굴 특징점 위치결정 장치(1900)의 블록도이다. 예를 들어, 장치(1900)는 하나의 서버로 제공될 수 있다. 도 10을 참조하면 장치(1900)는 프로세싱 컴포넌트(1922)를 포함하고 이는 또한 하나 또는 다수의 프로세서 및 프로세싱 컴포넌트(1922)가 실행 가능한 명령, 예를 들어 애플리케이션 프로그램을 저장하기 위한 메모리(1932)를 대표로 하는 메모리 리소스를 포함한다. 메모리(1932)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각각의 명령과 대응되는 모듈을 포함할 수 있다. 이 밖에 프로세싱 컴포넌트(1922)는 상기 방법을 수행하도록 명령을 실행한다.
장치(1900)는 장치(1900)의 전원관리를 실행하도록 구성된 하나의 전원 컴포넌트(1926), 장치(1900)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950), 하나의 입력/출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 장치(1900)는 메모리(1932)에 저장된 운영체제, 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 등과 같은 것을 작동시킬 수 있다.
예시적인 실시예에서 비휘발성 컴퓨터 판독가능 저장매체를 더 제공하고, 예를 들면 컴퓨터 프로그램 명령을 포함하는 메모리(1932)이며, 상기 컴퓨터 프로그램 명령은 장치(1900)의 프로세서(1922)에 의해 실행되어 상기 방법을 구현한다.
본 개시는 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서에 의해 본 개시의 다양한 양태를 수행할 수 있는 컴퓨터 판독가능 프로그램 명령이 저장된 컴퓨터 판독가능 저장매체를 포함할 수 있다.
컴퓨터 판독가능 저장매체는 명령 실행 기기에 의해 실행되는 명령을 유지 및 저장하기 위한 유형 기기일 수 있다. 컴퓨터 판독가능 저장매체는 전자 저장 장치, 자기 저장 장치, 광학 저장 장치, 전자기 저장 장치, 반도체 저장 장치 또는 상술한 임의의 적절한 조합일 수 있으나 이에 한정되는 것은 아니다. 더 구체적인 예(비 한정적인 예)로, 컴퓨터 판독가능 저장매체는 휴대용 컴퓨터 드라이브, 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시), 정적 랜덤 액세스 메모리(SRAM), 휴대용 압축 디스크 판독 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD), 메모리 스틱, 플로피 디스크, 기계적 코딩 장치를 포함하고, 예를 들어 명령이 저장된 천공 카드 또는 오목홈 내의 돌기 구조, 및 상술한 임의의 적절한 조합일 수 있다. 여기에서 사용되는 컴퓨터 판독가능 저장매체는 무선 전파 또는 다른 자유롭게 전파되는 전자기파, 도파 또는 다른 전달 매체를 통해 전파되는 전자기파(예를 들면 광섬유 케이블을 통한 광 펄스), 또는 전기선을 통해 전달되는 전기신호와 같은 임시 신호 자체로 해석되지 않는다.
여기에서 기술된 컴퓨터 판독가능 프로그램 명령은 컴퓨터 판독가능 저장매체로부터 다양한 컴퓨팅/프로세싱 장치에 다운로드 되거나, 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선인터넷을 통해 외부 컴퓨터 또는 외부 저장 장치에 다운로드될 수 있다. 네트워크는 구리 전달 케이블, 광섬유 전달, 무선 전달, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 엣지 서버를 포함할 수 있다. 각각의 컴퓨팅/프로세싱 장치 중의 네트워크 어댑터 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독가능 프로그램 명령을 수신하고 상기 컴퓨터 판독가능 프로그램 명령을 전달하여 각각의 컴퓨팅/프로세싱 장치 중의 컴퓨터 판독가능 저장매체에 저장한다.
본 개시의 조작을 수행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령어 집합 아키텍쳐(ISA) 명령, 머신 명령, 머신 관련 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터, 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 프로그래밍된 소스 코드 또는 목적 코드일 수 있다. 상기 프로그래밍 언어는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어, “C”언어 또는 유사한 프로그래밍 언어와 같은 통상적인 절차형 프로그래밍 언어를 포함한다. 컴퓨터 판독가능 프로그램 언어는 사용자 컴퓨터에 완전히 실행되거나, 하나의 독립적인 패키지로서 부분적으로 사용자 컴퓨터에서 실행되고 부분적으로 사용자 컴퓨터에서 실행되고 부분적으로 원격 컴퓨터에서 실행되거나, 원격 컴퓨터 또는 서버에서 완전히 실행될 수 있다. 원격 컴퓨터를 사용하는 경우, 원격 컴퓨터는 임의의 종류의 네트워크 - 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 포함 - 를 통해 사용자 컴퓨터에 연결되거나, 또는 외부 컴퓨터(예를 들면 인터넷 서비스 제공업체를 이용하여 인터넷을 통해 연결)에 연결될 수 있다. 일부 실시예에서, 컴퓨터 판독가능 프로그램 명령을 이용하는 상태 정보를 통해 전자 회로를 맞춤 제작할 수 있고, 예를 들면 프로그램 가능 논리 회로, 필드 프로그램 가능 게이트웨이 어레이(FPGA) 또는 프로그램 가능 논리 어레이(PLA)이다. 상기 전자 회로는 컴퓨터 판독가능 프로그램 명령을 실행하여 본 개시의 다양한 양태를 구현한다.
본 개시의 실시예의 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 본 개시의 다양한 양태를 설명하였다. 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은 모두 컴퓨터 판독가능 프로그램 명령에 의해 구현될 수 있다.
이러한 컴퓨터 판독가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공되어 기계를 구성하여 이러한 명령이 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 의해 수행될 경우 흐름도 및/또는 블록도 중 하나 또는 복수의 블록에 규정된 기능/동작을 수행하는 장치를 구성할 수 있다. 이러한 컴퓨터 판독가능 프로그램 명령을 컴퓨터 판독가능 저장매체에 저장하여, 이러한 명령이 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치가 특정한 방식으로 작동하도록 할 수 있으며, 명령이 저장된 컴퓨터 판독가능 저장매체는 흐름도 및/또는 블록도 중 하나 또는 복수의 블록에 규정된 기능/동작의 다양한 양태를 구현하는 명령이 포함된 하나의 제품을 포함한다.
컴퓨터 판독가능 프로그램 명령을 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에 로딩하여, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기가 일련의 조작 단계를 수행하여 컴퓨터가 구현하는 과정을 구현하도록 함으로써 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에서 실행되는 명령이 흐름도 및/또는 블록도 중 하나 또는 복수의 블록에 규정된 기능/동작을 구현하도록 한다.
도면에서 흐름도 및 블록도는 본 개시의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 체계 아키택처, 기능 및 조작을 도시하였다. 이점에서 흐름도 또는 블록도 중의 각각의 블록은 하나의 모듈, 프로그램 단락 또는 명령의 일부를 가리킬 수 있고, 상기 모듈, 프로그램 단락 또는 명령의 일부는 하나 또는 복수의 규정된 논리적 기능을 수행하기 위한 실행 가능 명령을 포함한다. 일부 대체 가능한 실시형태에서, 블록에 표기된 기능은 도면에 도시된 순서가 다르게 실행될 수 있다. 예를 들어, 두 개의 연속된 블록은 실질적으로 기본적으로 병행 실행되거나, 반대되는 순서로 실행될 수 있으며 이는 관련 기능에 따라 정해진다. 유의해야 할 것은, 블록도 및/또는 흐름도 중의 각 블록, 블록도 및/또는 흐름도 중의 각 블록의 조합은 규정된 기능 또는 동작을 수행하는 하드웨어 기반 전용 시스템, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 구현될 수 있다.
앞서 본 개시의 각 실시예를 설명하였으나 이상의 설명은 예시적인 것이고 한정적인 것이 아니며, 본 개시가 개시된 각 실시예에 의해 한정되는 것이 아니다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 전제하에 본 기술분야의 통상의 기술자는 다양한 수정 및 변화를 진행할 수 있음은 자명하다. 본문에서 사용된 용어는 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 기술 개선을 가장 잘 해석하고 본 기술분야의 통상의 기술자가 본문에 개시된 실시예를 이해할 수 있도록 하는 취지에서 선택되었다.
Claims (24)
- 얼굴 특징점 위치결정 방법으로서,
얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하는 단계; 및
상기 얼굴 이미지와 각각의 미리 정의된 특징선 이미지를 픽셀 단위로 곱하여 각각의 미리 정의된 특징선 이미지와 일대일로 대응되는 복수의 경계 특징을 얻는 단계 - 상기 미리 정의된 특징선 이미지는 트레이닝된 콘볼루션 신경망을 통해 획득된 것임 - ;
상기 복수의 경계 특징과 상기 얼굴 이미지를 중첩하여 제1 융합 이미지를 얻는 단계;
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 이미지 융합을 진행하여 제2 융합 이미지를 얻는 단계; 및
상기 제2 융합 이미지에 대해 매핑을 진행하여 특징점의 위치 벡터를 얻고 상기 특징점의 위치 벡터를 얼굴 특징점의 위치 정보로 하는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 방법. - 청구항 1에 있어서,
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 이미지 융합을 진행하기 전에,
상기 얼굴 특징선 이미지에 대해 유효성 판단을 진행하여 최적화된 얼굴 특징선 이미지를 얻는 단계를 더 포함하고,
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 이미지 융합을 진행하는 단계는,
상기 제1 융합 이미지와 상기 최적화된 얼굴 특징선 이미지에 대해 최소 1레벨의 이미지 융합을 진행하는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 방법. - 청구항 1에 있어서,
상기 얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하는 단계는,
상기 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득하는 단계; 및
상기 특징선 이미지에 대해 최적화를 진행하여 상기 얼굴 특징선 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 방법. - 청구항 3에 있어서,
상기 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득하는 단계는,
상기 얼굴 이미지에 대해 순차적으로 콘볼루션, 잔여 연산, 다운샘플링 및 잔여 연산의 조작을 수행하여 상기 특징선 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 방법. - 청구항 3에 있어서,
상기 특징선 이미지에 대해 최적화를 진행하여 상기 얼굴 특징선 이미지를 획득하는 단계는,
상기 특징선 이미지를 최소 1레벨의 최적화 네트워크를 거쳐 상기 얼굴 특징선 이미지를 획득하는 단계를 포함하고,
각 레벨의 상기 최적화 네트워크는 잔여 연산을 실현하는 아워글래스 네트워크 및 특징선 정보 전달을 실현하는 정보 전달층을 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 방법. - 삭제
- 청구항 1에 있어서,
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 가장자리 이미지 융합을 진행하기 전에,
상기 제1 융합 이미지에 대해 최적화 처리를 진행하여 최적화된 제1 융합 이미지를 얻는 단계를 더 포함하고,
상기 최적화 처리는 순차적으로 콘볼루션, 다운샘플링 및 잔여 연산을 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 방법. - 삭제
- 청구항 1에 있어서,
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 이미지 융합을 진행하여 제2 융합 이미지를 얻는 단계는,
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지를 중첩하여 제3 융합 이미지를 얻는 단계;
상기 제3 융합 이미지에 대해 잔여 연산을 진행하여 상기 얼굴 특징선 이미지와 크기가 같은 제4 융합 이미지를 얻는 단계;
상기 제1 융합 이미지와 상기 제4 융합 이미지를 픽셀 단위로 곱하여 제5 융합 이미지를 얻는 단계; 및
상기 제1 융합 이미지와 상기 제5 융합 이미지를 중첩하여 상기 제2 융합 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 방법. - 청구항 1에 있어서,
각 레벨의 이미지를 융합하는 사이에,
각 레벨의 이미지 융합 결과에 대해 잔여 연산을 진행하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 방법. - 청구항 1에 있어서,
상기 제2 융합 이미지에 대해 매핑을 진행하여 특징점의 위치 벡터를 얻는 단계는,
상기 제2 융합 이미지에 대해 순차적으로 잔여 연산 및 전체 연결 조작을 진행하여 상기 특징점의 위치 벡터를 얻는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 방법. - 얼굴 특징점 위치결정 장치로서,
얼굴 이미지에 대해 가장자리 검출을 진행하여 얼굴 특징선 이미지를 획득하는 가장자리 검출 모듈; 및
상기 얼굴 이미지와 각각의 미리 정의된 특징선 이미지를 픽셀 단위로 곱하여 각각의 미리 정의된 특징선 이미지와 일대일로 대응되는 복수의 경계 특징을 얻고, 상기 복수의 경계 특징과 상기 얼굴 이미지를 중첩하여 제1 융합 이미지를 얻고, 상기 제1 융합 이미지와 상기 얼굴 특징선 이미지에 대해 최소 1레벨의 이미지 융합을 진행하여 제2 융합 이미지를 얻고, 상기 제2 융합 이미지에 대해 매핑을 진행하여 특징점의 위치 벡터를 얻고 상기 특징점의 위치 벡터를 얼굴 특징점의 위치 정보로 하는 융합 모듈 - 상기 미리 정의된 특징선 이미지는 트레이닝된 콘볼루션 신경망을 통해 획득된 것임 - ; 을 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 장치. - 청구항 12에 있어서,
상기 얼굴 특징점 위치결정 장치는,
상기 얼굴 특징선 이미지에 대해 유효성 판단을 진행하여 최적화된 얼굴 특징선 이미지를 얻는 판단 모듈을 더 포함하고,
상기 융합 모듈은,
상기 제1 융합 이미지와 상기 최적화된 얼굴 특징선 이미지에 대해 최소 1레벨의 이미지 융합을 진행하는 것을 특징으로 하는 얼굴 특징점 위치결정 장치. - 청구항 12에 있어서,
상기 가장자리 검출 모듈은,
상기 얼굴 이미지에 대해 특징선 특징 추출을 진행하여 특징선 이미지를 획득하는 특징 추출 서브모듈; 및
상기 특징선 이미지에 대해 최적화를 진행하여 상기 얼굴 특징선 이미지를 획득하는 제1 최적화 서브모듈을 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 장치. - 청구항 14에 있어서,
상기 특징 추출 서브모듈은,
상기 얼굴 이미지에 대해 순차적으로 콘볼루션, 잔여 연산, 다운샘플링 및
잔여 연산의 조작을 수행하여 상기 특징선 이미지를 획득하는 것을 특징으로 하는 얼굴 특징점 위치결정 장치. - 청구항 14에 있어서,
상기 제1 최적화 서브모듈은,
상기 특징선 이미지를 최소 1레벨의 최적화 네트워크를 거쳐 상기 얼굴 특징선 이미지를 획득하고,
각 레벨의 상기 최적화 네트워크는 잔여 연산을 실현하는 아워글래스 네트워크 및 특징선 정보 전달을 실현하는 정보 전달층을 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 장치. - 삭제
- 청구항 12에 있어서,
상기 융합 모듈은,
상기 제1 융합 이미지에 대해 최적화 처리를 진행하여 최적화된 제1 융합 이미지를 얻는 제2 최적화 서브모듈을 더 포함하고,
상기 최적화 처리는 순차적으로 콘볼루션, 다운샘플링 및 잔여 연산을 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 장치. - 삭제
- 청구항 12에 있어서,
상기 융합 모듈은,
상기 제1 융합 이미지와 상기 얼굴 특징선 이미지를 중첩하여 제3 융합 이미지를 얻는 제2 중첩 유닛;
상기 제3 융합 이미지에 대해 잔여 연산을 진행하여 상기 얼굴 특징선 이미지와 크기가 같은 제4 융합 이미지를 얻는 잔여 연산 유닛;
상기 제1 융합 이미지와 상기 제4 융합 이미지를 픽셀 단위로 곱하여 제5 융합 이미지를 얻는 제2 곱셈 유닛; 및
상기 제1 융합 이미지와 상기 제5 융합 이미지를 중첩하여 상기 제2 융합 이미지를 얻는 제3 중첩 유닛을 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 장치. - 청구항 12에 있어서,
상기 융합 모듈은,
각 레벨의 이미지 융합 결과에 대해 잔여 연산을 진행하는 잔여 연산 서브모듈을 더 포함하는 것을 특징으로 하는 얼굴 특징점 위치결정 장치. - 청구항 12에 있어서,
상기 융합 모듈은,
상기 제2 융합 이미지에 대해 순차적으로 잔여 연산 및 전체 연결 조작을 진행하여 상기 특징점의 위치 벡터를 얻는 것을 특징으로 하는 얼굴 특징점 위치결정 장치. - 전자 기기로서,
프로세서;
프로세서에 의해 실행 가능한 명령이 저장된 메모리를 포함하고,
상기 프로세서는 청구항 1 내지 청구항 5, 청구항 7, 청구항 9 내지 청구항 11 중 어느 한 항에 따른 얼굴 특징점 위치결정 방법을 구현하는 것을 특징으로 하는 전자기기. - 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독가능 저장매체로서,
상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우 청구항 1 내지 청구항 5, 청구항 7, 청구항 9 내지 청구항 11 중 어느 한 항에 따른 얼굴 특징점 위치결정 방법을 구현하는 컴퓨터 판독가능 저장매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810373871.6A CN108596093B (zh) | 2018-04-24 | 2018-04-24 | 人脸特征点的定位方法及装置 |
| CN201810373871.6 | 2018-04-24 | ||
| PCT/CN2018/116779 WO2019205605A1 (zh) | 2018-04-24 | 2018-11-21 | 人脸特征点的定位方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200010397A KR20200010397A (ko) | 2020-01-30 |
| KR102334279B1 true KR102334279B1 (ko) | 2021-12-02 |
Family
ID=63614398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197037564A KR102334279B1 (ko) | 2018-04-24 | 2018-11-21 | 얼굴 특징점 위치결정 방법 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11314965B2 (ko) |
| JP (1) | JP7042849B2 (ko) |
| KR (1) | KR102334279B1 (ko) |
| CN (1) | CN108596093B (ko) |
| MY (1) | MY201922A (ko) |
| SG (1) | SG11201912428TA (ko) |
| WO (1) | WO2019205605A1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596093B (zh) * | 2018-04-24 | 2021-12-03 | 北京市商汤科技开发有限公司 | 人脸特征点的定位方法及装置 |
| CN109285182A (zh) * | 2018-09-29 | 2019-01-29 | 北京三快在线科技有限公司 | 模型生成方法、装置、电子设备和计算机可读存储介质 |
| CN109522910B (zh) * | 2018-12-25 | 2020-12-11 | 浙江商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
| CN109461188B (zh) * | 2019-01-30 | 2019-04-26 | 南京邮电大学 | 一种二维x射线头影测量图像解剖特征点自动定位方法 |
| CN111553865B (zh) * | 2020-04-30 | 2023-08-22 | 深圳市商汤科技有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN115564837B (zh) * | 2022-11-17 | 2023-04-18 | 歌尔股份有限公司 | 一种视觉定位方法、装置和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006011978A (ja) * | 2004-06-28 | 2006-01-12 | Canon Inc | 画像処理方法、画像処理装置 |
| KR101785661B1 (ko) * | 2016-12-06 | 2017-10-17 | 인천대학교 산학협력단 | 회색 값 분산을 이용한 얼굴 윤곽 인식방법 및 그 장치 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8620038B2 (en) * | 2006-05-05 | 2013-12-31 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
| JP4811259B2 (ja) | 2006-12-11 | 2011-11-09 | 日産自動車株式会社 | 視線方向推定装置及び視線方向推定方法 |
| JP5202037B2 (ja) | 2008-02-29 | 2013-06-05 | キヤノン株式会社 | 特徴点位置決定方法及び装置 |
| JP5153434B2 (ja) | 2008-04-22 | 2013-02-27 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| CN103679158B (zh) * | 2013-12-31 | 2017-06-16 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
| CN106156692B (zh) | 2015-03-25 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 一种用于人脸边缘特征点定位的方法及装置 |
| US10198624B2 (en) * | 2016-02-18 | 2019-02-05 | Pinscreen, Inc. | Segmentation-guided real-time facial performance capture |
| US11182629B2 (en) * | 2017-01-31 | 2021-11-23 | The Regents Of The University Of California | Machine learning based driver assistance |
| CN106951840A (zh) * | 2017-03-09 | 2017-07-14 | 北京工业大学 | 一种人脸特征点检测方法 |
| CN107832741A (zh) * | 2017-11-28 | 2018-03-23 | 北京小米移动软件有限公司 | 人脸特征点定位的方法、装置及计算机可读存储介质 |
| CN108596093B (zh) * | 2018-04-24 | 2021-12-03 | 北京市商汤科技开发有限公司 | 人脸特征点的定位方法及装置 |
-
2018
- 2018-04-24 CN CN201810373871.6A patent/CN108596093B/zh active Active
- 2018-11-21 JP JP2019568632A patent/JP7042849B2/ja active Active
- 2018-11-21 WO PCT/CN2018/116779 patent/WO2019205605A1/zh active Application Filing
- 2018-11-21 SG SG11201912428TA patent/SG11201912428TA/en unknown
- 2018-11-21 KR KR1020197037564A patent/KR102334279B1/ko active IP Right Grant
- 2018-11-21 MY MYPI2019007719A patent/MY201922A/en unknown
-
2019
- 2019-12-19 US US16/720,124 patent/US11314965B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006011978A (ja) * | 2004-06-28 | 2006-01-12 | Canon Inc | 画像処理方法、画像処理装置 |
| KR101785661B1 (ko) * | 2016-12-06 | 2017-10-17 | 인천대학교 산학협력단 | 회색 값 분산을 이용한 얼굴 윤곽 인식방법 및 그 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019205605A1 (zh) | 2019-10-31 |
| US20200125833A1 (en) | 2020-04-23 |
| JP7042849B2 (ja) | 2022-03-28 |
| JP2020523694A (ja) | 2020-08-06 |
| SG11201912428TA (en) | 2020-01-30 |
| US11314965B2 (en) | 2022-04-26 |
| KR20200010397A (ko) | 2020-01-30 |
| MY201922A (en) | 2024-03-23 |
| CN108596093B (zh) | 2021-12-03 |
| CN108596093A (zh) | 2018-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102334279B1 (ko) | 얼굴 특징점 위치결정 방법 및 장치 | |
| US20210326587A1 (en) | Human face and hand association detecting method and a device, and storage medium | |
| JP7262659B2 (ja) | 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体 | |
| CN113569797B (zh) | 关键点检测方法及装置、电子设备和存储介质 | |
| KR102442485B1 (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체 | |
| CN109257645B (zh) | 视频封面生成方法及装置 | |
| CN107692997B (zh) | 心率检测方法及装置 | |
| CN110555794B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111243011A (zh) | 关键点检测方法及装置、电子设备和存储介质 | |
| CN108900903B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
| CN110933488A (zh) | 视频剪辑方法及装置 | |
| CN111401230B (zh) | 姿态估计方法及装置、电子设备和存储介质 | |
| CN108881952B (zh) | 视频生成方法及装置、电子设备和存储介质 | |
| CN109472738B (zh) | 图像光照校正方法及装置、电子设备和存储介质 | |
| CN106774849B (zh) | 虚拟现实设备控制方法及装置 | |
| JP7316456B2 (ja) | 点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラム | |
| CN111476057B (zh) | 车道线获取方法及装置、车辆驾驶方法及装置 | |
| CN110929616B (zh) | 一种人手识别方法、装置、电子设备和存储介质 | |
| KR102324001B1 (ko) | 위치자세 검출 방법 및 장치, 전자 기기 및 저장 매체 | |
| US11410268B2 (en) | Image processing methods and apparatuses, electronic devices, and storage media | |
| WO2021073204A1 (zh) | 对象的显示方法、装置、电子设备及计算机可读存储介质 | |
| CN114549983A (zh) | 计算机视觉模型训练方法及装置、电子设备和存储介质 | |
| CN109543544B (zh) | 跨光谱图像匹配方法及装置、电子设备和存储介质 | |
| KR102374400B1 (ko) | 이미지 처리 방법 및 장치, 전자 기기와 저장 매체 | |
| KR20210157470A (ko) | 자세 검출 및 비디오 처리 방법, 장치, 전자 기기 및 저장 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |