KR102597377B1 - 이미지 인식방법, 장치, 기기, 컴퓨터 저장매체 및 컴퓨터 프로그램 - Google Patents
이미지 인식방법, 장치, 기기, 컴퓨터 저장매체 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102597377B1 KR102597377B1 KR1020210037793A KR20210037793A KR102597377B1 KR 102597377 B1 KR102597377 B1 KR 102597377B1 KR 1020210037793 A KR1020210037793 A KR 1020210037793A KR 20210037793 A KR20210037793 A KR 20210037793A KR 102597377 B1 KR102597377 B1 KR 102597377B1
- Authority
- KR
- South Korea
- Prior art keywords
- face image
- image
- scale
- wrinkle
- facial
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004590 computer program Methods 0.000 title claims description 10
- 230000037303 wrinkles Effects 0.000 claims abstract description 93
- 230000001815 facial effect Effects 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 210000000056 organ Anatomy 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 206010040954 Skin wrinkling Diseases 0.000 description 76
- 230000011218 segmentation Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
Abstract
본원 발명은 이미지 인식방법을 개시하며, 인공지능 기술분야에 관한 것으로 특히 이미지 처리 기술분야에 관한 것이다. 구체적인 기술적 방안은, 전처리된 얼굴 이미지에 대해 안면인식을 수행하고 얼굴 이미지에서 얼굴 오관의 위치를 태깅하여 태깅된 얼굴 이미지를 획득하며; 태깅된 얼굴 이미지의 멀티 스케일에서의 얼굴 이미지를 결정하고 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 특징 추출을 수행하여 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득하며; 얼굴 이미지의 동일 영역에 위치한 각 스케일의 주름 특징을 융합하여 얼굴 이미지의 주름 인식결과를 획득한다. 본원 발명의 실시예는 비교적 높은 주름 인식 정확도를 구비하고 빛 등 외부 환경의 영향을 쉽게 받지 않는다.
Description
본원 발명은 컴퓨터 기술분야에 관한 것으로 특히 이미지 처리 기술분야에 관한 것이다.
컴퓨터 기술의 발전과 더불어 이미지 처리와 이미지 인식기술도 점점 지능화되고 있다. 이미지 인식분야에서는 인공지능의 수단으로 안면 인식, 인체 인식 등을 진행할 수 있다. 이미지 처리기술도 보안 점검, 출입 통제, 뉴스 및 의료 등과 같은 점점 더 많은 분야에 응용되고 있다.
의료분야에서 이미지 인식기술은 사람 얼굴의 주름을 인식하는데 사용될 수 있다. 이러한 응용분야에서 어떻게 인식 정확도를 향상시킬 것인가 하는 것은 해결해야 할 문제이다.
본 발명은 이미지 인식방법, 장치, 기기 및 저장매체를 제공한다.
본 발명의 일 양태에 따르면 이미지 인식방법을 제공하며, 이미지 인식방법은,
전처리된 얼굴 이미지에 대해 안면인식을 수행하고 얼굴 이미지에서 얼굴 오관의 위치를 태깅하여 태깅된 얼굴 이미지를 획득하는 단계;
태깅된 얼굴 이미지의 멀티 스케일에서의 얼굴 이미지를 결정하고 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 특징 추출을 수행하여 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득하는 단계;
얼굴 이미지의 동일 영역에 위치한 각 스케일의 주름 특징을 융합하여 얼굴 이미지의 주름 인식결과를 획득하는 단계를 포함한다.
본 발명의 다른 양태에 따르면 이미지 인식장치를 제공하며, 이미지 인식장치는,
전처리된 얼굴 이미지에 대해 안면인식을 수행하고 얼굴 이미지에서 얼굴 오관의 위치를 태깅하여 태깅된 얼굴 이미지를 획득하기 위한 인식모듈;
태깅된 얼굴 이미지의 멀티 스케일에서의 얼굴 이미지를 결정하고 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 특징 추출을 수행하여 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득하기 위한 특징 추출모듈;
얼굴 이미지의 동일 영역에 위치한 각 스케일의 주름 특징을 융합하여 얼굴 이미지의 주름 인식결과를 획득하기 위한 융합모듈을 포함한다.
본 발명의 다른 양태에 따르면 전자기기를 제공하며, 전자기기는,
적어도 하나의 프로세서; 및
적어도 하나의 프로세서와 통신연결하는 메모리를 포함하며,
메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며, 명령은 적어도 하나의 프로세서에 의해 실행되어 적어도 하나의 프로세서로 하여금 본원 발명의 임의의 한 실시예에서 제공하는 방법을 수행하도록 한다.
본 발명의 다른 양태에 따르면 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하며, 컴퓨터 명령은 컴퓨터로 하여금 본원 발명의 임의의 한 실시예에서 제공하는 방법을 수행하도록 한다.
본원 발명의 기술에 따르면 주름 인식 정확도를 향상시키고 인식과정에서 빛 등 외부 환경의 간섭을 받지 않을 수 있다.
본 명세서에서 설명한 내용은 본 발명의 실시예의 관건적이거나 중요한 특징을 표기하기 위한 것이 아니고 본 발명의 범위를 한정하기 위한 것도 아님을 이해해야 한다. 본 발명의 다른 특징은 아래의 명세서를 통해 더 용이하게 이해할 수 있을 것이다.
도면은 본 해결수단을 더 잘 이해하기 위한 것으로 본원 발명에 대한 한정이 되지 않는다.
도 1은 본원 발명의 실시예에 따른 이미지 인식방법의 모식도이다.
도 2는 본원 발명의 실시예에 따른 이미지 인식방법의 구체적인 시나리오에서의 모식도이다.
도 3은 본원 발명의 다른 실시예에 따른 이미지 인식방법의 모식도이다.
도 4는 본원 발명의 다른 실시예에 따른 이미지 인식 데이터 처리과정의 모식도이다.
도 5는 본원 발명의 실시예에 따른 이미지 인식장치의 모식도이다.
도 6은 본원 발명의 다른 실시예에 따른 이미지 인식장치의 모식도이다.
도 7은 본원 발명의 실시예에 따른 이미지 인식장치에서의 특징 추출모듈의 장치의 모식도이다.
도 8은 본원 발명의 실시예에 따른 이미지 인식방법을 실현하기 위한 전자기기의 블록도이다.
도 1은 본원 발명의 실시예에 따른 이미지 인식방법의 모식도이다.
도 2는 본원 발명의 실시예에 따른 이미지 인식방법의 구체적인 시나리오에서의 모식도이다.
도 3은 본원 발명의 다른 실시예에 따른 이미지 인식방법의 모식도이다.
도 4는 본원 발명의 다른 실시예에 따른 이미지 인식 데이터 처리과정의 모식도이다.
도 5는 본원 발명의 실시예에 따른 이미지 인식장치의 모식도이다.
도 6은 본원 발명의 다른 실시예에 따른 이미지 인식장치의 모식도이다.
도 7은 본원 발명의 실시예에 따른 이미지 인식장치에서의 특징 추출모듈의 장치의 모식도이다.
도 8은 본원 발명의 실시예에 따른 이미지 인식방법을 실현하기 위한 전자기기의 블록도이다.
이하 도면과 결부하여 본원 발명의 예시적인 실시예를 설명하되, 여기서 본원 발명의 실시예를 포함하는 여러 가지 세부절차는 이해를 돕기 위한 것으로 이들은 응당 예시적인 것으로 간주해야 한다. 따라서 본 기술분야에서 통상의 지식을 가진 자들은 여기서 설명한 실시예에 대하여 여러 가지 변화와 수정을 진행할 수 있고 이는 본원 발명의 범위와 정신을 벗어나지 않는다는 것을 알 수 있다. 마찬가지로 뚜렷함과 간결함을 위하여 아래의 설명에서는 공지 기능과 구조에 대한 설명을 생략한다.
설명해야 할 것은, 서로 충돌하지 않는 상황에서 본원 발명에서의 실시예 및 실시예에서의 특징은 서로 조합될 수 있다.
도 1은 본원 발명의 한가지 실시예에 따른 이미지 인식방법을 도시하는데 이는 다음과 같은 단계를 포함한다.
단계101: 전처리된 얼굴 이미지에 대해 안면인식을 수행하고 상기 얼굴 이미지에 얼굴 오관의 위치를 태깅하여 태깅된 얼굴 이미지를 획득한다.
단계102: 태깅된 얼굴 이미지의 멀티 스케일에서의 얼굴 이미지를 결정하고 상기 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 특징 추출을 진행하여 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득한다.
단계103: 얼굴 이미지의 동일 영역에 위치하는 각 스케일의 상기 주름 특징을 융합하여 상기 얼굴 이미지의 주름 인식결과를 획득한다.
본 실시예에서, 전처리된 얼굴 이미지는 처리가 필요한 얼굴 이미지의 처리된 후의 이미지일 수 있으며, 구체적으로는 이미지 플래닝, 배경 제거, 얼굴 검출과 같은 방식을 통해 획득한 이미지 일 수 있다. 전처리된 얼굴 이미지에 대해 장기 인식을 수행하는 것은 얼굴 이미지에서 안구 영역, 코 영역, 눈썹 영역, 볼 영역 및 입 영역 등과 같은 안면이 위치한 영역을 찾아내는 것을 포함할 수 있다.
본 실시예에서, 멀티 스케일에서의 얼굴 이미지는 기존 크기의 얼굴 이미지를 확대하거나 축소하여 얻은 얼굴 이미지 일 수 있다. 예를 들어 기존 크기의 얼굴 이미지를 기존 크기의 2분의 1, 4분의 1 또는 8분의 1 등으로 축소하여 기존 크기의 얼굴 이미지, 2분의 1의 기존 크기의 얼굴 이미지, 4분의 1의 기존 크기의 얼굴 이미지 또는 8분의 1의 기존 크기의 얼굴 이미지 등을 얻는다.
본 실시예에서, 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 특징 추출을 수행하여 각 스케일의 얼굴 이미지의 주름 특징을 획득한다. 예를 들어 기존 크기의 얼굴 이미지를 기존 크기의 2분의 1, 4분의 1 또는 8분의 1 등으로 축소하여 기존 크기의 얼굴 이미지, 2분의 1의 기존 크기의 얼굴 이미지, 4분의 1의 기존 크기의 얼굴 이미지와 8분의 1의 기존 크기의 얼굴 이미지 등을 얻는다. 획득한 멀티 스케일과 대응되는 주름 특징은 기존 크기의 주름 특징, 2분의 1 기존 크기의 주름 특징, 4분의 1 기존 크기의 주름 특징과 8분의 1 기존 크기의 주름 특징을 포함한다.
본 실시예에 있어서, 전처리된 얼굴 이미지에 대해 안면인식을 수행한 다음 안면인식결과에 근거하여 멀티 스케일의 얼굴 이미지를 획득하고 다시 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 특징 추출을 수행하며, 이로써 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 얻게 된다. 멀티 스케일이 융합되어 있기 때문에 아주 작은 주름도 인식 가능하며, 은폐된 작은 주름마저 정확히 분할할 수 있어 인식의 정확성을 향상시킬 수 있다. 본 실시예에서는 백본 네트워크 모델을 통하여 파라미터 공유하고 입력단으로부터 출력단으로 각 주름 윤곽 좌표 및 각 주름의 면적을 직접 출력한다. 본 실시예는 멀티 스케일 입력, 멀티 스케일 출력이 융합된 네트워크 구조를 채택하여 잠재적으로 은폐된 아주 작은 주름을 정확히 분할할 수 있어 상이한 조명 환경에서 얼굴 주름을 모두 정확히 분할할 수 있다.
한가지 실시형태에서 도 2에 도시된 바와 같이, 이미지 인식방법은 다음과 같은 단계를 더 포함한다.
단계201: 상기 얼굴 이미지의 픽셀에 대해 균일화 처리를 진행하여 균일화 처리 후의 얼굴 이미지를 획득한다.
단계202: 상기 균일화 처리 후의 얼굴 이미지의 픽셀 평방 편차(pixel variance)에 대해 정규화 처리를 진행하여 상기 전처리된 얼굴 이미지를 획득한다.
본 실시예에 있어서, 상기 얼굴 이미지의 픽셀에 대해 균일화 처리를 진행하여 균일화 처리 후의 얼굴 이미지를 획득하는 단계는 구체적으로, 얼굴 이미지의 픽셀값에 대해 균일화 처리를 진행하는 단계를 포함할 수 있다. 설정된 픽셀값에 따라 픽셀을 조절하되, 만약 설정된 픽셀값보다 높으면 대응되는 픽셀값을 낮게 조절하고 만약 설정된 픽셀값보다 낮으면 대응되는 픽셀값을 높게 조절한다.
본 실시예에서는 상이한 환경에서의 조명의 영향을 제거하기 위해, 얼굴 검출 모델과 얼굴 키 포인트 검출 모델을 이용하여 피부 검출영역을 얻고, 피부 검출영역에 대해 평균값 및 평방 편차(variance)의 정규화를 실시한다. 얼굴 오관 분할 모델을 이용하여 얼굴 오관 및 피부 영역을 분할함으로써 도 3에 도시된 바와 같은 피부 검출 마스크를 얻는다.
주름 분할방법은 통상적으로 빛, 피부 그림자, 안경 등 요소의 간섭을 받으며, 이미지 품질이 불량인 경우 분할 정확도가 매우 낮다. 본 실시예에서는 얼굴 픽셀에 대해 균일화 처리를 진행한 다음 균일화 처리 후의 얼굴 이미지의 픽셀 평방 편차에 대해 정규화 처리를 진행함으로써 빛, 안경의 차단 등 요소로 인하여 얼굴에 그림자가 발생하여 주름 인식의 정확성에 영향을 미치는 것을 방지할 수 있다. 본 실시예는 딥 러닝 모델을 기반으로 얼굴의 다양한 유형의 주름(이마 주름살, 눈초리 주름살, 눈 밑 잔주름, 팔자 주름)을 정확히 분할하여 상이한 조명 환경에서의 얼굴 사진에 대해 우수한 정확성과 견고성을 가진다.
본원 발명의 다른 실시예에서, 상기 태깅된 얼굴 이미지를 백본 네트워크 모델에 입력하여 특징 추출을 수행하여 상이한 스케일의 얼굴 이미지의 주름 특징을 획득하는 상기 단계는,
상기 태깅된 얼굴 이미지에 대해 멀티 스케일의 신축처리를 진행하여 상기 멀티 스케일의 얼굴 이미지를 획득하는 단계;
상기 멀티 스케일의 얼굴 이미지를 상기 백본 네트워크 모델에 입력하여 상기 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득하는 단계를 포함한다.
본 실시예에서는 얼굴 이미지에 대해 멀티 스케일의 신축처리를 진행하여 멀티 스케일의 얼굴 이미지를 얻을 수 있다. 다른 실시형태에서 얼굴 이미지를 확대하거나 축소할 수 있다.
본 실시예에서, 상기 멀티 스케일의 얼굴 이미지를 상기 백본 네트워크 모델에 입력하여 상기 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득하는 단계는 구체적으로, 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 먼저 멀티 스케일의 얼굴 이미지의 융합처리를 진행한 다음 멀티 스케일의 얼굴 이미지를 분리하여 멀티 스케일의 얼굴 이미지의 주름 특징을 얻는 단계를 포함할 수 있다.
본 실시예에서는 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 주름 특징 추출과 분석을 진행함으로써 아주 작은 주름의 인식률을 향상시킬 수 있다.
한가지 실시형태에서, 이미지 인식방법은,
상기 멀티 스케일의 얼굴 이미지를 상기 백본 네트워크 모델에 입력하여 얼굴의 안면영역 인식결과를 획득하는 단계를 더 포함한다.
본 실시예에서, 안면영역 인식과정은 백본 네트워크 모델을 이용하여 수행할 수 있다.
본 실시예에서는 백본 네트워크 모델을 이용하여 얼굴 오관영역을 인식함으로써 안면인식과 주름 인식을 동시에 처리하여 주름 인식 효율을 향상시킬 수 있다.
한가지 실시형태에서, 얼굴 이미지의 동일 영역에 위치한 상이한 스케일의 상기 주름 특징을 융합하여 상기 얼굴 이미지의 주름 인식결과를 획득하는 상기 단계는,
상기 얼굴 이미지의 주름 인식결과에 대응하는 얼굴영역이, 주름이 존재하지 않는 안면영역인 경우, 상기 얼굴 이미지의 주름 인식결과를 무시하는 단계를 포함한다.
본 실시예에는 주름이 존재하지 않는 안면영역은 안구 등 주름이 생길 수 없는 얼굴 영역을 포함한다.
만약 주름이 존재하지 않는 안면영역에서 주름이 인식되었다면, 잘못된 인식이 있을 수 있으므로 인식결과를 무시할 수 있다.
본원 발명의 실시예는 얼굴의 주름 분할을 위한 딥 러닝 모델에 기반한 단 대 단(end-to-end) 이미지 인식방법을 제안한다. 본 발명은 딥 러닝 모델을 이용하여 깊은 시맨틱 특징을 추출하고 모델의 검출 브랜치에 각 주름의 분할 윤곽을 출력한다. 얼굴 주름영역과 얼굴 오관 위치가 상대적으로 고정되어 있으므로 얼굴 오관의 분할 브랜치에 도입되어 감독 트레이닝을 진행함으로써 주름 분할의 정확도를 향상시킨다. 동시에 본원 발명의 실시예는 멀티 스케일 입력, 멀티 스케일을 출력하여 융합하는 네트워크 구조를 채택하였으며, 이 구조는 원본 고해상도 이미지의 시맨틱 특징을 최대한 활용할 수 있으며 이미지 높은 레벨의 시맨틱 특징과 융합하여 잠재적으로 은폐된 아주 작은 주름을 정확하게 분할할 수 있다.
본원 발명의 예시적인 모델 구조는 도 4에 도시된 바와 같이: 입력된 이미지가 전처리를 거친 후 상이한 스케일의 전처리된 이미지를 백본 네트워크 모델(즉 도면에서의 백본U-Net형 네트워크 모델)에 전송하며, 이 백본 네트워크 모델은 공유하는 컨볼루션 파라미터를 제공하여 상이한 특징층의 시맨틱정보특징을 특징 융합층에 출력함으로써 낮은 레벨의 시맨틱 특징과 높은 레벨의 시맨틱 특징을 융합한다. 융합된 후의 특징을 4개의 상이한 스케일의 검출 브랜치에 전송하여 4개의 검출 브랜치의 출력결과에 대해 선형 가중치를 부여하여 최종적인 얼굴 주름 분할 결과를 얻는다. 출력결과는 구체적으로 이미지 일 수 있고 상이한 스케일의 이미지 출력결과에 대해 선형 가중치를 부여할 수 있다. 트레이닝 과정에서 안면 분할 마스크 브랜치를 도입하여 감독 러닝을 진행함으로써 본 네트워크 모델로 하여금 더 많은 얼굴 오관위치 정보를 러닝할 수 있도록 한다. 전반적인 구조는 하나의 통일된 모형을 형성하는데 전반적으로 단 대 단 트레이닝을 받을 수 있다. 본 예시에서 백본 네트워크 모델의 컨볼루션층은 상이한 스케일의 이미지의 컨볼루션 계산을 진행한다. 입력된 이미지는 스플라이싱 통로에서 스플라이싱된 다음 스플라이싱된 이미지의 컨볼루션 계산을 진행하고 컨볼루션 계산이 완료된 후의 스플라이싱된 이미지에 대해 컨볼루션 분리를 진행하여 최종적으로 출력된 이미지를 얻는다.
본 예시에서 이미지 전처리를 진행할 경우 얼굴 검출 모델과 얼굴 키 포인트 검출 모델을 이용하여 얼굴영역에 대해 평균값 및 평방 편차의 정규화를 실시하여 상이한 환경에서의 조명의 영향을 제거한다. 얼굴 오관 분할 모델을 이용하여 얼굴 오관 마스크를 분할하고 안면 분할 마스크를 브랜치 작업으로 사용하여 백본 네트우크 모델 파라미터를 공유함으로써 백본 네트워크 모델로 하여금 더 많은 위치 관련 유용한 정보를 배울 수 있도록 하여 주름 분할 정확도를 향상시킬 수 있다. 백본 네트워크 모델은 입력 이미지를 처리하는 과정에서 위치와 관련된 유용한 정보를 러닝하며, 나타날 수 없는 영역은 가중치가 상대적으로 높고, 주름이 나타나는 위치가 상대적으로 고정된다. 위치정보를 신경망에 러닝시킨다.
이미지 전처리 후 이미지에 대해 멀티 스케일 인장을 진행한다. 얼굴주름의 형태는 가늘고 긴 형태로서 비교적 깊은 주름의 너비는 통상적으로 5픽셀보다 작으며 잠재적으로 은폐된 아주 작은 주름도 많이 존재하며, 이러한 작은 주름들은 이미지 품질이 양호하지 않은 상황에서는 검출해내기 어렵다. 작은 주름도 검출해낼 수 있도록, 본 예시는 얼굴 이미지를 멀티 스케일 얼굴 이미지로 전환시켜, 즉 원본 고해상도 이미지를 상이한 사이즈에 축소시켜 백본 네트워크 모델로 하여금 더 많은 고해상도 특징을 러닝할 수 있도록 한다.
본 예시에서 백본 네트워크 기초 네트워크 부분은 ResNet-34, inception-v3, mobilenet-v2(모바일 네트워크 모델v-2) 등을 포함하나 이에 한정되지 않고 이 부분은 임의의 이미지 분류 네트워크 구조를 기초로 사용할 수 있다. 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하고 백본 네트워크 모델의 컨볼루션 신경망(CNN)을 통해 주름 특징을 출력한 다음, 기초 네트워크 구조에서 멀티 스케일의 주름 특징에 특징 융합(Fusion)부분을 추가하여, 즉 기초 네트워크에서의 다수의 스케일의 특징을 조합하여 상대적 스케일이 변경되지 않은 멀티 스케일 특징을 얻는다. 이 부분은 UNet, FPN 등 흔히 볼 수 있는 특징 조합방식을 사용할 수 있으며 이에 한정되지 않으므로 백본 네트워크 베이스와 멀티 스케일 특징의 간편한 사용 및 확장 가능성을 보장한다.
본 예시에서 4개의 상이한 스케일의 특징층은 검출 브랜치를 인출하고 각 브랜치는 하나의 주름 분할 결과를 예측하며 4개의 상이한 스케일에서의 주름 분할 결과는 선형 가중치를 부여하여 최종적인 주름 분할 결과를 얻는다.
본원 발명의 다른 실시예는 이미지 인식장치를 더 제공하며, 도 5에 도시된 바와 같이 이미지 인식장치는 다음과 같은 모듈들을 포함한다.
인식모듈(501)은 전처리된 얼굴 이미지에 대해 안면인식을 수행하고 얼굴 이미지에서 얼굴 오관의 위치를 태깅하여 태깅된 얼굴 이미지를 획득하기 위한 것이다.
특징 추출모듈(502)은 태깅된 얼굴 이미지의 멀티 스케일에서의 얼굴 이미지를 결정하고 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 특징 추출을 수행하여 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득하기 위한 것이다.
융합모듈(503)은 얼굴 이미지의 동일 영역에 위치한 각 스케일의 주름 특징을 융합하여 얼굴 이미지의 주름 인식결과를 획득하기 위한 것이다.
본원 발명의 다른 실시예에서, 이미지 인식장치는 도 7에 도시된 바와 같은 제1 전처리모듈과 제2 전처리모듈을 더 포함하되,
제1 전처리모듈(504)은 얼굴 이미지의 픽셀에 대해 균일화 처리를 진행하여 균일화 처리 후의 얼굴 이미지를 획득하기 위한 것이고;
제2 전처리모듈(505)은 균일화 처리 후의 얼굴 이미지의 픽셀 평방 편차에 대해 정규화 처리를 진행하여 전처리된 얼굴 이미지를 획득하기 위한 것이다.
본원 발명의 다른 실시예에서 도 6에 도시된 바와 같이 이미지 인식장치에서의 특징 추출모듈은,
태깅된 얼굴 이미지에 대해 멀티 스케일의 신축처리를 진행하여 스케일의 얼굴 이미지를 획득하기 위한 처리유닛(512);
멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득하기 위한 특징 획득유닛(522)을 포함한다.
본원 발명의 실시예에 따르면, 본원 발명은 전자기기와 판독 가능 저장매체를 더 제공한다.
도 8에 도시된 바와 같이, 이는 본원 발명의 실시예에 따른 이미지 인식방법의 전자기기의 블록도이다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 작업대, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터 및 다른 적합한 컴퓨터와 같은 여러 가지 형식의 디지털 컴퓨터를 가리킨다. 전자기기는 개인 디지털 프로세싱, 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 여러 가지 형식의 이동장치를 더 나타낼 수 있다. 본 명세서에 도시된 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시적인 것일 뿐이며, 본 명세서에서 설명 및/또는 요구한 본원 발명의 실현을 한정하기 위한 것이 아니다.
도 8에 도시된 바와 같이, 이 전자기기는, 하나 또는 다수의 프로세서(801), 메모리(802) 및 각 부품을 연결하기 위한, 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각 부품은 상이한 버스를 이용하여 서로 연결되고 공용 메인보드에 장착되거나 또는 수요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 수행되는 명령을 처리할 수 있으며, 이는 메모리에 저장되거나 또는 메모리에 저장되어 외부 입력/출력장치(예를 들어 인터페이스에 커플링된 디스플레이 기기)에 GUI(Graphical User Interface)를 표시하는 그래프 정보의 명령을 포함한다. 다른 실시형태에서 만약 필요하면 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리 및 다수의 메모리와 함께 사용할 수 있다. 마찬가지로 다수의 전자기기를 연결할 수 있고 각 기기는 일부 필요한 조작(예를 들면 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티 프로세서 시스템으로 함)를 제공할 수 있다. 도 8에서는 하나의 프로세서(801)를 예로 한다.
메모리(802)는 본원 발명에서 제공하는 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서 상기 메모리에는 적어도 하나의 프로세서에 의해 수행될 수 있는 명령이 저장되어 적어도 하나의 프로세서로 하여금 본원 발명에서 제공하는 이미지 인식방법을 수행하도록 할 수 있다. 본원 발명의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고 이 컴퓨터 명령은 컴퓨터로 하여금 본원 발명에서 제공하는 이미지 인식방법을 수행하도록 한다.
메모리(802)는 비일시적 컴퓨터 판독 가능 저장매체로서 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예를 들어 본원 발명의 실시예에서의 이미지 인식방법과 대응되는 프로그램 명령/모듈(예를 들면 도 5에 도시된 인식모듈(501), 특징 추출모듈(502) 및 융합모듈(503))을 저장하는데 사용될 수 있다. 프로세서(801)는 메모리(802)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 작동시킴으로써 서버의 여러 가지 기능 애플리케이션 및 데이터 처리를 수행, 즉 상기 방법 실시예에서의 이미지 인식방법을 실현한다.
메모리(802)는 프로그램 저장영역과 데이터 저장영역을 포함할 수 있으며, 여기서 프로그램 저장영역은 운영체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고, 데이터 저장영역은 비디오 코딩에 따른 전자기기의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 이 외에, 메모리(802)는 고속 랜덤 액세스 메모리를 포함할 수 있고 비일시적 메모리, 예를 들면 적어도 하나의 디스크 메모리, 플래시 메모리 또는 다른 비일시적 솔리드 스테이트 메모리를 더 포함할 수 있다. 일부 실시예에서 메모리(802)는 선택적으로 프로세서(801)에 대해 원격으로 설치되는 메모리를 포함하고 이러한 원격 메모리는 네트워크를 통해 비디오 코딩 전자기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 인트라넷, 근거리 통신망, 블록체인 네트워크, 이동 통신망 및 이들의 조합을 포함하나 이에 한정되지 않는다.
이미지 인식방법의 전자기기는 입력장치(803)와 출력장치(804)를 더 포함할 수 있다. 프로세서(801), 메모리(802), 입력장치(803)와 출력장치(804)는 버스 또는 다른 방식을 통해 연결될 수 있고 도 8에서는 버스를 통해 연결되는 것을 예로 한다.
입력장치(803)는 입력된 숫자 또는 문자 부호정보 및 비디오 코딩 전자기기의 사용자 설치 및 기능 제어와 관련되는 키 신호 입력, 예를 들면 터치 스크린, 키보드, 마우스, 트랙패드, 터치패드, 지시바, 하나 또는 다수의 마우스버튼, 트랙볼, 조이스틱 등 입력장치를 발생할 수 있다. 출력장치(804)는 디스플레이 기기, 보조 조명장치(예를 들면, LED)와 촉각 피드백 장치(예를 들면, 진동모터) 등을 포함할 수 있다. 이 디스플레이 기기는 액정 모니터(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시예에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기서 설명하는 시스템과 기술의 여러 가지 실시형태는 디지털 전자회로 시스템, 집적회로 시스템, 전용 ASIC(전용 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 실현할 수 있다. 이러한 여러 가지 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고 이 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석되며 이 프로그래밍 가능 프로세서는 전용 또는 범용 프로그래밍 가능 프로세서로서 저장 시스템, 적어도 하나의 입력장치 및 적어도 하나의 출력장치에서 데이터와 명령을 수신할 수 있으며 데이터와 명령을 상기 저장 시스템, 상기 적어도 하나의 입력장치 및 상기 적어도 하나의 출력장치에 전송할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 한다)은 프로그램 가능 프로세서의 기계 명령을 포함하고 고급 프로세서 및/또는 오브젝트를 향한 프로그램 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨터 프로그램을 실시할 수 있다. 본 명세서에서 사용한 용어 "기계 판독 가능 매체”와 "컴퓨터 판독 가능 매체”는, 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들면 자기 디스크, 시디롬, 메모리, 프로그램 가능 로직 장치(PLD))를 가리키고, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 신호를 가리킨다.
사용자와 교류하고 컴퓨터에서 상술한 시스템과 기술을 실시할 수 있도록 하기 위하여 이 컴퓨터는, 사용자에게 정보를 디스플레이하는 디스플레이 장치(예를 들면 CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 지향 장치(예를 들면, 마우스 또는 트랙볼)를 구비하고 사용자는 이 키보드와 이 지향 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 유형의 장치는 사용자와의 교류에 사용될 수도 있는 바, 예를 들면 사용자에게 제공된 피드백은 임의의 형식의 감각 피드백(예를 들면 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고 임의의 형식(소리 입력, 음성 입력 또는 촉감 입력을 포함)에 의해 사용자로부터의 입력을 수신할 수 있다.
여기서 설명한 시스템과 기술을 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버) 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버) 또는 전단 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래프 사용자 인터페이스 또는 네트워크 브라우저를 구비한 사용자 컴퓨터, 사용자는 이 그래프 사용자 인터페이스 또는 이 네트워크 브라우저를 통해 여기서 설명한 시스템과 기술의 실시형태와 교류할 수 있다) 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 전단 부품을 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)을 통해 시스템의 부품을 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망 (LAN), 광역 통신망(WAN) 및 블록체인 네트워크를 포함한다.
컴퓨터 시스템은 클라이언트단과 서버를 포함할 수 있다. 클라이언트단과 서버는 일반적으로 서로 멀리하는 동시에 통신 네트워크를 통해 서로 교류한다. 상응하는 컴퓨터에서 운행되고 서로 클라이언트단-서버 관계를 가지는 컴퓨터 프로그램을 구비하여 클라이언트단과 서버의 관계를 발생한다.
본원 발명의 실시예에 따른 기술적 해결수단은, 전처리된 얼굴 이미지에 대해 안면인식을 수행한 다음 안면인식결과에 근거하여 멀티 스케일의 얼굴 이미지를 획득하고 다시 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여 특징 추출을 수행하여 멀티 스케일이서의 각 스케일의 얼굴 이미지의 주름 특징을 얻는데 멀티 스케일을 융합하게 되므로 아주 작은 주름도 인식 가능하여 잠재적으로 은폐된 아주 작은 주름마저 정확히 분할할 수 있어 인식의 정확성을 향상시킬 수 있다. 본 실시예에서는 백본 네트워크 모델을 통하여 파라미터 공유를 진행하고 입력단으로부터 출력단으로 각 주름 윤곽 좌표 및 각 주름의 면적을 출력한다. 본 실시예는 멀티 스케일 입력, 멀티 스케일 출력이 융합된 네트워크 구조를 이용하여 잠재적으로 은폐된 아주 작은 주름을 정확히 분할할 수 있어 상이한 조명 환경에서 얼굴 주름을 모두 정확히 분할할 수 있다.
이해해야 할 것은, 이상에서 설명한 여러 가지 형태의 과정을 다시 정렬시키고 증가 또는 삭제하는 단계를 사용할 수 있다. 예를 들면 본원 발명에서 기재한 각 단계는 동시에 수행할 수도 있고 순차적으로 수행할 수도 있으며 상이한 순서로 수행할 수도 있는 바, 본원 발명에서 개시한 기술적 해결수단에서 기대하는 결과를 실현할 수만 있다면 본 내용은 이에 대해 한정하지 않는다.
상기 구체적인 실시형태는 본원 발명의 보호범위를 한정하지 않는다. 본 기술분야에서 통상의 지식을 가진 자들은 설계 요구와 다른 요소에 근거하여 여러 가지 수정, 조합, 하위 조합과 대체를 진행할 수 있다는 것을 이해할 수 있다. 본원 발명의 정신과 원칙 내에서 진행한 그 어떤 수정, 균등한 대체와 개선은 모두 본원 발명의 보호범위 내에 포함된다.
Claims (13)
- 전처리된 얼굴 이미지에 대해 안면인식을 수행하고 상기 얼굴 이미지에 얼굴 오관의 위치를 태깅하여 태깅된 얼굴 이미지를 획득하는 단계;
태깅된 얼굴 이미지의 멀티 스케일에서의 얼굴 이미지를 결정하고 상기 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여, 먼저 멀티 스케일의 이미지의 융합처리를 수행하고, 그 다음 멀티 스케일의 이미지를 분리하는 방식으로 특징 추출을 진행하여 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득하는 단계;
얼굴 이미지의 동일 영역에 위치하는 각 스케일의 상기 주름 특징에 대해 선형 가중치를 부여하는 방식으로 융합하여 상기 얼굴 이미지의 주름 인식결과를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 인식방법. - 제1항에 있어서,
상기 얼굴 이미지의 픽셀에 대해 균일화 처리를 진행하여 균일화 처리 후의 얼굴 이미지를 획득하는 단계;
상기 균일화 처리 후의 얼굴 이미지의 픽셀 평방 편차에 대해 정규화 처리를 진행하여 상기 전처리된 얼굴 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 인식방법. - 제1항에 있어서,
상기 태깅된 얼굴 이미지에 대해 멀티 스케일의 신축처리를 진행하여 상기 멀티 스케일의 얼굴 이미지를 획득하는 것을 특징으로 하는 이미지 인식방법. - 제3항에 있어서,
상기 멀티 스케일의 얼굴 이미지를 상기 백본 네트워크 모델에 입력하여 얼굴의 안면영역 인식결과를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 인식방법. - 제3항에 있어서,
얼굴 이미지의 동일 영역에 위치한 상이한 스케일의 상기 주름 특징을 융합하여 상기 얼굴 이미지의 주름 인식결과를 획득하는 상기 단계는,
상기 얼굴 이미지의 주름 인식결과에 대응하는 얼굴영역이, 주름이 존재하지 않는 안면영역인 경우, 상기 얼굴 이미지의 주름 인식결과를 무시하는 단계를 포함하는 것을 특징으로 하는 이미지 인식방법. - 전처리된 얼굴 이미지에 대해 안면인식을 수행하고 상기 얼굴 이미지에 얼굴 오관의 위치를 태깅하여 태깅된 얼굴 이미지를 획득하기 위한 인식모듈;
태깅된 얼굴 이미지의 멀티 스케일에서의 얼굴 이미지를 결정하고 상기 멀티 스케일의 얼굴 이미지를 백본 네트워크 모델에 입력하여, 먼저 멀티 스케일의 이미지의 융합처리를 수행하고, 그 다음 멀티 스케일의 이미지를 분리하는 방식으로 특징 추출을 진행하여 멀티 스케일에서의 각 스케일의 얼굴 이미지의 주름 특징을 획득하기 위한 특징 추출모듈;
얼굴 이미지의 동일 영역에 위치하는 각 스케일의 상기 주름 특징에 대해 선형 가중치를 부여하는 방식으로 융합하여 상기 얼굴 이미지의 주름 인식결과를 획득하기 위한 융합모듈을 포함하는 것을 특징으로 하는 이미지 인식장치. - 제6항에 있어서,
상기 얼굴 이미지의 픽셀에 대해 균일화 처리를 진행하여 균일화 처리 후의 얼굴 이미지를 획득하기 위한 제1 전처리모듈;
상기 균일화 처리 후의 얼굴 이미지의 픽셀 평방 편차에 대해 정규화 처리를 진행하여 상기 전처리된 얼굴 이미지를 획득하기 위한 제2 전처리모듈을 더 포함하는 것을 특징으로 하는 이미지 인식장치. - 제6항에 있어서,
상기 특징 추출모듈은,
상기 태깅된 얼굴 이미지에 대해 멀티 스케일의 신축처리를 진행하여 상기 멀티 스케일의 얼굴 이미지를 획득하기 위한 처리유닛을 포함하는 것을 특징으로 하는 이미지 인식장치. - 제8항에 있어서,
상기 멀티 스케일의 얼굴 이미지를 상기 백본 네트워크 모델에 입력하여 얼굴의 안면영역 인식결과를 획득하는 것을 더 포함하는 것을 특징으로 하는 이미지 인식장치. - 제8항에 있어서,
융합모듈은 상기 얼굴 이미지의 주름 인식결과에 대응하는 얼굴영역이 주름이 존재하지 않는 안면영역인 상황에서 이 얼굴 이미지의 주름 인식결과를 무시하는 것을 더 포함하는 것을 특징으로 하는 이미지 인식장치. - 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신연결하는 메모리를 포함하는 전자기기에 있어서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제5항 중 어느 한 항의 방법을 수행하도록 하는 것을 특징으로 하는 전자기기. - 컴퓨터로 하여금 제1항 내지 제5항 중 어느 한 항의 방법을 수행하도록 하기 위한 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체.
- 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제5항 중 어느 한 항의 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010605404.9A CN111767846A (zh) | 2020-06-29 | 2020-06-29 | 图像识别方法、装置、设备和计算机存储介质 |
| CN202010605404.9 | 2020-06-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210040300A KR20210040300A (ko) | 2021-04-13 |
| KR102597377B1 true KR102597377B1 (ko) | 2023-11-01 |
Family
ID=72724311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210037793A KR102597377B1 (ko) | 2020-06-29 | 2021-03-24 | 이미지 인식방법, 장치, 기기, 컴퓨터 저장매체 및 컴퓨터 프로그램 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11687779B2 (ko) |
| EP (1) | EP3859604A3 (ko) |
| JP (1) | JP7106705B2 (ko) |
| KR (1) | KR102597377B1 (ko) |
| CN (1) | CN111767846A (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364846B (zh) * | 2021-01-12 | 2021-04-30 | 深圳市一心视觉科技有限公司 | 一种人脸活体识别方法、装置、终端设备及存储介质 |
| CN113378696A (zh) * | 2021-06-08 | 2021-09-10 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113499034A (zh) * | 2021-06-29 | 2021-10-15 | 普希斯(广州)科技股份有限公司 | 一种皮肤检测方法、系统及美容装置 |
| CN113705565A (zh) * | 2021-08-10 | 2021-11-26 | 北京中星天视科技有限公司 | 舰船检测方法、装置、电子设备和计算机可读介质 |
| US11308359B1 (en) * | 2021-10-27 | 2022-04-19 | Deeping Source Inc. | Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same |
| CN114120404A (zh) * | 2021-11-16 | 2022-03-01 | 北京百度网讯科技有限公司 | 人脸识别方法和装置 |
| CN114170662A (zh) * | 2021-12-07 | 2022-03-11 | 上海瑾盛通信科技有限公司 | 人脸识别方法及装置、存储介质、电子设备 |
| CN114681793B (zh) * | 2022-03-16 | 2023-10-03 | 深圳市宗匠科技有限公司 | 射频仪、电极触点控制方法及计算机可读存储介质 |
| CN114612994A (zh) * | 2022-03-23 | 2022-06-10 | 深圳伯德睿捷健康科技有限公司 | 训练皱纹检测模型的方法、装置及检测皱纹的方法、装置 |
| CN116524576B (zh) * | 2023-07-03 | 2023-10-20 | 广州思林杰科技股份有限公司 | 基于动态视觉识别的长跑计时方法 |
| CN116823810B (zh) * | 2023-08-25 | 2023-11-17 | 之江实验室 | 基于联邦学习的腹部多器官动态增强分割方法及系统 |
| CN117594202B (zh) * | 2024-01-19 | 2024-04-19 | 深圳市宗匠科技有限公司 | 一种皱纹尺寸分析方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009003842A (ja) * | 2007-06-25 | 2009-01-08 | Noritsu Koki Co Ltd | 画像処理装置及び画像処理方法 |
| JP2012243206A (ja) * | 2011-05-23 | 2012-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法、画像処理装置および画像処理プログラム |
| JP2014164573A (ja) * | 2013-02-26 | 2014-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法、及び画像処理プログラム |
| CN111199171A (zh) * | 2018-11-19 | 2020-05-26 | 华为技术有限公司 | 一种皱纹检测方法和终端设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014149677A (ja) | 2013-02-01 | 2014-08-21 | Panasonic Corp | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム |
| JP6872742B2 (ja) | 2016-06-30 | 2021-05-19 | 学校法人明治大学 | 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム |
| EP3809361B1 (en) * | 2018-07-16 | 2023-01-25 | Honor Device Co., Ltd. | Wrinkle detection method and electronic device |
| CN110110637A (zh) * | 2019-04-25 | 2019-08-09 | 深圳市华嘉生物智能科技有限公司 | 一种人脸皮肤皱纹自动识别和皱纹严重程度自动分级的方法 |
| CN110335194B (zh) * | 2019-06-28 | 2023-11-10 | 广州久邦世纪科技有限公司 | 一种人脸变老图像处理方法 |
| CN111009006A (zh) * | 2019-12-10 | 2020-04-14 | 广州久邦世纪科技有限公司 | 一种基于人脸特征点的图像处理方法 |
-
2020
- 2020-06-29 CN CN202010605404.9A patent/CN111767846A/zh active Pending
-
2021
- 2021-03-22 US US17/208,611 patent/US11687779B2/en active Active
- 2021-03-22 EP EP21163965.3A patent/EP3859604A3/en not_active Ceased
- 2021-03-24 KR KR1020210037793A patent/KR102597377B1/ko active IP Right Grant
- 2021-03-25 JP JP2021051228A patent/JP7106705B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009003842A (ja) * | 2007-06-25 | 2009-01-08 | Noritsu Koki Co Ltd | 画像処理装置及び画像処理方法 |
| JP2012243206A (ja) * | 2011-05-23 | 2012-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法、画像処理装置および画像処理プログラム |
| JP2014164573A (ja) * | 2013-02-26 | 2014-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法、及び画像処理プログラム |
| CN111199171A (zh) * | 2018-11-19 | 2020-05-26 | 华为技术有限公司 | 一种皱纹检测方法和终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11687779B2 (en) | 2023-06-27 |
| CN111767846A (zh) | 2020-10-13 |
| US20210209344A1 (en) | 2021-07-08 |
| EP3859604A2 (en) | 2021-08-04 |
| EP3859604A3 (en) | 2021-10-13 |
| JP7106705B2 (ja) | 2022-07-26 |
| KR20210040300A (ko) | 2021-04-13 |
| JP2021103568A (ja) | 2021-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102597377B1 (ko) | 이미지 인식방법, 장치, 기기, 컴퓨터 저장매체 및 컴퓨터 프로그램 | |
| US11756332B2 (en) | Image recognition method, apparatus, device, and computer storage medium | |
| KR102410328B1 (ko) | 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기 | |
| CN111783605B (zh) | 一种人脸图像识别方法、装置、设备及存储介质 | |
| CN111783620A (zh) | 表情识别方法、装置、设备及存储介质 | |
| CN111860362A (zh) | 生成人脸图像校正模型及校正人脸图像的方法和装置 | |
| CN111709873B (zh) | 图像转换模型生成器的训练方法和装置 | |
| US11403799B2 (en) | Method and apparatus for recognizing face-swap, device and computer readable storage medium | |
| CN111598164A (zh) | 识别目标对象的属性的方法、装置、电子设备和存储介质 | |
| US11756288B2 (en) | Image processing method and apparatus, electronic device and storage medium | |
| WO2023020176A1 (zh) | 图像识别方法和装置 | |
| US20230116040A1 (en) | Method for recognizing dangerous driving behavior, electronic device and storage medium | |
| WO2021227333A1 (zh) | 人脸关键点检测方法、装置以及电子设备 | |
| US11881050B2 (en) | Method for detecting face synthetic image, electronic device, and storage medium | |
| KR20210154774A (ko) | 이미지 식별 방법, 장치, 전자 기기 및 컴퓨터 프로그램 | |
| CN114926322B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN115147850B (zh) | 文字生成模型的训练方法、文字生成方法及其装置 | |
| US11670029B2 (en) | Method and apparatus for processing character image data | |
| CN111523452B (zh) | 用于检测图像中人体位置的方法和装置 | |
| CN114782708B (zh) | 图像生成方法、图像生成模型的训练方法、装置和设备 | |
| US20220222941A1 (en) | Method for recognizing action, electronic device and storage medium | |
| WO2023279922A1 (zh) | 用于生成图像的方法和装置 | |
| WO2023029702A1 (zh) | 用于验证图像的方法和装置 | |
| Riad et al. | Hand gesture recognition system based on a geometric model and rule based classifier | |
| CN114255257A (zh) | 目标跟踪方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |