KR20230035225A - 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체 - Google Patents
얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체 Download PDFInfo
- Publication number
- KR20230035225A KR20230035225A KR1020227037680A KR20227037680A KR20230035225A KR 20230035225 A KR20230035225 A KR 20230035225A KR 1020227037680 A KR1020227037680 A KR 1020227037680A KR 20227037680 A KR20227037680 A KR 20227037680A KR 20230035225 A KR20230035225 A KR 20230035225A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- melanin
- hemoglobin
- definition
- detection model
- Prior art date
Links
- 239000000049 pigment Substances 0.000 title claims abstract description 188
- 238000001514 detection method Methods 0.000 title claims abstract description 167
- 230000001815 facial effect Effects 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012549 training Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 24
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims abstract description 374
- 108010054147 Hemoglobins Proteins 0.000 claims abstract description 182
- 102000001554 Hemoglobins Human genes 0.000 claims abstract description 182
- 238000012545 processing Methods 0.000 claims abstract description 73
- 239000011159 matrix material Substances 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 108010036302 hemoglobin AS Proteins 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 abstract description 23
- 239000003086 colorant Substances 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006835 compression Effects 0.000 description 11
- 230000011514 reflex Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 206010000496 acne Diseases 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 4
- 239000011148 porous material Substances 0.000 description 4
- 208000002874 Acne Vulgaris Diseases 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000019612 pigmentation Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000037311 normal skin Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000037307 sensitive skin Effects 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은 이미지 처리 기술 영역에 관련되는 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체를 제공한다. 그 방법은 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻는 단계, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계, 원시 샘플 이미지를 분해 처리하여 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻는 단계, 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지에 따라, 초기 얼굴 색소 검출 모델을 반복 수정하여 타겟 얼굴 색소 검출 모델을 얻는 단계를 포함한다. 본 방안은 저가형 카메라로 촬영된 화질이 열악한 이미지에서, 인접 픽셀의 색소 색상이 일관화되는 경향으로 인해 얼굴 이미지의 다양한 색소 분해 품질이 저하되는 문제를 해결한다.
Description
본 발명은 2021년 08월 30일 중국 특허국에 제출된 출원 번호 2021110024638, 명칭 "얼굴 색소 검출 모델, 장치, 장비 및 저장 매체"의 중국 특허 출원에 대한 우선권을 주장하며, 그 전체 내용은 인용을 통해 본 출원에 포함된다.
본 발명은 이미지 처리 기술 영역에 관한 것이며, 구체적으로, 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체에 관한 것이다.
얼굴 피부색은 멜라닌 및 헤모글로빈 두 가지 색소로 구성되며, 이 두 색소는 빛의 흡수와 반사에 대해 상대적으로 고정된 스펙트럼을 갖기 때문에 이미지 형성에서 상대적으로 고정된 색상이 있으며, 최종적으로 나타나는 얼굴 피부색의 전체적 색상은 그 두 가지 색소의 함량에 따라 결정된다. 반대로, 이미지 형성의 결과에 따라, 멜라닌(결과는 브라운 패턴, Brown임) 및 헤모글로빈(결과는 레드 패턴, Red임)의 함량을 계산해 얻을 수 있다. 따라서, 얼굴 이미지의 색상을 분석함에 따라, 얼굴 이미지에서 다양한 색소의 분포를 얻을 수 있다.
현재, 이미지의 분석 처리 방법은 종종 전문적 디지털 카메라 또는 일안 반사식 카메라 등에 의해 수집된 이미지와 같이 이미지 품질이 비교적 우수한 이미지에만 적용되며, 휴대폰 카메라로 촬영된 이미지와 같이 이미지 품질이 비교적 낮은 이미지 처리에 적용할 경우, 품질이 비교적 낮은 이미지에는 색상 노이즈가 비교적 많기 때문에, 휴대폰 이미징 알고리즘의 노이즈 캔슬링 과정에서 이미지 인접 픽셀의 색상이 일관화되는 경향이 초래되고, 더 나아가 얼굴 이미지에서 다양한 색소 간의 인식 분리 효과에 영향이 있다.
따라서, 저가형 카메라(웹캠)로 촬영된 화질이 비교적 열악한 이미지에서, 인접 픽셀의 색상이 일관화되는 경향으로 인해 얼굴 이미지의 다양한 색소 분해 품질이 저하되는 문제를 해결하는 방법은 시급히 해결해야 할 기술적 문제이다.
본 발명에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체는 저가형 카메라(웹캠)로 촬영된 화질이 열악한 이미지에서, 인접 픽셀의 색소 색상이 일관화되는 경향으로 인해 얼굴 이미지의 다양한 색소 분해 품질이 저하되는 문제를 해결한다.
본 발명의 실시 예는 얼굴 색소 검출 모델 훈련 방법을 제공하며, 그 방법은 하기를 포함할 수 있다.
원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻는 단계, 상기 원시 샘플 이미지의 해상도는 상기 타겟 샘플 이미지의 해상도보다 높을 수 있다.
상기 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 상기 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
상기 원시 샘플 이미지를 분해 처리하여 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻는 단계.
상기 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지 및 상기 실제 헤모글로빈 고화질 세부 이미지에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계.
선택적으로는, 상기 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지 및 상기 실제 헤모글로빈 고화질 세부 이미지에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 상기 단계는 하기를 포함할 수 있다.
상기 지도된 멜라닌 고화질 세부 이미지의 밝기 정보 및 지도된 헤모글로빈 고화질 세부 이미지의 밝기 정보를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지의 밝기 정보 및 상기 실제 헤모글로빈 고화질 세부 이미지의 밝기 정보에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계.
선택적으로는, 상기 초기 얼굴 색소 검출 모델은 인코더, 제1 디코더 및 제2 디코더를 포함할 수 있다.
상기 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 상기 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 상기 단계는 하기를 포함할 수 있다.
상기 인코더에 의해 상기 타겟 샘플 이미지가 인코딩되어 인코딩된 특징을 얻는 단계.
상기 제1 디코더에 의해 상기 인코딩된 특징이 세부 디코딩되어 멜라닌 세부 이미지 및 헤모글로빈 세부 이미지를 얻는 단계.
상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 멜라닌 색상 이미지 및 헤모글로빈 색상 이미지를 얻는 단계.
상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지가 오버레이 처리되어 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지가 오버레이 처리되어 상기 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
선택적으로는, 상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 멜라닌 색상 이미지 및 헤모글로빈 색상 이미지를 얻는 상기 단계는 하기를 포함할 수 있다.
상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 중간 멜라닌 계수 패턴 행렬 및 중간 헤모글로빈 계수 패턴 행렬을 얻으며, 상기 중간 멜라닌 계수 패턴 행렬과 상기 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 상기 멜라닌 색상 이미지를 얻고, 및 상기 중간 헤모글로빈 계수 패턴 행렬과 상기 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 상기 헤모글로빈 색상 이미지를 얻는 단계.
선택적으로는, 상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지가 오버레이 처리되어 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지가 오버레이 처리되어 상기 실제 헤모글로빈 고화질 세부 이미지를 얻는 상기 단계는 하기를 포함할 수 있다.
상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지에서 상동한 위치 상동한 채널의 각 픽셀 값이 각각 더해져 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지에서 상동한 위치 상동한 채널의 각 픽셀 값이 각각 더해져 상기 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
선택적으로는, 상기 게인 처리는 압축 처리, 색상 형식 변환 처리, 색소 영역 색상 조정 처리 중의 하나 이상을 포함할 수 있다.
선택적으로는, 상기 색소 영역 색상 조정 처리는 상기 원시 샘플 이미지에서 멜라닌 영역 및 헤모글로빈 영역을 검출하고, 상기 원시 샘플 이미지에서 상기 멜라닌 영역 및 헤모글로빈 영역을 제거하여, 상기 멜라닌 영역 및 헤모글로빈 영역이 제거된 이미지를 상기 원시 샘플 이미지와 융합 처리하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시 예는 얼굴 색소 검출 방법을 제공하며, 상기 방법은 하기를 포함할 수 있다.
타겟 샘플 이미지를 획득하는 단계, 상기 타겟 샘플 이미지는 저해상도 픽셀 카메라로 촬영된 이미지일 수 있다.
상기 타겟 샘플 이미지를 타겟 얼굴 색소 검출 모델에 입력하여, 상기 타겟 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지에 따라, 타겟 샘플 이미지에서 멜라닌 분포 정보 및 헤모글로빈 분포 정보를 확정하는 단계.
본 발명의 또 다른 실시 예는 얼굴 색소 검출 모델 훈련 장치를 제공하며, 상기 장치는 하기를 포함할 수 있다.
게인 모듈, 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻도록 구성될 수 있으며, 상기 원시 샘플 이미지의 해상도는 상기 타겟 샘플 이미지의 해상도보다 높을 수 있다.
처리 모듈, 상기 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 상기 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻고, 상기 원시 샘플 이미지를 분해 처리하여 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻도록 구성될 수 있다.
수정 모듈, 상기 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지 및 상기 실제 헤모글로빈 고화질 세부 이미지에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻도록 구성될 수 있다.
선택적으로는, 상기 수정 모듈은 하기로 더 구성될 수 있다.
상기 지도된 멜라닌 고화질 세부 이미지의 밝기 정보 및 지도된 헤모글로빈 고화질 세부 이미지의 밝기 정보를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지의 밝기 정보 및 상기 실제 헤모글로빈 고화질 세부 이미지의 밝기 정보에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계.
선택적으로는, 상기 초기 얼굴 색소 검출 모델은 인코더, 제1 디코더 및 제2 디코더를 포함할 수 있다.
상기 처리 모듈은 하기로 더 구성될 수 있다.
상기 인코더에 의해 상기 타겟 샘플 이미지가 인코딩되어 인코딩된 특징을 얻는 단계.
상기 제1 디코더에 의해 상기 인코딩된 특징이 세부 디코딩되어 멜라닌 세부 이미지 및 헤모글로빈 세부 이미지를 얻는 단계.
상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 멜라닌 색상 이미지 및 헤모글로빈 색상 이미지를 얻는 단계.
상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지가 오버레이 처리되어 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지가 오버레이 처리되어 상기 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
선택적으로는, 상기 처리 모듈은 하기로 더 구성될 수 있다.
상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 중간 멜라닌 계수 패턴 행렬 및 중간 헤모글로빈 계수 패턴 행렬을 얻으며, 상기 중간 멜라닌 계수 패턴 행렬과 상기 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 상기 멜라닌 색상 이미지를 얻고, 및 상기 중간 헤모글로빈 계수 패턴 행렬과 상기 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 상기 헤모글로빈 색상 이미지를 얻는 단계.
선택적으로는, 상기 처리 모듈은 하기로 더 구성될 수 있다.
상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지에서 상동한 위치 상동한 채널의 각 픽셀 값이 각각 더해져 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지에서 상동한 위치 상동한 채널의 각 픽셀 값이 각각 더해져 상기 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
선택적으로는, 상기 게인 처리는 압축 처리, 색상 형식 변환 처리, 색소 영역 색상 조정 처리 중의 하나 이상을 포함할 수 있다.
선택적으로는, 상기 색소 영역 색상 조정 처리는 상기 원시 샘플 이미지에서 멜라닌 영역 및 헤모글로빈 영역을 검출하고, 상기 원시 샘플 이미지에서 상기 멜라닌 영역 및 헤모글로빈 영역을 제거하여, 상기 멜라닌 영역 및 헤모글로빈 영역이 제거된 이미지를 상기 원시 샘플 이미지와 융합 처리하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시 예는 얼굴 색소 검출 장치를 더 제공하며, 상기 장치는 하기를 포함할 수 있다.
획득 모듈, 타겟 샘플 이미지를 획득하도록 구성될 수 있으며, 상기 타겟 샘플 이미지는 저해상도 픽셀 카메라로 촬영된 이미지이다.
처리 모듈, 상기 타겟 샘플 이미지를 타겟 얼굴 색소 검출 모델에 입력하여, 상기 타겟 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻도록 구성될 수 있다.
확정 모듈, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지에 따라, 타겟 샘플 이미지에서 멜라닌 분포 정보 및 헤모글로빈 분포 정보를 확정하도록 구성될 수 있다.
본 발명의 다른 실시 예는 전자 장비를 더 제공하며, 그 전자 장비는 프로세서, 저장 매체 및 버스를 포함할 수 있고, 상기 저장 매체에는 상기 프로세서에 의해 실행될 수 있는 기계 판독 가능 명령이 저장되며, 전자 장비가 작동되면, 상기 프로세서와 상기 저장 매체 사이는 버스를 통해 통신되고, 상기 프로세서는 상기 기계 판독 가능 명령을 실행하여, 전술한 제1 측면 및 제2 측면에 의해 제공되는 상기 방법의 단계를 실행한다.
본 발명의 또 다른 실시 예는 컴퓨터 저장 매체를 제공하며, 상기 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 전술한 실시 예에 의해 제공되는 상기 방법의 단계가 실행된다.
본 발명의 유익한 효과는 적어도 하기와 같다.
본 발명의 실시 예는 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체를 제공하며, 그 방법은 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻는 단계, 원시 샘플 이미지의 해상도는 타겟 샘플 이미지의 해상도보다 높다, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계, 원시 샘플 이미지를 분해 처리하여 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻는 단계, 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지에 따라, 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계를 포함할 수 있다. 본 방안에서, 주로 전문적 디지털 카메라 또는 일안 반사식 카메라 등에 의해 수집된 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻음에 따라, 휴대폰 카메라로 촬영된 얼굴 이미지를 시뮬레이션하는 효과가 구현되고, 그후, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여 HB 이미지 및 HR 이미지를 얻고, 원시 샘플 이미지를 분해하여 TB 이미지 및 TR 이미지를 얻어 초기 얼굴 색소 검출 모델을 반복 수정해, 타겟 얼굴 색소 검출 모델을 얻음에 따라, 추후 저가형 카메라(웹캠)로 촬영된 타겟 샘플 이미지를 상기 훈련된 타겟 얼굴 색소 검출 모델에 입력하여, 타겟 얼굴 색소 검출 모델에 의해 출력된 HB 이미지 및 HR 이미지를 얻을 수 있으므로, 저가형 카메라(웹캠)로 수집된 얼굴 이미지에서 멜라닌 및 헤모글로빈의 정확한 검출이 구현되고, 저가형 카메라(웹캠)로 촬영된 화질이 비교적 열악한 이미지에서 인접 픽셀의 색상이 일관화되는 경향으로 인해 얼굴 이미지의 다양한 색소 분해 품질이 저하되는 문제가 해결되며, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지의 세부 정보가 비교적 잘 복원된다.
본 발명에 의해 제공되는 실시 예의 기술적 방안을 보다 명확하게 설명하기 위해, 실시 예 중에 필요한 도면을 하기에서 간단하게 소개하며, 하기의 도면은 본 발명의 일부 실시 예를 도시한 것일 뿐이므로 범위를 제한하는 것으로 간주되어서는 안 되며, 당업자는 창조적인 노력이 없는 전제 하에서도 그 도면에 근거해 기타 관련 도면을 얻을 수 있음을 이해해야 한다.
도 1은 본 발명의 실시 예에 의해 제공되는 전자 장비의 구조 결선도,
도 2는 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법의 흐름도,
도 3은 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법에서 초기 얼굴 색소 검출 모델의 블록선도,
도 4는 본 발명의 실시 예에 의해 제공되는 또 다른 얼굴 색소 검출 모델 훈련 방법의 흐름도,
도 5는 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 장치의 구조 결선도이다.
도 1은 본 발명의 실시 예에 의해 제공되는 전자 장비의 구조 결선도,
도 2는 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법의 흐름도,
도 3은 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법에서 초기 얼굴 색소 검출 모델의 블록선도,
도 4는 본 발명의 실시 예에 의해 제공되는 또 다른 얼굴 색소 검출 모델 훈련 방법의 흐름도,
도 5는 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 장치의 구조 결선도이다.
본 발명에 의해 제공되는 실시 예의 목적, 기술적 방안 및 이점을 보다 명확하게 하기 위해, 하기에서 본 발명의 실시 예에 의해 제공되는 도면을 결합시켜 본 발명의 실시 예 중 기술적 방안에 대해 명확하고 완전하게 설명하며, 본 발명의 도면은 단지 설명과 서술의 목적일 뿐 본 발명의 보호 범위를 제한하는 데 사용되지 않음을 이해해야 한다. 또한, 예시적인 도면은 실제 비율에 따라 도시되지 않았음을 알아야 한다. 본 발명에 사용된 흐름도는 본 발명의 실시 예에 따라 구현된 조작을 도시한다. 흐름도의 조작은 순서대로 구현되지 않을 수 있으며, 논리적인 상하 문맥 관계가 없는 단계는 역순 또는 동시에 구현될 수 있음을 이해해야 한다. 또한, 당업자는 본 발명을 기반으로 흐름도에서 하나 이상의 조작을 추가할 수 있고, 흐름도에서 하나 이상의 조작을 제거할 수도 있다.
또한, 본 명세서에 개시된 실시 예는 본 발명에 의해 제공되는 전부의 실시 예가 아니라 일부의 실시 예일 뿐이다. 일반적으로 도면에 설명 및 도시된 본 발명의 실시 예의 구성요소는 각종 상이한 구성으로 배치 및 설계될 수 있다. 따라서, 하기 도면에 제공되는 본 발명의 실시 예에 대한 상세한 설명은 본 발명의 선택된 실시 예의 도시일 뿐으로 본 발명의 보호 범위를 제한하지 않는다. 본 발명에 의해 제공되는 실시 예를 기반으로, 당업자가 창조적인 노력이 없는 전제 하에 획득한 모든 기타 실시 예는 모두 본 발명의 보호 범위에 속한다.
설명이 필요한 점은, 본 발명의 실시 예에서 용어 "포함"은 나중에 개시되는 특징의 존재를 지적하는 데 사용되지만, 기타 특징의 추가를 배제하지는 않는다.
도 1은 본 발명의 실시 예에 의해 제공되는 전자 장비의 구조 결선도이다. 그 전자 장비는 본 발명에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법의 구현에 사용되는 컴퓨터 또는 서버 등의 처리 장치일 수 있다. 도 1에 도시된 바와 같이, 전자 장비는 프로세서101, 메모리102를 포함할 수 있다.
프로세서101, 메모리102 사이는 직접 또는 간접적으로 전기적 연결되어 데이터의 전송 또는 상호작용을 구현할 수 있다. 예를 들어, 하나 이상의 통신 버스 또는 신호선을 통해 전기적 연결이 구현될 수 있다.
여기서, 프로세서101은 신호의 처리 능력을 갖는 집적회로 칩일 수 있다, 상기 프로세서101은 중앙처리장치(Central Processing Unit, CPU), 네트워크 프로세서(Network Processor, NP) 등을 포함하는 범용 프로세서일 수 있다. 본 발명의 실시 예에 개시된 각 방법, 단계 및 논리 블록선도를 구현 또는 실행할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나 또는 그 프로세서도 임의의 일반적인 프로세서 등일 수 있다.
메모리102는 랜덤 액세스 메모리(Random Access Memory, RAM), 읽기 전용 메모리(Read Only Memory, ROM), 프로그래밍 가능한 읽기 전용 메모리(Programmable Read-Only Memory, PROM), 지울 수 있는 읽기 전용 메모리(Erasable Programmable Read-Only Memory, EPROM), 전기적으로 지울 수 있는 읽기 전용 메모리(Electric Erasable Programmable Read-Only Memory, EEPROM) 등일 수 있으나 이에 국한되지 않는다.
도 1에 도시된 구조는 예시일 뿐이며, 전자 장비 100은 도 1에 도시된 것보다 더 많거나 더 적은 구성요소를 더 포함하거나, 또는 도 1에 도시된 것과 상이한 구성을 가질 수 있음을 이해해야 한다. 도 1에 도시된 각 구성요소는 하드웨어, 소프트웨어 또는 이의 조합을 사용해 구현될 수 있다.
메모리102는 프로그램을 저장하는 데 사용되며, 프로세서101은 메모리102에 저장된 프로그램을 호출하여 하기의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법을 실행한다.
하기에서 복수의 실시 예를 통해 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법에 대해 상세하게 설명한다.
도 2는 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법의 흐름도이며, 선택적으로는, 그 방법의 실행 주체는 데이터 처리 기능을 갖는 서버, 컴퓨터 등의 전자 장비일 수 있다. 기타 실시 예에서 얼굴 색소 검출 모델 훈련 방법의 일부 단계 순서는 실제 필요에 따라 상호 교환될 수 있거나, 또는 그중의 일부 단계가 생략 또는 삭제될 수도 있음을 이해해야 한다. 도 2에 도시된 바와 같이, 그 방법은 하기를 포함한다.
S201, 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻는 단계, 원시 샘플 이미지의 해상도는 타겟 샘플 이미지의 해상도보다 높을 수 있다.
여기서, 원시 샘플 이미지는 전문적 디지털 카메라 또는 일안 반사식 카메라 등에 의해 수집된 얼굴 이미지를 말한다. 예를 들어, 적절한 광원 하에서(일반적으로 교차 편광) 일안 반사식 카메라를 이용해 충분한 원시 얼굴 샘플 이미지를 촬영하며, 일안 반사식 카메라로 촬영된 원시 얼굴 샘플 이미지는 고화질로 원시 얼굴 샘플 이미지에서 정상적 피부 영역과 구별되는 얼굴의 브라운 영역(예를 들어, 반점, 모공) 및 레드 영역(여드름, 민감한 피부, 눈꺼풀의 붉은 핏발) 등을 분명하게 구분할 수 있다. 여기서, 멜라닌에 해당되는 영역은 최종적으로 브라운 이미지(Brown 패턴이라 기록함)로 나타나고, 헤모글로빈에 해당되는 영역은 레드 이미지(Red 패턴이라 기록함)로 나타난다.
전문적 디지털 카메라 또는 일안 반사식 카메라 등에 의해 수집된 얼굴 이미지가 고화질 이미지에 속하기 때문에, 본 실시 예에서, 후속 훈련된 "타겟 얼굴 색소 검출 모델"이 휴대폰으로 촬영된 저해상도 화질에 보다 잘 적용될 수 있도록, 각 얼굴 이미지에 해당되는 브라운 패턴 및 레드 패턴은 변화 없이 유지된다. 따라서, 본 발명은 원시 샘플 이미지에 대한 게인 처리를 제시한다. 예를 들어, jpg 압축 원리를 이용해 원시 샘플 이미지의 화질을 품질 랜덤으로 압축하여 원시 샘플 이미지의 화질을 저하시키고, 나아가 실제 휴대폰 카메라로 촬영된 3채널 얼굴 컬러 이미지를 시뮬레이션하는 효과를 달성한다.
S202, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
선택적으로는, 초기 얼굴 색소 검출 모델은 인코더-디코더(Encoder-Decoder) 네트워크 모델, 딥 뉴럴 네트워크 모델(Deep Neural Networks, 약칭 DNN), 또는 기타 네트워크 훈련 모델 등이 선택될 수 있으며, 여기서, "초기 얼굴 색소 검출 모델"에 대해서는 구체적으로 한정하지 않는다.
여기서, "실제 멜라닌 고화질 세부 이미지"는 고화질 세부 정보가 포함된 멜라닌 이미지(HB 이미지라 기록함)를 말하며, "실제 헤모글로빈 고화질 세부 이미지"는 고화질 세부 정보가 포함된 헤모글로빈 이미지(HR 이미지라 기록함)를 말한다.
본 실시 예에서, "초기 얼굴 색소 검출 모델"을 Encoder-Decoder 네트워크 모델의 예로 사용해 단계 S202에서 획득된 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하고, Encoder-Decoder 네트워크 모델 처리를 거쳐 Encoder-Decoder 네트워크 모델에 위해 출력된 HB 이미지 및 HR 이미지를 얻는다.
S203, 원시 샘플 이미지를 분해 처리하여 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻는 단계.
본 실시 예에서, 초기 얼굴 색소 검출 모델에 의해 출력된 HB 이미지 및 HR 이미지의 세부 정보가 보다 명확하도록, 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 사용해 상기 "초기 얼굴 색소 검출 모델"에 대해 지도 훈련 학습을 수행할 수 있다.
여기서, 지도된 멜라닌 고화질 세부 이미지는 종래의 분해 알고리즘을 사용해 원시 샘플 이미지를 분해한 후 획득된 것이며, "지도된 멜라닌 고화질 세부 이미지"를 초기 얼굴 색소 검출 모델 훈련 학습 시 지도된 실제 타겟 이미지로 사용하고, TB 이미지(Brown 패턴)라 기록한다.
마찬가지로, 지도된 헤모글로빈 고화질 세부 이미지 역시 종래의 분해 알고리즘을 사용해 원시 샘플 이미지를 분해한 후 획득된 것이며, "지도된 헤모글로빈 고화질 세부 이미지"를 초기 얼굴 색소 검출 모델 훈련 학습 시 지도된 실제 타겟 이미지로 사용하고, TR 이미지(Red 패턴)라 기록한다.
본 실시 예에서, 하기의 분해 방법을 사용해 원시 샘플 이미지를 분해 처리하여, TB 이미지 및 TR 이미지를 얻을 수 있다.
수동 스크리닝 방법을 통해 원시 샘플 이미지에서 Brown 및 Red 채널 분해 벡터를 스크리닝하고, 각각
(Brown 분해 벡터) 및 
(Red 분해 벡터)로 표시함에 따라, 원시 샘플 이미지에서 멜라닌-브라운 패턴, 헤모글로빈-레드 패턴을 추출한다.
RGB 형식으로 표시된 이미지 
의 경우, 위치 
의 픽셀 값 
으로
의 열백터를 나타내고, 백터를 정의한다.
여기서, 
는 전치를 나타내고, 
는 자연로그를 나타낸다.
2개의 분해 벡터를 구성하며, 하기의 행렬로 구성된다.
2개의 분해도 계산은 하기와 같다.
(1) 크기 
의 고정 상수 오프셋 벡터 
를 결정하며, 일반적으로 
를 취한다.
(2) 새로운 3채널 이미지 
를 계산하며, 
이다.
(3) 2분해 벡터에 대한 
의 투영을 계산하여 브라운 패턴 및 레드 패턴을 얻는다. 즉,
브라운 패턴 Brown：
.
레드 패턴 Red：
.
여기서, 
은 
의 역행렬이고, 
및 
은 모두 두 개의 
열백터의 스칼로곱을 나타내므로, 여전히 
의 열벡터를 얻는다. 지수 연산의 의미는 
이고, 
는 
의 열벡터를 나타낸다.
여기서, 브라운 패턴 Brown：
는 본 발명의 TB 이미지이고, 레드 패턴 Red：
는 본 발명의 TR 이미지이다.
본 발명에서, 상기 분해 방법은 주로 딥 러닝 훈련을 위해 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻는 데 사용되며, 네트워크 모델 훈련 과정 또는 네트워크 훈련이 완료된 후에는 상기 분해 방법을 다시 사용하지 않는 것에 유의해야 한다.
S204, 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지에 따라, 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계.
예를 들어, 상기 TB 이미지를 사용해 초기 얼굴 색소 검출 모델에 의해 출력된 HB 이미지를 지도하고, 및, 상기 TR 이미지를 사용하여 초기 얼굴 색소 검출 모델에 의해 출력된 HR 이미지를 지도하여, 초기 얼굴 색소 검출 모델을 여러 차례 반복 훈련 학습시켜 훈련된 얼굴 색소 검출 모델에 의해 출력된 HB 이미지 및 TB 이미지의 차이 값, 및 HR 이미지 및 TR 이미지의 차이 값이 사전 설정 값 이하로 낮아지면, 네트워크 훈련이 완료된 것일 수 있고, 훈련이 완료되면 타겟 얼굴 색소 검출 모델이 획득되며, 이때, 그 타겟 얼굴 색소 검출 모델은 저가형 카메라(웹캠)로 촬영된 얼굴 이미지에서 다양한 색소의 분포 상황을 검출하는 데 사용될 수 있다.
훈련된 타겟 얼굴 색소 검출 모델의 적용에 대한 간단한 설명은 하기와 같다.
본 실시 예에서, 저가형 카메라(웹캠)로 촬영된 타겟 샘플 이미지를 획득하고, 타겟 샘플 이미지를 상기 훈련된 타겟 얼굴 색소 검출 모델에 입력하여, 타겟 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻으므로, 저가형 카메라(웹캠)로 수집된 얼굴 이미지에서 멜라닌 및 헤모글로빈의 정확한 검출이 구현되고, 저가형 카메라(웹캠)로 촬영된 화질이 비교적 열악한 이미지에서 인접 픽셀의 색상이 일관화되는 경향으로 인해 얼굴 이미지의 다양한 색소 분해 품질이 저하되는 문제가 해결되며, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지의 세부 정보가 비교적 잘 복원된다.
요약하면, 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 방법은, 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻는 단계, 원시 샘플 이미지의 해상도는 타겟 샘플 이미지의 해상도보다 높을 수 있다, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계, 원시 샘플 이미지를 분해 처리하여 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻는 단계, 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지에 따라, 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계를 포함할 수 있다. 본 방안에서, 주로 전문적 디지털 카메라 또는 일안 반사식 카메라 등에 의해 수집된 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻음에 따라, 휴대폰 카메라로 촬영된 얼굴 이미지를 시뮬레이션하는 효과가 구현되고, 그후, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여 HB 이미지 및 HR 이미지를 얻고, 원시 샘플 이미지를 분해하여 TB 이미지 및 TR 이미지를 얻어 초기 얼굴 색소 검출 모델을 반복 수정해, 타겟 얼굴 색소 검출 모델을 얻음에 따라, 추후 저가형 카메라(웹캠)로 촬영된 타겟 샘플 이미지를 상기 훈련된 타겟 얼굴 색소 검출 모델에 입력하여, 타겟 얼굴 색소 검출 모델에 의해 출력된 HB 이미지 및 HR 이미지를 얻을 수 있으므로, 저가형 카메라(웹캠)로 수집된 얼굴 이미지에서 멜라닌 및 헤모글로빈의 정확한 검출이 구현되고, 저가형 카메라(웹캠)로 촬영된 화질이 비교적 열악한 이미지에서 인접 픽셀의 색상이 일관화되는 경향으로 인해 얼굴 이미지의 다양한 색소 분해 품질이 저하되는 문제가 해결되며, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지의 세부 정보가 비교적 잘 복원된다.
하기의 실시 예를 통해, 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 실제 멜라닌 고화질 세부 이미지의 밝기 정보 및 실제 헤모글로빈 고화질 세부 이미지의 밝기 정보에 따라, 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계 상기 S204의 방법을 구체적으로 설명한다.
선택적으로는, 지도된 멜라닌 고화질 세부 이미지의 밝기 정보 및 지도된 헤모글로빈 고화질 세부 이미지의 밝기 정보를 지도 매개변수로 사용하고, 실제 멜라닌 고화질 세부 이미지의 밝기 정보 및 실제 헤모글로빈 고화질 세부 이미지의 밝기 정보에 따라, 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는다.
본 실시 예에서, "초기 얼굴 색소 검출 모델"에 의해 출력된 HB 이미지 및 HR 이미지의 세부 정보가 보다 명확하도록, LI 등과 같은 종래의 손실 함수 지도를 사용하는 방법 이외에, 본 발명에서는 추가적으로 TB 이미지 및 TR 이미지의 "정렬된 밝기 세부 정보"를 지도 매개변수로 사용하여, 초기 얼굴 색소 검출 모델에 대한 지도 훈련 학습을 수행하고, 임시 얼굴 색소 검출 모델을 지속적으로 순환 업데이트하여, 특정 주기에서 획득된 임시 얼굴 색소 검출 모델에 의해 출력된 HB 이미지 및 TB 이미지의 오차, 및 HR 이미지 및 TR 이미지의 오차가 모두 사전 설정된 조건을 충족하면, 반복 순환 과정을 종료하며, 이때 획득된 임시 얼굴 색소 검출 모델을 타겟 얼굴 색소 검출 모델로 사용하는 방법을 더 제시한다.
HB 이미지 및 TB 이미지를 예로 들면, 3채널의 HB 이미지 및 TB이미지의 경우, 이의 3채널의 최대값(max로 표시) 및 최소값(min으로 표시)을 취할 수 있으므로, c를 통해 max의 비율을 조정해 밝기 세부 정보를 하기와 같이 추출한다.
하기의 실시 예를 통해, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계 S202의 방법을 구체적으로 설명한다.
여기서, 도 3은 본 발명의 실시 예에 의해 제공되는 초기 얼굴 색소 검출 모델의 블록선도이며, 도 3에 도시된 바와 같이, 초기 얼굴 색소 검출 모델은 인코더(Encoder), 제1 디코더(Decoder1) 및 제2 디코더(Decoder2)를 포함할 수 있다.
여기서, 초기 얼굴 색소 검출 모델은 Encoder-Decoder의 네트워크 모델이 선택되며, 본 실시 예에서는 Encoder-Decoder의 네트워크 모델 중 구체적 네트워크 계층 구조를 고려하지 않고, 인코더는 초기 얼굴 색소 검출 모델에 입력하는 타겟 샘플 이미지를 인코딩하여 인코딩된 특징을 얻는 데 사용된다. 디코딩에는 2개의 분기 Decoder1 및 Decoder2가 있으며, 여기서, Decoder1은 이미지의 세부 정보를 생성하는 데 사용되고, Decoder2는 이미지의 색상 정보를 생성하는 데 사용되며, 세부 정보 및 색상 정보를 더하여 최종적으로 고화질 세부 정보가 포함된 HB 이미지(브라운 패턴) 및 HR 이미지(Red 패턴)를 얻는다.
초기 얼굴 멜라닌 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 HB 및 실제 헤모글로빈 고화질 세부 이미지 HR을 얻는 방법은 도 3 내지 도 4를 결합하여 하기에서 구체적으로 설명한다.
도 4는 본 발명의 실시 예에 의해 제공되는 또 다른 얼굴 색소 검출 모델 훈련 방법의 흐름도이며, 도 4에 도시된 바와 같이, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계 상기 S202는 하기를 포함할 수 있다.
S401, 인코더가 타겟 샘플 이미지를 인코딩하여 인코딩된 특징을 얻는 단계.
여기서, 타겟 샘플 이미지는 실제 휴대폰으로 촬영된 3채널 컬러 이미지 LI일 수 있고, LI의 크기는 3xHxW이며, 여기서, H는 이미지의 높이 정보이고, W는 이미지의 너비 정보를 말한다.
선택적으로는, 인코더가 타겟 샘플 이미지를 인코딩하여, 타겟 샘플 이미지를 고정 길이의 벡터로 변환하고 인코딩된 특징을 얻을 수 있다.
S402, 제1 디코더에 의해 인코딩된 특징이 세부적으로 디코딩되어 멜라닌 세부 이미지 및 헤모글로빈 세부 이미지를 얻는 단계.
선택적으로는, 제1 디코더 Decoder1를 통해 인코딩된 특징이 세부적으로 디코딩됨에 따라, 타겟 샘플 이미지의 공간 세부 정보가 점차 복원되어 DB 이미지 및 DB 이미지가 획득된다.
DB 이미지 및 DB 이미지의 크기는 모두 타겟 샘플 이미지와 상동하여 모두 3채널, 크기는 HxW일 수 있는 것에 유의해야 한다.
S403, 제2 디코더에 의해 인코딩된 특징이 색상 디코딩되어 멜라닌 색상 이미지 및 헤모글로빈 색상 이미지를 얻는 단계.
선택적으로는, 제2 디코더에 의해 인코딩된 특징이 색상 디코딩되어 멜라닌 색상 이미지 및 헤모글로빈 색상 이미지를 얻는 단계는 하기를 포함한다.
제2 디코더에 의해 인코딩된 특징이 색상 디코딩되어 중간 멜라닌 계수 패턴 행렬 및 중간 헤모글로빈 계수 패턴 행렬을 얻으며, 중간 멜라닌 계수 패턴 행렬과 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 멜라닌 색상 이미지를 얻고, 및, 중간 헤모글로빈 계수 패턴 행렬과 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 헤모글로빈 색상 이미지를 얻는 단계.
여기서, 중간 멜라닌 계수 패턴 행렬과 중간 헤모글로빈 계수 패턴 행렬은 제2 디코더 Decoder2에 의해 인코딩된 특징이 색상 디코딩되어, 타겟 샘플 이미지와 크기가 일치되는 12채널 Brown 계수 패턴 KB 행렬 및 Red 계수 패턴 KR 행렬을 얻는다.
여기서, Brown 계수 패턴 KB 행렬 및 Red 계수 패턴 KR 행렬의 크기는 모두 12xHxW이며, 12는 실질적으로 각 픽셀 위치 
에 12개의 계수가 있음을 의미하고, 추후 각 위치 
의 계수 행렬 3x4를 구성하기 위해, 행렬은 12개 계수를 포함한다.
본 실시 예에서, 크기가 12xHxW인 계수 패턴 행렬 및 크기가 3xHxW인 타겟 샘플 이미지 LI의 경우, LI의 각 픽셀 위치 
에 대해 대응하는 픽셀 값을 
로 기록하고, 계수 패턴 위치 
에 대응되는 12개의 계수는 크기가 3x4인 행렬 
로 변환될 수 있으며, 위치 
에 대응되는 픽셀 값 
에 1을 더하여 동차 픽셀 값 
를 구성하고, 동차 픽셀 값 
를 전치하며, 동차 픽셀 값 
를 4x1의 동차 벡터로 변환함에 따라, 행렬 및 벡터 곱셈 빙식으로 변환되므로 해당 위치 
의 색상 결과 
을 획득한다. 즉,
상기 식의 계산 방법을 통해, 모두 멜라닌 색상 이미지 OB 및 헤모글로빈 색상 이미지 OR을 계산할 수 있다.
본 실시 예에서, 상이한 유형의 카메라로 촬영된 이미지 화질에 대해서는 지속적으로 분석 및 스크리닝을 반복해야 하는데, 동시에 분해 결과는 컬러 블록 등의 과도하게 균일하지 않은 문제가 초래되기 쉽다. 본 발명은 멜라닌 계수 패턴 행렬 및 헤모글로빈 계수 패턴 행렬 방식을 통해 과도하게 균일하지 않은 문제를 방지하고, 세부 학습 과정을 통해 분해도의 세부 정보를 복원하여 얼굴 색소 검출 결과의 결과에 반점, 여드름, 모공 등과 같은 피부 특수 영역이 강조되게 한다.
S404, 초기 얼굴 색소 검출 모델에 의해 멜라닌 세부 이미지 및 멜라닌 색상 이미지가 오버레이 처리되어 실제 멜라닌 고화질 세부 이미지를 얻고, 및 헤모글로빈 세부 이미지 및 헤모글로빈 색상 이미지가 오버레이 처리되어 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
본 실시 예에서, 상기 최종적으로 고화질 세부 정보가 포함된 DB 이미지 및 멜라닌 색상이 포함된 OB 이미지가 오버레이되어 HB 이미지를 얻는다. 즉, HB=OB+DB이다.
마찬가지로, 상기 최종적으로 고화질 세부 정보가 포함된 DR 이미지 및 헤모글로빈 색상이 포함된 OR 이미지가 오버레이되어 HR 이미지를 얻는다. 즉, HR=OR+DR이다.
선택적으로는, 초기 얼굴 색소 검출 모델에 의해 멜라닌 세부 이미지 및 멜라닌 색상 이미지가 오버레이 처리되어 실제 멜라닌 고화질 세부 이미지를 얻고, 및, 헤모글로빈 세부 이미지 및 헤모글로빈 색상 이미지가 오버레이 처리되어 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계는 하기를 포함할 수 있다.
초기 얼굴 색소 검출 모델에 의해 멜라닌 세부 이미지 및 멜라닌 색상 이미지의 상동한 위치 상동한 채널의 각 픽셀이 각각 더해져 실제 멜라닌 고화질 세부 이미지를 얻고, 및, 헤모글로빈 세부 이미지 및 헤모글로빈 색상 이미지의 상동한 위치 상동한 채널의 각 픽셀이 각각 더해져 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
본 실시 예에서, 세부 이미지 및 색상 이미지의 크기는 완전하게 상동하고 모두 3채널이기 때문에, 픽셀이 차례로 더해짐에 따라, 멜라닌 세부 이미지 및 멜라닌 색상 이미지가 오버레이 처리되어 실제 멜라닌 고화질 세부 이미지를 얻고, 및 헤모글로빈 세부 이미지 및 헤모글로빈 색상 이미지가 오버레이 처리되어 실제 헤모글로빈 고화질 세부 이미지를 얻는다.
예를 들어, HR 이미지를 예로 들면, 각 픽셀 위치 
에서, HR에 대응되는 픽셀 값을 
로 기록하고, OR에 대응되는 픽셀 값을 
로 기록하고, DR에 대응되는 픽셀 값을 
로 기록하면, 하기와 같다.
마찬가지로, 상기 오버레이 방식을 사용해 HB 이미지를 얻을 수 있다.
하기의 실시 예를 통해, 상기 S202에 개시된 게인 처리에 포함되는 처리를 구체적으로 설명한다.
선택적으로는, 게인 처리는 압축 처리, 색상 형식 변환 처리, 색소 영역 색상 조정 처리 중의 하나 이상을 포함한다.
일안 반사식 카메라로 촬영된 데이터는 고화질 이미지에 속하기 때문에, 본 실시 예에서, 타겟 얼굴 색소 검출 모델이 휴대폰으로 촬영된 화질에 보다 잘 적용되어 각 이미지에 대응되는 Brown 패턴 및 Red 패턴이 변화 없이 유지될 수 있도록, 일안 반사식 카메라로 촬영된 원시 샘플 이미지의 화질을 낮추어야 한다. 따라서, 본 발명은 일안 반사식 카메라로 촬영된 원시 샘플 이미지에 대한 추가적인 게인 처리를 제시하며, 게인 처리는 실제 응용 과정에서 휴대폰 카메라 또는 기타 장치로 촬영된 화질이 상대적으로 열악한 이미지에서 얼굴 색소 검출 문제를 해결하기 위해, 압축 처리, 색상 형식 변환 처리, 색소 영역 색상 조정 처리 중 하나 이상을 포함할 수 있다.
선택적으로는, 색소 영역 색상 조정 처리는 원시 샘플 이미지에서 멜라닌 영역 및 헤모글로빈 영역을 검출하고, 원시 샘플 이미지에서 멜라닌 영역 및 헤모글로빈 영역을 제거하여, 멜라닌 영역 및 헤모글로빈 영역이 제거된 이미지를 원시 샘플 이미지와 융합 처리하는 단계를 포함할 수 있다.
(1) 압축 처리, 각 입력된 원시 샘플 이미지에 jpg 압축 원리를 이용해 품질이 무작위인 화질 압축을 수행하며, 훈련 시 컨볼루션 신경망(Convolutional Neural Network, 약칭 CNN)의 학습 과정에서 상이한 압축 화질로 인한 영향이 제거될 수 있도록, 80-99의 무작위 화질 압축으로 설정한다.
(2) 색상 형식 변환 처리, 주로 채도 알고리즘을 이용해 원시 샘플 이미지의 채도를 낮추고, 브라운 영역(예를 들어, 반점, 모공), 레드 영역(여드름, 민감한 피부, 붉은 핏발) 및 기타 정상 영역의 색수차를 줄이며, 휴대폰으로 촬영된 이미지의 색수차는 일반 반사식 카메라로 촬영된 색수차보다 약하다.
여기서, 채도를 낮추는 방법은 일반적으로 원시 샘플 이미지를 HSL 형식으로 일괄 변환하며, 여기서 H는 색상을 의미하고, S는 채도를 의미하고, L은 밝기를 의미하며, S 채널 조정을 통해 원시 샘플 이미지의 채도를 낮출 수 있다. 훈련 중에서 채널 분해 작업에 적응할 수 있도록, 채도를 낮는 새로운 방식이 사용된다.
일반적으로 S 채널을 계산하는 계산 과정은 임의의 3 채널의 컬러 이미지를 RGB로 표시되는 컬러 이미지로 변환하고, 값을 0.0-1.0으로 변환할 수 있다.
RGB의 최대값 
및 최소값 
을 계산한다. 밝기 채널을 
로 계산하고, 둘의 차이가 
이면, 채도의 계산 공식은 하기와 같다.
상기 채도 계산 과정에 따라, 채도 S를 낮추는 구체적 방식으로 L의 크기는 변화없이 유지되면서 최대값 
를 줄이고, 최소값 
을 증가시키면, 채도를 낮출 수 있으며, 채도 감소 정도의 계수는 
이며, 이의 감소 방식 계산으로 새로운 
및 
을 하기와 같이 얻는다.
여기서, 
는 최대값을 의미하고, 
은 최소값을 의미한다.
새로운 차이 값 
은 
이며, 채도의 계산 공식을 대체하여 새로운 채도 S를 얻는다. 즉,
일반적으로, 붉은 여드름, 반점 등은 채도가 비교적 높은 영역에 속하여 해당 
값도 비교적 크며, 상기 공식 역시 
값이 비교적 큰 영역의 채도를 낮출 수 있고, 비교적 작은 영역은 되도록 채도를 그대로 유지시킴에 따라, 여드름, 반점 및 정상 피부 영역의 색수차가 감소된다.
(3) 색소 영역 색상 조정 처리, 휴대폰으로 촬영된 이미지 화질의 경우, 얼굴의 비교적 옅은 브라운/레드 영역이 다른 피부 영역에 비해 강조 표시될 수 없으므로, 원시 샘플 이미지가 휴대폰으로 촬영된 이미지 화질을 보다 잘 시뮬레이션하여 Brown 이미지에 갈색 반점, 모공 등이 더 잘 강조되고, Red 이미지에 붉은 여드름, 붉은 핏발이 더 잘 강조될 수 있도록, 본 실시 예에서, 검출 알고리즘을 이용해 원시 샘플 이미지 Origin에서 이러한 Brown 영역, Red 영역을 식별하고, inpainting 알고리즘을 사용해 이러한 Brown 영역, Red 영역을 제거함에 따라, 깨끗한 결과도를 획득하여 Clean 이미지라 기록하고, 그후 alpha 융합 방식으로 융합하면, Clean*(alpha)+Origin*(1.0-alpha)이며, 여기서, *는 곱셈을 의미하고, alpha 값은 0.0-0.5 범위 이내이다. 이 방식을 통해 얼굴의 비교적 옅은 브라운/레드 영역이 다른 피부 영역보다 더 잘 강조될 수 있다.
원시 샘플 이미지에 게인 처리를 수행할 때, 실제 휴대폰 카메라로 촬영된 이미지를 시뮬레이션하기 위해, 압축 처리, 색상 형식 변환 처리, 색소 영역 색상 조정 처리 중 어느 하나, 또는 임의의 두 가지 조합만을 선택하거나, 모든 조합을 선택하여, 후속 훈련된 타겟 얼굴 색소 검출 모델이 저가형 카메라(웹캠)로 촬영된 저화질 이미지에 적용되게 할 수 있으므로, 피부 테스트기 등 장치의 생산 비용을 낮추고, 휴대폰 사진에서 얼굴 색소 검출 방법의 응용 효과를 높일 수 있다.
본 발명에 의해 제공되는 얼굴 색소 검출 모델 훈련 장치 및 저장 매체 등의 실행은 하기에서 설명되며, 이의 구체적 구현 과정 및 기술적 효과는 전술한 내용을 참조할 수 있으므로, 하기에서 더 이상 설명하지 않는다.
도 5는 본 발명의 실시 예에 의해 제공되는 얼굴 색소 검출 모델 훈련 장치의 구조 결선도이다. 도 5에 도시된 바와 같이, 그 장치는 게인 모듈501, 처리 모듈502 및 수정 모듈503을 포함할 수 있다.
게인 모듈501, 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻도록 구성될 수 있으며, 원시 샘플 이미지의 해상도는 타겟 샘플 이미지의 해상도보다 높다.
처리 모듈502, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻고, 원시 샘플 이미지를 분해 처리하여 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻도록 구성될 수 있다.
수정 모듈503, 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지에 따라, 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻도록 구성될 수 있다.
선택적으로는, 수정 모듈503은 하기로 더 구성될 수 있다.
지도된 멜라닌 고화질 세부 이미지의 밝기 정보 및 지도된 헤모글로빈 고화질 세부 이미지의 밝기 정보를 지도 매개변수로 사용하고, 실제 멜라닌 고화질 세부 이미지의 밝기 정보 및 실제 헤모글로빈 고화질 세부 이미지의 밝기 정보에 따라, 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계.
선택적으로는, 초기 얼굴 색소 검출 모델은 인코더, 제1 디코더 및 제2 디코더를 포함할 수 있다.
처리 모듈502, 하기로 더 구성될 수 있다.
인코더에 의해 타겟 샘플 이미지가 인코딩되어 인코딩된 특징을 얻는 단계.
제1 디코더에 의해 인코딩된 특징이 세부적으로 디코딩되어 멜라닌 세부 이미지 및 헤모글로빈 세부 이미지를 얻는 단계.
제2 디코더에 의해 인코딩된 특징이 색상 디코딩되어 멜라닌 색상 이미지 및 헤모글로빈 색상 이미지를 얻는 단계.
초기 얼굴 색소 검출 모델에 의해 멜라닌 세부 이미지 및 멜라닌 색상 이미지가 오버레이 처리되어 실제 멜라닌 고화질 세부 이미지를 얻고, 및, 헤모글로빈 세부 이미지 및 헤모글로빈 색상 이미지가 오버레이 처리되어 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
선택적으로는, 처리 모듈502는 하기로 더 구성될 수 있다.
제2 디코더에 의해 인코딩된 특징이 색상 디코딩되어 중간 멜라닌 계수 패턴 행렬 및 중간 헤모글로빈 계수 패턴 행렬을 얻으며, 중간 멜라닌 계수 패턴 행렬과 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 멜라닌 색상 이미지를 얻고, 및, 중간 헤모글로빈 계수 패턴 행렬과 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 헤모글로빈 색상 이미지를 얻는 단계.
선택적으로는, 처리 모듈502는 하기로 더 구성될 수 있다.
초기 얼굴 색소 검출 모델에 의해 멜라닌 세부 이미지 및 멜라닌 색상 이미지의 상동한 위치 상동한 채널의 각 픽셀이 각각 더해져 실제 멜라닌 고화질 세부 이미지를 얻고, 및, 헤모글로빈 세부 이미지 및 헤모글로빈 색상 이미지의 상동한 위치 상동한 채널의 각 픽셀이 각각 더해져 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계.
선택적으로는, 게인 처리는 압축 처리, 색상 형식 변환 처리, 색소 영역 색상 조정 처리 중의 하나 이상을 포함할 수 있다.
선택적으로는, 색소 영역 색상 조정 처리는 원시 샘플 이미지에서 멜라닌 영역 및 헤모글로빈 영역을 검출하고, 원시 샘플 이미지에서 멜라닌 영역 및 헤모글로빈 영역을 제거하여, 멜라닌 영역 및 헤모글로빈 영역이 제거된 이미지를 원시 샘플 이미지와 융합 처리하는 단계를 포함할 수 있다.
상기 장치는 전술한 실시 예에 의해 제공되는 방법을 실행하는 데 사용되며, 이의 구현 원리 및 기술적 효과는 여기서 더 이상 설명하지 않는다.
전술한 모듈은 개시된 방법을 수행하도록 구성된 하나 이상의 특정 용도 지향 집적 회로(Application Specific Integrated Circuit, 약칭 ASIC), 또는 하나 이상의 마이크로프로세서(digital singnal processor, 약칭 DSP), 또는 하나 이상의 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, 약칭 FPGA) 등과 같은 하나 이상의 집적 회로일 수 있다. 또한, 특정 모듈이 처리 소자의 스케줄링 프로그램 코드의 형식을 통해 구현되면, 그 처리 소자는 중앙처리장치(Central Processing Unit, 약칭 CPU) 또는 프로그램 코드를 호출할 수 있는 기타 프로세서와 같은 범용 프로세서일 수 있다. 또한, 그러한 모듈은 하나로 집적되어 시스템온칩(system-on-a-chip, 약칭 SOC) 형식으로 구현될 수 있다.
선택적으로는, 본 발명은 프로그램을 포함하는 컴퓨터로 읽을 수 있는 저장 매체와 같은 프로그램 제품을 더 제공하며, 그 프로그램이 프로세서에 의해 실행되면 전술한 실시 예가 실행된다.
본 발명에 의해 제공되는 복수의 실시 예에서, 개시되는 장치 및 방법은 기타 방식을 통해서 구현될 수 있음을 이해해야 한다. 예를 들면, 상기에서 설명된 장치의 실시 예는 상기 유닛의 분할이 단지 논리적 기능 분할인 것처럼 예시적일 뿐이며, 실제 구현 시에는 복수의 유닛 또는 조립체가 병합되거나 다른 시스템으로 통합되거나, 또는 일부 기능이 무시되거나, 또는 실행되지 않을 수 있는 것처럼 다른 분할 방식일 수 있다. 다른 한편으로는, 표시되거나 논의된 상호 간의 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통해 구현될 수 있고, 장치 또는 유닛의 간접 결합 또는 통신 연결은 전기적, 기계적 또는 기타 형식으로 구현될 수 있다.
분리된 구성요소로 설명된 상기 유닛은 물리적으로 분리되거나 분리되지 않을 수도 있으며, 유닛으로 표시된 구성요소는 물리적 유닛이거나 아닐 수도 있다. 즉, 하나의 위치에 위치하거나, 또는 복수의 네트워크 유닛에 분포할 수도 있다. 실제 필요에 따라 그중의 일부 또는 전부의 유닛을 선택해 본 실시 예 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시 예에 의해 제공되는 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 단독으로 물리적으로 존재할 수도 있으며, 두 개 이상의 유닛이 하나의 유닛에 통합될 수도 있다. 상기 통합 유닛은 하드웨어 형식으로 구현될 수 있고, 하드웨어와 소프트웨어가 더해진 기능 유닛의 형식으로 구현될 수도 있다.
상기 소프트웨어 기능 유닛의 형식으로 구현된 통합 유닛은 컴퓨터의 읽을 수 있는 저장 매체에 저장될 수 있다. 상기 소프트웨어 기능 유닛은 저장 매체에 저장되며, 컴퓨터 장비(개인용 컴퓨터, 서버, 또는 네트워크 장치 등일 수 있다) 또는 프로세서(영문 : processor)가 본 발명의 각 실시 예에 의해 제공되는 상기 방법의 일부 단계를 실행시키는 데 사용되는 약간의 명령을 포함한다. 전술한 저장 매체는 U디스크, 모바일 하드 디스크, 읽기 전용 메모리(영문 : Read-Only Memory, 약칭：ROM), 랜덤 액세스 메모리(영문 : Random Access Memory, 약칭：RAM), 자기 디스크 또는 광디스크 등 프로그램 코드를 저장할 수 있는 매체를 포함한다.
<산업상 이용 가능성>
본 발명은 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체를 제공한다. 그 방법은 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻는 단계, 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계, 원시 샘플 이미지를 분해 처리하여 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻는 단계, 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지에 따라, 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계를 포함한다. 본 방안은 저가형 카메라로 촬영된 화질이 열악한 이미지에서, 인접 픽셀의 색소 색상이 일관화되는 경향으로 인해 얼굴 이미지의 다양한 색소 분해 품질이 저하되는 문제를 해결한다.
또한, 본 발명의 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체는 재현될 수 있고, 다양한 산업적 응용에 적용될 수 있음을 이해해야 한다. 예를 들면, 본 발명의 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체는 이미지 처리 기술 영역에 사용될 수 있다.
101: 메모리
102: 프로세서
102: 프로세서
Claims (14)
- 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻는 단계, 상기 원시 샘플 이미지의 해상도는 상기 타겟 샘플 이미지의 해상도보다 높으며,
상기 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 상기 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계,
상기 원시 샘플 이미지를 분해 처리하여, 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻는 단계,
상기 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지 및 상기 실제 헤모글로빈 고화질 세부 이미지에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계를 포함하는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 방법. - 제1항에 있어서,
상기 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지 및 상기 실제 헤모글로빈 고화질 세부 이미지에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 상기 단계는,
상기 지도된 멜라닌 고화질 세부 이미지의 밝기 정보 및 지도된 헤모글로빈 고화질 세부 이미지의 밝기 정보를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지의 밝기 정보 및 상기 실제 헤모글로빈 고화질 세부 이미지의 밝기 정보에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻는 단계를 포함하는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 방법. - 제1항 또는 제2항에 있어서,
상기 초기 얼굴 색소 검출 모델은 인코더, 제1 디코더 및 제2 디코더를 포함하며,
상기 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 상기 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻는 상기 단계는,
상기 인코더에 의해 상기 타겟 샘플 이미지가 인코딩되어 인코딩된 특징을 얻는 단계,
상기 제1 디코더에 의해 상기 인코딩된 특징이 세부 디코딩되어 멜라닌 세부 이미지 및 헤모글로빈 세부 이미지를 얻는 단계,
상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 멜라닌 색상 이미지 및 헤모글로빈 색상 이미지를 얻는 단계,
상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지가 오버레이 처리되어 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및, 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지가 오버레이 처리되어 상기 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 방법. - 제3항에 있어서,
상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 멜라닌 색상 이미지 및 헤모글로빈 색상 이미지를 얻는 상기 단계는,
상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 중간 멜라닌 계수 패턴 행렬 및 중간 헤모글로빈 계수 패턴 행렬을 얻으며, 상기 중간 멜라닌 계수 패턴 행렬과 상기 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 상기 멜라닌 색상 이미지를 얻고, 및, 상기 중간 헤모글로빈 계수 패턴 행렬과 상기 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 상기 헤모글로빈 색상 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 방법. - 제3항 또는 제4항에 있어서,
상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지가 오버레이 처리되어 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및, 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지가 오버레이 처리되어 상기 실제 헤모글로빈 고화질 세부 이미지를 얻는 상기 단계는,
상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지에서 상동한 위치 상동한 채널의 각 픽셀 값이 각각 더해져 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및, 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지에서 상동한 위치 상동한 채널의 각 픽셀 값이 각각 더해져 상기 실제 헤모글로빈 고화질 세부 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 게인 처리는 압축 처리, 색상 형식 변환 처리, 색소 영역 색상 조정 처리 중의 하나 이상을 포함하는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 방법. - 제6항에 있어서,
상기 색소 영역 색상 조정 처리는,
상기 원시 샘플 이미지에서 멜라닌 영역 및 헤모글로빈 영역을 검출하고, 상기 원시 샘플 이미지에서 상기 멜라닌 영역 및 헤모글로빈 영역을 제거하여, 상기 멜라닌 영역 및 헤모글로빈 영역이 제거된 이미지를 상기 원시 샘플 이미지와 융합 처리하는 단계를 포함하는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 방법. - 장치는,
게인 모듈, 원시 샘플 이미지에 게인 처리하여 타겟 샘플 이미지를 얻도록 구성되고, 상기 원시 샘플 이미지의 해상도는 상기 타겟 샘플 이미지의 해상도보다 높으며,
처리 모듈, 상기 타겟 샘플 이미지를 초기 얼굴 색소 검출 모델에 입력하여, 상기 초기 얼굴 색소 검출 모델에 의해 출력된 실제 멜라닌 고화질 세부 이미지 및 실제 헤모글로빈 고화질 세부 이미지를 얻으며,
상기 원시 샘플 이미지를 분해 처리하여 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 얻도록 구성되며,
수정 모듈, 상기 지도된 멜라닌 고화질 세부 이미지 및 지도된 헤모글로빈 고화질 세부 이미지를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지 및 상기 실제 헤모글로빈 고화질 세부 이미지에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻도록 구성되며,
상기를 포함하는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 장치. - 제8항에 있어서,
상기 수정 모듈은,
상기 지도된 멜라닌 고화질 세부 이미지의 밝기 정보 및 지도된 헤모글로빈 고화질 세부 이미지의 밝기 정보를 지도 매개변수로 사용하고, 상기 실제 멜라닌 고화질 세부 이미지의 밝기 정보 및 상기 실제 헤모글로빈 고화질 세부 이미지의 밝기 정보에 따라, 상기 초기 얼굴 색소 검출 모델에 대해 반복 수정을 수행하여 타겟 얼굴 색소 검출 모델을 얻도록 더 구성될 수 있는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 장치. - 제8항 또는 제9항에 있어서,
상기 초기 얼굴 색소 검출 모델은 인코더, 제1 디코더 및 제2 디코더를 포함하며,
여기서, 상기 처리 모듈은,
상기 인코더에 의해 상기 타겟 샘플 이미지가 인코딩되어 인코딩된 특징을 얻도록 더 구성되며,
상기 제1 디코더에 의해 상기 인코딩된 특징이 세부 디코딩되어 멜라닌 세부 이미지 및 헤모글로빈 세부 이미지를 얻도록 더 구성되며,
상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 멜라닌 색상 이미지 및 헤모글로빈 색상 이미지를 얻도록 더 구성되며,
상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지가 오버레이 처리되어 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및, 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지가 오버레이 처리되어 상기 실제 헤모글로빈 고화질 세부 이미지를 얻도록 구성되는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 장치. - 제10항에 있어서,
상기 처리 모듈은,
상기 제2 디코더에 의해 상기 인코딩된 특징이 색상 디코딩되어 중간 멜라닌 계수 패턴 행렬 및 중간 헤모글로빈 계수 패턴 행렬을 얻으며, 상기 중간 멜라닌 계수 패턴 행렬과 상기 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 멜라닌 색상 이미지를 얻고, 및, 상기 중간 헤모글로빈 계수 패턴 행렬과 상기 타겟 샘플 이미지에서 각 픽셀 위치의 픽셀 벡터를 곱하여 상기 헤모글로빈 색상 이미지를 얻도록 더 구성되는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 장치. - 제10항 또는 제11항에 있어서,
상기 처리 모듈은,
상기 초기 얼굴 색소 검출 모델에 의해 상기 멜라닌 세부 이미지 및 상기 멜라닌 색상 이미지에서 상동한 위치 상동한 채널의 각 픽셀 값이 각각 더해져 상기 실제 멜라닌 고화질 세부 이미지를 얻고, 및, 상기 헤모글로빈 세부 이미지 및 상기 헤모글로빈 색상 이미지에서 상동한 위치 상동한 채널의 각 픽셀 값이 각각 더해져 상기 실제 헤모글로빈 고화질 세부 이미지를 얻도록 더 구성되는 것을 특징으로 하는 얼굴 색소 검출 모델 훈련 장치. - 프로세서, 저장 매체 및 버스를 포함하며, 상기 저장 매체는 상기 프로세서에 의해 실행될 수 있는 기계 판독 가능 명령을 저장하고, 전자 장비가 작동되면, 상기 프로세서와 상기 저장 매체 사이는 버스를 통해 통신되며, 상기 프로세서는 상기 기계 판독 가능 명령을 실행하여, 제1항 내지 제7항 중 어느 한 항의 방법의 단계를 실행하는 것을 특징으호 하는 전자 장비.
- 상기 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행되면, 제1항 내지 제7항 중 어느 한 항의 방법의 단계가 실행되는 것을 특징으로 하는 컴퓨터 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111002463.8 | 2021-08-30 | ||
| CN202111002463.8A CN113688752B (zh) | 2021-08-30 | 2021-08-30 | 人脸色素检测模型训练方法、装置、设备及存储介质 |
| PCT/CN2021/132558 WO2023029233A1 (zh) | 2021-08-30 | 2021-11-23 | 人脸色素检测模型训练方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230035225A true KR20230035225A (ko) | 2023-03-13 |
Family
ID=78584130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227037680A KR20230035225A (ko) | 2021-08-30 | 2021-11-23 | 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP7455234B2 (ko) |
| KR (1) | KR20230035225A (ko) |
| CN (1) | CN113688752B (ko) |
| WO (1) | WO2023029233A1 (ko) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011103576A1 (en) * | 2010-02-22 | 2011-08-25 | Canfield Scientific, Incorporated | Reflectance imaging and analysis for evaluating tissue pigmentation |
| KR102548317B1 (ko) | 2018-07-16 | 2023-06-26 | 아너 디바이스 컴퍼니 리미티드 | 색소 검출 방법 및 전자 장치 |
| CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
| CN111507914B (zh) * | 2020-04-10 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111768354A (zh) * | 2020-08-05 | 2020-10-13 | 哈尔滨工业大学 | 基于多尺度人脸部位特征字典的人脸图像复原系统 |
| CN112070848A (zh) * | 2020-09-18 | 2020-12-11 | 厦门美图之家科技有限公司 | 图像色素分离方法、装置、电子设备和可读存储介质 |
| CN113076685A (zh) * | 2021-03-04 | 2021-07-06 | 华为技术有限公司 | 图像重建模型的训练方法、图像重建方法及其装置 |
-
2021
- 2021-08-30 CN CN202111002463.8A patent/CN113688752B/zh active Active
- 2021-11-23 WO PCT/CN2021/132558 patent/WO2023029233A1/zh unknown
- 2021-11-23 KR KR1020227037680A patent/KR20230035225A/ko not_active Application Discontinuation
- 2021-11-23 JP JP2022566607A patent/JP7455234B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP7455234B2 (ja) | 2024-03-25 |
| CN113688752A (zh) | 2021-11-23 |
| JP2023546307A (ja) | 2023-11-02 |
| WO2023029233A1 (zh) | 2023-03-09 |
| CN113688752B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Underwater image enhancement via adaptive group attention-based multiscale cascade transformer | |
| US20220245775A1 (en) | Tone mapping method and electronic device | |
| CN109842799B (zh) | 颜色分量的帧内预测方法、装置及计算机设备 | |
| CN117640942A (zh) | 一种用于视频图像的编码方法和装置 | |
| CN114998145A (zh) | 一种基于多尺度和上下文学习网络的低照度图像增强方法 | |
| CN113487528A (zh) | 图像处理方法及装置、计算机可读存储介质、终端 | |
| CN115552905A (zh) | 用于图像和视频编码的基于全局跳过连接的cnn滤波器 | |
| CN112270646A (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN116309163A (zh) | 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法 | |
| CN112308785A (zh) | 图像去噪方法、存储介质及终端设备 | |
| CN114638749A (zh) | 低光照图像增强模型、方法、电子设备及存储介质 | |
| WO2022266955A1 (zh) | 图像解码及处理方法、装置及设备 | |
| Huang et al. | Underwater image enhancement via LBP‐based attention residual network | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| KR20230035225A (ko) | 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체 | |
| US11483577B2 (en) | Processing of chroma-subsampled video using convolutional neural networks | |
| CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及系统 | |
| CN116095321A (zh) | 显著性区域图像编解码方法、系统、设备及存储介质 | |
| CN111754412A (zh) | 构建数据对的方法、装置及终端设备 | |
| CN115330633A (zh) | 图像色调映射方法及装置、电子设备、存储介质 | |
| CN116958759A (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
| Xie et al. | Just noticeable visual redundancy forecasting: a deep multimodal-driven approach | |
| CN107155111B (zh) | 一种视频压缩方法及装置 | |
| Xie et al. | Underwater image enhancement based on zero-shot learning and level adjustment | |
| CN115496819B (zh) | 一种基于能量集中特性的快速编码光谱成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |