JP2023546307A - 顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体 - Google Patents
顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2023546307A JP2023546307A JP2022566607A JP2022566607A JP2023546307A JP 2023546307 A JP2023546307 A JP 2023546307A JP 2022566607 A JP2022566607 A JP 2022566607A JP 2022566607 A JP2022566607 A JP 2022566607A JP 2023546307 A JP2023546307 A JP 2023546307A
- Authority
- JP
- Japan
- Prior art keywords
- pigment
- image
- hemoglobin
- detection model
- melanin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000049 pigment Substances 0.000 title claims abstract description 559
- 230000001815 facial effect Effects 0.000 title claims abstract description 185
- 238000001514 detection method Methods 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000012549 training Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 23
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims abstract description 364
- 102000001554 Hemoglobins Human genes 0.000 claims abstract description 193
- 108010054147 Hemoglobins Proteins 0.000 claims abstract description 193
- 238000012545 processing Methods 0.000 claims abstract description 86
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000007906 compression Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 10
- 238000000926 separation method Methods 0.000 abstract description 8
- 230000011514 reflex Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 208000002874 Acne Vulgaris Diseases 0.000 description 6
- 206010000496 acne Diseases 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000011148 porous material Substances 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000037311 normal skin Effects 0.000 description 2
- 230000037307 sensitive skin Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
本出願は、「顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体」と題し、2021年08月30日に出願された中国特許出願番号第2021110024638号の優先権を主張しているため、全内容は引用により本明細書に組み込まれる。
解像度がターゲットサンプル画像の解像度よりも高い場合があるオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るステップ、
前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップ、
前記オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るステップ、及び
前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るステップ
を含むことができる、上記方法。
前記教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、前記実際のメラニン色素高精細画像の明度情報及び前記実際のヘモグロビン色素高精細画像の明度情報に従い前記初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得るステップを含むことができる。
前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得る前記ステップは、
前記エンコーダで前記ターゲットサンプル画像を符号化して、符号化後の特徴を得るステップと、
前記第1デコーダで前記符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得るステップと、
前記第2デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得るステップと、
前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得るステップとを含むことができる。
前記第2デコーダで前記符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、前記中間メラニン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記メラニン色素カラー画像を得、前記中間ヘモグロビン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記ヘモグロビン色素カラー画像を得るステップを含むことができる。
前記初期顔色素検出モデルにより前記メラニン色素詳細画像及び前記メラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像及び前記ヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のヘモグロビン色素高精細画像を得るステップを含むことができる。
低画素カメラで撮影された画像であり得るターゲットサンプル画像を取得するステップ、
前記ターゲットサンプル画像をターゲット顔色素検出モデルに入力して、前記ターゲット顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップ、及び
実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に基づいて、ターゲットサンプル画像内のメラニン色素の分布情報及びヘモグロビン色素の分布情報を確定するステップ
を含み得る、上記方法。
解像度がターゲットサンプル画像の解像度よりも高い場合があるオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るように構成できるゲインモジュールと、
前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得、前記オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るように構成できる処理モジュールと、
前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るように構成できる補正モジュールとを備え得る。
前記処理モジュールは、
前記エンコーダで前記ターゲットサンプル画像を符号化して、符号化後の特徴を得、
前記第1デコーダで前記符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得、
前記第2デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得、
前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得るように構成することもできる。
低画素カメラで撮影された画像であり得るターゲットサンプル画像を取得するように構成できる取得モジュールと、
前記ターゲットサンプル画像をターゲット顔色素検出モデルに入力して、前記ターゲット顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るように構成できる処理モジュールと、
実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に基づいて、ターゲットサンプル画像内のメラニン色素の分布情報及びヘモグロビン色素の分布情報を確定するように構成できる確定モジュールとを備え得る。
本出願の実施形態は、顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体を提供し、該方法は解像度がターゲットサンプル画像の解像度よりも高い場合があるオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るステップと、ターゲットサンプル画像を初期顔色素検出モデルに入力し、初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップと、オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るステップと、教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に従い初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るステップとを含み得る。この技術的手段において、主にプロ用デジタルカメラ又は一眼レフカメラによって収集されたオリジナルサンプル画像にゲイン処理を施して、ターゲットサンプル画像を得て、携帯電話カメラで撮影された顔画像をシミュレートする効果を奏し、次にターゲットサンプル画像を初期顔色素検出モデルに入力して、HB画像及びHR画像を得、ターゲット顔色素検出モデルを得るため、オリジナルサンプル画像を分解して得られたTB画像及びTR画像を使用して初期顔色素検出モデルに対して反復処理・補正を施し、その後低価格なカメラ(カメラレンズ)で撮影されたターゲットサンプル画像を上記のトレーニングによって得られたターゲット顔色素検出モデルに入力して、ターゲット顔色素検出モデルによって出力されたHB画像及びHR画像を得るようにさせ、低価格なカメラ(カメラレンズ)で収集された顔画像内のメラニン色素及びヘモグロビン色素への正確な検出を実現し、低価格なカメラ(カメラレンズ)撮影の画質が低いことにより画像の隣り合う画素の色が同じになるような傾向があることで、顔画像内の異なる色素の分解品質を低下させるという問題を解決することで、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像内の詳細情報を十分に復元させる。
(Brown分解ベクトル)及び
(Red分解ベクトル)としてラベル付けすることで、オリジナルサンプル画像からメラニン色素-褐色画像、ヘモグロビン色素-赤色画像を抽出する。
を教師化し、トレーニングと学習時HB画像の詳細情報をより適切に復元し、同様にHRとTRも教師化する。実験を通じてトレーニングと学習を比較する時、cが1.5~2.0の範囲を取った場合のトレーニング結果は比較的良好である。
第2デコーダで符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、中間メラニン色素係数マップ行列をターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、メラニン色素カラー画像を得、中間ヘモグロビン色素係数マップ行列をターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、ヘモグロビン色素カラー画像を得るステップを含む。
に12個の係数があることを意味し、その後各位置
の係数行列3×4を構築するため、行列には12個の係数が含まれる。
前記初期顔色素検出モデルにより前記メラニン色素詳細画像及び前記メラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像及び前記ヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のヘモグロビン色素高精細画像を得るステップを含むことができる。
RGBの最大値
及び最小値
を計算し、明度チャネルを
として計算し、両者の差を
とすると、彩度の計算式は、次の式で表される。
は、最大値を取り、
は最小値を取ることを表す。
は、
で、彩度の計算式を置き換えて新しい彩度Sを得、すなわち、次の式で表される。
値も大きく、上式も
値が大きい領域の彩度を下げ、小さい領域ほど彩度を維持したままであることで、ニキビ、色素斑と正常な肌領域の色収差を低減する。
処理モジュール502は、ターゲットサンプル画像を初期顔色素検出モデルに入力し、初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得、オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るように構成でき、
補正モジュール503は、教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に従い初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るように構成できる。
教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、実際のメラニン色素高精細画像の明度情報及び実際のヘモグロビン色素高精細画像の明度情報に従い初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得るように構成することもできる。
処理モジュール502は、
エンコーダでターゲットサンプル画像を符号化して、符号化後の特徴を得、
第1デコーダで符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得、
第2デコーダで符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得、
初期顔色素検出モデルによりメラニン色素詳細画像とメラニン色素カラー画像に重ね合わせ処理を施して、実際のメラニン色素高精細画像を得、ヘモグロビン色素詳細画像とヘモグロビン色素カラー画像に重ね合わせ処理を施して、実際のヘモグロビン色素高精細画像を得るように構成することもできる。
第2デコーダで符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、中間メラニン色素係数マップ行列をターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、メラニン色素カラー画像を得、中間ヘモグロビン色素係数マップ行列をターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、ヘモグロビン色素カラー画像を得るように構成することもできる。
初期顔色素検出モデルによりメラニン色素詳細画像及びメラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、実際のメラニン色素高精細画像を得、ヘモグロビン色素詳細画像及びヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、実際のヘモグロビン色素高精細画像を得るように構成することもできる。
Claims (14)
- 顔色素検出モデルトレーニング方法であって、
解像度がターゲットサンプル画像の解像度よりも高いオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るステップ、
前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップ、
前記オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るステップ、及び
前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るステップ
を含むことを特徴とする、方法。 - 前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得る前記ステップは、
前記教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、前記実際のメラニン色素高精細画像の明度情報及び前記実際のヘモグロビン色素高精細画像の明度情報に従い前記初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得るステップを含むことを特徴とする、請求項1に記載の方法。 - 前記初期顔色素検出モデルは、エンコーダと、第1デコーダと、第2デコーダとを備え、
前記ターゲットサンプル画像を前記初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得る前記ステップは、
前記エンコーダで前記ターゲットサンプル画像を符号化して、符号化後の特徴を得るステップと、
前記第1デコーダで前記符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得るステップと、
前記第2デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得るステップと、
前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得るステップとを含むことを特徴とする、請求項1又は2に記載の方法。 - 前記第2デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得る前記ステップは、
前記第2デコーダで前記符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、前記中間メラニン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記メラニン色素カラー画像を得、前記中間ヘモグロビン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記ヘモグロビン色素カラー画像を得るステップを含むことを特徴とする、請求項3に記載の方法。 - 前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得る前記ステップは、
前記初期顔色素検出モデルにより前記メラニン色素詳細画像及び前記メラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像及び前記ヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のヘモグロビン色素高精細画像を得るステップを含むことを特徴とする、請求項3又は4に記載の方法。 - 前記ゲイン処理は、圧縮処理、カラーフォーマット変換処理、色素領域のカラー調整処理のうちの少なくとも1つを含むことを特徴とする、請求項1~5のいずれか一項に記載の方法。
- 前記色素領域のカラー調整処理は、前記オリジナルサンプル画像からメラニン色素領域及びヘモグロビン色素領域を検出し、前記オリジナルサンプル画像から前記メラニン色素領域及びヘモグロビン色素領域を除去し、前記メラニン色素領域及びヘモグロビン色素領域を除去した後の画像と前記オリジナルサンプル画像との融合処理を施すことを含むことを特徴とする、請求項6に記載の方法。
- 顔色素検出モデルトレーニング装置であって、
解像度がターゲットサンプル画像の解像度よりも高いオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るように構成されるゲインモジュールと、
前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得、前記オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るように構成される処理モジュールと、
前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るように構成される補正モジュールとを備えることを特徴とする、顔色素検出モデルトレーニング装置。 - 前記補正モジュールは、さらに前記教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、前記実際のメラニン色素高精細画像の明度情報及び前記実際のヘモグロビン色素高精細画像の明度情報に従い前記初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得るように構成されることを特徴とする、請求項8に記載の顔色素検出モデルトレーニング装置。
- 前記初期顔色素検出モデルは、エンコーダと、第1デコーダと、第2デコーダとを備え、
前記処理モジュールは、さらに、
前記エンコーダで前記ターゲットサンプル画像を符号化して、符号化後の特徴を得、
前記第1デコーダで前記符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得、
前記第2デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得、
前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得るように構成される
ことを特徴とする、請求項8又は9に記載の顔色素検出モデルトレーニング装置。 - 前記処理モジュールは、さらに前記第2デコーダで前記符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、前記中間メラニン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記メラニン色素カラー画像を得、前記中間ヘモグロビン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記ヘモグロビン色素カラー画像を得るように構成されることを特徴とする、請求項10に記載の顔色素検出モデルトレーニング装置。
- 前記処理モジュールは、さらに前記初期顔色素検出モデルにより前記メラニン色素詳細画像及び前記メラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像及び前記ヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のヘモグロビン色素高精細画像を得るように構成される
ことを特徴とする、請求項10又は11に記載の顔色素検出モデルトレーニング装置。 - 電子機器であって、プロセッサと、記憶媒体と、バスとを備え、前記記憶媒体は、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が運転する時、前記プロセッサと前記記憶媒体との間はバスを介して通信し、前記プロセッサは前記機械可読命令を実行して、請求項1~7のいずれか一項に記載の方法のステップを実行することを特徴とする、電子機器。
- コンピュータ用記憶媒体であって、プロセッサによって実行された時、請求項1~7のいずれか一項に記載の方法のステップを実行するコンピュータプログラムを格納することを特徴とする、コンピュータ用記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111002463.8A CN113688752B (zh) | 2021-08-30 | 2021-08-30 | 人脸色素检测模型训练方法、装置、设备及存储介质 |
CN202111002463.8 | 2021-08-30 | ||
PCT/CN2021/132558 WO2023029233A1 (zh) | 2021-08-30 | 2021-11-23 | 人脸色素检测模型训练方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023546307A true JP2023546307A (ja) | 2023-11-02 |
JP7455234B2 JP7455234B2 (ja) | 2024-03-25 |
Family
ID=78584130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022566607A Active JP7455234B2 (ja) | 2021-08-30 | 2021-11-23 | 顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7455234B2 (ja) |
KR (1) | KR20230035225A (ja) |
CN (1) | CN113688752B (ja) |
WO (1) | WO2023029233A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020015142A1 (zh) * | 2018-07-16 | 2020-01-23 | 华为技术有限公司 | 一种色素检测方法及电子设备 |
CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
CN112070848A (zh) * | 2020-09-18 | 2020-12-11 | 厦门美图之家科技有限公司 | 图像色素分离方法、装置、电子设备和可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8498460B2 (en) * | 2010-02-22 | 2013-07-30 | Canfield Scientific, Incorporated | Reflectance imaging and analysis for evaluating tissue pigmentation |
CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
CN111768354A (zh) * | 2020-08-05 | 2020-10-13 | 哈尔滨工业大学 | 基于多尺度人脸部位特征字典的人脸图像复原系统 |
CN113076685B (zh) * | 2021-03-04 | 2024-09-10 | 华为技术有限公司 | 图像重建模型的训练方法、图像重建方法及其装置 |
-
2021
- 2021-08-30 CN CN202111002463.8A patent/CN113688752B/zh active Active
- 2021-11-23 JP JP2022566607A patent/JP7455234B2/ja active Active
- 2021-11-23 WO PCT/CN2021/132558 patent/WO2023029233A1/zh active Application Filing
- 2021-11-23 KR KR1020227037680A patent/KR20230035225A/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020015142A1 (zh) * | 2018-07-16 | 2020-01-23 | 华为技术有限公司 | 一种色素检测方法及电子设备 |
CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
CN112070848A (zh) * | 2020-09-18 | 2020-12-11 | 厦门美图之家科技有限公司 | 图像色素分离方法、装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023029233A1 (zh) | 2023-03-09 |
CN113688752B (zh) | 2024-02-02 |
JP7455234B2 (ja) | 2024-03-25 |
KR20230035225A (ko) | 2023-03-13 |
CN113688752A (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Underwater scene prior inspired deep underwater image and video enhancement | |
JP7027537B2 (ja) | 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体 | |
US10638060B2 (en) | Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels | |
Afifi et al. | Cie xyz net: Unprocessing images for low-level computer vision tasks | |
WO2019037739A1 (zh) | 图像处理参数获取方法、可读存储介质和计算机设备 | |
US11526962B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CA3153067C (en) | Picture-detecting method and apparatus | |
CN113632134B (zh) | 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机 | |
Lu et al. | Progressive joint low-light enhancement and noise removal for raw images | |
CN116681636A (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
Song et al. | Real-scene reflection removal with raw-rgb image pairs | |
Huang et al. | Underwater image enhancement based on color restoration and dual image wavelet fusion | |
CN113781326A (zh) | 解马赛克方法、装置、电子设备及存储介质 | |
CN108737797B (zh) | 白平衡处理方法、装置和电子设备 | |
Sheng et al. | Guided colorization using mono-color image pairs | |
WO2017101347A1 (zh) | 动画视频识别与编码方法及装置 | |
CN118115412A (zh) | 一种图像紫边消除方法及装置 | |
JP7455234B2 (ja) | 顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体 | |
CN107392870A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
US20220414826A1 (en) | Image processing apparatus, image processing method, and medium | |
CN112700396A (zh) | 一种人脸图片光照评价方法、装置、计算设备和存储介质 | |
CN116980549A (zh) | 视频帧处理方法、装置、计算机设备和存储介质 | |
Lee et al. | Joint defogging and demosaicking | |
JP5822739B2 (ja) | 画像処理装置、方法、及びプログラム | |
CN118172292B (zh) | 图像修复方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7455234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |