JP7455234B2 - 顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体 - Google Patents

顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体 Download PDF

Info

Publication number
JP7455234B2
JP7455234B2 JP2022566607A JP2022566607A JP7455234B2 JP 7455234 B2 JP7455234 B2 JP 7455234B2 JP 2022566607 A JP2022566607 A JP 2022566607A JP 2022566607 A JP2022566607 A JP 2022566607A JP 7455234 B2 JP7455234 B2 JP 7455234B2
Authority
JP
Japan
Prior art keywords
pigment
image
hemoglobin
detection model
melanin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022566607A
Other languages
English (en)
Other versions
JP2023546307A (ja
Inventor
李啓東
李志陽
王▲ジォ▼
楊小棟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitueve Technology Co Ltd
Original Assignee
Xiamen Meitueve Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitueve Technology Co Ltd filed Critical Xiamen Meitueve Technology Co Ltd
Publication of JP2023546307A publication Critical patent/JP2023546307A/ja
Application granted granted Critical
Publication of JP7455234B2 publication Critical patent/JP7455234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

［関連出願の相互参照］
本出願は、「顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体」と題し、２０２１年０８月３０日に出願された中国特許出願番号第２０２１１１００２４６３８号の優先権を主張しているため、全内容は引用により本明細書に組み込まれる。
本出願は、画像処理の技術分野に関し、特に、顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体に関する。
顔の肌色は、主にメラニンとヘモグロビンの２つの色素で構成され、この２つの色素の光に対する吸収及び反射は一定のスペクトルを持つため、画像結像上には比較的固定された色があり、最終的に肌全体の色は、この２つの色素の含有量によって決まる。画像結像の結果に従い計算してメラニン色素（結果は褐色画像で、Ｂｒｏｗｎ）及びヘモグロビン色素（結果は赤色画像で、Ｒｅｄ）の含有量が得られた。したがって、得られた顔画像の色を解析することで、顔画像における異なる色素の分布を得ることができる。
現在、画像の解析・処理方法は、往々にしてプロ用デジタルカメラ又は一眼レフカメラで撮影された画像などの高画質な画像にのみ適用され、携帯電話のカメラで撮影された画像などの低画質な画像処理に応用される」場合、この種の低画質な画像にカラーノイズが多く含まれているため、携帯電話のイメージングアルゴリズムのノイズ除去プロセスにより、画像内の隣り合う画素の色が同じになるような傾向があることで、顔画像内の異なる色素間の認識と分離効果に影響を及ぼす。
故に、低価格なカメラ（カメラレンズ）撮影の画質が低いことにより画像の隣り合う画素の色が同じになるような傾向があることで、顔画像内の異なる色素の分解品質を低下させるという問題をどのように解決するかが、解決が急務となっている技術的課題である。
本出願は、低価格なカメラ（カメラレンズ）撮影の画質が低いことにより画像の隣り合う画素の色が同じになるような傾向があることで、顔画像内の異なる色素の分解品質を低下させるという問題を解決する顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体を提供する。
本出願のいくつかの実施形態は、顔色素検出モデルトレーニング方法を提供し、以下のステップ：
解像度がターゲットサンプル画像の解像度よりも高い場合があるオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るステップ、
前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップ、
前記オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るステップ、及び
前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るステップ
を含むことができる、上記方法。
代替手段として、前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得る前記ステップは、
前記教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、前記実際のメラニン色素高精細画像の明度情報及び前記実際のヘモグロビン色素高精細画像の明度情報に従い前記初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得るステップを含むことができる。
代替手段として、前記初期顔色素検出モデルは、エンコーダと、第１デコーダと、第２デコーダとを備え得、
前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得る前記ステップは、
前記エンコーダで前記ターゲットサンプル画像を符号化して、符号化後の特徴を得るステップと、
前記第１デコーダで前記符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得るステップと、
前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得るステップと、
前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得るステップとを含むことができる。
代替手段として、前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得る前記ステップは、
前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、前記中間メラニン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記メラニン色素カラー画像を得、前記中間ヘモグロビン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記ヘモグロビン色素カラー画像を得るステップを含むことができる。
代替手段として、前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得る前記ステップは、
前記初期顔色素検出モデルにより前記メラニン色素詳細画像及び前記メラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像及び前記ヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のヘモグロビン色素高精細画像を得るステップを含むことができる。
代替手段として、前記ゲイン処理は、圧縮処理、カラーフォーマット変換処理、色素領域のカラー調整処理のうちの少なくとも１つを含み得る。
代替手段として、前記色素領域のカラー調整処理は、前記オリジナルサンプル画像からメラニン色素領域及びヘモグロビン色素領域を検出し、前記オリジナルサンプル画像から前記メラニン色素領域及びヘモグロビン色素領域を除去し、前記メラニン色素領域及びヘモグロビン色素領域を除去した後の画像と前記オリジナルサンプル画像との融合処理を施すことを含み得る。
本出願の他の実施形態は、顔色素検出方法も提供し、以下のステップ：
低画素カメラで撮影された画像であり得るターゲットサンプル画像を取得するステップ、
前記ターゲットサンプル画像をターゲット顔色素検出モデルに入力して、前記ターゲット顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップ、及び
実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に基づいて、ターゲットサンプル画像内のメラニン色素の分布情報及びヘモグロビン色素の分布情報を確定するステップ
を含み得る、上記方法。
本出願のまたいくつかの実施形態は、顔色素検出モデルトレーニング装置も提供し、前記装置は、
解像度がターゲットサンプル画像の解像度よりも高い場合があるオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るように構成できるゲインモジュールと、
前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得、前記オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るように構成できる処理モジュールと、
前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るように構成できる補正モジュールとを備え得る。
代替手段として、前記補正モジュールは、前記教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、前記実際のメラニン色素高精細画像の明度情報及び前記実際のヘモグロビン色素高精細画像の明度情報に従い前記初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得るように構成することもできる。
代替手段として、前記初期顔色素検出モデルは、エンコーダと、第１デコーダと、第２デコーダとを備え得、
前記処理モジュールは、
前記エンコーダで前記ターゲットサンプル画像を符号化して、符号化後の特徴を得、
前記第１デコーダで前記符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得、
前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得、
前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得るように構成することもできる。
代替手段として、前記処理モジュールは、前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、前記中間メラニン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記メラニン色素カラー画像を得、前記中間ヘモグロビン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記ヘモグロビン色素カラー画像を得るように構成することもできる。
代替手段として、前記処理モジュールは、前記初期顔色素検出モデルにより前記メラニン色素詳細画像及び前記メラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像及び前記ヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のヘモグロビン色素高精細画像を得るように構成することもできる。
代替手段として、前記ゲイン処理は、圧縮処理、カラーフォーマット変換処理、色素領域のカラー調整処理のうちの少なくとも１つを含み得る。
代替手段として、前記色素領域のカラー調整処理は、前記オリジナルサンプル画像からメラニン色素領域及びヘモグロビン色素領域を検出し、前記オリジナルサンプル画像から前記メラニン色素領域及びヘモグロビン色素領域を除去し、前記メラニン色素領域及びヘモグロビン色素領域を除去した後の画像と前記オリジナルサンプル画像との融合処理を施すことを含み得る。
本出願の更なるいくつかの実施形態は、顔色素検出装置も提供し、前記装置は、
低画素カメラで撮影された画像であり得るターゲットサンプル画像を取得するように構成できる取得モジュールと、
前記ターゲットサンプル画像をターゲット顔色素検出モデルに入力して、前記ターゲット顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るように構成できる処理モジュールと、
実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に基づいて、ターゲットサンプル画像内のメラニン色素の分布情報及びヘモグロビン色素の分布情報を確定するように構成できる確定モジュールとを備え得る。
本出願の他の実施形態は、プロセッサと、記憶媒体と、バスとを備えた電子機器も提供し、前記記憶媒体は前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が運転する時、前記プロセッサと前記記憶媒体との間はバスを介して通信し、前記プロセッサは前記機械可読命令を実行して、上記第１の態様又は第２の態様で提供される方法のステップを実行する。
本出願の他の実施形態は、プロセッサによって実行された時、上記実施形態で提供される方法のステップを実行するコンピュータプログラムを、格納するコンピュータ用記憶媒体を提供する。
本出願の有利な効果は、少なくとも次の通りであり、
本出願の実施形態は、顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体を提供し、該方法は解像度がターゲットサンプル画像の解像度よりも高い場合があるオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るステップと、ターゲットサンプル画像を初期顔色素検出モデルに入力し、初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップと、オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るステップと、教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に従い初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るステップとを含み得る。この技術的手段において、主にプロ用デジタルカメラ又は一眼レフカメラによって収集されたオリジナルサンプル画像にゲイン処理を施して、ターゲットサンプル画像を得て、携帯電話カメラで撮影された顔画像をシミュレートする効果を奏し、次にターゲットサンプル画像を初期顔色素検出モデルに入力して、ＨＢ画像及びＨＲ画像を得、ターゲット顔色素検出モデルを得るため、オリジナルサンプル画像を分解して得られたＴＢ画像及びＴＲ画像を使用して初期顔色素検出モデルに対して反復処理・補正を施し、その後低価格なカメラ（カメラレンズ）で撮影されたターゲットサンプル画像を上記のトレーニングによって得られたターゲット顔色素検出モデルに入力して、ターゲット顔色素検出モデルによって出力されたＨＢ画像及びＨＲ画像を得るようにさせ、低価格なカメラ（カメラレンズ）で収集された顔画像内のメラニン色素及びヘモグロビン色素への正確な検出を実現し、低価格なカメラ（カメラレンズ）撮影の画質が低いことにより画像の隣り合う画素の色が同じになるような傾向があることで、顔画像内の異なる色素の分解品質を低下させるという問題を解決することで、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像内の詳細情報を十分に復元させる。
以下、本出願の実施形態の技術的手段を明確に説明するため、実施形態に使用する必要がある添付図面を簡単に説明する。以下の図面は、本出願のいくつかの実施形態というのみであるため、本出願の範囲を限定するものと見なされるべきではないことを理解されたい。当業者にとって創造性の活動をしない前提で、それら添付属図面に基づいてその他の関連図面を得ることができる。
本出願の実施形態で提供される電子機器の概略構成図である。 本出願の実施形態で提供される顔色素検出モデルトレーニング方法のフローチャートである。 本出願の実施形態で提供される顔色素検出モデルトレーニング方法における初期顔色素検出モデルのブロック図である。 本出願の実施形態で提供される別の顔色素検出モデルトレーニング方法のフローチャートである。 本出願の実施形態で提供される顔色素検出モデルのトレーニング装置の概略構成図。
本出願の実施形態の目的、技術的手段及び利点をより明確にするため、本出願の実施形態における添付の図面を参照しつつ本出願の実施形態内の技術的手段を以下で明確かつ完全に説明する。本出願内の図面は、説明及び描写のみを目的としており、本出願の保護範囲を限定するために使用されるものではない。また、概略図は一定の縮尺で描かれていないことを理解されたい。本出願で使用されるフローチャートは、本出願のいくつかの実施形態に従い実現される操作を示す。フローチャートの操作は順不同で実施される場合があり、論理コンテキストのないステップは逆の順序で或いは同時に実施されることができることを理解されたい。なお、当業者は、本出願の内容の教示の下で、１つ又は複数の他の操作をフローチャートに追加することができ、フローチャートから１つ又は複数の操作を削除することもできる。
なお、描写する実施形態は、本発明の一部の実施形態であり、全ての実施形態でないことは言うまでもない。通常添付の図面に描写され、示される本出願の実施形態の構成要素は、様々な構成で配置及び設計され得る。したがって、以下に添付の図面で提供される本出願の実施形態を詳細に描写するのは、保護を求める本出願の範囲を限定することを意図するものではなく、本出願の選択された実施形態を単に示すものである。本出願の実施形態に基づいて、当業者は創造性の活動をしない前提で得られた全ての他の実施形態は、いずれも本出願の保護範囲に属する。
本出願の実施形態において用いられる「含む」との用語は、後に言及される特徴の存在を示すために用いられるが、他の特徴の追加を排除しないことに留意されたい。
図１は、本出願の実施形態で提供される電子機器の概略構成図である。該電子機器は、本出願で提供される顔色素検出モデルトレーニング方法を実現するためのコンピュータ又はサーバなどの処理機器であり得る。図１に示すように、電子機器は、プロセッサ１０１と、メモリ１０２とを備え得る。
プロセッサ１０１とメモリ１０２との間は、データ伝送又はインタラクションを実現するため、直接的或いは間接的に電気的に接続され得る。例えば１本又は数本の通信バス或いは信号線を介して電気的な接続を実現できる。
プロセッサ１０１は、信号処理能力を有する集積回路チップであり得る。上記プロセッサ１０１は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、ＮＰ）等が挙げられる汎用プロセッサであってもよく、本出願の実施形態で開示される方法、ステップ、及び論理ブロック図を実現又は実行することができる。汎用プロセッサはマイクロプロセッサであり得、或いは該プロセッサは任意の従来のプロセッサなどであってもよい。
メモリ１０２は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、プログラム可能な読み取り専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）などが挙げられるが、これらに限定されない。
図１に示した構造は例示にすぎず、電子機器１００は、図１に示したものより多い又は少ない構成要素をさらに含んでもよいし、図１に示したものとは異なる構成を有してもよいことを理解されたい。図１に示す各構成要素は、ハードウェア、ソフトウェア、又はこれらの組み合わせで実現することができる。
メモリ１０２はプログラムを格納するために用いられ、プロセッサ１０１はメモリ１０２に格納されたプログラムを呼び出して、以下の実施形態で提供される顔色素検出モデルトレーニング方法を実行する。
以下は、複数の実施形態を通じて本出願の実施形態で提供される顔色素検出モデルトレーニング方法を詳細に説明する。
図２は、本出願の実施形態で提供される顔色素検出モデルトレーニング方法のフローチャートである。任意選択で、該方法の実行主体は、データ処理機能を備えるサーバ、コンピュータなどの電子機器であり得る。他の実施形態において、顔色素検出モデルトのレーニング方法の一部のステップの順序は、実際の必要に応じて入れ替えることができ、又は一部のステップを省略或いは削除することができることを理解されたい。図２に示すように、該方法は次のステップを含む。
Ｓ２０１：解像度がターゲットサンプル画像の解像度よりも高い場合があるオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るステップ。
オリジナルサンプル画像は、プロ用デジタルカメラ又は一眼レフカメラによって収集された顔画像を意味する。例えば適切な光源（通常は交差偏光）の下で、一眼レフカメラで多くのオリジナル顔サンプル画像を撮影する。一眼レフカメラで撮影したオリジナル顔サンプル画像の高精細画質により、顔の褐色領域(シミ、毛穴など)と赤色領域(にきび、敏感肌、赤い充血したまぶた)をオリジナル顔サンプル画像から正常な肌領域と高度に区別できる。メラニン色素に対応する領域は最終的に褐色画像（Ｂｒｏｗｎ画像）として提示され、ヘモグロビン色素に対応する領域は赤色画像（Ｒｅｄ画像）として呈する。
プロ用デジタルカメラ又は一眼レフカメラなどで収集された顔画像は、ＨＤ画像であるため、本実施形態において、その後トレーニングで得られる「ターゲット顔色素検出モデル」を、携帯電話で撮影された低解像度画質により適したものにするため、各顔画像に対応する褐色と赤色の画像を維持したままである。したがって、本出願では、オリジナルサンプル画像にゲイン処理を施すことを提案する。例えばオリジナルサンプル画像の画質を低下させるため、jpgの圧縮原理を使用してオリジナルサンプル画像に対して品質のランダムな画質圧縮を施すことができることで、実際の携帯電話のカメラで撮影された３つのチャンネル顔カラー画像をシミュレートする効果を奏する。
Ｓ２０２：ターゲットサンプル画像を初期顔色素検出モデルに入力し、初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップ。
代替手段として、初期顔色素検出モデルは、エンコーダ／デコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）ネットワークモデル、深層学習ネットワークモデル（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＤＮＮと略する）、又はその他のネットワークトレーニングモデルなどを選択でき、ここで「初期顔色素検出モデル」は特に限定されない。
「実際のメラニン色素高精細画像」とは、高精細なメラニン色素画像（ＨＢ画像）を意味し、「実際のヘモグロビン色素高精細画像」とは高精細なヘモグロビン色素画像（ＨＲ画像）を意味する。
本実施形態において、「初期顔色素検出モデル」は、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒネットワークモデルを例として取り上げ、ステップＳ２０２で得られたターゲットサンプル画像を初期顔色素検出モデルに入力し、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒネットワークモデルにより処理された場合、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒネットワークモデルによって出力されたＨＢ画像及びＨＲ画像を得る。
Ｓ２０３：オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るステップ。
本実施形態において、初期顔色素検出モデルによって出力されたＨＢ画像及びＨＲ画像をより明確にするため、教師メラニン色素高精細画像及び教師高ヘモグロビン色素高精細画像を使用して、上記の「初期顔色素検出モデル」に対して教師ありトレーニング・学習ができるよう提案する。
教師メラニン色素高精細画像は、従来の分解アルゴリズムでオリジナルサンプル画像を分解した後で得られ、「教師メラニン色素高精細画像」を初期顔色素検出モデルのトレーニング・学習時、教師実際のターゲット画像とし、ＴＢ画像（Ｂｒｏｗｎ画像）と示す。
同様に教師ヘモグロビン色素高精細画像は、従来の分解アルゴリズムでオリジナルサンプル画像を分解した後で得られ、「教師ヘモグロビン色素高精細画像」を初期顔色素検出モデルのトレーニング・学習時、教師実際のターゲット画像とし、ＴＲ画像（Ｒｅｄ画像）と示す。
本実施形態において、以下の分解方法でオリジナルサンプル画像に分解処理を施して、ＴＢ画像及びＴＲ画像を得る。
手動選別方法により、オリジナルサンプル画像から選別してＢｒｏｗｎ及びＲｅｄのチャネル分解ベクトが得られ、それぞれ
（Ｂｒｏｗｎ分解ベクトル）及び
（Ｒｅｄ分解ベクトル）としてラベル付けすることで、オリジナルサンプル画像からメラニン色素－褐色画像、ヘモグロビン色素－赤色画像を抽出する。
。
２つの分解ベクトルを作成し、次の行列を作成する。
特筆に価することは、本出願において、上記の分解方法は主に深層学習・トレーニングの教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るために用いられ、ネットワークモデルトレーニング過程又はネットワークトレーニング完了後、上記分解方法をもう使用しない。
Ｓ２０４：教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に従い初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るステップ。
例えば上記ＴＢ画像を用いて初期顔色素検出モデルによって出力されたＨＢ画像を教師化し、上記ＴＲ画像を用いて初期顔色素検出モデルによって出力されたＨＲ画像を教師化し、トレーニングで得られた顔色素検出モデルによって出力されたHB画像とTB画像の差、及びHR画像とTR画像の差がデフォルト値を下回るまで、初期顔色素検出モデルに対して複数回の反復トレーニングと学習を実行することで、ネットワークトレーニングが完了したと見なすことができ、トレーニングが完了した後にターゲット顔色素検出モデルが得られる。この時、該ターゲット顔色素検出モデルは、低価格なカメラ（カメラレンズ）で撮影された顔画像内の異なる色素の分布を検出するために用いることができる。
以下は、トレーニングで得られたターゲット顔色素検出モデルの応用を簡単に説明する。
本実施形態において、低価格なカメラ（カメラレンズ）で撮影されたターゲットサンプル画像を得、ターゲットサンプル画像を上記トレーニングで得られたターゲット顔色素検出モデルに入力して、ターゲット顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像が得られ、低価格なカメラ（カメラレンズ）で収集された顔画像内のメラニン色素及びヘモグロビン色素への正確な検出を実現し、低価格なカメラ（カメラレンズ）撮影の画質が低いことにより画像の隣り合う画素の色が同じになるような傾向があることで、顔画像内の異なる色素の分解品質を低下させるという問題を解決し、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像内の詳細情報を十分に復元させる。
要するに本出願の実施形態は、顔色素検出モデルトレーニング方法を提供し、該方法は解像度がターゲットサンプル画像の解像度よりも高い場合があるオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るステップと、ターゲットサンプル画像を初期顔色素検出モデルに入力し、初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップと、オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るステップと、教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に従い初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るステップとを含み得る。この態様において、主にプロ用デジタルカメラ又は一眼レフカメラによって収集されたオリジナルサンプル画像にゲイン処理を施して、ターゲットサンプル画像を得て、携帯電話カメラで撮影された顔画像をシミュレートする効果を奏し、次にターゲットサンプル画像を初期顔色素検出モデルに入力して、ＨＢ画像及びＨＲ画像を得、ターゲット顔色素検出モデルを得るため、オリジナルサンプル画像を分解して得られたＴＢ画像及びＴＲ画像を使用して初期顔色素検出モデルに対して反復処理・補正を施し、その後低価格なカメラ（カメラレンズ）で撮影されたターゲットサンプル画像を上記のトレーニングによって得られたターゲット顔色素検出モデルに入力して、ターゲット顔色素検出モデルによって出力されたＨＢ画像及びＨＲ画像を得るようにさせ、低価格なカメラ（カメラレンズ）で収集された顔画像内のメラニン色素及びヘモグロビン色素への正確な検出を実現し、低価格なカメラ（カメラレンズ）撮影の画質が低いことにより画像の隣り合う画素の色が同じになるような傾向があることで、顔画像内の異なる色素の分解品質を低下させるという問題を解決することで、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像内の詳細情報を十分に復元させる。
以下の実施形態を通じて上記Ｓ２０４：教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、実際のメラニン色素高精細画像の明度情報及び実際のヘモグロビン色素高精細画像の明度情報に従い初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得る方法を詳細に説明する。
代替手段として、教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、実際のメラニン色素高精細画像の明度情報及び実際のヘモグロビン色素高精細画像の明度情報に従い初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得る。
本実施形態において、「初期顔色素検出モデル」によって出力されたＨＢ画像及びＨＲ画像内の詳細情報をより明確にするため、Ｌ１等の従来の損失関数教師を用いる以外に、本出願ではＴＢ画像及びＴＲ画像内の「明度を揃える詳細情報」を教師パラメータとして追加して使用し、初期顔色素検出モデルに対して教師ありトレーニング・学習を行い、一時的な顔色素検出モデルを繰り返して更新し、あるサイクルで得られた一時的な顔色素検出モデルによって出力されたＨＢ画像とＴＢ画像との誤差、及びＨＲ画像とＴＲ画像との誤差がいずれも予め設定された条件を満たした後で、反復処理・補正サイクル過程を終了し、この時で得られた一時的な顔色素検出モデルをターゲット顔色素検出モデルとするよう提案する。
ＨＢ画像及びＴＢ画像を例にとると、３つのチャネルのＨＢ画像及びＴＢ画像の場合、３つのチャネルの最大値（ｍａｘで表す）及び最小値（ｍｉｎで表す）を取り、明度の詳細情報を抽出するため、次のようにｃでｍａｘの比率を調整する。
で
を教師化し、トレーニングと学習時ＨＢ画像の詳細情報をより適切に復元し、同様にＨＲとＴＲも教師化する。実験を通じてトレーニングと学習を比較する時、ｃが１．５～２．０の範囲を取った場合のトレーニング結果は比較的良好である。
以下の実施形態を通じて、Ｓ２０２：ターゲットサンプル画像を初期顔色素検出モデルに入力し、初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得る方法を具体的に説明する。
図３は、本出願の実施形態で提供される初期顔色素検出モデルのブロック図である。図３に示すように、初期顔色素検出モデルは、エンコーダ（Ｅｎｃｏｄｅｒ）、第１デコーダ（Ｄｅｃｏｄｅｒ１）及び第２デコーダ（Ｄｅｃｏｄｅｒ２）を含み得る。
初期顔色素検出モデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒのネットワークモデルを選択し、本実施形態において、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒのネットワークモデルにおける具体的なネットワーク層のl構造を考慮せず、エンコーダは初期顔色素検出モデルに入力されたターゲットサンプル画像を符号化し、符号化後の特徴を得るために用いられる。復号化は画像の詳細情報を生成するためのＤｅｃｏｄｅｒ１及び画像の色情報を生成するためのＤｅｃｏｄｅｒ２に分けられ、詳細情報及び色情報を足し合わせることで、最後の詳細情報を含む高精細ＨＢ画像（褐色画像）及びＨＲ画像（Ｒｅｄ画像）が得られる。
以下、図３～図４を参照しつつ初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像ＨＢ及び実際のヘモグロビン色素高精細画像ＨＲを得る方法を具体的に説明する。
図４は、本出願の実施形態で提供される別の顔色素検出モデルトレーニング方法のフローチャートである。図４に示すように、ターゲットサンプル画像を初期顔色素検出モデルに入力し、初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得る上記Ｓ２０２は、次のステップを含み得る。
Ｓ４０１：エンコーダでターゲットサンプル画像を符号化して、符号化後の特徴を得るステップ。
ターゲットサンプル画像は、実際の携帯電話をシミュレートして撮影された３つのチャネルカラー画像ＬＩであり得、ＬＩのサイズは３×Ｈ×Ｗであり、ここでＨは画像の高さ情報、Ｗは画像の幅情報を表す。
代替手段として、エンコーダは、ターゲットサンプル画像を固定長ベクトルに変換して、符号化後の特徴を得るため、ターゲットサンプル画像を符号化できる。
Ｓ４０２：第１デコーダで符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得るステップ。
代替手段として、第１デコーダＤｅｃｏｄｅｒ１を介して符号化後の特徴を詳細に復号化し、ターゲットサンプル画像の空間詳細情報を徐々に復元して、ＤＢ画像及びＤＢ画像を得る。
ＤＢ画像及びＤＢ画像の両方のサイズは、ターゲットサンプル画像と同じで、両方とも３つのチャネルで、サイズがＨ×Ｗであることに留意されたい。
Ｓ４０３：第２デコーダで符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得るステップ。
代替手段として、第２デコーダで符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得るステップは、
第２デコーダで符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、中間メラニン色素係数マップ行列をターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、メラニン色素カラー画像を得、中間ヘモグロビン色素係数マップ行列をターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、ヘモグロビン色素カラー画像を得るステップを含む。
中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列は、第２デコーダＤｅｃｏｄｅｒ２により符号化後の特徴に対してカラーデコードを実行して、得られたターゲットサンプル画像のサイズと同じ１２つのチャネルＢｒｏｗｎ係数マップＫＢ行列及びＲｅｄ係数マップＫＲ行列である。
Ｂｒｏｗｎ係数マップＫＢ行列及びＲｅｄ係数マップＫＲ行列のサイズは、どちらも１２×Ｈ×Ｗで、１２は実際、各画素位置
に１２個の係数があることを意味し、その後各位置
の係数行列３×４を構築するため、行列には１２個の係数が含まれる。
上式の計算方法を介して、メラニン色素カラー画像ＯＢ及びヘモグロビン色素カラー画像ＯＲを算出することができる。
本実施形態において、異なるタイプのカメラレンズで撮影された画像画質は繰り返して解析・選別する必要があり、かつ分解結果が色の塊などの色移りムラにつながりやすい問題について、本出願はメラニン色素係数マップ行列及びヘモグロビン色素係数マップ行列の方法を提案して色移りムラの問題を防ぎ、詳細学習プロセスを通じて分解図の詳細情報を復元することで、顔色素検出結果は色素斑、ニキビ、毛穴などの肌の特別な領域を強調表示することができる。
Ｓ４０４：初期顔色素検出モデルによりメラニン色素詳細画像とメラニン色素カラー画像に重ね合わせ処理を施して、実際のメラニン色素高精細画像を得、ヘモグロビン色素詳細画像とヘモグロビン色素カラー画像に重ね合わせ処理を施して、実際のヘモグロビン色素高精細画像を得るステップ。
本実施形態において、上述で得られた高精細の詳細情報を含む最終的なＤＢ画像及びメラニン色素の色を含むＯＢ画像を重ね合わせて、ＨＢ画像を得る。すなわち、ＨＢ＝ＯＢ＋ＤＢである。
同様に、上述で得られた高精細の詳細情報を含む最終的なＤＲ画像及びヘモグロビン色素の色を含むＯＲ画像を重ね合わせて、ＨＲ画像を得る。すなわち、ＨＲ＝ＯＲ＋ＤＲである。
代替手段として、初期顔色素検出モデルによりメラニン色素詳細画像とメラニン色素カラー画像に重ね合わせ処理を施して、実際のメラニン色素高精細画像を得、ヘモグロビン色素詳細画像とヘモグロビン色素カラー画像に重ね合わせ処理を施して、実際のヘモグロビン色素高精細画像を得るステップは、
前記初期顔色素検出モデルにより前記メラニン色素詳細画像及び前記メラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像及び前記ヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のヘモグロビン色素高精細画像を得るステップを含むことができる。
本実施形態において、詳細画像とカラー画像のサイズが同じ、どちらも３つのチャネルであるため、画素ごとを加算して、メラニン色素詳細画像とメラニン色素カラー画像に重ね合わせ処理を施し、実際のメラニン色素高精細画像を得、ヘモグロビン色素詳細画像とヘモグロビン色素カラー画像に重ね合わせ処理を施し、実際のヘモグロビン色素高精細画像を得る。
同様に、上記重ね合わせ法によりＨＢ画像を得ることができる。
以下の実施形態を通じて、上記Ｓ２０２で言及されたゲイン処理にどのような処理が含まれるかを具体的に説明する。
代替手段として、ゲイン処理は、圧縮処理、カラーフォーマット変換処理、色素領域のカラー調整処理のうちの少なくとも１つを含む。
一眼レフカメラで撮影されたデータは、ＨＤ画像に属し、本実施形態において、ターゲット顔色素検出モデルを携帯電話で撮影された画質により適したものにするため、各画像に対応するＢｒｏｗｎ画像及びＲｅｄ画像を維持したまま、一眼レフカメラで撮影されたオリジナルサンプル画像の画質を下げる必要がある。したがって、本出願は、一眼レフカメラで撮影されたオリジナルサンプル画像に追加のゲイン処理を施す必要があることを提案する。ゲイン処理は、圧縮処理、カラーフォーマット変換処理、色素領域のカラー調整処理のうちの少なくとも１つを含み得、実際の応用過程で携帯電話のカメラレンズ又はその他の機器で撮影された比較的画質の画像での顔色素検出の問題を解決する。
代替手段として、色素領域のカラー調整処理は、オリジナルサンプル画像からメラニン色素領域及びヘモグロビン色素領域を検出し、オリジナルサンプル画像からメラニン色素領域及びヘモグロビン色素領域を除去し、メラニン色素領域及びヘモグロビン色素領域を除去した後の画像とオリジナルサンプル画像との融合処理を施すことを含み得る。
（１）圧縮処理：ｊｐｇの圧縮原理を使用して入力されたオリジナルサンプル画像ごとに品質のランダムな画質圧縮を施し、トレーニング時８０～９９のランダムな画質圧縮に設定することで、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮと略する）は、学習過程で異なる圧縮された画質の影響を排除する。
（２）カラーフォーマット変換処理：主に彩度のアルゴリズムを使用してオリジナルサンプル画像の彩度を下げ、褐色領域（例：色素斑、毛穴）、赤色領域（例：ニキビ、敏感肌、赤い充血）と他の正常な領域との色収差を弱め、携帯電話で撮影された画像の色収差は一眼レフカメラで撮影された色収差より弱くなる。
彩度を下げる方法は通常、オリジナルサンプル画像をＨＳＬ形式に一様に変換し、ここでＨは色相、Ｓは彩度、Ｌは明度を表す。Ｓチャネルを調整することにより、オリジナルサンプル画像の彩度を下げることができる。トレーニング中にチャネルを分解するタスクに適応するため、新しい彩度を下げる方法を用いている。
Ｓチャネルの計算フローは、任意の３つのチャネルのカラー画像をＲＧＢで表されるカラー画像に変換し、値を０．０～１．０に変換し、
ＲＧＢの最大値
及び最小値
を計算し、明度チャネルを
として計算し、両者の差を
とすると、彩度の計算式は、次の式で表される。
式中、
は、最大値を取り、
は最小値を取ることを表す。
新しい差
は、
で、彩度の計算式を置き換えて新しい彩度Ｓを得、すなわち、次の式で表される。
一般的に、赤いニキビ、色素斑などは彩度の高い領域に属し、対応する
値も大きく、上式も
値が大きい領域の彩度を下げ、小さい領域ほど彩度を維持したままであることで、ニキビ、色素斑と正常な肌領域の色収差を低減する。
（３）色素領域のカラー調整処理：携帯電話で撮影された画像画質の場合、顔の薄い褐色／赤色領域は、その他の肌領域に比べて強調表示できず、オリジナルサンプル画像を携帯電話で撮影された画像画質をシミュレートし、Ｂｒｏｗｎ画像で褐色シミ、毛穴などをより強調表示し、Ｒｅｄ画像で赤いニキビ、赤い充血、赤い敏感な領域をより強調表示するため、本実施形態において、検出アルゴリズムでオリジナルサンプル画像Ｏｒｉｇｉｎ内のＢｒｏｗｎ領域、Ｒｅｄ領域を特定し、ｉｎｐａｉｎｔｉｎｇアルゴリズムでＢｒｏｗｎ領域、Ｒｅｄ領域を削除することできれいな結果画像を得、Ｃｌｅａｎ画像と示し、次にａｌｐｈａ融合方法で融合し、すなわちＣｌｅａｎ×（ａｌｐｈａ）＋Ｏｒｉｇｉｎ×（１．０－ａｌｐｈａ）で、ここで×は乗算を表し、ａｌｐｈａの取り得る値は０．０～０．５の範囲で、他の肌領域と比較して顔の薄い褐色／赤色領域をより適切に強調表示できる。
特筆に価することは、オリジナルサンプル画像にゲイン処理を施す場合、圧縮処理、カラーフォーマット変換処理、色素領域のカラー調整処理のいずれか、又は任意の２つの組み合わせのみ、或いは全ての組み合わせを選択して、実際の携帯電話のカメラレンズで撮影された画像をシミュレートし、その後トレーニングで得られるターゲット顔色素検出モデルを、低価格なカメラ（カメラレンズ）で撮影された低画質画像に適したものにさせ、スキンテスターなどの機器の製造コストを削減し、携帯電話撮影における顔色素検出方法の応用効果も向上する。
下記は、本出願で提供される顔色素検出モデルのトレーニング装置及び記憶媒体などを説明し、具体的な実現プロセス及び技術的効果は、上記で参照され、ここでその説明を省略する。
図５は、本出願の実施形態で提供される顔色素検出モデルのトレーニング装置の概略構成図である。図５に示すように、該装置は、ゲインモジュール５０１と、処理モジュール５０２と、補正モジュール５０３とを備えることができる。
ゲインモジュール５０１は、解像度がターゲットサンプル画像の解像度よりも高い場合があるオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るように構成でき、
処理モジュール５０２は、ターゲットサンプル画像を初期顔色素検出モデルに入力し、初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得、オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るように構成でき、
補正モジュール５０３は、教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に従い初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るように構成できる。
代替手段として、補正モジュール５０３は、
教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、実際のメラニン色素高精細画像の明度情報及び実際のヘモグロビン色素高精細画像の明度情報に従い初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得るように構成することもできる。
代替手段として、初期顔色素検出モデルは、エンコーダと、第１デコーダと、第２デコーダとを備え得、
処理モジュール５０２は、
エンコーダでターゲットサンプル画像を符号化して、符号化後の特徴を得、
第１デコーダで符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得、
第２デコーダで符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得、
初期顔色素検出モデルによりメラニン色素詳細画像とメラニン色素カラー画像に重ね合わせ処理を施して、実際のメラニン色素高精細画像を得、ヘモグロビン色素詳細画像とヘモグロビン色素カラー画像に重ね合わせ処理を施して、実際のヘモグロビン色素高精細画像を得るように構成することもできる。
代替手段として、処理モジュール５０２は、
第２デコーダで符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、中間メラニン色素係数マップ行列をターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、メラニン色素カラー画像を得、中間ヘモグロビン色素係数マップ行列をターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、ヘモグロビン色素カラー画像を得るように構成することもできる。
代替手段として、処理モジュール５０２は、
初期顔色素検出モデルによりメラニン色素詳細画像及びメラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、実際のメラニン色素高精細画像を得、ヘモグロビン色素詳細画像及びヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、実際のヘモグロビン色素高精細画像を得るように構成することもできる。
代替手段として、ゲイン処理は、圧縮処理、カラーフォーマット変換処理、色素領域のカラー調整処理のうちの少なくとも１つを含み得る
代替手段として、色素領域のカラー調整処理は、オリジナルサンプル画像からメラニン色素領域及びヘモグロビン色素領域を検出し、オリジナルサンプル画像からメラニン色素領域及びヘモグロビン色素領域を除去し、メラニン色素領域及びヘモグロビン色素領域を除去した後の画像とオリジナルサンプル画像との融合処理を施すことを含み得る。
上記装置は、前述の実施形態で提供される方法を実行するために用いられ、実現原理及び技術的効果は類似であるため、ここでその説明を省略する。
上記モジュールは、上記方法を実施するように構成された１つ又は複数の集積回路であり得、例えば１つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣと略称する）、或いは１つ又は複数のマイクロプロセッサ（ｄｉｇｉｔａｌ ｓｉｎｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰと略称する）、若しくは１つ又は複数のフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡと略称する）などである。さらに、上記モジュールの１つが処理要素スケジューリングプログラムコードの形式で実現される場合、該処理要素は汎用プロセッサ、例えば中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵと略称する）或いはプログラムコードを呼び出すことができるプロセッサであり得る。さらに、これらのモジュールを集積して、システムオンチップ（ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ、ＳＯＣと略称する）の形式で実現することができる。
代替手段として、本出願は、プロセッサによって実行されたときに上記の方法の実施形態を実行するためのプログラムを含むコンピュータ読み取り可能な記憶媒体などのプログラム製品をさらに提供する。
本出願で提供されるいくつかの実施形態において、開示された装置及び方法は、他の態様によって実現され得ることが理解されるべきである。例えば上記の装置の実施形態は例示にすぎない。例えばユニットの分割は論理的な機能分割にすぎない。実際に実現する時、他の分割方法があり得、例えば複数のユニット又はコンポーネントを組み合わせてもよいし、或いは別のシステムに集積され得るか、一部の特徴が無視されるか、実行されないこともできる。一方、表示又は議論された相互結合或いは直接結合又は通信接続は、いくつかのインターフェース、装置或いはユニットの間接結合或いは通信接続を介することができ、電気的、機械的又は他の形態であってもよい。
個別の構成要素として説明されているユニットは、物理的に分離されている場合と分離されていない場合があり、ユニットとして表示され構成要素は物理的なユニットである場合とそうでない場合があり、すなわち１つの場所に配置することも、複数のネットワークユニットに分散することもできる。 実際のニーズに応じてユニットの一部又は全部を選択して本実施形態における解決手段の目的を達成することができる。
また、本出願の各実施形態における各機能ユニットは、１つの処理ユニットに集積され得、各ユニットは物理的に単独で存在してもよく、２つ以上のユニットが１つのユニットに集積されてもよい。上記の集積ユニットは、ハードウェアの形態で実施され得、ハードウェアとソフトウェアの機能ユニットの形態で実施されてもよい。
ソフトウェア機能ユニットの形態で実施される上記の集積ユニットは、コンピュータ読み取り可能な記憶媒体に格納することができる。上記のソフトウェア機能ユニットは、記憶媒体に格納され、本出願の様々な実施形態に記載の方法の一部ステップをコンピュータ機器 (パソコン、サーバ又はネットワーク機器などであり得る) 又はプロセッサ(英語：ｐｒｏｃｅｓｓｏｒ)に実行させるいくつかの命令を含む。前記記憶媒体としては、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（英語：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、略称：ＲＯＭ）、ランダムアクセスメモリ（英語：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、略称：ＲＡＭ）、磁気ディスク又は光ディスクなどのプログラムコードを保存できる様々なメディアが挙げられる。
本出願の実施形態は、顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体を提供し、該方法はオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るステップと、ターゲットサンプル画像を初期顔色素検出モデルに入力し、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップと、オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るステップと、教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像に従い初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るステップとを含む。この技術的手段は、低価格なカメラ撮影の画質が低いことにより画像の隣り合う画素の色が同じになるような傾向があることで、顔画像内の異なる色素の分解品質を低下させるという問題を解決する。
また、本出願の顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体は、再現可能であり、多種多様な産業用途で使用できることが理解されたい。例えば本出願の顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体は、画像処理の技術分野に使用されることができる。

Claims (12)

  1. 顔色素検出モデルトレーニング方法であって、
    解像度がターゲットサンプル画像の解像度よりも高いオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るステップ、
    前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得るステップ、
    前記オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るステップ、及び
    前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るステップ
    を含み、
    前記初期顔色素検出モデルは、エンコーダと、第１デコーダと、第２デコーダとを備え、
    前記ターゲットサンプル画像を前記初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得る前記ステップは、
    前記エンコーダで前記ターゲットサンプル画像を符号化して、符号化後の特徴を得るステップと、
    前記第１デコーダで前記符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得るステップと、
    前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得るステップと、
    前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得るステップとを含むことを特徴とする、方法。
  2. 前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得る前記ステップは、
    前記教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、前記実際のメラニン色素高精細画像の明度情報及び前記実際のヘモグロビン色素高精細画像の明度情報に従い前記初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得るステップを含むことを特徴とする、請求項１に記載の方法。
  3. 前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得る前記ステップは、
    前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、前記中間メラニン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記メラニン色素カラー画像を得、前記中間ヘモグロビン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記ヘモグロビン色素カラー画像を得るステップを含むことを特徴とする、請求項１に記載の方法。
  4. 前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得る前記ステップは、
    前記初期顔色素検出モデルにより前記メラニン色素詳細画像及び前記メラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像及び前記ヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のヘモグロビン色素高精細画像を得るステップを含むことを特徴とする、請求項１又は３に記載の方法。
  5. 前記ゲイン処理は、圧縮処理、カラーフォーマット変換処理、色素領域のカラー調整処理のうちの少なくとも１つを含むことを特徴とする、請求項１～４のいずれか一項に記載の方法。
  6. 前記色素領域のカラー調整処理は、前記オリジナルサンプル画像からメラニン色素領域及びヘモグロビン色素領域を検出し、前記オリジナルサンプル画像から前記メラニン色素領域及びヘモグロビン色素領域を除去し、前記メラニン色素領域及びヘモグロビン色素領域を除去した後の画像と前記オリジナルサンプル画像との融合処理を施すことを含むことを特徴とする、請求項５に記載の方法。
  7. 顔色素検出モデルトレーニング装置であって、
    解像度がターゲットサンプル画像の解像度よりも高いオリジナルサンプル画像にゲイン処理を施してターゲットサンプル画像を得るように構成されるゲインモジュールと、
    前記ターゲットサンプル画像を初期顔色素検出モデルに入力し、前記初期顔色素検出モデルによって出力された実際のメラニン色素高精細画像及び実際のヘモグロビン色素高精細画像を得、前記オリジナルサンプル画像に分解処理を施して教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を得るように構成される処理モジュールと、
    前記教師メラニン色素高精細画像及び教師ヘモグロビン色素高精細画像を教師パラメータとして、前記実際のメラニン色素高精細画像及び前記実際のヘモグロビン色素高精細画像に従い前記初期顔色素検出モデルに反復処理・補正を施してターゲット顔色素検出モデルを得るように構成される補正モジュールとを備え、
    前記初期顔色素検出モデルは、エンコーダと、第１デコーダと、第２デコーダとを備え、
    前記処理モジュールは、さらに、
    前記エンコーダで前記ターゲットサンプル画像を符号化して、符号化後の特徴を得、
    前記第１デコーダで前記符号化後の特徴に対して詳細な復号化を実行して、メラニン色素詳細画像及びヘモグロビン色素詳細画像を得、
    前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、メラニン色素カラー画像及びヘモグロビン色素カラー画像を得、
    前記初期顔色素検出モデルにより前記メラニン色素詳細画像と前記メラニン色素カラー画像に重ね合わせ処理を施して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像と前記ヘモグロビン色素カラー画像に重ね合わせ処理を施して、前記実際のヘモグロビン色素高精細画像を得るように構成されることを特徴とする、顔色素検出モデルトレーニング装置。
  8. 前記補正モジュールは、さらに前記教師メラニン色素高精細画像の明度情報及び教師ヘモグロビン色素高精細画像の明度情報を教師パラメータとして、前記実際のメラニン色素高精細画像の明度情報及び前記実際のヘモグロビン色素高精細画像の明度情報に従い前記初期顔色素検出モデルに反復処理・補正を施して、ターゲット顔色素検出モデルを得るように構成されることを特徴とする、請求項７に記載の顔色素検出モデルトレーニング装置。
  9. 前記処理モジュールは、さらに前記第２デコーダで前記符号化後の特徴に対してカラーデコードを実行して、中間メラニン色素係数マップ行列及び中間ヘモグロビン色素係数マップ行列を得、前記中間メラニン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記メラニン色素カラー画像を得、前記中間ヘモグロビン色素係数マップ行列を前記ターゲットサンプル画像内の各画素位置の画素ベクトルと乗算して、前記ヘモグロビン色素カラー画像を得るように構成されることを特徴とする、請求項７に記載の顔色素検出モデルトレーニング装置。
  10. 前記処理モジュールは、さらに前記初期顔色素検出モデルにより前記メラニン色素詳細画像及び前記メラニン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のメラニン色素高精細画像を得、前記ヘモグロビン色素詳細画像及び前記ヘモグロビン色素カラー画像内の同じ位置と同じチャネルの各画素値をそれぞれ加算して、前記実際のヘモグロビン色素高精細画像を得るように構成される
    ことを特徴とする、請求項７又は９に記載の顔色素検出モデルトレーニング装置。
  11. 電子機器であって、プロセッサと、記憶媒体と、バスとを備え、前記記憶媒体は、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が運転する時、前記プロセッサと前記記憶媒体との間はバスを介して通信し、前記プロセッサは前記機械可読命令を実行して、請求項１～６のいずれか一項に記載の方法のステップを実行することを特徴とする、電子機器。
  12. コンピュータ用記憶媒体であって、プロセッサによって実行された時、請求項１～６のいずれか一項に記載の方法のステップを実行するコンピュータプログラムを格納することを特徴とする、コンピュータ用記憶媒体。
JP2022566607A 2021-08-30 2021-11-23 顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体 Active JP7455234B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202111002463.8 2021-08-30
CN202111002463.8A CN113688752B (zh) 2021-08-30 2021-08-30 人脸色素检测模型训练方法、装置、设备及存储介质
PCT/CN2021/132558 WO2023029233A1 (zh) 2021-08-30 2021-11-23 人脸色素检测模型训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2023546307A JP2023546307A (ja) 2023-11-02
JP7455234B2 true JP7455234B2 (ja) 2024-03-25

Family

ID=78584130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022566607A Active JP7455234B2 (ja) 2021-08-30 2021-11-23 顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体

Country Status (4)

Country Link
JP (1) JP7455234B2 (ja)
KR (1) KR20230035225A (ja)
CN (1) CN113688752B (ja)
WO (1) WO2023029233A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015142A1 (zh) 2018-07-16 2020-01-23 华为技术有限公司 一种色素检测方法及电子设备
CN111507914A (zh) 2020-04-10 2020-08-07 北京百度网讯科技有限公司 人脸修复模型的训练方法、修复方法、装置、设备和介质
CN112070848A (zh) 2020-09-18 2020-12-11 厦门美图之家科技有限公司 图像色素分离方法、装置、电子设备和可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011103576A1 (en) * 2010-02-22 2011-08-25 Canfield Scientific, Incorporated Reflectance imaging and analysis for evaluating tissue pigmentation
CN109325928A (zh) * 2018-10-12 2019-02-12 北京奇艺世纪科技有限公司 一种图像重建方法、装置及设备
CN111768354A (zh) * 2020-08-05 2020-10-13 哈尔滨工业大学 基于多尺度人脸部位特征字典的人脸图像复原系统
CN113076685A (zh) * 2021-03-04 2021-07-06 华为技术有限公司 图像重建模型的训练方法、图像重建方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015142A1 (zh) 2018-07-16 2020-01-23 华为技术有限公司 一种色素检测方法及电子设备
CN111507914A (zh) 2020-04-10 2020-08-07 北京百度网讯科技有限公司 人脸修复模型的训练方法、修复方法、装置、设备和介质
CN112070848A (zh) 2020-09-18 2020-12-11 厦门美图之家科技有限公司 图像色素分离方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN113688752B (zh) 2024-02-02
WO2023029233A1 (zh) 2023-03-09
KR20230035225A (ko) 2023-03-13
JP2023546307A (ja) 2023-11-02
CN113688752A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
Li et al. Underwater scene prior inspired deep underwater image and video enhancement
JP7027537B2 (ja) 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体
US10638060B2 (en) Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
Jiang et al. Unsupervised decomposition and correction network for low-light image enhancement
CN107563976B (zh) 美颜参数获取方法、装置、可读存储介质和计算机设备
US11526962B2 (en) Image processing apparatus, image processing method, and storage medium
Afifi et al. Cie xyz net: Unprocessing images for low-level computer vision tasks
CA3153067C (en) Picture-detecting method and apparatus
CN113632134B (zh) 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机
Wang et al. Low-light image enhancement based on virtual exposure
CN108737797B (zh) 白平衡处理方法、装置和电子设备
CN113781326A (zh) 解马赛克方法、装置、电子设备及存储介质
Song et al. Real-scene reflection removal with raw-rgb image pairs
Huang et al. Underwater image enhancement based on color restoration and dual image wavelet fusion
US9881408B2 (en) Digital signal processing for image filtering field
JP7455234B2 (ja) 顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体
Sheng et al. Guided colorization using mono-color image pairs
CN107392870A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US20220414826A1 (en) Image processing apparatus, image processing method, and medium
CN112700396A (zh) 一种人脸图片光照评价方法、装置、计算设备和存储介质
Lee et al. Joint defogging and demosaicking
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
JP5822739B2 (ja) 画像処理装置、方法、及びプログラム
Llanos et al. Simultaneous demosaicing and chromatic aberration correction through spectral reconstruction
US20180260991A1 (en) Digital signal processing for image filtering field

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240312

R150 Certificate of patent or registration of utility model

Ref document number: 7455234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150