JP7385046B2 - 色斑予測方法、装置、設備及び記憶媒体 - Google Patents

色斑予測方法、装置、設備及び記憶媒体 Download PDF

Info

Publication number
JP7385046B2
JP7385046B2 JP2022540760A JP2022540760A JP7385046B2 JP 7385046 B2 JP7385046 B2 JP 7385046B2 JP 2022540760 A JP2022540760 A JP 2022540760A JP 2022540760 A JP2022540760 A JP 2022540760A JP 7385046 B2 JP7385046 B2 JP 7385046B2
Authority
JP
Japan
Prior art keywords
color spot
image
target
color
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022540760A
Other languages
English (en)
Other versions
JP2023534328A (ja
Inventor
斉子銘
劉興雲
羅家禎
陳福興
李志陽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitueve Technology Co Ltd
Original Assignee
Xiamen Meitueve Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitueve Technology Co Ltd filed Critical Xiamen Meitueve Technology Co Ltd
Publication of JP2023534328A publication Critical patent/JP2023534328A/ja
Application granted granted Critical
Publication of JP7385046B2 publication Critical patent/JP7385046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

［関連出願］
本発明は、２０２１年０６月２４日付け中国知的財産局に提出された、出願番号が２０２１１０７０７１００８であり、発明名称が「色斑予測方法、装置、設備及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容が本明細書に記載されている。
本発明は、画像認識及び生成の技術分野に属し、より詳しくは、色斑予測方法、装置、設備及び記憶媒体に関する。
加齢に伴い、顔の皮膚は、老化や病気などの問題を抱える。老化や病気などの問題の発生を防ぎ、早期の予防を実現するために、通常、顔の将来の変化を予測する必要がある。
従来技術における皮膚の変化の予測については、皮膚のたるみの程度、しわの程度などを予測するのが一般的に行われているが、色斑変化の予測は未だに実現できていない。そのため、ユーザーが将来の一定期間の皮膚の色斑変化を捉えるために、色斑変化を予測できる技術の開発は必要である。
本発明は、ユーザーの顔の皮膚の色斑変化の予測を実現できる、色斑予測方法、装置、設備及び記憶媒体を提供する。
本発明の実施形態では、色斑予測方法を提供している。当該方法は、被予測画像を取得するステップと、被予測画像を、事前に訓練して取得した色斑予測モデルに入力して、予測処理を行うステップであって、色斑予測モデルは、完全畳み込み敵対的生成ネットワークモデルである、ステップと、色斑予測モデルにより、色斑予測結果グラフを取得するステップとを含む。
好ましくは、被予測画像を事前に訓練して取得した色斑予測モデルに入力して予測処理を行う前に、被予測画像中の色斑情報を決定するステップであって、色斑情報は、色斑の位置及び類別を含む、ステップと、被予測画像中の色斑情報に基づいて、被予測画像に対して前処理を行い、前処理後のマルチフレーム画像を取得するステップであって、マルチフレーム画像は、無色斑の画像及び色斑類別を標識した画像を含む、ステップと、を含む。被予測画像を事前に訓練して取得した色斑予測モデルに入力し、予測処理を行うステップは、前処理後のマルチフレーム画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行うステップを含む。
好ましくは、被予測画像を事前に訓練して取得した色斑予測モデルに入力し、予測処理を行う前に、目標被処理画像を取得するステップであって、目標被処理画像は色斑情報を含むステップと、目標被処理画像に基づいて、複数の目標チャンネル画像を決定するステップであって、目標チャンネル画像は、色斑情報を除去した多チャンネル画像及び色斑類別チャンネル画像を含むステップと、複数の前記目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得するステップであって、目標ノイズ画像は、ランダムに生成されたノイズ画像であるステップとをさらに含む。
好ましくは、目標被処理画像に基づいて、複数の目標チャンネル画像を決定するステップは、目標被処理画像中の色斑情報を決定するステップと、目標被処理画像中の色斑情報に基づいて、目標被処理画像に対して、色斑除去処理を行い、色斑情報を除去した目標被処理画像を取得するステップとを含む。
好ましくは、目標被処理画像に基づいて、複数の目標チャンネル画像を決定するステップは、目標被処理画像に対して色斑検出処理を行い、色斑類別チャンネル画像を取得するステップを含む。
好ましくは、目標被処理画像に対して色斑検出処理を行い、色斑類別チャンネル画像を取得するステップは、目標被処理画像中の各類別の色斑情報の位置を決定するステップと、色斑情報の位置に、色斑情報に対応する類別のグレイ階調情報を設定し、色斑類別チャンネル画像を取得するステップとを含む。
好ましくは、複数の目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得するステップの前に、前記方法は、目標チャンネル画像及び前記目標ノイズ画像のそれぞれに対して、正規化処理を行い、目標入力画像を取得するステップを含み、複数の目標チャンネル画像及び目標ノイズ画像を、訓練される神経ネットワーク構造に入力し、訓練された色斑予測モデルを取得するステップは、目標入力画像を訓練される神経ネットワーク構造に入力し、訓練された色斑予測モデルを取得するステップを含む。
本発明の別の実施形態は、色斑予測装置を提供している。当該装置は、取得モジュールと予測モジュールと出力モジュールとを備え、取得モジュールは、被予測画像を取得するように用いられ、予測モジュールは、被予測画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行うように用いられ、前記色斑予測モデルは、完全畳み込み敵対的生成ネットワークモデルであり、出力モジュールは、前記色斑予測モデルにより、色斑予測結果グラフを取得するように用いられる。
好ましくは、当該装置は、前処理モジュールと、他の予測モジュールとを備え、前処理モジュールは、被予測画像中の色斑情報であって、前記色斑情報は、色斑の位置及び類別を含む色斑情報を決定し、被予測画像中の色斑情報に基づいて、前記被予測画像に対して前処理を行い、前処理後のマルチフレーム画像であって、前記マルチフレーム画像は、無色斑の画像及び色斑類別を標識した画像を取得するように用いられ、他の予測モジュールは、前処理後の前記マルチフレーム画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行うように用いられる。
好ましくは、前処理モジュールは、さらに、目標被処理画像を取得し、目標被処理画像に基づいて、複数の目標チャンネル画像をそれぞれ決定し、複数の目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得するように用いられ、目標被処理画像には前記色斑情報が含まれており、目標チャンネル画像は、前記色斑情報を除去した多チャンネル画像及び色斑類別チャンネル画像を含み、目標ノイズ画像は、ランダムに生成されたノイズ画像である。
好ましくは、前処理モジュールは、目標被処理画像中の前記色斑情報を決定し、目標被処理画像中の前記色斑情報に基づいて、目標被処理画像に対して、色斑除去処理を行い、色斑情報を除去した目標被処理画像を取得するように用いられる。
好ましくは、前処理モジュールは、目標被処理画像に対して色斑検出処理を行い、色斑類別チャンネル画像を取得するように用いられる。
好ましくは、前処理モジュールは、目標被処理画像中の各種別の色斑情報の位置を決定し、色斑情報の位置に、色斑情報に対応する種別のグレイ階調情報を設定し、色斑類別チャンネル画像を取得するように用いられる。
好ましくは、前処理モジュールは、目標チャンネル画像及び前記目標ノイズ画像のそれぞれに対して、正規化処理を行い、目標入力画像を取得し、目標入力画像を訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得するように用いられる。
本発明の別の実施形態では、コンピュータデバイスを提供している。当該コンピュータデバイスは、メモリーとプロセッサーとを備え、メモリーには、プロセッサーで実行されるコンピュータプログラムを格納しており、プロセッサーがコンピュータプログラムを実行すると、前記色斑予測方法のステップを実行する。
本発明の別の実施形態では、コンピュータ可読記憶媒体を提供している。コンピュータ可読記憶媒体には、コンピュータプログラムを格納し、コンピュータプログラムがプロセッサーによって実行されると、前記色斑予測方法のステップを実行する。
本発明の実施形態は、少なくとも、以下の効果を有する。
本発明の実施形態によって提供される色斑予測方法、装置、設備及び記憶媒体では、被予測画像を取得し、被予測画像を事前に訓練して取得した色斑予測モデルに入力して予測処理を行い、ここでは、色斑予測モデルが完全畳み込み敵対的生成ネットワークモデルであり、さらに、色斑予測モデルにより、色斑予測結果グラフを取得することができる。また、完全畳み込み敵対的生成ネットワーク構造を色斑予測モジュールとして使用することによって、皮膚色斑の変化状況に対して予測処理を行い、ユーザーに皮膚色斑の変化傾向を知らせることができる。
本発明の実施形態における技術的解決策をより明確に説明するために、以下、実施形態に関する図面を参照しながら詳細を説明する。なお、以下の図面は、本発明のいくつかの実施形態を例として示しており、本発明を限定するものではない。本発明の趣旨を逸脱しない限りにおいて、その構成及び制御は適宜変更可能であり、当業者にとっては、本明細書に提示した図面により容易に得られるものである。
本発明の実施形態によって提供される色斑予測方法のフローチャート図１である。 本発明の実施形態によって提供される色斑予測方法のフローチャート図２である。 本発明の実施形態によって提供される色斑予測方法のフローチャート図３である。 本発明の実施形態によって提供される色斑予測方法のフローチャート図４である。 本発明の実施形態によって提供される色斑予測方法のフローチャート図５である。 本発明の実施形態によって提供される色斑予測方法のフローチャート図６である。 本発明の実施形態によって提供される色斑予測装置の構造概念図である。 本発明の実施形態によって提供されるコンピュータデバイスの構造概念図である。
本発明の実施形態の目的、技術的解決策および利点をより明確にするために、以下、本発明の実施形態を示す図面を参照しながら、本発明の詳細を説明する。なお、以下に示す実施形態は、本発明に関する実施形態の一部であり、以下の内容では、すべての実施形態を記載していない。また、本明細書の図面に記載されている内容及び図示されている本発明の実施形態における構成要素は、様々な異なる構成で配置及び変更することができる。
そのため、添付の図面に提供される本発明の実施形態に関する説明は、本願の特許請求の範囲を限定するためのものではなく、例示として実施形態を記載するものである。また、本願の実施形態に基づいて、当業者が改良又は変更したすべての実施形態は、本願の特許請求の範囲に含まれる。
なお、添付の図面では、同様の要素に、同様の符号や記載を付与しており、例えば、ある図面において定義された符号や記載などは、ほかの図面でも同様な要素を指していることを留意されたい。また、特定の説明がない限り、その要素に関する定義及び解釈について詳細を省略することができる。
また、本願明細書の内容において、「第１」、「第２」、「第３」などの用語は、説明を区別するためにのみ使用され、相対的な重要性を示すまたは示唆する意味ではない。
なお、従来技術では、顔の皮膚の色斑変化を予測する方法はなく、本発明の実施形態では、将来のある期間後の顔の皮膚色斑の変化状況を予測でき、これによって、ユーザーが自分の顔の色斑変化を予知することができる。
以下、本発明の実施形態によって提供される色斑予測方法の実行プロセスの詳細について説明する。
図１は、本発明の実施形態によって提供される色斑予測方法のフローチャート図１である。図１に示すように、当該方法は、以下のステップを含む。
Ｓ１１０：被予測画像を取得するする。
被予測画像は、例えば、ユーザーの写真、顔画像など、色斑予測を実行する必要がある皮膚に対応する任意の画像である。当該画像は、トリミング後のプリセットサイズに対応する画像であっても良い。
当該方法の実行主体は、コンピュータデバイスにおける関連プログラムであり、具体的に、例えば、皮膚予測機器のプリセットプログラム、電子洗顔器具の機能などが挙げられるが、ここでは特に限定されず、実際の需要に応じて設定することができる。
また、被予測画像は、他のデバイスからコンピュータデバイスに送信した画像や、コンピュータデバイスが撮影装置などにより撮影して取得した画像であっても良く、ここでは特に限定されない。
Ｓ１２０：被予測画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行う。
色斑予測モデルは、完全畳み込み敵対的生成ネットワークモデルである。
別の実施形態では、被予測画像を決定した後、被予測画像は、事前に訓練された色斑予測モデルに入力されて、予測処理を行うことができる。当該色斑予測モデルは、事前に訓練して取得した完全畳み込み敵対的生成ネットワークモデルである。
当該色斑予測モデルは、前記コンピュータデバイスによって、事前に訓練して取得したものでも良く、他の電子デバイスによってコンピュータデバイスに送信されたものであっても良い。なお、ここでは特に限定されない。
完全畳み込み敵対的生成ネットワークモデルは、複数の畳み込みニューラルネットワークで構成された敵対的生成ネットワークである。敵対的生成ネットワークは、生成モデル（Ｇｅｎｅｒａｔｉｖｅ Ｍｏｄｅｌ）と識別モデル（Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ Ｍｏｄｅｌ）の相互作用（ゲーム理論による学習）を通じて良好的な出力を生成するネットワークモデルである。
Ｓ１３０：色斑予測モデルに基づいて、色斑予測結果グラフを取得する。
別の実施形態では、色斑予測モデルにより予測処理を行った後、色斑予測結果グラフを取得することができる。色斑予測結果グラフは、被予測画像における顔の皮膚が一定の期間を経った後の色斑の変化を表示することができ、具体的な期間数値は、実際の需要に応じて設定することができるが、ここでは特に限定されない。
好ましくは、色斑予測結果グラフは、複数の色斑変化の状況を含み、前記色斑変化の状況は、被予測画像中の顔の皮膚の色斑が異なる期間後変化した色斑の状況である。
本発明の実施形態によって提供される１つの色斑予測方法では、被予測画像を取得し、被予測画像を、事前に訓練して取得した色斑予測モデル（ここでは、色斑予測モデルが完全畳み込み敵対的生成ネットワークモデルである）に入力して予測処理を行い、色斑予測モデルにより、色斑予測結果グラフを得ることができる。完全畳み込み敵対的生成ネットワーク構造を色斑予測モジュールとして使用することで、皮膚色斑の将来の変化を予測処理することができるので、ユーザーは、皮膚色斑の変化傾向を予知することができる。
以下、本発明の実施形態によって提供される色斑予測方法の別の実行プロセスについて、詳細に説明する。
図２は、本発明の実施形態によって提供される色斑予測方法のフローチャート図２である。図２に示すように、被予測画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行う前に、以下のステップを実行しても良い。
Ｓ２１０：被予測画像内の色斑情報を決定する。
色斑情報は、色斑の位置及び類別を含む。
色斑情報は、当該被予測画像における皮膚上の色斑情報であり、具体的に、例えば、当該被予測画像における皮膚上の各色斑の位置や類別などが挙げられる。各色斑の位置について、座標範囲の形式で記録することができ、色斑の類別は、標識の形式で記録することができる。
好ましくは、事前に設定された色斑識別アルゴリズムを使用して被予測画像内の色斑情報を取得及び決定することができる。
Ｓ２２０：被予測画像内の色斑情報に基づいて、被予測画像を前処理し、前処理後のマルチフレーム画像を取得する。
マルチフレーム画像は、無色斑の画像及び色斑類別を標識した画像を含む。
別の実施形態では、被予測画像の前処理は、色斑除去処理及び色斑決定処理を含む。色斑除去処理によって、前記無色斑の画像、即ち、色斑情報を有しない被予測画像を取得することができる。色斑決定処理によって、色斑類別を標識した画像を取得することができる。なお、当該画像の色斑類別は、異なるグレイ階調値で表すことができる。
被予測画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行うステップは、さらに、以下のステップを含んでも良い。
Ｓ２３０：前処理後のマルチフレーム画像を、事前に訓練して取得した色斑予測モデルに入力、予測処理を行う。
別の実施形態では、上記の複数の前処理後のマルチフレーム画像をそれぞれ決定した後、これらの画像を組み合わせて、事前に訓練して取得した色斑予測モデルに一緒に入力し、予測を行い、対応の予測結果を取得することができる。
以下、本発明の実施形態によって提供される色斑予測方法の実行プロセスについて詳細を説明する。
図３は、本発明の実施形態によって提供される色斑予測方法のフローチャート図３である。図３に示すように、被予測画像を事前に訓練して取得した色斑予測モデルに入力して予測処理を行う前に、以下のステップをさらに含んでも良い。
Ｓ３１０：目標被処理画像を取得する。
目標被処理画像には、色斑情報が含まれても良い。
目標被処理画像は、色斑予測モデルを訓練するために使用されるサンプル画像であり、当該サンプル画像には、皮膚の画像を有し、皮膚の画像には、色斑情報が含まれている。
目標被処理画像は、事前に収集された多数のサンプル画像（例えば、ネットワークなどを介してダウンロードされた顔色斑の画像など）であるが、本発明はこれに限定されない。
Ｓ３２０：目標被処理画像に基づいて、複数の目標チャンネル画像をそれぞれ決定する。
目標チャンネル画像は、色斑情報を除去した多チャンネル画像及び色斑類別チャンネル画像を含む。
別の実施形態では、目標被処理画像のそれぞれに対して、処理を行い、複数の目標チャンネル画像を取得する。色斑情報を除去した多チャンネル画像は、目標被処理画像に対して色斑除去処理を行って取得するものであり、前記無色斑の画像を取得する方式と同じである。色斑類別チャンネル画像は、目標被処理画像に対して、色斑識別を行って取得するものであり、前記色斑類別を標識した画像を取得する方式と同じである。
Ｓ３３０：複数の目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得する。
目標ノイズ画像は、ランダムに生成されたノイズ画像である。
別の実施形態では、上述した複数の目標チャンネル画像を取得した後、これらの目標チャンネル画像及び事前に生成された目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して訓練する。これによって、訓練後、上述した色斑予測モデルを取得することができる。
以下、本発明の実施形態によって提供される色斑予測方法の具体的な実行プロセスについて説明する。
図４は、本発明の実施形態によって提供される色斑予測方法のフローチャート図４である。図４に示すように、目標被処理画像に基づいて、複数の目標チャンネル画像をそれぞれ決定するステップは、さらに、以下のステップを含んでも良い。
Ｓ４１０：目標被処理画像中の色斑情報を決定する。
好ましくは、目標被処理画像を決定した後、上記色斑情報を決定することができる。具体的に、前述した色斑識別の方式によって色斑情報の決定を実現することができる。
Ｓ４２０：目標被処理画像中の色斑情報に基づいて、目標被処理画像に対して色斑除去処理を行い、色斑情報を除去した目標被処理画像を取得する。
好ましくは、上記色斑情報を取得した後、色斑情報に基づいて、色斑除去処理を行う。目標被処理画像内のすべての色斑情報を除去し、目標被処理画像を取得する。目標被処理画像には、色斑情報が含まれていない。
別の実施形態では、目標被処理画像を取得した後、チャンネル処理を行い、赤、緑、青の３色のカラーチャンネルをそれぞれ取得することができる。具体的に、色斑情報を除去した赤チャンネル画像、色斑情報を除去した緑チャンネル画像、色斑情報を除去した青チャンネル画像を取得することができる。
目標被処理画像に基づいて、複数の目標チャンネル画像を決定するステップは、以下のステップをさらに含んでも良い。
目標被処理画像に対して色斑検出処理を行い、色斑類別チャンネル画像を取得する。
好ましくは、上記目標被処理画像を取得した後、当該画像に対して色斑検出処理を行い、色斑類別チャンネル画像をさらに取得することができる。この過程について、以下のとおりである。
図５は、本発明の実施形態によって提供される色斑予測方法のフローチャート図５である。図５に示すように、目標被処理画像に対して色斑検出処理を行い、色斑類別チャンネル画像を取得するステップでは、以下のステップをさらに含む。
Ｓ５１０：目標被処理画像内の各類別の色斑情報の位置を決定する。
好ましくは、色斑識別の方式によって、目標被処理画像内の各類別の色斑の位置を決定することができる。
Ｓ５２０：色斑情報の位置に、色斑情報に対応する類別のグレイ階調情報を設定し、色斑類別チャンネル画像を取得する。
好ましくは、各類別の色斑位置を取得した後、対応の位置に、対応のグレイ階調値を設定することができる。異なる類別の色斑に、異なるグレイ階調値により特徴つけられる。当該グレイ階調値を有する特定の位置及び範囲は、当該色斑の位置及び色斑のサイズを表示することができる。画像内の各類別の色斑情報に対応するグレイ階調情報を決定して設定すると、上記の色斑類別チャンネル画像を取得することができる。これは、具体的に、異なるグレイ階調で表現された異なる色斑の類別のチャンネル画像である。
以下、本発明の実施形態によって提供される色斑予測方法の別の実行プロセスについて詳細を説明する。
図６は、本発明の実施形態によって提供される色斑予測方法のフローチャート図６である。図６に示すように、複数の目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得する前に、当該方法は、さらに以下のステップを含むことができる。
Ｓ６１０：目標チャンネル画像及び目標ノイズ画像のそれぞれに対して正規化処理を行い、目標入力画像を取得する。
好ましくは、上述した、複数の目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して取得した訓練された色斑予測モデルでは、目標チャンネル画像は、前述した色斑情報を除去した赤チャンネル画像、色斑情報を除去した緑チャンネル画像、色斑情報を除去した青チャンネル画像、及び色斑類別チャンネル画像を含み、この４類別の画像は、目標ノイズ画像と組み合わせて、５チャンネル画像を取得することができる。これらを一緒に訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得することができる。
好ましくは、正規化処理では、目標チャンネル画像内の色斑情報を除去した赤チャンネル画像、色斑情報を除去した緑チャンネル画像、色斑情報を除去した青チャンネル画像、及び上述した目標ノイズ画像を（－１，１）の区間に正規化することができる。色斑類別チャンネル画像を（０，１）の区間に正規化することは、
この式において、Ｉｍｇは０～２５５区間の三チャンネル画像であり、
また、複数の目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力し、訓練された色斑予測モデルを取得するステップでは、さらに、以下のステップを含むことができる。
Ｓ６２０：目標入力画像を訓練される神経ネットワーク構造に入力し、訓練された色斑予測モデルを取得する。
好ましくは、上述した目標入力画像を取得した後、目標入力画像を上述した神経ネットワーク構造に入力し、訓練された色斑予測モデルを取得することができる。
以下、本発明の実施形態に使用される色斑予測モデルの構造について詳細を説明する。
当該モデルでは、エンコーディング－デコーディング構造を使用しており、デコーディング部のアップサンプリングは、最近傍のアップサンプリング＋畳み込み層の組合せを使用しており、出力層の活性化関数はＴａｎｈであり、具体的な構造関係は表１に示されている
なお、Ｌｅａｋｙｒｅｌｕは、深層学習における従来の活性化関数の１種であり、ｎｅｇａｔｉｖｅｓｌｏｐｅは、当該活性化関数の１つ構成パラメーターであり、ｋｈは、畳み込みカーネルの高さであり、ｋｗは、畳み込みカーネルの幅であり、ｐａｄｄｉｎｇは、畳み込み演算中のフィーチャマップ拡張のピクセル値（ｐｉｘｅｌ ｖａｌｕｅ）であり、ｓｔｒｉｄｅは、畳み込みのステップサイズであり、ｇｒｏｕｐは、畳み込みカーネルのグループ数であり、ｓｃａｌｅ＿ｆａｃｔｏｒ、 Ｍｏｄｅはいずれも、アップサンプリング層のパラメーターである。ｓｃａｌｅ＿ｆａｃｔｏｒは、アップサンプリングが２倍となったときのサイズを表し、Ｍｏｄｅ＝ｎｅａｒｅｓｔは、最近傍方式のアップサンプリングを使用することを表す。
好ましくは、当該モデルには、判別ネットワーク部が含まれ、異なる解像度の実画像及び偽画像をそれぞれ判別することができる本発明の実施形態では、３つのスケールの判別器を使用して、５１２ｘ５１２，２５６ｘ２５６，１２８ｘ１２８解像度の画像を判別する。異なる解像度の画像に対して以下のダウンサンプリングによって取得することができる。
好ましくは、当該モデルは訓練中に２００００サンプルを設定でき、各サンプルの画像に対して、ロバスト性を向上させることができるために、複数の利得（例えば、反転、回転、平行移動、アフィン変換、露出、コントラスト調整、ぼかしなど）を実行することができる。
好ましくは、ネットワーク訓練の最適化アルゴリズムは、Ａｄａｍアルゴリズムを使用し、生成ネットワークの学習率が０．０００２であり、判別ネットワークの学習率が０．０００１である。
好ましくは、当該モデルの損失関数の計算式は、以下である
Ｇｅｎｅｒａｔｅは、ネットワークの出力であり、ＧＴは、目標生成の画像である。Ｌ１、Ｌ２は、損失関数であり、Ｌｖｇｇは、知覚損失函数（Ｐｅｒｃｅｐｔｕａｌ Ｌｏｓｓ）であり、Ｌａｄｖは、生成的敵対的損失関数である。Ｌｐｅｒｃｅｐｔｕａｌは、知覚ｌｏｓｓであり、知覚ｌｏｓｓは、ネットワークの出力（生成図）ｇｅｎｅｒａｔｅ及びＧＴを別のネットワークに入力し、対応する層の特徴テンソルを抽出し、特徴テンソル間の差を計算することを意味する。ここでは、ｉは、ｉ番目のサンプルである。
以下、本発明によって提供される色斑予測方法を実行する装置、設備及び記憶媒体について詳細を説明する。具体的な実行プロセス及び技術的な効果は、上記の内容を参照することができ、ここでは詳細を省略する。
図７は、本発明の実施形態によって提供される色斑予測装置の構造概念図である。図７に示すように、当該装置は、取得モジュール１００、予測モジュール２００、及び出力モジュール３００を備える。
取得モジュール１００は、被予測画像を取得するために構成される。
予測モジュール２００は、被予測画像を事前に訓練して取得した色斑予測モデルに入力して予測処理を行うために構成され、色斑予測モデルは、完全畳み込み敵対的生成ネットワークモデルである。
出力モジュール３００は、色斑予測モデルによって色斑予測結果グラフを取得するために構成される。
好ましくは、当該装置は、前処理モジュール４００をさらに備える。前処理モジュール４００は、被予測画像中の色斑情報を決定するために構成される。色斑情報は、色斑の位置及び類別を含む。被予測画像中の色斑情報に基づいて、被予測画像を前処理し、前処理後のマルチフレーム画像を取得する。マルチフレーム画像は、無色斑の画像及び色斑類別を標識した画像を含む。また、予測モジュール２００は、前処理後のマルチフレーム画像を事前に訓練して取得した色斑予測モデルに入力し予測処理を行うように構成されても良い。
好ましくは、前処理モジュール４００は、目標被処理画像を取得するために構成されても良い。目標被処理画像は、色斑情報を含む。目標被処理画像に基づいて、複数の目標チャンネル画像を決定する。目標チャンネル画像は、色斑情報を除去した多チャンネル画像及び色斑類別チャンネル画像を含む。複数の目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力し、訓練された色斑予測モデルを取得する。目標ノイズ画像はランダムに生成されたノイズ画像である。
好ましくは、前処理モジュール４００は、目標被処理画像中の色斑情報を決定するように用いられても良い。目標被処理画像中の色斑情報に基づいて、目標被処理画像に対して、色斑除去処理を行い、色斑情報を除去した目標被処理画像を取得する。色斑情報を除去した目標被処理画像に対して、チャンネル処理を行い、色斑情報を除去した多チャンネル画像を取得することができる。
好ましくは、前処理モジュール４００は、目標被処理画像に対して色斑検出処理を行い、色斑類別チャンネル画像を取得するように用いられても良い。
好ましくは、前処理モジュール４００は、目標被処理画像中の各種別の色斑情報の位置を決定するように用いられても良い。色斑情報の位置に、色斑情報に対応する種別のグレイ階調情報を設定し、色斑類別チャンネル画像を取得することができる。
好ましくは、前処理モジュール４００は、目標チャンネル画像及び目標ノイズ画像のそれぞれに対して正規化処理を行い、目標入力画像を取得するように用いられても良い。また、目標入力画像を訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得する。
上述した装置は、前述した実施形態によって提供される方法を実現し、その実施原理及び技術的な効果は類似しており、ここでは詳細を省略する。
以上のモジュールは、上記方法を実行する１つ又は複数の集積回路に実装されるように構成されても良い。例えば、１つ又は複数の特定の集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、又は、１つ又は複数のマイクロプロセッサー、又は、１つ又は複数のフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）などが挙げられる。また、上記のあるモジュールは、処理要素スケジューラコードの形で実装される場合、当該処理要素は、汎用のプロセッサー（例えば、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）または他のプログラムコードを呼び出すことができるプロセッサーなど）である。また、これらのモジュールを統合して、システムオンチップ（ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ、ＳＯＣ）の形式で実装することができる。
図８は、本発明の実施形態によって提供されるコンピュータデバイスの構造概念図である。図８に示すように、コンピュータデバイスは、メモリー５００及びプロセッサー６００を備える。メモリー５００には、プロセッサー６００で実行されるコンピュータプログラムを格納している。プロセッサー６００がコンピュータプログラムを実行すると、上述した色斑予測方法のステップを実行する。
本発明のある実施形態では、コンピュータ可読記憶媒体を提供している。記憶媒体にはコンピュータプログラムを格納しており、当該コンピュータプログラムがプロセッサーによって実行されると、上述した色斑予測方法のステップを実行する。
本発明によって提供されるいくつかの実施形態において、開示される装置および方法は、他の方法でも実施されても良い。上記の装置に関する実施形態は、例示にすぎず、例えば、ユニットの分割は、論理機能の分割にすぎず、実際の実装では、他の分割方法を使用しても良い。また、複数のユニットまたは要素は、別のシステムに組み合わせたり、統合したりすることができる。一部の構成を省略したり、その機能を実行しなかったりすることもできる。また、相互又は直接結合、通信接続は、いくつかのインターフェース、デバイスまたはユニットの間接結合または通信接続を介して、電気的、機械的または他の形態であっても良い。
個別要素として記述されているユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして示されている要素は、物理的なユニットであり、またはそうでない場合であってもよく、さらに、１つの場所に配置されているか、複数のネットワークユニットに分散されることも可能である。ユニットのいくつかまたはすべては、この実施形態における解決策の目的を達成するための実際の必要性に従って選択されることができる。
さらに、本発明の各実施形態における各機能ユニットは、１つの処理ユニットに統合されても良く、各ユニットが物理的に単独で存在するか、または２つ以上のユニットが１つのユニットに統合されても良い。また、上記の統合ユニットは、ハードウェアの形で実装することも、ハードウェアとソフトウェアの機能ユニットの形で実装することもできる。
ソフトウェア機能ユニットの形で実装された上記の統合ユニットは、コンピュータ可読記憶媒体に格納することができる。また、上記のソフトウェア機能ユニットは、記憶媒体に格納されており、コンピュータデバイス（パーソナルコンピュータ、サーバー、ネットワークデバイスなど）またはプロセッサー（ｐｒｏｃｅｓｓｏｒ）を機能にするためのいくつかのコマンドが含まれている。これによって、本発明の様々な実施形態の方法を実行することができる。前記記憶媒体は、ＵＳＢメモリー、外付けハードディスク、読み取り専用メモリー（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリー（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁ディスク又は光学ディスクなどプログラムコードを格納できる様々な記憶媒体を含む。
上述した内容は、本出願の特定の実施形態に過ぎず、本願特許請求の範囲はこれに限定されない。また、本出願に開示される技術範囲に精通している当業者は、変更または改良を容易に考えることができる。その変更及び改良はいずれも、本願の特許請求の範囲内に含まれている。本願の保護を請求している範囲は、特許請求の範囲に従うものとする。
上記の説明は、本出願の好ましい実施形態にすぎず、本出願を限定することを意図するものではない。当業者にとって、本出願は、様々な修正および変更をすることができる。また、本発明の技術的な思想から逸脱なく、同等の変更、交換又は改善はいずれも、本願特許請求の範囲に含まれている。
本発明は、色斑予測方法、装置、設備及び記憶媒体を提供する。当該方法は、被予測画像を取得するステップと、被予測画像を事前に訓練して取得した色斑予測モデルに入力して予測処理を行い、当該色斑予測モデルが完全畳み込み敵対的生成ネットワークモデルであるステップと、色斑予測モデルにより、色斑予測結果グラフを取得するステップとを含む。本発明は、ユーザーの顔の皮膚の色斑変化状況を予測することができる。
また、本発明の色斑予測方法、装置、設備及び記憶媒体は再現性があり、且つ、様々な産業用途に使用できる。例えば、本発明の色斑予測方法、装置、設備及び記憶媒体は、画像認識処理を必要とする分野で使用することができる。

Claims (14)

  1. 被予測画像を取得するステップと、
    前記被予測画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行うステップであって、前記色斑予測モデルは、完全畳み込み敵対的生成ネットワークモデルである、ステップと、
    前記色斑予測モデルにより、色斑予測結果グラフを取得するステップと、を含む色斑予測方法であって、
    前記被予測画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行う前に、
    前記被予測画像中の色斑情報を決定するステップであって、前記色斑情報は、色斑の位置及び類別を含む、ステップと、
    前記被予測画像中の色斑情報に基づいて、前記被予測画像に対して前処理を行い、前処理後のマルチフレーム画像を取得するステップであって、前記マルチフレーム画像は、無色斑の画像及び色斑類別を標識した画像を含む、ステップと、をさらに含み、
    前記被予測画像を、事前に訓練して取得した色斑予測モデルに入力して、予測処理を行うステップは、
    前記前処理後のマルチフレーム画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行うステップを含む、ことを特徴とする色斑予測方法。
  2. 前記被予測画像を、事前に訓練して取得した色斑予測モデルに入力して、予測処理を行う前に、
    目標被処理画像を取得するステップであって、前記目標被処理画像は色斑情報を含むステップと、
    前記目標被処理画像に基づいて、複数の目標チャンネル画像を決定するステップであって、前記目標チャンネル画像は、色斑情報を除去した多チャンネル画像及び色斑類別チャンネル画像を含むステップと、
    複数の前記目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得するステップであって、前記目標ノイズ画像は、ランダムに生成されたノイズ画像であるステップと、をさらに含む、ことを特徴とする請求項１に記載の方法。
  3. 前記目標被処理画像に基づいて、複数の目標チャンネル画像を決定するステップは、
    前記目標被処理画像中の色斑情報を決定するステップと、
    前記目標被処理画像中の色斑情報に基づいて、前記目標被処理画像に対して、色斑除去処理を行い、色斑情報を除去した目標被処理画像を取得するステップとを含む、ことを特徴とする請求項２に記載の方法。
  4. 前記目標被処理画像に基づいて、複数の目標チャンネル画像を決定するステップは、
    前記目標被処理画像に対して色斑検出処理を行い、前記色斑類別チャンネル画像を取得するステップを含む、ことを特徴とする請求項２又は３に記載の方法。
  5. 前記目標被処理画像に対して色斑検出処理を行い、前記色斑類別チャンネル画像を取得するステップは、
    前記目標被処理画像中の各類別の色斑情報の位置を決定するステップと、
    前記色斑情報の位置に、前記色斑情報に対応する類別のグレイ階調情報を設定し、前記色斑類別チャンネル画像を取得するステップとを含む、ことを特徴とする請求項４に記載の方法。
  6. 前記複数の前記目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得するステップの前に、前記方法は、
    前記目標チャンネル画像及び前記目標ノイズ画像のそれぞれに対して、正規化処理を行い、目標入力画像を取得するステップを含み、
    前記複数の前記目標チャンネル画像及び目標ノイズ画像を、訓練される神経ネットワーク構造に入力し、訓練された色斑予測モデルを取得するステップは、
    前記目標入力画像を訓練される神経ネットワーク構造に入力し、訓練された色斑予測モデルを取得するステップを含む、ことを特徴とする請求項２～請求項５のいずれか１つに記載の方法。
  7. 色斑予測装置であって、取得モジュールと、予測モジュールと、出力モジュールとを備え、
    前記取得モジュールは、被予測画像を取得するように用いられ、
    前記予測モジュールは、前記被予測画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行うように用いられ、前記色斑予測モデルは、完全畳み込み敵対的生成ネットワークモデルであり、
    前記出力モジュールは、前記色斑予測モデルにより、色斑予測結果グラフを取得するように用いられ、
    前記色斑予測装置は、前処理モジュールと、他の予測モジュールとを備え、
    前記前処理モジュールは、
    前記被予測画像中の色斑情報であって、前記色斑情報は、色斑の位置及び類別を含む色斑情報を決定し、
    前記被予測画像中の色斑情報に基づいて、前記被予測画像に対して前処理を行い、前処理後のマルチフレーム画像であって、前記マルチフレーム画像は、無色斑の画像及び色斑類別を標識した画像を取得するように用いられ、
    前記他の予測モジュールは、
    前記前処理後の前記マルチフレーム画像を、事前に訓練して取得した色斑予測モデルに入力し、予測処理を行うように用いられる、ことを特徴とする色斑予測装置。
  8. 前記前処理モジュールは、さらに、
    目標被処理画像を取得し、
    前記目標被処理画像に基づいて、複数の目標チャンネル画像をそれぞれ決定し、
    複数の前記目標チャンネル画像及び目標ノイズ画像を組み合わせて、一緒に、訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得するように用いられ、
    前記目標被処理画像には前記色斑情報が含まれており、
    前記目標チャンネル画像は、前記色斑情報を除去した多チャンネル画像及び色斑類別チャンネル画像を含み、
    前記目標ノイズ画像は、ランダムに生成されたノイズ画像である、ことを特徴とする請求項７に記載の色斑予測装置。
  9. 前記前処理モジュールは、さらに、
    前記目標被処理画像中の前記色斑情報を決定し、
    前記目標被処理画像中の前記色斑情報に基づいて、前記目標被処理画像に対して、色斑除去処理を行い、色斑情報を除去した目標被処理画像を取得するように用いられる、ことを特徴とする請求項８に記載の色斑予測装置。
  10. 前記前処理モジュールは、さらに、
    前記目標被処理画像に対して色斑検出処理を行い、色斑類別チャンネル画像を取得するように用いられる、ことを特徴とする請求項８又は請求項９に記載の色斑予測装置。
  11. 前記前処理モジュールは、さらに、
    前記目標被処理画像中の各種別の色斑情報の位置を決定し、
    前記色斑情報の位置に、前記色斑情報に対応する種別のグレイ階調情報を設定し、前記色斑類別チャンネル画像を取得するように用いられる、ことを特徴とする請求項８～請求項１０のいずれか１つに記載の色斑予測装置。
  12. 前記前処理モジュールは、さらに、
    前記目標チャンネル画像及び前記目標ノイズ画像のそれぞれに対して、正規化処理を行い、目標入力画像を取得し、
    前記目標入力画像を訓練される神経ネットワーク構造に入力して、訓練された色斑予測モデルを取得するように用いられる、ことを特徴とする請求項８～請求項１１のいずれか１つに記載の色斑予測装置。
  13. コンピュータデバイスであって、メモリーとプロセッサーとを備え、前記メモリーには、前記プロセッサーで実行されるコンピュータプログラムを格納しており、前記プロセッサーが前記コンピュータプログラムを実行すると、請求項１～請求項６のいずれか１つに記載の前記色斑予測方法のステップを実行する、ことを特徴とするコンピュータデバイス。
  14. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラムを格納し、前記コンピュータプログラムがプロセッサーによって実行されると、請求項１～請求項６のいずれか１つに記載の前記色斑予測方法のステップを実行する、ことを特徴とするコンピュータ可読記憶媒体。
JP2022540760A 2021-06-24 2021-11-23 色斑予測方法、装置、設備及び記憶媒体 Active JP7385046B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110707100.8 2021-06-24
CN202110707100.8A CN113379716B (zh) 2021-06-24 2021-06-24 一种色斑预测方法、装置、设备及存储介质
PCT/CN2021/132553 WO2022267327A1 (zh) 2021-06-24 2021-11-23 一种色斑预测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2023534328A JP2023534328A (ja) 2023-08-09
JP7385046B2 true JP7385046B2 (ja) 2023-11-21

Family

ID=77578969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540760A Active JP7385046B2 (ja) 2021-06-24 2021-11-23 色斑予測方法、装置、設備及び記憶媒体

Country Status (4)

Country Link
JP (1) JP7385046B2 (ja)
KR (1) KR20230001005A (ja)
CN (1) CN113379716B (ja)
WO (1) WO2022267327A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379716B (zh) * 2021-06-24 2023-12-29 厦门美图宜肤科技有限公司 一种色斑预测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053813A (ja) 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
JP2016194892A (ja) 2015-04-01 2016-11-17 みずほ情報総研株式会社 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム
JP2020515952A (ja) 2017-03-21 2020-05-28 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ 年齢容姿シミュレーションのための方法
CN112464885A (zh) 2020-12-14 2021-03-09 上海交通大学 基于机器学习的面部色斑未来变化的图像处理系统
CN112883756A (zh) 2019-11-29 2021-06-01 哈尔滨工业大学（深圳） 年龄变换人脸图像的生成方法及生成对抗网络模型

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001245751A1 (en) * 2000-02-18 2001-08-27 Robert Kenet Method and device for skin cancer screening
JP4379603B2 (ja) * 2004-09-02 2009-12-09 富士ゼロックス株式会社 色処理装置、色処理プログラム、記憶媒体
CN101916334B (zh) * 2010-08-16 2015-08-12 清华大学 一种皮肤状况预测方法及其预测系统
CN110163813B (zh) * 2019-04-16 2022-02-01 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110473177B (zh) * 2019-07-30 2022-12-09 上海媚测信息科技有限公司 皮肤色素分布预测方法、图像处理系统及存储介质
CN111429416B (zh) * 2020-03-19 2023-10-13 深圳数联天下智能科技有限公司 一种人脸色素斑识别方法、装置及电子设备
CN112508812B (zh) * 2020-12-01 2024-08-27 厦门美图之家科技有限公司 图像色偏校正方法、模型训练方法、装置及设备
CN112614140A (zh) * 2020-12-17 2021-04-06 深圳数联天下智能科技有限公司 一种训练色斑检测模型的方法及相关装置
CN112950569B (zh) * 2021-02-25 2023-07-25 平安科技（深圳）有限公司 黑色素瘤图像识别方法、装置、计算机设备及存储介质
CN113379716B (zh) * 2021-06-24 2023-12-29 厦门美图宜肤科技有限公司 一种色斑预测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053813A (ja) 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
JP2016194892A (ja) 2015-04-01 2016-11-17 みずほ情報総研株式会社 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム
JP2020515952A (ja) 2017-03-21 2020-05-28 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ 年齢容姿シミュレーションのための方法
CN112883756A (zh) 2019-11-29 2021-06-01 哈尔滨工业大学（深圳） 年龄变换人脸图像的生成方法及生成对抗网络模型
CN112464885A (zh) 2020-12-14 2021-03-09 上海交通大学 基于机器学习的面部色斑未来变化的图像处理系统

Also Published As

Publication number Publication date
WO2022267327A1 (zh) 2022-12-29
KR20230001005A (ko) 2023-01-03
CN113379716A (zh) 2021-09-10
CN113379716B (zh) 2023-12-29
JP2023534328A (ja) 2023-08-09

Similar Documents

Publication Publication Date Title
Fernandes et al. Predicting heart rate variations of deepfake videos using neural ode
Bird et al. Cifake: Image classification and explainable identification of ai-generated synthetic images
JP7490141B2 (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
Goh et al. Micro-expression recognition: an updated review of current trends, challenges and solutions
CN111738243B (zh) 人脸图像的选择方法、装置、设备及存储介质
CN110664395B (zh) 图像处理方法、图像处理装置以及存储介质
CN112330624A (zh) 医学图像处理方法和装置
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN112634246A (zh) 一种口腔图像识别方法及相关设备
Yu et al. SegNet: a network for detecting deepfake facial videos
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
JP7385046B2 (ja) 色斑予測方法、装置、設備及び記憶媒体
Wu et al. Pneumonia detection based on RSNA dataset and anchor-free deep learning detector
CN111598144A (zh) 图像识别模型的训练方法和装置
An et al. Deep Facial Emotion Recognition Using Local Features Based on Facial Landmarks for Security System.
RU2768797C1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео
Khryashchev et al. Age estimation from face images: challenging problem for audience measurement systems
CN116503932B (zh) 重点区域加权的眼周特征提取方法、系统及存储介质
Van Molle et al. Dermatologist versus artificial intelligence confidence in dermoscopy diagnosis: Complementary information that may affect decision‐making
CN117789280A (zh) 基于眼底图像采集特征识别的动态检测方法及系统
CN116912604A (zh) 模型训练方法、图像识别方法、装置以及计算机存储介质
CN117011601A (zh) 多模态分类预测方法、装置、处理器及机器可读存储介质
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质
Ain et al. Regularized forensic efficient net: a game theory based generalized approach for video deepfakes detection
CN112085025B (zh) 物体分割方法、装置、设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231109

R150 Certificate of patent or registration of utility model

Ref document number: 7385046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150