JP6849825B2 - 見掛け肌年齢を判定するためのシステム及び方法 - Google Patents

見掛け肌年齢を判定するためのシステム及び方法 Download PDF

Info

Publication number
JP6849825B2
JP6849825B2 JP2019566693A JP2019566693A JP6849825B2 JP 6849825 B2 JP6849825 B2 JP 6849825B2 JP 2019566693 A JP2019566693 A JP 2019566693A JP 2019566693 A JP2019566693 A JP 2019566693A JP 6849825 B2 JP6849825 B2 JP 6849825B2
Authority
JP
Japan
Prior art keywords
image
age
skin
analysis
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019566693A
Other languages
English (en)
Other versions
JP2020522810A (ja
Inventor
プルワル アンクル
プルワル アンクル
ジョナサン マッツ ポール
ジョナサン マッツ ポール
アダム シュレーブ マシュー
アダム シュレーブ マシュー
ウー ウェンチョン
ウー ウェンチョン
ベイレイ　シュー
シュー ベイレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Co
Original Assignee
Procter and Gamble Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Co filed Critical Procter and Gamble Co
Publication of JP2020522810A publication Critical patent/JP2020522810A/ja
Application granted granted Critical
Publication of JP6849825B2 publication Critical patent/JP6849825B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本出願は、概して、人の肌の見掛け年齢を判定するためのシステム及び方法に関する。より具体的には、本出願は、消費者の肌の年齢をより正確に判定するための画像処理技術、及び１つ以上の畳み込みニューラルネットワークの使用に関する。
皮膚は、本来なら敏感な基礎組織及び器官に損傷を与えるであろう環境傷害に対する最初の一連の防御である。更に、肌は、人の身体的外観において重要な役割を果たす。一般に、ほとんどの人々は、より若く、健康そうな肌を望む。そして、多少とも、菲薄肌、しわ、及びしみなどの、肌の老化がはっきりわかる兆候があると、若さの消失という望ましくないものを思い出す。その結果、肌の老化の兆候を治療することは、若さを気にする社会において急成長ビジネスとなっている。治療は、美容クリーム及び保湿剤から多様な美容外科形態に至るまでの範囲に及ぶ。
肌状態を治療するために多種多様な化粧用スキンケア製品が市販されているが、消費者がどのスキンケア製品を使用すべきかを判定するのが困難であることは、珍しいことではない。例えば、実年齢よりも老化しているように見える肌を有する人は、より若そうに見える肌を有する人と比較して、異なる製品又はレジメンを必要とする場合がある。このため、人の肌の見掛け年齢を正確に判定することが望まれ得る。
コンピュータモデル／アルゴリズムを使用して人の画像（例えば、「自撮り」）を解析することによって、人の見掛け肌年齢を判定するための数多くの試行が行われてきた。そのとき、コンピュータモデルにより提供された結果を使用して、消費者に肌プロファイル（例えば、肌年齢、水分レベル、又は油性）、及び／又は製品推奨を提供することができる。肌年齢をモデル化する過去の試行は、コンピュータモデル／予測を推進する主要因として顔の巨視的特徴（目、耳、鼻、口等）に依拠していた。しかしながら、巨視的特徴ベースシステムは、消費者に年齢知覚を引き起こす他の肌の見掛け手がかり（例えば、小じわ、しわ、及び色素沈着状態などの微視的特徴）を適格に利用することができず、このことが、見掛け肌年齢について不十分な予測をもたらす可能性がある。
肌年齢及び／又は肌状態をモデル化しようとする過去の他の試行は、煩雑な機器又は技術（例えば、固定カメラ、顕微鏡、交差偏光、正反射率、及び／又は空間周波数解析）を利用した。このため、消費者が製品及び／又はスキンケアレジメンの推奨を受け取ることができるように、肌を解析する便利な使用方法及び／又はモバイルシステムを消費者に提供することが望ましいであろう。
したがって、人の肌の見掛け年齢を簡便に判定する改善された方法が、依然として必要であり、それから、この方法を使用して、カスタマイズされたスキンケア製品又はレジメン推奨を提供するのに役立ち得る。
本明細書では、人の見掛け肌年齢を判定し、カスタマイズされたスキンケア製品推奨をユーザに提供するためのシステム及び方法が、開示されている。これらのシステム及び方法は、人の画像を処理するためのコンピューティングデバイスを利用し、そのコンピューティングデバイスは、人の顔を描写し、次いで、処理された画像を解析する。処理中、人の顔は、画像内で識別され、そして顔の巨視的特徴が、マスキングされる。処理された画像は、解析される。見掛け肌年齢を判定することは、肌年齢を示す少なくとも１つの画素を識別することと、少なくとも１つの画素を利用して見掛け肌年齢を提供することとを含み得る。ＣＮＮによる解析、及び任意選択的にユーザにより提供された他のデータに基づいて、このシステムは、人の見掛け肌年齢を判定し、かつ／又は人のスキンケア製品若しくはスキンケアレジメンを提供することができる。
本システムの一例を示す。 人の画像内で識別された巨視的特徴を示す。 セグメント化された画像を示す。 範囲制限された画像を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 マスキングされた巨視的特徴を示す。 関心領域を示す。 関心領域を示す。 関心領域を示す。 関心領域を示す。 関心領域を示す。 関心領域を示す。 関心領域を示す。 画像を処理する方法のフロー図である。 見掛け肌年齢を判定するための畳み込みニューラルネットワークを示す。 見掛け肌年齢を判定するための畳み込みニューラルネットワークを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 典型的なユーザインターフェースを示す。 スキンケア製品、及び／又はレジメン推奨を提供するためのリモートコンピューティングデバイスを例示する。 製品推奨をユーザに提供する方法のフロー図である。
消費者にカスタマイズされた製品の推奨を提供するために、化粧品産業において、様々なシステム及び方法が使用されている。例えば、いくつかの既知のシステムは、巨視的特徴ベース解析を使用し、この解析の中で、人の顔の写真内で通常視認可能である１つ以上の巨視的特徴（例えば、目、耳、鼻、口、及び／又は毛髪）が、デジタル写真又は「自撮り」などの捕捉された画像内で検出され、既定の定義と比較される。しかしながら、巨視的特徴ベース解析システムは、見掛け肌年齢について適切に正確な指標を提供しない場合がある。従来の微視的特徴ベースシステムは、煩雑な機器又は技術を使用し得、それらは、平均的な消費者が使用するには適切でない場合がある。
顔の巨視的特徴をマスキングし、かつ畳み込みニューラルネットワーク（「ＣＮＮ」）を使用して顔の微視的特徴を解析することは、人の見掛け肌年齢の適切に正確な判定を提供することができることが、現在発見されている。ＣＮＮベース画像解析システムは、比較的小さい画像前処理を使用するように構成され得、これにより、従来の知識、及び所定の定義に対するシステムの依存性を低減し、画像を解析するのに必要となるコンピュータメモリ及び／又は処理電力を低減する。その結果、本システムは、従来の巨視的特徴ベース画像解析システムと比較して改善された普遍性を実証し、本システムを使用する消費者に対して、より良好なスキンケア製品又はレジメン推奨をもたらし得る。
定義
本明細書で使用するところの「約」とは、特定の値プラスマイナス２０パーセント（＋／−２０％）又はそれよりも低い値（例えば、１５％、１０％未満、若しくは更には５％未満）に等しい範囲を指すことで、特定の値を修飾する。
「見掛け肌年齢」とは、捕捉された画像に基づいて、本明細書のシステムにより計算された人の肌の年齢を意味する。
「畳み込みニューラルネットワーク」とは、フィードフォワード人工ニューラルネットワークの一種であり、個々のニューロンが視野の重複領域に応答するようにタイル状になっている。
本明細書内のシステムの様々な構成要素に言及するときに、「結合された」とは、それらの構成要素が、互いに電気的、電子的、及び／又は機械的に通信していることを意味する。
「配置される」とは、要素が別の要素に対して特定の場所に位置付けされることを意味する。
「画像捕捉デバイス」とは、人の画像を捕捉することができるデジタルカメラなどのデバイスを意味する。
「接合された」とは、要素を他の要素に直接固着することにより、要素を別の要素に直接固定する構成、及び要素を中間部材（複数可）に固着し、これが次に他の要素に固着されることにより、要素が別の要素に間接的に固定される構成を意味する。
「巨視的特徴」とは、ヒトの顔上又は近くに見出される比較的大きい身体的特徴である。巨視的特徴には、以下に限定されないが、顔形状、耳、目、口、鼻、毛髪、及びまゆ毛が挙げられる。
「マスキング」とは、画像内の巨視的特徴の中、及び／又は付近に配置された少なくともいくつかの画素を、関心領域内に配置された画素により近い、又はそれと同じＲＧＢ値を有する画素にデジタル処理して置き換えるプロセスを指す。
「微視的特徴」とは、通常老化肌と関連付けられる比較的小さい特徴、及び／又は人の顔上に見出される肌疾患である。微視的特徴には、以下に限定されないが、小じわ、しわ、乾燥肌特徴（例えば、肌フレーク）、及び色素異常症（例えば、色素沈着過剰状態）が挙げられる。微視的特徴は、巨視的特徴を含まない。
「人」は、人間を指す。
「関心領域」又は「ＲｏＩ」とは、画像又は画像セグメント内の、特に肌の範囲制限された部分を意味し、ここでは、ＣＮＮによる解析は、見掛け肌年齢を提供することが望まれている。いくつかの非限定的な関心領域としては、巨視的特徴がマスキングされてきた額、頬、ほうれい線、目の下、又は顎を示す画像の一部が挙げられる。
「セグメント化」とは、解析のために画像を２つ以上の別個のゾーンに分割することを指す。
「目標肌年齢」とは、見掛け肌年齢と所定の年数だけ異なる肌年齢を意味する。
本明細書における「ユーザ」とは、例えば、デバイスユーザ、製品ユーザ、システムユーザ等を含む、少なくとも本明細書に提供された特徴を使用する人を指す。
本明細書のシステム及び方法は、マルチステップ式（例えば、２、３、４、又は５以上のステップ）アプローチを利用してその人の画像から人の見掛け肌年齢を判定する。ＣＮＮが処理して画像を解析するか、又は顔の全体画像を解析する単一ステップ式プロセスではない、マルチステップ式プロセスを使用することによって、ＣＮＮは、年齢知覚を引き起こす重要な特徴（例えば、微視的特徴）に集中し、画像を解析するのに必要な計算パワーを低減し、巨視的特徴によりシステムに持ち込まれ得る偏りを低減することができる。
第１のステップにおいて、システムのメモリ構成要素に格納された論理を処理することにより、システムに、以下、すなわち、解析のために画像内の顔を識別すること、その画像を正規化すること、１つ以上（例えば、全て）の顔の巨視的特徴をマスキングすること、及び解析のために画像をセグメント化することのうちの１つ以上を実行させる。これらの処理ステップは、所望に応じて、任意の順番で実行され得る。処理された画像は、解析のための１つ以上の入力バリアントとして、畳み込みニューラルネットワークに提供される。ＣＮＮ解析の結果を使用して、各セグメントの見掛け肌年齢、及び／又は顔全体の全体的な肌年齢を提供する。
図１は、人の画像を捕捉し、その画像を解析し、人の肌年齢を判定し、並びに任意選択的に、カスタマイズされたスキンケアレジメン及び／又は製品推奨をユーザに提供するための典型的なシステム１０を示す。このシステム１０は、ネットワーク１００（例えば、携帯電話ネットワーク、公衆交換電話ネットワーク、衛星ネットワーク、及び／若しくはインターネットなどのワイドエリアネットワーク、ワイヤレスフィディリティ、Ｗｉ−Ｍａｘ、ＺｉｇＢｅｅ（商標）、及び／若しくはＢｌｕｅｔｏｏｔｈ（商標）などのローカルエリアネットワーク、並びに／又は他の好適な形態のネットワーク能力）を含み得る。ネットワーク１００には、モバイルコンピューティングデバイス１０２、リモートコンピューティングデバイス１０４、及び／又は訓練コンピューティングデバイス１０８が結合されている。
モバイルコンピューティングデバイス１０２は、携帯電話、タブレット、ラップトップ、携帯情報端末、並びに／又はデジタル写真のような画像を捕捉、格納、及び／若しくは転送するように構成された他のコンピューティングデバイスであってもよい。したがって、モバイルコンピューティングデバイス１０２は、デジタルカメラのような画像捕捉デバイス１０３を含んでもよく、かつ／又は他のデバイスから画像を受信するように構成されてもよい。モバイルコンピューティングデバイス１０２は、画像捕捉論理１４４ａ及びインターフェース論理１４４ｂを格納するメモリ構成要素１４０ａを含んでもよい。メモリ構成要素１４０ａは、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ等）、読み出し専用メモリ（read only memory、ＲＯＭ）、レジスタ、及び／又は他の形態のコンピューティング格納ハードウェアを含んでもよい。画像捕捉論理１４４ａ及びインターフェース論理１４４ｂは、ソフトウェア構成要素、ハードウェア回路、ファームウェア、及び／又は他のコンピューティングインフラストラクチャを含んでもよい。画像捕捉論理１４４ａは、デジタル画像上での捕捉、格納、処理、解析、転送、及び／又はユーザの他の機能の実行を容易にすることができる。インターフェース論理１４４ｂは、質問、オプション等を含み得る、１つ以上のユーザインターフェースをユーザに提供するために構成されてもよい。モバイルコンピューティングデバイス１０２はまた、ネットワーク１００を介して他のコンピューティングデバイスと通信するために構成されてもよい。
リモートコンピューティングデバイス１０４はまた、ネットワーク１００にも結合されてもよく、サーバ（若しくは複数のサーバ）、パーソナルコンピュータ、モバイルコンピュータ、並びに／又はユーザの顔の捕捉された画像内の肌年齢に起因する肌特徴を配置及び解析することによって、ユーザの肌年齢を判定することができる畳み込みニューラルネットワークを創出、格納、及び／若しくは訓練するために構成された他のコンピューティングデバイスとして構成されてもよい。例えば、ＣＮＮは、リモートコンピューティングデバイス１０４のメモリ構成要素１４０ｂ内に論理１４４ｃ及び１４４ｄとして格納されてもよい。小じわ、しわ、黒い（加齢による）斑点、不均一な肌の色合い、しみ、毛穴の広がり、赤味、黄色味、これらの組み合わせ等の、一般に知覚される肌の欠陥は全て、訓練されたＣＮＮによって、ユーザの肌年齢に寄与するものとして識別され得る。
リモートコンピューティングデバイス１０４は、訓練論理１４４ｃ、解析論理１４４ｄ、及び／又は処理論理１４４ｅを格納するメモリ構成要素１４０ｂを含み得る。メモリ構成要素１４０ｂは、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ等）、読み出し専用メモリ（ＲＯＭ）、レジスタ、及び／又は他の形態のコンピューティング格納デバイスハードウェアを含んでもよい。訓練論理１４４ｃ、解析論理１４４ｄ、及び／又は処理論理１４４ｅは、ソフトウェア構成要素、ハードウェア回路、ファームウェア、及び／又は他のコンピューティングインフラストラクチャを含んでもよい。訓練論理１４４ｃは、ＣＮＮの創出及び／又は訓練を容易にし、このため、ＣＮＮの創出及び／又は動作を容易し得る。処理論理１４４ｅは、モバイルコンピューティングデバイス１０２（又は他のコンピューティングデバイス）から受信した画像を、解析論理１４４ｄによる解析のために処理させる。画像処理は、巨視的特徴識別、マスキング、セグメント化、及び／又は他の画像改変プロセスを含み得、それらのプロセスは、以下に、より詳細に説明される。解析論理１４４ｄは、処理された画像をリモートコンピューティングデバイス１０４に解析させて見掛け肌年齢、製品推奨等を提供する。
いくつかの例では、訓練コンピューティングデバイス１０８は、ネットワーク１００に結合され得、ＣＮＮの訓練を容易にする。例えば、トレーナは、訓練コンピューティングデバイス１０８を介して、顔又は肌の１つ以上のデジタル画像をＣＮＮに提供してもよい。トレーナはまた、情報及び他の命令（例えば、実際の年齢）を提供し得、どの評価が正しく、どの評価が正しくないのかをＣＮＮに通知する。トレーナからの入力に基づいて、ＣＮＮは、以下でより詳細に説明するように、自動的に適応してもよい。
システム１０はまた、キオスク型コンピューティングデバイス１０６を含み得、このコンピューティングデバイスは、モバイルコンピューティングデバイス１０２と同様に動作し得るが、１つ以上の製品を販売し、かつ／又は現金若しくは電子商取引の形態で支払を受領することも可能にし得る。当然のことながら、支払及び／又は製品販売も提供するモバイルコンピューティングデバイス１０２が、本明細書で企図されることを理解されたい。いくつかの例では、キオスク型コンピューティングデバイス１０６及び／又はモバイルコンピューティングデバイス１０２もまた、ＣＮＮの訓練を容易にするように構成されてもよい。このため、モバイルコンピューティングデバイス１０２及びリモートコンピューティングデバイス１０４について描写及び説明されたハードウェア及びソフトウェアは、キオスク型コンピューティングデバイス１０６、訓練コンピューティングデバイス１０８、及び／又は他のデバイス内に含まれてもよい。同様に、図２１のリモートコンピューティングデバイス２１０４について描写及び説明されたハードウェア及びソフトウェアは、モバイルコンピューティングデバイス１０２、リモートコンピューティングデバイス１０４、キオスク型コンピューティングデバイス１０６、及び訓練コンピューティングデバイス１０８のうちの１つ以上に含まれてもよい。
また、リモートコンピューティングデバイス１０４は、図１に、画像処理及び画像解析を実行するものとして示されているが、これは、単なる例にすぎないことも理解されたい。画像処理及び／又は画像解析は、所望に応じて、任意の好適なコンピューティングデバイスにより実行されてもよい。
画像処理
本明細書の画像解析プロセスの第１のステップにおいて、本システムは、少なくとも１つの人の顔を含む画像を受信し、ＣＮＮによる解析のために画像を準備する。この画像は、例えば、デジタルカメラを備えるスマートフォンなどの任意の好適なソースから受信されてもよい。少なくとも百万画素の画像を生成し、好適な画像処理論理及び／又は画像解析論理にアクセスすることができるコンピューティングデバイス（複数可）にその画像を電子的に転送することが可能なカメラを使用することが望ましい場合がある。
一旦、画像が受信されると、処理論理は、人間の顔を包含する画像の一部（複数可）を識別する。この処理論理は、例えば、色及び／又は色コントラスト技術、モノクロ背景特徴の除去、幾何学的モデル若しくはハウスドルフ距離を使用するエッジベース技術、弱カスケード技術、又はこれらの組み合わせなどの当技術分野で任意の既知の技術を使用して、画像内に存在する人間の顔（複数可）を検出するように構成され得る。いくつかの例では、Ｖｉｏｌａ−Ｊｏｎｅｓ型の弱カスケード技術を使用することが、特に望ましい場合があり、この技術は、Ｐａｕｌ Ｖｉｏｌａ及びＭｉｃｈａｅｌ Ｊｏｎｅｓにより、「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」５７（２），１３７−１５４，２００４の中で記述されたものである。
いくつかの例では、本システムにより受信された画像は、２つ以上の顔を含み得るが、ユーザは、その画像内の全ての顔を解析することを望まない場合がある。例えば、ユーザは、単に、スキンケア治療及び／又は製品に関する助言を求める人の顔を解析することのみを望んでいる場合がある。このため、本システムは、解析のために所望の画像（複数可）のみを選択するように構成され得る。例えば、処理論理は、画像内の顔の相対的な位置（例えば、中央）、顔の相対的なサイズ（例えば、最大の「四角形」）、又はこれらの組み合わせに基づいて、解析用に最も主要な顔を選択することができる。別の方法として又は追加的に、本システムは、処理論理が選択した顔が正しいことを確認するようにユーザに促し、かつ／又は解析のために１つ以上の顔を選択するように尋ねることができる。当技術分野で既知の任意の好適なユーザインターフェース技術を使用して、ユーザに問い合わせ得、画像内に存在する１つ以上の顔をユーザに選択させることができる。
適切な顔（複数可）が、更なる処理のために選択されると、処理論理は、１つ以上の顔のランドマーク（例えば、目、鼻、口、又はそれらの一部）を検出し、それらのランドマークは、アンカー特徴（すなわち、処理論理が、その画像を正規化及び／又はセグメント化するために使用することができる基準点）として使用され得る。いくつかの例では、処理論理は、顔を画像の残りから分離する境界ボックスを作り出し得る。このようにして、背景対象物、望ましくない巨視的特徴、及び／又は画像内で視覚可能な他の身体部分が、除去され得る。顔の関心ランドマークは、既知のランドマーク検出技術（例えば、Ｖｉｏｌａ−Ｊｏｎｅｓ、又は顔の形状／サイズ認識アルゴリズム）を使用して検出され得る。
図２は、ランドマーク検出技術の一例を示し、そこでは、目２０２、鼻２０４、及び口２０６の隅が、アンカー特徴として使用するための処理論理により識別される。この例では、画像を正規化することは、画像を回転させること、及び／又は画像のサイズを変倍することを含み、各画像間のばらつきを低減することができる。
図３Ａは、次の処理及び／又は解析のために、画像３００を別個のゾーンにセグメント化する例を示す。いくつかの例では、図３Ａに示すように、セグメント化された画像３００は、モバイルコンピューティングデバイスを介してユーザに提示され得る。しかしながら、いくつかの例では、セグメント化された画像は、正に画像処理の一部であってもよく、ユーザに表示されなくてもよい。図３Ａに示すように、画像は、６つのセグメントに分離され、それらのセグメントは、額セグメント３０１、左目及び右目セグメント３０２及び３０３、左及び右頬／ほうれい線セグメント３０４及び３０５、並びに顎セグメント３０６を含む。いくつかの例では、画像は、セグメント化され、かつ／又はゾーンを反映するように組み合わされた２つ以上のセグメントであり得、それらのゾーンは、通常、例えば、いわゆるＴゾーン又はＵゾーンなどの化粧品業界において肌を解析するために使用されている。Ｔゾーンは、化粧品業界では、おおむね顔の一部として認識されており、この顔の一部は、額を横切って横方向に、かつ額の中央辺りから鼻の端部又は顎の底部まで長手方向に延在する。Ｔゾーンは、大文字のＴに似ているため、そのように命名されている。Ｕゾーンは、おおむね顔の一部として認識されており、この顔の一部は、一方の頬の長手方向の下方に延在し、顎を横切って横方向に、その後、他方の頬の上方に（長手方向に）戻る。Ｕゾーンは、文字Ｕに似ているため、そのように命名されている。
顔のセグメント化は、例えば、当業者には既知であるように、タスク制約型ディープ畳み込みネットワーク（tasks constrained deep convolutional network、ＴＣＤＣＮ）又は他の好適な技術によって実行され得る。顔の画像をセグメント化することにより、解析論理が各セグメントの見掛け年齢を提供することを可能にしており、そのことは、いくつかのセグメントが他のセグメントよりも全体的な肌年齢の知覚に影響を与えることが知られているため、重要であり得る。このため、各セグメントは、セグメントが肌年齢の知覚に及ぼす影響を反映するように重み付けされ得る。いくつかの例では、処理論理は、システムに、セグメント化された画像を変倍させることができ、その結果、顔画像の全高（すなわち、顎の底部から額の頂部までの距離）は、特定の値（例えば、７００〜８００画素、７００〜７５０画素、又は約７１６画素すら）を超えない。
図３Ｂは、境界ボックス３２０内に画像３１０を範囲制限した例を示す。境界ボックス３２０は、顎の底部から額の頂部まで長手方向に、かつ一方のこめかみから他方のこめかみまで横方向に延在し得る。境界ボックス３２０は、背景対象物、巨視的特徴、若しくはそれらの一部（例えば、毛髪、耳）、及び／又は画像内に存在し得る他の身体的対象物（例えば、首、胸、肩、腕、又は額）の全て若しくはその一部を除去するようにサイズ設定され得る。当然のことながら、全てのサイズの境界ボックスが、本明細書において考察されている。範囲制限は、画像セグメント化の前、後、又はそれと同時に行われ得る。いくつかの例では、図３Ｂに示すように、境界ボックス３２０及び／又は範囲制限された画像３１０は、モバイルコンピューティングデバイスを介してユーザに提示され得るが、必ずしもそうである必要はない。
顔の巨視的特徴をＣＮＮによる肌年齢解析の品質低下から防止することは、重要である。顔の巨視的特徴がマスキングされていない場合、ＣＮＮは、小じわ及びしわなどの微視的特徴の手がかりではなく、巨視的特徴の手がかりから人の肌年齢を予測することを学習し得、このことは、人々が肌年齢をどのように知覚するかについて非常に影響力を持つこととして知られている。これは、画像をデジタル処理で改変して、小じわ、しわ、及び色素異常症などの顔の微視的特徴を除去すること、並びにシステムにより提供された見掛け年齢が変化しないことを観測することによって、実証され得る。マスキングは、画像がセグメント化され、かつ／又は範囲制限される前及び／又は後に行われ得る。本システムでは、マスキングは、顔の巨視的特徴内の画素を、一定の非ゼロ（すなわち、黒）、非２５５（すなわち、白）ＲＧＢ値を有する画素に置き換えることによって達成され得る。例えば、巨視的特徴内の画素を、関心領域内の肌の中央ＲＧＢ値を有する画素に置き換えることが望ましい場合がある。理論によって制限されることなく、均一に色付けされた画素、又は別様に特徴のない画素で顔の巨視的特徴をマスキングすることによって、ＣＮＮは、巨視的特徴以外の特徴（例えば、小じわ及びしわなどの顔の微視的特徴）を使用して年齢を予測することを学習するだろうと考えられる。本明細書におけるマスキングは、例えば、Ｍａｔｌａｂ（登録商標）ブランドのコンピュータソフトウェアなどの、当技術分野で既知の任意の好適なマスキング手段を使用して達成され得る。
上述のように、顔の巨視的特徴をマスキングする場合であっても、先進的な畳み込みニューラルネットワークは、「仮想の」巨視的特徴に基づいて、肌年齢を予測することを依然として学習し得る。言い替えると、ニューラルネットワークは、依然として、中央値のＲＧＢ画素のパターン内の差異を認識することを学習し得、その理由は、そのパターンが、マスキングされた顔の巨視的特徴のサイズ及び／又は位置におおむね対応しているからである。次いで、ＣＮＮは、そのパターンの差異をその年齢予測解析に適応させることができる。この問題を回避するため、ＣＮＮに対して処理される画像のうちの２つ以上の入力バリアント（例えば、２、３、４、５、又は６以上）を使用することが重要である。マスキングされた巨視的特徴がどのようにＣＮＮに提示されるかを変化させることによって、理論によって制限されることなく、ＣＮＮは、中央値のＲＧＢ画素パターン内の差異を使用することを学習して肌年齢を予測する可能性は低いと考えられる。
図４Ａ〜図４Ｇは、第１の入力バリアントの例を示し、そこでは、所望の関心領域を提供するために、顔の画像が６つの別個のゾーンにセグメント化され、次いで各セグメント内の巨視的特徴がマスキングされている。この例では、処理論理は、画像セグメント内の巨視的特徴（例えば、目、鼻、口、耳、まゆ毛、毛髪）と関連付けられた全ての画素を、適切な関心領域に配置された全ての画素の中央ＲＧＢ色空間値（例えば、巨視的特徴を含まない画像の一部）で充填する。図４Ｂは、額のＲｏＩを提供するために、額のセグメント内で目及び／又はまゆ毛がどのようにマスキングされるかを示す。図４Ｃ及び図４Ｄは、目の下のＲｏＩを提供するために、目の下のセグメント内で目、まゆ毛、鼻、頬、及び毛髪がどのようにマスキングされるかを示す。図４Ｅ及び図４Ｆは、頬／ほうれい線のＲｏＩを提供するために、頬／ほうれい線のセグメント内で鼻、口、及び毛髪がどのようにマスキングされるかを示す。図４Ｇは、顎のＲｏＩを提供するために、顎のセグメント内で口がどのようにマスキングされるかを示す。図４Ａは、個々にマスキングされたセグメントが組み合わされ、背景特徴が境界ボックスによって除去された場合、マスキングされた特徴が、顔全体の画像上でどのように現れるかを示す。
図５Ａ〜図５Ｇは、第２の入力バリアントの例を示す。この例では、処理論理は、顔（「顔全体」）のセグメント化されていない画像内の巨視的特徴と関連付けられた全ての画素を、関心領域内に配置された全ての画素の中央値ＲＧＢ値で充填する。次いで、例えば上述のように、処理論理は、マスキングされた全顔画像をセグメント化し得る。図５Ａは、全顔画像を示し、そこでは、特定の巨視的特徴が、マスキングされ、背景特徴が、境界ボックスにより除去されている。図５Ｂ〜図５Ｇは、図５Ａのマスキングされた全顔画像がセグメント化された場合に、各関心領域がどのように現れるかを示す。図４Ａ〜図４Ｇが、図５Ａ〜図５Ｇのそれらの対応物と比較すると、全顔画像及び個別の関心領域の両方は、互いに多少異なる。
図６Ａ〜図６Ｇは、第３の入力バリアントの例を示す。この例では、処理論理は、システムに、全顔画像内の関心領域を識別させ、次いで画像を関心領域を構成する６つの別個のゾーンにセグメント化させる。図６Ａは、全顔画像を示し、そこでは、鼻がアンカー特徴として使用され、６つの画像セグメントが識別されている。図６Ｂ〜図６Ｇは、各画像セグメントから抽出された関心領域を示す。図６Ｂは、額のＲｏＩを示し、図６Ｃ及び図６Ｄは、それぞれ目の下のＲｏＩを示し、図６Ｅ及び図６Ｆは、それぞれ頬／ほうれい線のＲｏＩを示し、図６Ｇは、顎のＲｏＩを示す。
いくつかの例では、ＣＮＮによる解析のために、特定の関心領域の一部のみを選択することが望ましい場合がある。例えば、関心領域の中心及び／又は周りに配置された肌のパッチを選択し、そして選択された肌のパッチを均一なサイズに変倍することが望ましい場合がある。この例と共に続けると、肌のみのエリアの最大矩形は、各関心領域の中心から抽出され、２５６画素×２５６画素の肌パッチに再変倍され得る。
図７は、本明細書の方法及びシステムのための画像処理フロー経路７００を示す。ブロック７０２では、画像が、システムによって受信される。ブロック７０４では、処理論理は、受信した画像内の１つ以上の顔が、更なる処理のために検出又は選択されることを可能にする。ブロック７０６では、処理論理は、ランドマーク特徴が、検出又は選択された顔内で検出されることを可能にする。ブロック７０８では、処理論理は、画像が正規化されることを可能にする。ブロック７１０Ａ及び７１０Ｂでは、処理論理は、画像がセグメント化され、そして各セグメント内の巨視的特徴が第１の入力バリアント７１０の一部としてマスキングされることを可能にする。ブロック７１１Ａ及び７１１Ｂでは、処理論理は、正規化された画像内の巨視的特徴がマスキングされ、次いで第２の入力バリアント７１１の一部としてセグメント化されることを可能にする。ブロック７１２Ａ及び７１２Ｂでは、処理論理は、システムが、ＣＮＮによる解析のために関心領域を識別し、次いで第３の入力バリアント７１２の一部として画像をセグメント化することを可能にする。ブロック７１４では、処理論理は、それぞれの関心領域の一部が抽出され、そして好適なサイズに変倍されることを可能にする。
畳み込みニューラルネットワーク
本明細書のシステム及び方法は、訓練された畳み込みニューラルネットワークを使用し、このニューラルネットワークは、シリコ肌モデル内のそれとして機能し、人の肌（例えば、顔の肌）の画像を解析することによって、ユーザに見掛け肌年齢を提供する。ＣＮＮは、層内の各画素に同じフィルタを使用するニューロン集合の複数の層を含む。部分的かつ完全に接続された層の様々な組み合わせにおける各画素に対して同じフィルタを使用することにより、システムのメモリ及び処理要件が低減される。いくつかの例では、ＣＮＮは、複数のディープネットワークを含み、このネットワークは、訓練され、特定の画像セグメント及び／又は関心領域のための別個の畳み込みニューラルネットワークとして機能する。
図８は、本明細書で使用するためのＣＮＮ８００構成の例を示す。図８に示すように、ＣＮＮ８００は、個別の関心領域、又はその一部を解析するための４つの個別のディープネットワークを含み、この例における領域は、額、目の下のエリア、頬／ほうれい線、及び顎の関心領域の一部である。当然のことながら、ＣＮＮは、所望に応じて、より少ないディープネットワーク、又はより多いディープネットワークを含むことができることを理解されたい。各ディープネットワークからの画像解析結果を使用して、そのそれぞれの関心領域の見掛け肌年齢を提供し得、かつ／又は全体的な見掛け肌年齢を提供するように連結され得る。
本明細書のＣＮＮは、ディープラーニング技術を使用して訓練され得、このディープラーニング技術は、ＣＮＮに、哺乳動物の視覚野が画像内の重要な特徴を認識することを学習するのと同じ方法で、画像のどの部分が肌年齢に寄与しているか、多くのことを学習させることができる。例えば、ＣＮＮは、人の肌年齢に寄与する画素の場所、色、及び／又は色合い（例えば、明るさ又は暗さ）を判定するように訓練され得る。いくつかの実例では、ＣＮＮ訓練は、ネステロフ運動量（及び／又は他のアルゴリズム）を伴うミニバッチ確率的勾配降下（stochastic gradient descent、ＳＧＤ）を使用することを含んでもよい。確率的勾配降下を利用する例は、米国特許第８，５８２，８０７号に開示されている。
いくつかの実例では、ＣＮＮは、訓練されていないＣＮＮに、学習するための多数の捕捉された画像を提供することによって訓練されてもよい。いくつかの実例では、ＣＮＮは、教師あり学習と呼ばれる処理を通じて、肌年齢に寄与する画像内の肌の部分を識別するように学習することができる。「教師あり学習」とは、一般に、ＣＮＮが、画像内の人の年齢が所定の画像を解析することによって訓練されることを意味する。所望の精度に応じて、訓練画像の数は、少数の画像から多数の画像（例えば、数百又は数千）から画像の連続した入力まで（すなわち、連続した訓練を提供するために）変化し得る。
本明細書におけるシステム及び方法は、広範囲の肌の種類についてユーザの見掛け年齢を正確に予測することができる訓練されたＣＮＮを利用する。見掛け年齢を生成するために、関心領域の画像（例えば、人の顔の画像から取得された）、又はそれらの一部は、訓練されたＣＮＮを介して順方向に伝播する。ＣＮＮは、画像又は画像の一部を解析し、ユーザの予測年齢に寄与する画像内の肌の微視的特徴（「問題の箇所」）を識別する。次いで、ＣＮＮは、問題の箇所を使用して関心領域の見掛け肌年齢、及び／又は全体的な見掛け肌年齢を提供する。
いくつかの例では、ＣＮＮに入力された画像は、例えば、オクル−ジョン（例えば、画像の一部を覆う毛髪、関心領域の影付け）によって解析に適さない場合がある。これらの例では、ＣＮＮ又は他の論理は、ＣＮＮによる解析の前に破棄するか、又は見掛け年齢の生成の前にＣＮＮ解析の結果を破棄することができる。
図９は、本システムで使用するための畳み込みニューラルネットワーク９００の例を示す。ＣＮＮ９００は、入力された画像９０５（例えば、関心領域又はそれらの一部）、１つ以上の畳み込み層Ｃ１、Ｃ２、１つ以上のサブサンプリング層Ｓ１及びＳ２、１つ以上の部分接続された層、１つ以上の完全接続された層、及び出力を含み得る。解析を開始するか、又はＣＮＮを訓練するために、画像９０５（例えば、ユーザの画像）が、ＣＮＮ９００に入力される。ＣＮＮは、画像の１つ以上の部分をサンプリングして、第１の畳み込み層Ｃ１に１つ以上の特徴マップを作成してもよい。例えば、図９に示すように、ＣＮＮは、画像９０５のうちの６つの部分をサンプリングして、第１の畳み込み層Ｃ１に６つの特徴マップを作り出すことができる。次に、ＣＮＮは、第１の畳み込み層Ｃ１内の特徴マップの１つ以上の部分をサブサンプリングして、第１のサブサンプリング層Ｓ１を作成してもよい。いくつかの実例では、特徴マップのサブサンプリングされた部分は、特徴マップのエリアの半分であってもよい。例えば、特徴マップが画像９０５から２９×２９画素のサンプルエリアを構成する場合、サブサンプリングされたエリアは、１４×１４画素であってもよい。ＣＮＮ９００は、１つ以上の追加レベルのサンプリング及びサブサンプリングを実行して第２の畳み込み層Ｃ２及び第２のサブサンプリング層Ｓ２を提供することができる。ＣＮＮ９００は、所望に応じて、任意の数の畳み込み層及びサブサンプリング層を含んでもよいことを理解されたい。最終的なサブサンプリング層（例えば、図９の層Ｓ２）が完了すると、ＣＮＮ９００は、完全に接続された層Ｆ１を生成し、そこには、あらゆるニューロンが、あらゆる他のニューロンと接続されている。ＣＮＮは、完全に接続された層Ｆ１から、予測される年齢又はヒートマップのような出力を生成することができる。
いくつかの例では、本システムは、目標肌年齢（例えば、人の見掛け年齢から所定の年数（例えば、１０、９、８、７、６、５、４、３、２、又は１年）を差し引いた年齢）、又は人の実際の年齢を判定することができる。システムは、目標年齢を勾配として原画像に伝播させて戻すことができる。次いで、勾配の複数のチャネルの絶対値が、少なくとも１つの画素について合計され、視覚化の目的で０〜１の範囲で変倍されてもよい。変倍された画素の値は、ユーザの肌年齢の判定に最も寄与する（かつ最も寄与しない）画素を表し得る。各変倍値（又は値の範囲）には、仮想マスクを生成して画素のスケーリングされた値を図で表すことができるように、カラー又はシェードが割り当てられてもよい。いくつかの例では、ユーザにより提供された習慣及び実践入力と任意選択的に併せてＣＮＮ解析を使用して、スキンケア製品及び／又はレジメン推奨を提供することに役立てることができる。
図１０は、ユーザの画像を捕捉し、かつカスタマイズされた製品推奨を提供するための典型的なユーザインターフェース１０３０を示す。図に示すように、モバイルコンピューティングデバイス１００２は、ユーザの画像を捕捉するためのアプリケーションを提供することができる。したがって、図１０は、画像を捕捉し、かつカスタマイズされた製品推奨を提供するプロセスを開始するためのモバイルコンピューティングデバイス１００２上の初期ページを示す。また、ユーザインターフェース１０３０は、このプロセスを開始するための開始オプション１０３２も含む。
図１１は、本システムのユーザに対して見掛け肌年齢及び／又はカスタマイズされた製品推奨を提供するために解析された画像を示す典型的なユーザインターフェース１１３０を示す。図１０の開始オプション１０３２に応答して、ユーザインターフェース１１３０が提供され得る。図に示すように、画像捕捉デバイス１０３は、ユーザの画像を捕捉するために利用され得る。いくつかの実施形態では、ユーザは以前に捕捉された画像を利用してもよい。それにもかかわらず、画像を捕捉すると、その画像は、ユーザインターフェース１１３０内に提供され得る。ユーザが画像を利用することを所望しない場合、ユーザは画像を再撮影してもよい。ユーザが、その画像を承認する場合、ユーザは、次のオプション１１３２を選択して画像の解析、及び次のユーザインターフェースへの移行を開始することができる。
図１２は、ユーザにアンケートを提供して製品推奨をカスタマイズするのに役立つ典型的なユーザインターフェース１２３０を示す。図に示すように、ユーザインターフェース１２３０は、製品の好み、現行のレジメン等を含む、ユーザに関する追加の詳細を判定するための１つ以上の質問を提供することができる。例として、それらの質問は、ユーザが日焼け止め剤と一緒に保湿剤を利用しているかどうかを含み得る。１つ以上の予め定義された回答１２３２は、ユーザが選択するように提供され得る。
図１３は、アンケートのための追加のプロンプトを提供するための典型的なユーザインターフェース１３３０を示す。図１２のユーザインターフェース１２３０から要求されたデータを入力することに応答して、ユーザインターフェース１３３０が提供され得る。図に示すように、ユーザインターフェース１３３０は、ユーザが選択する予め定義された３つの回答１３３２と一緒に別の質問（ユーザが、よい香りのするスキンケア製品を好むかどうか等）を提供する。また、サブミットオプション１３３４は、選択された回答（複数可）をサブミットするためにも提供され得る。図１３及び図１４は、２つの質問を提供しているが、特定の実施形態に応じて、任意の数の質問がユーザに提供され得ることを理解されたい。それらの質問及び質問数は、ユーザの実際の年齢に依存し得、その年齢は、本明細書の上記に例示されたステップのうちの１つ以上で入力されたものによって、ユーザの肌年齢、及び／又は他の要因に依存し得る。
図１４は、捕捉された画像に基づいて、ユーザの肌年齢を提供するための典型的なユーザインターフェース１４３０を示す。図１３及び図１４のアンケートの完了に応答して、ユーザインターフェース１４３０が提供され得る。図に示すように、ユーザインターフェース１４３０は、ユーザの肌年齢、及び関心領域（複数可）のうちのどの領域（複数可）が、ＣＮＮにより提供された見掛け肌年齢に寄与しているかを指示するための少なくとも１つの識別子１４３２を有する捕捉された画像を提供することができる。いくつかの例では、システムはまた、関心領域のリスト１４３４も提供し得、このリストは、ＣＮＮにより提供された見掛け肌年齢に寄与する。また、説明１４３６、並びにカスタマイズされた製品推奨を閲覧するための製品推奨オプション１４３８も提供され得る。
図１５は、画像解析の結果を表示するための別の典型的なユーザインターフェース１５３０を示す。ユーザインターフェース１５３０は、結果領域１５３２を含み得、この領域は、解析が成功したかどうか、又は処理中に遭遇した問題があった（例えば、画像品質が悪かった）かどうかを表示する。ユーザインターフェース１５３０は、製品推奨オプション（図示せず）を含むことができる。追加的に又は別の方法として、結果領域１５３２は、ユーザに全体的な見掛け肌年齢、及び／又はそれぞれの関心領域の見掛け肌年齢を表示することができる。ユーザインターフェース１５３０は、年齢入力オプション１５３６をユーザに提示することができる。追加の予測オプション１５３８もまた、提供され得る。
図１６は、製品推奨を提供するための典型的なユーザインターフェース１６３０を示す。ユーザによる製品推奨オプションの選択に応答して、ユーザインターフェース１６３０が提供され得る。図に示すように、ユーザインターフェース１６３０は、ユーザの年齢、ユーザの見掛け肌年齢に寄与する関心領域、及び／又は目標年齢（例えば、見掛け肌年齢、及び／又は実際のユーザの年齢から所定の年数を差し引いた年齢）に基づいて判定された１つ以上の推奨製品を提供することができる。具体的には、少なくとも１つの製品は、ユーザの見掛け肌年齢に最も多く寄与する関心領域に配置された肌に適用可能であるものとして判定され得る。例として、クリーム、保湿剤、ローション、日焼け止め、クレンジング剤等が推奨されてもよい。また、推奨のレジメンを提供するためのレジメンオプション１６３２も、提供される。また、購入オプション１６３４も提供され得る。
図１７は、製品推奨の詳細を提供するための典型的なユーザインターフェース１７３０を示す。図１６からのレジメンオプション１６３２の選択に応答して、ユーザインターフェース１７３０が提供され得る。図に示すように、ユーザインターフェース１７３０は、ユーザの美容法における推奨製品を使用するための製品オプション１７３２及びスケジュールオプション１７３４を提供することができる。美容法の第１のステージに関係する追加の情報が、領域１７３６に提供され得る。同様に、レジメンの第２及び／又は次のステージに関係するデータが、領域１７３８に提供され得る。
図１８は、推奨された美容法を提供する典型的なユーザインターフェース１８３０を示す。図１７からのスケジュールオプション１７３４の選択に応答して、ユーザインターフェース１８３０が提供され得る。ユーザインターフェース１８３０は、推奨製品のリスト、並びにレジメンのための日程の詳細を含むスケジュールを提供することができる。具体的には、ユーザインターフェース１８３０は、製品が提供され得る日の時間を提供することができる。詳細オプション１８３４は、製品に関する追加の詳細、及びレジメンをユーザに提供することができる。
図１９は、美容法、及びそこで使用された製品に関連付けられた追加の詳細を提供するための典型的なユーザインターフェース１９３０を示す。ユーザインターフェース１９３０は、図１８からの詳細オプション１８３４の選択に応答して、提供され得る。図に示すように、ユーザインターフェース１９３０は、製品、塗布のヒント等に関する詳細を提供することができる。いくつかの例では、「科学的根拠」オプション１９３２、１９３６、及び「デモ方法」オプション１９３４、１９３８が、提供され得る。科学的根拠オプション１９３２、１９３６の選択に応答して、推奨製品に関する詳細、及び塗布レジメンが、提供され得る。デモ方法オプション１９３４、１９３８の選択に応答して、音響及び／又はビデオが、その製品を塗布するための秘訣についてユーザに教示するために提供され得る。同様に、レジメンの後続の部分（図１９に示したステップ２など）もまた、科学的根拠オプション１９３２、１９３６、及びデモ方法オプション１９３４、１９３８を含むこともできる。
図２０は、判定されたレジメンに関する推奨を提供するための典型的なユーザインターフェース２０３０を示す。購入オプション１６３４（図１６）の選択に応答して、ユーザインターフェース２０３０が提供され得る。図に示すように、ユーザインターフェース２０３０は、１つ以上の推奨製品を購入するための購入オプション２０３２、２０３４、２０３６を含む。また、ユーザインターフェース２０３０は、カートに追加するオプション２０３８、及び買い物を続けるオプション２０４０も提供することができる。
図２１は、製品推奨をユーザタイムラインに提供するための典型的なユーザインターフェース２１３０を示す。図に示すように、ユーザインターフェース２１３０は、１つ以上の推奨製品がユーザのタイムラインに追加されたという通知を提供することができる。製品を購入すると（例えば、図１９からのユーザインターフェース１９３０を介して）、購入された製品は、ユーザのために推奨されたレジメンに追加され得る。したがって、通知は、受領オプション２１３２、及びタイムライン閲覧オプション２１３４を含むことができる。
図２２は、本明細書に記載される実施形態による、カスタマイズされたスキンケア製品及び／又はレジメン推奨を提供するためのリモートコンピューティングデバイス２２０４の構成要素を示す。リモートコンピューティングデバイス２２０４は、プロセッサ２２３０、入力／出力ハードウェア２２３２、ネットワークインターフェースハードウェア２２３４、データ格納デバイス構成要素２２３６（これは、画像データ２２３８ａ、製品データ２２３８ｂ、及び／又は他のデータを格納する）、及びメモリ構成要素２２４０ｂを含む。メモリ構成要素２２４０ｂは、揮発性及び／又は不揮発性メモリ等として構成され得、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ、及び／又は他の種類のＲＡＭを含む）、フラッシュメモリ、セキュアデジタル（secure digital、ＳＤ）メモリ、レジスタ、コンパクトディスク（compact disc、ＣＤ）、デジタル多用途ディスク（digital versatile disc、ＤＶＤ）、及び／又は他の種類の非一過性コンピュータ可読媒体を含み得る。特定の実施形態に応じて、これらの非一過性コンピュータ可読媒体は、リモートコンピューティングデバイス２２０４内部に、及び／又はリモートコンピューティングデバイス２２０４の外部に存在し得る。
メモリ構成要素２２４０ｂは、動作論理２２４２、処理論理２２４４ｂ、訓練論理２２４４ｃ、及び解析論理２２４４ｄを格納することができる。訓練論理２２４４ｃ、処理論理２２４４ｂ、及び解析論理２２４４ｄは、それぞれ、異なる複数の論理断片を含み得、それらの各々は、一例として、コンピュータプログラム、ファームウェア、及び／又はハードウェアとして具現化され得る。ローカル通信インターフェース２２４６もまた、図２２に含まれ、バス又は他の通信インターフェースとして実装され、リモートコンピューティングデバイス２２０４の構成要素間の通信を促進することができる。
プロセッサ２２３０は、命令（データ格納デバイス構成要素２２３６及び／又はメモリ構成要素２２４０ｂ等からの）を受信及び実行するために動作可能な任意の処理構成要素を含むことができる。上述のように、入力／出力ハードウェア２２３２は、図２２の構成要素を含み、かつ／又はそれらとインターフェース接続するように構成され得る。
ネットワークインターフェースハードウェア２２３４は、アンテナ、モデム、ＬＡＮポート、ワイヤレスフィディリティ（wireless fidelity、Ｗｉ−Ｆｉ）カード、ＷｉＭａｘカード、Ｂｌｕｅｔｏｏｔｈ（商標）モジュール、モバイル通信ハードウェア、並びに／又は他のネットワーク及び／若しくはデバイスと通信するための他のハードウェアを含む、任意の有線又は無線ネットワーキングハードウェアを含んでもよく、かつ／又はこれらと通信するように構成されてもよい。この接続から、図１に示したような、リモートコンピューティングデバイス２２０４と他のコンピューティングデバイスとの間の通信が容易にされ得る。
オペレーティングシステム論理２２４２は、リモートコンピューティングデバイス２２０４の構成要素を管理するためのオペレーティングシステム及び／又は他のソフトウェアを含んでもよい。上述のように、訓練論理２２４４ｃは、メモリ構成要素２２４０ｂ内に存在し得、プロセッサ２２３０に畳み込みニューラルネットワークを訓練させるように構成され得る。処理論理２２４４ｂもまた、メモリ構成要素２２４４ｂ内に存在し得、解析論理２２４４ｄによる解析前に画像を処理するように構成され得る。同様に、解析論理２２４４ｄは、肌年齢予測のための画像を解析するのに利用され得る。
図２２の構成要素は、リモートコンピューティングデバイス２２０４内部に存在するものとして例示されているが、これは、単なる一例にすぎないことを理解されたい。いくつかの実施形態では、１つ以上の構成要素は、リモートコンピューティングデバイス２２０４の外部に存在し得、かつ／又はリモートコンピューティングデバイス２２０４は、モバイルデバイスとして構成されてもよい。リモートコンピューティングデバイス２２０４は、単一デバイスとして例示されているが、これは、単なる一例にすぎないこともまた理解されたい。いくつかの実施形態では、訓練論理２２４４ｃ、処理論理２２４４ｂ、及び／又は解析論理２２４４ｄは、異なるコンピューティングデバイス上に存在してもよい。例として、本明細書に記載される機能及び／又は構成要素のうちの１つ以上は、リモートコンピューティングデバイス１０４に通信可能に結合され得る、モバイルコンピューティングデバイス１０２及び／又は他のデバイスによって提供されてもよい。これらのコンピューティングデバイスはまた、本明細書に記載される機能を実行するためのハードウェア及び／又はソフトウェアを含んでもよい。
更に、リモートコンピューティングデバイス２２０４は、別個の論理的な構成要素として、訓練論理２２４４ｃ、処理論理２２４４ｂ、及び解析論理２２４４ｄと共に示されているが、これもまた、一例にすぎない。いくつかの実施形態では、単一の論理断片は、リモートコンピューティングデバイス２２０４に上記の機能性を提供させることができる。
図２３は、カスタマイズされた製品推奨を提供するための流れ図を示す。ブロック２３５０では、ユーザの画像が捕捉される。ブロック２３５２では、その捕捉された画像は、解析のために処理される。ブロック２３５４では、質問が、ユーザに提供される。ブロック２３５６では、質問に対する回答が、ユーザから受信される。ブロック２３５８では、画像は、ＣＮＮによって解析される。ブロック２３６０では、見掛け肌年齢が、ユーザに提供される。ブロック２３６１では、任意選択の肌プロファイルが生成され得る。任意選択の肌プロファイルは、例えば、１つ以上の関心領域の年齢、肌状態、又は特定の関心領域が全体的な肌年齢について有する影響を含んでもよい。ブロック２３６２では、カスタマイズされた製品推奨が、ユーザに提供される。
いくつかの実例では、本明細書に記載される画像及び他のデータのうちの少なくともいくつかは、後で使用されるために履歴データとして格納されてもよい。例として、ユーザの改善状況の追跡は、この履歴データに基づいて判定されてもよい。また、他の解析も、所望に応じて、この履歴データに基づいて実行されてもよい。
本明細書にて開示された寸法及び値は、列挙された正確な数値に厳密に限定されるものとして理解されるべきではない。その代わりに、特に指示がない限り、このような寸法はそれぞれ、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図されている。例えば、「４０ｍｍ」と開示された寸法は、「約４０ｍｍ」を意味するものとする。
相互参照される又は関連する全ての特許又は特許出願、及び本願が優先権又はその利益を主張する任意の特許出願又は特許を含む、本願に引用される全ての文書は、除外又は限定することを明言しない限りにおいて、参照によりその全容が本明細書に援用される。いかなる文献の引用も、本明細書中で開示又は特許請求される任意の発明に対する先行技術であるとはみなされず、あるいはそれを単独で又は他の任意の参考文献（単数又は複数）と組み合わせたときに、そのような発明全てを教示、示唆又は開示するとはみなされない。更に、本文書における用語の任意の意味又は定義が、参照することによって組み込まれた文書内の同じ用語の意味又は定義と矛盾する場合、本文書におけるその用語に与えられた意味又は定義が適用されるものとする。
本発明の特定の実施形態を例示及び説明してきたが、本発明の趣旨及び範囲から逸脱することなく他の様々な変更及び修正を行うことができる点は当業者には明白であろう。したがって、本発明の範囲内に含まれるそのような全ての変更及び修正は、添付の特許請求の範囲にて網羅することを意図したものである。

Claims (10)

  1. 人の見掛け肌年齢を判定するためのシステムであって、上部に格納された論理を有する非一過性コンピュータ可読格納媒体を備え、前記論理が、前記システムに、
    ａ）人間の顔を含むデジタル画像を受信することと、
    ｂ）解析のために前記デジタル画像を処理することであって、前記処理することは、前記デジタル画像内で前記人間の顔の位置を特定することと、前記顔に存在する少なくとも１つの巨視的特徴をマスキングすることと、を含む処理をすることと、
    ｃ）畳み込みニューラルネットワーク（ＣＮＮ）を使用して前記処理された画像を解析することであって、前記解析は、前記人の肌年齢を示す顔の微視的特徴に配置された少なくとも１つの画素を識別することを含む解析をすることと、
    ｄ）前記ＣＮＮによる前記解析に基づいて、前記人の見掛け肌年齢を判定することと、
    ｅ）ユーザに視認可能な表示デバイス上に前記見掛け肌年齢を表示することと、を行わせる、システム。
  2. 画像捕捉デバイスが、コンピュータに結合され、前記デジタル画像が、前記画像捕捉デバイスにより捕捉され、前記コンピュータにより受信される、請求項１に記載のシステム。
  3. 前記巨視的特徴をマスキングすることが、前記顔の巨視的特徴内の画素を、関心領域内に配置された肌のＲＧＢ中央値を有する画素と置き換えることを含む、請求項１又は請求項２に記載のシステム。
  4. 解析のために前記画像を処理することが、前記画像を２つ以上の画像セグメントにセグメント化することを更に含む、請求項１乃至３のいずれか一項に記載のシステム。
  5. 前記ＣＮＮが、各画像セグメントに対するディープニューラルネットワークを含む、請求項４に記載のシステム。
  6. 各ディープニューラルネットワークが、異なる画像セグメントから関心領域を解析し、各解析の結果が、前記関心領域の見掛け肌年齢を判定するために使用される、請求項５に記載のシステム。
  7. 全ての前記ディープニューラルネットワークの解析から得られた結果が、全体的な見掛け肌年齢を提供するために連結されている、請求項６に記載のシステム。
  8. 前記画像を処理することが、２つ以上の入力変化量を前記ＣＮＮに提供することを含む、請求項１乃至７のいずれか一項に記載のシステム。
  9. 第１の入力変化量が、前記画像をセグメント化し、次いで前記巨視的特徴をマスキングすることによって提供され、第２の入力変化量が、前記巨視的特徴をマスキングし、次いで前記画像をセグメント化することによって提供される、請求項８に記載のシステム。
  10. 請求項１乃至９のいずれか一項に記載のシステムを使用することを含む、人の見掛け肌年齢を判定する方法。
JP2019566693A 2017-05-31 2018-05-31 見掛け肌年齢を判定するためのシステム及び方法 Active JP6849825B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762513186P 2017-05-31 2017-05-31
US62/513,186 2017-05-31
PCT/US2018/035291 WO2018222808A1 (en) 2017-05-31 2018-05-31 Systems and methods for determining apparent skin age

Publications (2)

Publication Number Publication Date
JP2020522810A JP2020522810A (ja) 2020-07-30
JP6849825B2 true JP6849825B2 (ja) 2021-03-31

Family

ID=62713101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019566693A Active JP6849825B2 (ja) 2017-05-31 2018-05-31 見掛け肌年齢を判定するためのシステム及び方法

Country Status (6)

Country Link
US (1) US10818007B2 (ja)
EP (1) EP3631679B1 (ja)
JP (1) JP6849825B2 (ja)
KR (1) KR102297301B1 (ja)
CN (1) CN110709856B (ja)
WO (1) WO2018222808A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055762B2 (en) 2016-03-21 2021-07-06 The Procter & Gamble Company Systems and methods for providing customized product recommendations
WO2018126275A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
EP3635626A1 (en) 2017-05-31 2020-04-15 The Procter and Gamble Company System and method for guiding a user to take a selfie
US10990858B2 (en) * 2018-01-05 2021-04-27 L'oreal Machine-implemented facial health and beauty assistant
CN110740252A (zh) * 2018-07-20 2020-01-31 华为技术有限公司 一种图像获取的方法、装置及终端
CN114502061B (zh) * 2018-12-04 2024-05-28 巴黎欧莱雅 使用深度学习的基于图像的自动皮肤诊断
US11961224B2 (en) * 2019-01-04 2024-04-16 Stella Surgical Device for the qualitative evaluation of human organs
US12016696B2 (en) * 2019-01-04 2024-06-25 Stella Surgical Device for the qualitative evaluation of human organs
US12051491B2 (en) 2019-02-19 2024-07-30 Johnson & Johnson Consumer Inc. Use of artificial intelligence to identify novel targets and methodologies for skin care treatment
JP7248820B2 (ja) 2019-04-23 2023-03-29 ザ プロクター アンド ギャンブル カンパニー 美容的皮膚属性を決定するための機器及び方法
WO2020219612A1 (en) 2019-04-23 2020-10-29 The Procter & Gamble Company Apparatus and method for visualizing cosmetic skin attributes
EP3981012A4 (en) * 2019-07-10 2023-07-19 Jiang, Ruowei SYSTEMS AND METHODS FOR PROCESSING IMAGES FOR SKIN ANALYSIS AND FOR VISUALIZING SKIN ANALYSIS
WO2021003574A1 (en) * 2019-07-10 2021-01-14 Jiang Ruowei Systems and methods to process images for skin analysis and to visualize skin analysis
US20210056357A1 (en) * 2019-08-19 2021-02-25 Board Of Trustees Of Michigan State University Systems and methods for implementing flexible, input-adaptive deep learning neural networks
EP4038571A1 (en) * 2019-10-03 2022-08-10 Prieto, Pablo Detection and treatment of dermatological conditions
US11657481B2 (en) * 2019-11-18 2023-05-23 Shinyfields Limited Systems and methods for selective enhancement of skin features in images
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
KR102264315B1 (ko) 2020-01-09 2021-06-14 한국에스케이에프씰 주식회사 다회전 절대위치 검출 토크앵글센서 모듈
US10811138B1 (en) * 2020-03-11 2020-10-20 Memorial Sloan Kettering Cancer Center Parameter selection model using image analysis
KR102167185B1 (ko) * 2020-03-18 2020-10-19 이승락 피부 테스트 방법 및 이를 이용한 화장료 조성물 제조방법
FR3108250A1 (fr) 2020-03-23 2021-09-24 Ieva Procede de determination d’un rituel beaute, dermatologique ou capillaire, associe a un utilisateur specifique
CN113536871A (zh) * 2020-04-17 2021-10-22 纽顿医学美容集团有限公司 图像预处理方法、面部皮肤年龄估计方法及电子设备
CN111582057B (zh) * 2020-04-20 2022-02-15 东南大学 一种基于局部感受野的人脸验证方法
CN113761985A (zh) * 2020-06-05 2021-12-07 中国科学院上海营养与健康研究所 用于确定影响面部衰老程度的局部区域的方法和装置
US20220122354A1 (en) * 2020-06-19 2022-04-21 Pinterest, Inc. Skin tone determination and filtering
JP2023531265A (ja) * 2020-06-30 2023-07-21 ロレアル 空間認識条件付きｇａｎによる高解像度で制御可能な顔のエージング
CN111767858B (zh) * 2020-06-30 2024-03-22 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质
KR20220055018A (ko) 2020-10-26 2022-05-03 딤포 몰라테리 안면 이미지에 기초하여 제품 추천을 제공하는 방법 및 장치
FR3118241B1 (fr) * 2020-12-23 2024-08-09 Oreal Application d’un effet continu via des incorporations de classe estimée par le modèle
WO2022136471A1 (en) * 2020-12-23 2022-06-30 L'oreal Sa Applying a continuous effect via model-estimated class embeddings
FR3125407A1 (fr) * 2021-07-23 2023-01-27 L'oreal Prédiction de résultats de traitement de vieillissement sur la base d’un âgéotype
US20240298960A1 (en) * 2021-04-30 2024-09-12 L'oreal Predicting aging treatment outcomes based on a skin ageotype
IL308471A (en) * 2021-05-20 2024-01-01 Ica Aesthetic Navigation Gmbh Body part analysis methods and systems are performed using a computer
KR102465456B1 (ko) * 2021-08-13 2022-11-11 주식회사 에이아이네이션 인공지능 기반의 얼굴 나이 및 주름 분석을 통한 개인 맞춤형 화장법 추천 방법 및 장치
KR102406377B1 (ko) * 2021-08-13 2022-06-09 주식회사 에이아이네이션 인공지능 기반의 얼굴 부분별 화장 트랜스퍼 정도 조절이 가능한 가상 화장 방법 및 장치
KR102436127B1 (ko) 2021-09-03 2022-08-26 주식회사 룰루랩 인공신경망에 기반하여 주름을 검출하는 방법 및 장치
KR20230046210A (ko) * 2021-09-29 2023-04-05 주식회사 엘지생활건강 나이 추정 장치
US20230196552A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin oiliness
US20230196835A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining dark eye circles
US11816144B2 (en) 2022-03-31 2023-11-14 Pinterest, Inc. Hair pattern determination and filtering
KR102530149B1 (ko) * 2022-07-01 2023-05-08 김수동 얼굴 피부 진단방법
WO2024029600A1 (ja) * 2022-08-04 2024-02-08 花王株式会社 肌状態推定方法
CN117746479A (zh) * 2023-12-20 2024-03-22 相玉科技(北京)有限公司 图像识别的可视化方法、装置、电子设备及介质

Family Cites Families (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
JP3799633B2 (ja) 1995-06-16 2006-07-19 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
KR100269563B1 (ko) 1995-10-23 2000-12-01 사이토메트릭스, 인코오포레이티드 반사적영상화분석을위한장치
JP3912834B2 (ja) 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
US6619860B1 (en) 1997-11-14 2003-09-16 Eastman Kodak Company Photobooth for producing digitally processed images
EP1039417B1 (en) 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP2001268594A (ja) 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
US6959119B2 (en) 2000-11-03 2005-10-25 Unilever Home & Personal Care Usa Method of evaluating cosmetic products on a consumer with future predictive transformation
US6734858B2 (en) 2000-12-27 2004-05-11 Avon Products, Inc. Method and apparatus for use of computer aging to demonstrate a product benefit
US20030065589A1 (en) 2001-10-01 2003-04-03 Daniella Giacchetti Body image templates with pre-applied beauty products
US20030065255A1 (en) 2001-10-01 2003-04-03 Daniela Giacchetti Simulation of an aesthetic feature on a facial image
US6761697B2 (en) 2001-10-01 2004-07-13 L'oreal Sa Methods and systems for predicting and/or tracking changes in external body conditions
US20030065523A1 (en) 2001-10-01 2003-04-03 Francis Pruche Early detection of beauty treatment progress
US7634103B2 (en) 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
GB0128863D0 (en) 2001-12-01 2002-01-23 Univ London Performance-driven facial animation techniques and media products generated therefrom
US7020347B2 (en) 2002-04-18 2006-03-28 Microsoft Corp. System and method for image-based surface detail transfer
JP2004201797A (ja) * 2002-12-24 2004-07-22 Yasutaka Nakada 肌分析方法
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US20040215066A1 (en) 2003-04-23 2004-10-28 Kelly Huang Method of measuring the efficacy of a skin treatment program
TWI226589B (en) 2003-04-28 2005-01-11 Ind Tech Res Inst Statistical facial feature extraction method
US20040223631A1 (en) 2003-05-07 2004-11-11 Roman Waupotitsch Face recognition based on obtaining two dimensional information from three-dimensional face shapes
GB2402535B (en) * 2003-06-05 2006-06-21 Canon Kk Image processing
JP4303092B2 (ja) * 2003-11-12 2009-07-29 株式会社国際電気通信基礎技術研究所 年齢推定装置、年齢推定方法および年齢推定プログラム
US7804997B2 (en) 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
GB2416098A (en) 2004-07-08 2006-01-11 Univ Kent Canterbury Facial image generation system
AU2005286823B2 (en) 2004-09-17 2009-10-01 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US20060274071A1 (en) 2004-09-29 2006-12-07 L'oreal Method of predicting the appearance of at least a portion of an individual's body
CN101083940B (zh) 2004-10-22 2010-06-16 株式会社资生堂 皮肤状况诊断系统和美容咨询系统
GB2424332A (en) 2004-12-13 2006-09-20 Mark Charles Spittle An image processing system
JP4795718B2 (ja) 2005-05-16 2011-10-19 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2007050158A (ja) 2005-08-19 2007-03-01 Utsunomiya Univ 肌画像の処理方法及び処理装置並びにそれを用いた肌年齢の推定方法
US20070052726A1 (en) 2005-09-08 2007-03-08 David Wright Method and system for likeness reconstruction
US7522768B2 (en) 2005-09-09 2009-04-21 Hewlett-Packard Development Company, L.P. Capture and systematic use of expert color analysis
JP2007094549A (ja) 2005-09-27 2007-04-12 Fujifilm Corp 画像処理方法および装置ならびにプログラム
US20070080967A1 (en) 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US20100020164A1 (en) 2005-11-04 2010-01-28 Ronald Perrault Surface Analysis Method and System
US7728904B2 (en) 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
US20070229498A1 (en) 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
CN100386778C (zh) 2006-06-15 2008-05-07 西安交通大学 基于平均脸和衰老比例图的人脸图像年龄变换方法
BE1017201A4 (nl) 2006-07-03 2008-04-01 Karavani Ilan Werkwijze voor het bepalen van de veroudering van de huid van het gelaat van personen.
US8077931B1 (en) 2006-07-14 2011-12-13 Chatman Andrew S Method and apparatus for determining facial characteristics
US8103061B2 (en) 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
US8031914B2 (en) 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
US20110016001A1 (en) 2006-11-08 2011-01-20 24/8 Llc Method and apparatus for recommending beauty-related products
BRPI0806109A2 (pt) 2007-01-05 2011-08-30 Myskin Inc sistema, dispositivo e método para imagem dérmica
US20100185064A1 (en) 2007-01-05 2010-07-22 Jadran Bandic Skin analysis methods
US20090245603A1 (en) 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
US7792379B2 (en) 2007-02-06 2010-09-07 Accenture Global Services Gmbh Transforming a submitted image of a person based on a condition of the person
US8290257B2 (en) 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
WO2008130906A1 (en) 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
WO2008151421A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. User defined characteristics for inheritance based avatar generation
JP4974788B2 (ja) 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US8391639B2 (en) * 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging
US8520906B1 (en) 2007-09-24 2013-08-27 Videomining Corporation Method and system for age estimation based on relative ages of pairwise facial images of people
EP2240077A4 (en) 2008-02-14 2013-10-09 Gregory Goodman SYSTEM AND METHOD FOR COSMETIC ANALYSIS AND TREATMENT DIAGNOSIS
JP5067224B2 (ja) * 2008-03-24 2012-11-07 セイコーエプソン株式会社 オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
US8358348B2 (en) 2008-05-09 2013-01-22 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
US8425477B2 (en) 2008-09-16 2013-04-23 Elc Management Llc Method and system for providing targeted and individualized delivery of cosmetic actives
US8666770B2 (en) 2008-09-04 2014-03-04 Elc Management, Llc Objective model of apparent age, methods and use
US8491926B2 (en) 2008-09-16 2013-07-23 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
CN101556699A (zh) 2008-11-07 2009-10-14 浙江大学 一种基于脸型的人脸衰老图像合成方法
US8725560B2 (en) 2009-02-02 2014-05-13 Modiface Inc. Method and system for simulated product evaluation via personalizing advertisements based on portrait images
DE102009030062A1 (de) 2009-06-22 2010-12-23 Beiersdorf Ag Verfahren zur Altersbestimmung und altersabhängigen Auswahl von kosmetischen Produkten
TW201116257A (en) * 2009-11-13 2011-05-16 Inst Information Industry System and method for analysis of facial defects and computer program product
WO2011067162A1 (en) 2009-12-02 2011-06-09 Unilever Plc Apparatus for and method of measuring skin age
US8401300B2 (en) 2009-12-14 2013-03-19 Conopco, Inc. Targeted image transformation of skin attribute
JP5554984B2 (ja) 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
FR2954837B1 (fr) 2009-12-30 2013-08-23 Natura Cosmeticos Sa Procede d'evaluation de l'etat esthetique et morphologique de la peau et prescription d'un traitement cosmetique et/ou dermatologique
DE102010006741A1 (de) 2010-02-03 2011-08-04 Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 Verfahren zum Verarbeiten eines Endoskopiebildes
US8957981B2 (en) 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
US8582807B2 (en) 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
US8331698B2 (en) 2010-04-07 2012-12-11 Seiko Epson Corporation Ethnicity classification using multiple features
US8550818B2 (en) 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
WO2011152841A1 (en) 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Replacement of a person or object in an image
US9189679B2 (en) * 2010-06-21 2015-11-17 Pola Chemical Industries, Inc. Age estimation method and sex determination method
JP2012053813A (ja) * 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
US8413884B2 (en) 2011-03-03 2013-04-09 Life In Mobile, Inc. Method and apparatus for dynamically presenting content in response to successive scans of a static code
US20120253755A1 (en) 2011-03-30 2012-10-04 Gobel David P Method Of Obtaining The Age Quotient Of A Person
US20120288168A1 (en) * 2011-05-09 2012-11-15 Telibrahma Convergent Communications Pvt. Ltd. System and a method for enhancing appeareance of a face
JP5231685B1 (ja) 2011-07-07 2013-07-10 花王株式会社 顔印象分析方法、美容カウンセリング方法および顔画像生成方法
US8515491B2 (en) 2011-07-28 2013-08-20 Qualcomm Innovation Center, Inc. User distance detection for enhanced interaction with a mobile device
WO2013020247A1 (en) 2011-08-09 2013-02-14 Intel Corporation Parameterized 3d face generation
US20130041733A1 (en) 2011-08-11 2013-02-14 Reise Officer System, method, and computer program product for tip sharing using social networking
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9817946B2 (en) 2011-12-16 2017-11-14 Cerner Innovation, Inc. Graphic representations of health-related status
US20130169621A1 (en) 2011-12-28 2013-07-04 Li Mei Method of creating and transforming a face model and related system
AU2013203345A1 (en) 2012-01-11 2013-07-25 Steven Liew A method and apparatus for facial aging assessment and treatment management
WO2013115801A1 (en) 2012-01-31 2013-08-08 Hewlett-Packard Development Company, L.P. Identification mark with a predetermined color difference
US8254647B1 (en) 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
US10037820B2 (en) 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
US20140089017A1 (en) 2012-09-27 2014-03-27 United Video Properties, Inc. Systems and methods for operating an entertainment control system
US9311564B2 (en) 2012-10-05 2016-04-12 Carnegie Mellon University Face age-estimation and methods, systems, and software therefor
KR20140055819A (ko) 2012-11-01 2014-05-09 삼성전자주식회사 얼굴인식장치 및 그 제어방법
KR20140078459A (ko) 2012-12-17 2014-06-25 최봉우 스마트폰을 이용한 피부 상태 분석 및 관리 방법
US8915435B2 (en) 2013-01-25 2014-12-23 Hewlett-Packard Development Company, L.P. Characterization of color charts
US8976252B2 (en) 2013-01-30 2015-03-10 Hewlett-Packard Development Company, L.P. Acquisition of color calibration charts
US9443132B2 (en) 2013-02-05 2016-09-13 Children's National Medical Center Device and method for classifying a condition based on image analysis
GB201302194D0 (en) 2013-02-07 2013-03-27 Crisalix Sa 3D platform for aesthetic simulation
US9268993B2 (en) 2013-03-13 2016-02-23 Futurewei Technologies, Inc. Real-time face detection using combinations of local and global features
EP2972155B1 (en) * 2013-03-15 2023-08-23 Shiseido Company, Limited Systems and methods for specifying and formulating customized topical agents
US20150045631A1 (en) 2013-03-15 2015-02-12 Lee Pederson Skin health system
US9256963B2 (en) 2013-04-09 2016-02-09 Elc Management Llc Skin diagnostic and image processing systems, apparatus and articles
US9101320B2 (en) 2013-04-09 2015-08-11 Elc Management Llc Skin diagnostic and image processing methods
CN104166835A (zh) 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
WO2015017687A2 (en) 2013-07-31 2015-02-05 Cosmesys Inc. Systems and methods for producing predictive images
CN105407799B (zh) 2013-07-31 2017-12-26 松下电器（美国）知识产权公司 皮肤分析方法、皮肤分析装置、皮肤分析装置的控制方法以及记录介质
WO2015045713A1 (ja) 2013-09-24 2015-04-02 シャープ株式会社 画像処理装置及び画像表示装置
US20150099947A1 (en) 2013-10-04 2015-04-09 Access Business Group International Llc Skin youthfulness index, methods and applications thereof
KR20150059394A (ko) 2013-11-22 2015-06-01 (주)아모레퍼시픽 계량화 수단을 이용한 피부 나이 예측 장치 및 방법
WO2015088079A1 (ko) 2013-12-12 2015-06-18 주식회사 바이오코즈글로벌코리아 맞춤형 개별 화장품 생산 시스템
AU2014368997B2 (en) 2013-12-19 2020-02-27 Motorola Solutions, Inc. System and method for identifying faces in unconstrained media
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9760935B2 (en) 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
CN105488371B (zh) 2014-09-19 2021-04-20 中兴通讯股份有限公司 一种脸部识别方法和装置
EP3218851A4 (en) 2014-11-13 2018-07-11 Intel Corporation Image quality compensation system and method
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
CN104504376A (zh) 2014-12-22 2015-04-08 厦门美图之家科技有限公司 一种人脸图像的年龄分类方法和系统
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
CN104573673A (zh) * 2015-01-28 2015-04-29 广州远信网络科技发展有限公司 一种人脸图像年龄的识别方法
JP6058722B2 (ja) * 2015-03-17 2017-01-11 株式会社ジェイメック 肌画像解析装置、画像処理装置及びコンピュータプログラム
US20160314616A1 (en) 2015-04-23 2016-10-27 Sungwook Su 3d identification system with facial forecast
US9830727B2 (en) 2015-07-30 2017-11-28 Google Inc. Personalizing image capture
KR102439938B1 (ko) 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
WO2017029488A2 (en) 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models
US9754237B2 (en) 2015-12-18 2017-09-05 Ricoh Co., Ltd. Index image quality metric
US20170246473A1 (en) 2016-02-25 2017-08-31 Sava Marinkovich Method and system for managing treatments
CN105760850B (zh) * 2016-03-11 2019-02-15 重庆医科大学 基于皮肤纹理信息的无创年龄估计方法
US10282868B2 (en) 2016-03-21 2019-05-07 The Procter & Gamble Company Method and system for generating accurate graphical chromophore maps
US10438258B2 (en) 2016-03-21 2019-10-08 The Procter & Gamble Company Method and apparatus for generating graphical chromophore maps
US10255482B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Interactive display for facial skin monitoring
US11055762B2 (en) * 2016-03-21 2021-07-06 The Procter & Gamble Company Systems and methods for providing customized product recommendations
US10264250B2 (en) 2016-03-21 2019-04-16 The Procter & Gamble Company Method and apparatus for determining spectral characteristics of an image captured by a camera on a mobile endpoint device
US10255484B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Method and system for assessing facial skin health from a mobile selfie image
CN105844236B (zh) * 2016-03-22 2019-09-06 重庆医科大学 基于皮肤图像信息处理的年龄测试方法
US10002415B2 (en) 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
CN106203306A (zh) * 2016-06-30 2016-12-07 北京小米移动软件有限公司 年龄的预测方法、装置及终端
CN106469298A (zh) * 2016-08-31 2017-03-01 乐视控股（北京）有限公司 基于人脸图像的年龄识别方法及装置
CN106529402B (zh) * 2016-09-27 2019-05-28 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
US10614623B2 (en) 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
US10621771B2 (en) 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
EP3635626A1 (en) 2017-05-31 2020-04-15 The Procter and Gamble Company System and method for guiding a user to take a selfie

Also Published As

Publication number Publication date
CN110709856B (zh) 2023-11-28
EP3631679A1 (en) 2020-04-08
US20180350071A1 (en) 2018-12-06
KR102297301B1 (ko) 2021-09-06
EP3631679B1 (en) 2023-09-13
US10818007B2 (en) 2020-10-27
WO2018222808A1 (en) 2018-12-06
KR20200003402A (ko) 2020-01-09
CN110709856A (zh) 2020-01-17
JP2020522810A (ja) 2020-07-30

Similar Documents

Publication Publication Date Title
JP6849825B2 (ja) 見掛け肌年齢を判定するためのシステム及び方法
CA3015492C (en) Systems and methods for providing customized product recommendations
US10574883B2 (en) System and method for guiding a user to take a selfie
US11832958B2 (en) Automatic image-based skin diagnostics using deep learning
US11282190B2 (en) Systems and methods for hair coverage analysis
JP7407115B2 (ja) 機械実行顔面健康及び美容アシスタント
WO2020219612A1 (en) Apparatus and method for visualizing cosmetic skin attributes
JPWO2020113326A5 (ja)
US20190213452A1 (en) Machine-implemented facial health and beauty assistant
US12067645B2 (en) High-resolution controllable face aging with spatially-aware conditional GANs
JP2021523454A (ja) 毛髪分析のためのシステム及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210304

R150 Certificate of patent or registration of utility model

Ref document number: 6849825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250