JPWO2019116926A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JPWO2019116926A1
JPWO2019116926A1 JP2019559546A JP2019559546A JPWO2019116926A1 JP WO2019116926 A1 JPWO2019116926 A1 JP WO2019116926A1 JP 2019559546 A JP2019559546 A JP 2019559546A JP 2019559546 A JP2019559546 A JP 2019559546A JP WO2019116926 A1 JPWO2019116926 A1 JP WO2019116926A1
Authority
JP
Japan
Prior art keywords
subject
light source
spectral characteristics
spectral
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019559546A
Other languages
English (en)
Other versions
JP7180614B2 (ja
Inventor
信一郎 五味
信一郎 五味
厚史 伊藤
厚史 伊藤
丈士 上森
丈士 上森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019116926A1 publication Critical patent/JPWO2019116926A1/ja
Application granted granted Critical
Publication of JP7180614B2 publication Critical patent/JP7180614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/303—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/2866—Markers; Calibrating of scan
    • G01J2003/2873—Storing reference spectrum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Dermatology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)

Abstract

本開示は、簡易な構成で、環境光源による影響を考慮して被写体の状態を高精度に評価することができるようにする画像処理装置、および画像処理方法、並びにプログラムに関する。撮像された画像内の被写体であるユーザの肌における分光特性である被写体分光特性と、好ましい状態の分光特性との差分二乗平方根和を求め、所定の閾値との比較に基づいて、被写体である肌の状態を評価し、評価結果に応じた推薦商品を提示する。推薦商品提示装置に適用することができる。

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、簡易な構成で、環境光源による影響を考慮して被写体の状態を評価できるようにした画像処理装置、および画像処理方法、並びにプログラムに関する。
被写体として人の肌を撮像し、撮像した肌の画像に基づいて、肌の状態を測定し、肌の状態を評価する技術が提案されている。
例えば、肌を撮像し、撮像した画像に基づいて、肌の血管網や毛穴の状態、または、肌に塗布された化粧品素材の色などを診断する技術が提案されている（特許文献１，２参照）。
特開２００２−２６３０８４号公報 特開２００２−１８９９１８号公報
しかしながら、特許文献１，２のいずれの技術においても、測定時に環境光源の影響を考慮していない、専用の肌測定装置を用いている、または、肌と一緒に基準色票を同時に撮像するなどして環境光源の影響を除去するなどして肌の状態を測定している。
このため、被写体である肌を撮像し、撮像結果から肌色を測定するにあたっては、簡便で、かつ高精度に被写体である肌の色情報を取得することができず、環境光源を調整する、または、基準色票を同時に撮像する必要があり、被写体の状態を高精度に評価するには煩わしさがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、簡易な構成で、環境光源による影響を考慮して被写体の状態を高精度に評価できるようにするものである。
本開示の一側面の画像処理装置は、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部を備える画像処理装置である。
前記評価部には、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価させるようにすることができる。
前記評価部には、前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果を、前記被写体の状態の評価結果として出力させるようにすることができる。
前記所定の閾値は、複数の被写体における被写体分光特性の平均値と、前記参照分光特性との差分二乗平方根和とすることができる。
前記参照分光特性は、前記被写体分光特性における被写体の好ましい状態の分光特性とすることができる。
前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、前記特定部により特定された物品を表示する表示部とをさらに設けるようにすることができる。
前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果からなる前記被写体の状態の評価結果において、前記被写体分光特性と前記参照分光特性との差分二乗平方根和が所定の閾値よりも大きい場合、前記特定部には、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定させるようにすることができる。
前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性とすることができる。
前記物品の情報について、前記物品の適用により前記被写体に生じる分光特性の情報と対応付けて記憶する物品記憶部をさらに設けるようにすることができ、前記特定部には、前記物品記憶部に記憶されている物品のうち、対応付けて記憶されている分光特性と、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性との差分二乗和が小さくなる物品を特定させるようにすることができる。
前記評価部には、前記被写体分光特性を分類することで前記被写体の状態を評価させるようにすることができる。
前記評価部には、前記被写体分光特性を複数の波長域に分割させ、分割させた波長域毎の所定の閾値との差分二乗平方根和との比較結果に基づいて、前記被写体分光特性を分類させ、分類結果を評価インデックスとすることで、前記被写体の状態を評価させることができる。
前記評価インデックスに基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、前記特定部により特定された物品を表示する表示部をさらに設けるようにすることができる。
前記物品の情報について、前記被写体分光特性と前記参照分光特性との差分に基づいた、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品のインデックスと、前記被写体分光特性の評価インデックスとを対応付けて記憶する物品記憶部をさらに設けるようにすることができ、前記特定部は、前記物品記憶部に記憶された物品のうち、前記評価インデックスに対応付けて記憶された物品を、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品として特定させるようにすることができる。
前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性とすることができる。
撮像された画像内の環境光源の分光特性を、環境光源分光特性として推定する環境光源分光特性推定部をさらに設けるようにすることができ、前記評価部には、前記画像より推定された前記環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価させるようにすることができる。
前記環境光源分光特性推定部により推定された前記環境光源分光特性を、測定した場所に対応付けて記憶する環境光源分光特性記憶部をさらに設けるようにすることができ、前記評価部には、前記環境光源分光特性記憶部に記憶されている環境光源分光特性のうち、選択された環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性に基づいて、前記被写体の状態を評価させるようにすることができる。
前記環境光源分光特性推定部により推定された環境光源分光特性により、前記被写体分光特性に対して、前記環境光源が不適切な光源であることを検出する不適切光源検出部と、前記環境光源が不適切な光源であることが検出された場合、前記環境光源が不適切な光源であることを提示する提示部とをさらに設けるようにすることができる。
前記不適切光源検出部には、前記環境光源分光特性推定部により推定された環境光源分光特性における、前記被写体分光特性の平均値との比較に基づいて、不適切な光源であることを検出させるようにすることができる。
本開示の一側面の画像処理方法は、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価処理を含む画像処理方法である。
本開示の一側面のプログラムは、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部をコンピュータとして機能させるプログラムである。
本開示の一側面においては、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態が評価される。
本開示の一側面によれば、特に、簡易な構成で、環境光源による影響を考慮して肌状態を高精度に測定することが可能となる。
本開示の推薦商品提示装置の第１の実施の形態の構成例を説明するブロック図である。 推定された被写体分光特性を評価する際に比較する好ましい被写体分光特性を説明する図である。 特性分類記憶部に記憶されている好ましい被写体分光特性のデータ例を説明する図である。 特性分類記憶部に記憶されている平均的な被写体分光特性のデータ例を説明する図である。 推定された被写体分光特性と好ましい被写体分光特性とから求められる好適な被写体分光特性を説明する図である。 商品記憶部に記憶されている好適な状態の被写体分光特性と対応付けて記憶される商品情報の例を説明する図である。 被写体分光特性に対する適切な環境光源分光特性と不適切な環境光源分光特性とを説明する図である。 推薦商品の表示例を説明する図である。 環境光源が不適切であることの警告例を説明する図である。 図１の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 本開示の推薦商品提示装置の第２の実施の形態の構成例を説明するブロック図である。 推定された被写体分光特性を分類する例を説明する図である。 図１１の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 本開示の推薦商品提示装置の第３の実施の形態の構成例を説明するブロック図である。 被写体分光特性を用いた評価をする際の測定項目毎の使用する波長域を説明する図である。 図１４の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 測定項目の選択画面の表示例を説明する図である。 本開示の推薦商品提示装置の第４の実施の形態の構成例を説明するブロック図である。 図１８の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 環境光源分光特性を選択するための測定環境選択画面の表示例を説明する図である。 本開示の推薦商品提示装置の第５の実施の形態の構成例を説明するブロック図である。 図２１の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．ソフトウェアにより実行させる例
＜＜１．第１の実施の形態＞＞
本開示は、簡易な構成により、環境光源の影響を考慮して、肌の分光特性を高精度に推定し、推定結果に基づいて、肌の状態を評価するものである。
より具体的には、本開示の推薦商品提示装置（画像処理装置）は、簡易な構成により、環境光源の影響を考慮して、ユーザの肌の分光特性を推定し、好ましい分光特性である参照分光特性との比較により、ユーザの肌の状態を評価する。そして、本開示の推薦商品提示装置は、評価結果に基づいて、好適な分光特性の肌となる処理を施す推薦商品（推薦する商品または物品）を選択（特定）して提示する。
尚、本開示において、ユーザの肌の状態の評価とは、画像として撮像された被写体である肌の分光特性と、好ましい肌の状態における好ましい分光特性との比較に対する評価である。また、分光特性の両者の比較については、全波長域、所定の波長域、全波長域を分割した分割波長域毎の平均値、最大値、および最小値などのそれぞれについて、両者の単純な大小比較から、両者の差分そのものや差分と所定の閾値との比較、および両者の比率と所定の閾値との比較、並びに、これらの組み合わせ等を含む。
以下、図１のブロック図を参照して、本開示の推薦商品提示装置の機能を実現する構成例について説明する。
図１の推薦商品提示装置１１は、例えば、スマートフォンに代表される携帯端末などから構成される。推薦商品提示装置１１は、測定部３１、操作部３２、環境光源推定部３３、および被写体分光特性推定部３４を備える。さらに、推薦商品提示装置１１は、被写体特性比較部３５、特性分類記憶部３６、推薦商品選択部３７、商品記憶部３８、出力制御部３９、出力部４０、および不適切光源検出部４１を備える。
測定部３１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、被写体となるユーザの肌を画像として撮像することで測定し、撮像した画像を環境光源推定部３３、および被写体分光特性推定部３４に出力する。また、測定部３１は、フラッシュ３１ａを備えており、撮像に際して、フラッシュ３１ａを発光させた状態の撮像と、フラッシュ３１ａを発光させない状態の撮像と連続的に実施し、合計２枚の画像を撮像して出力する。
操作部３２は、操作ボタンやキーボードなどからなり、測定部３１において、画像を撮像するタイミングにおいて、ユーザにより操作され、操作内容に応じた操作信号を測定部３１に出力する。
環境光源推定部３３は、測定部３１より供給される測定結果であるユーザの肌の画像より、撮像時における環境光源の分光特性を推定し、環境光源分光特性として被写体分光特性推定部３４、および不適切光源検出部４１に出力する。
被写体分光特性推定部３４は、測定部３１より供給される測定結果であるユーザの肌の画像より、環境光源分光特性を用いて、環境光源による影響を除去（低減）して、撮像時における被写体の分光特性を推定し、被写体分光特性として被写体特性比較部３５に出力する。
尚、環境光源、および被写体の分光特性は、いずれも既知の照度でフラッシュ３１ａを発光させた状態の画像と発光させない状態の画像との２枚の画像を利用することにより推定される。環境光源、および被写体の分光特性の具体的な推定方法については、例えば、“Practical Scene Illuminant Estimation via Flash/No-Flash Pairs, Cheng Lu and Mark S. Drew; School of Computing Science, Simon Fraser University, Vancouver, British Columbia, Canada V5A 1S6 {clu,mark}@cs.sfu.ca”を参照されたい。
被写体特性比較部３５は、特性分類記憶部３６に記憶されている肌を被写体としたときの好ましい状態における分光特性を、参照分光特性として読み出し、被写体分光特性推定部３４からの被写体分光特性と比較することで評価し、評価結果を推薦商品選択部３７に出力する。より具体的には、被写体特性比較部３５は、被写体分光特性と参照分光特性との差分を求め、差分の二乗平方根和と所定の閾値とを比較し、比較結果を評価結果として推薦商品選択部３７に出力する。
すなわち、被写体特性比較部３５は、図２で示されるように、実線で示される被写体分光特性推定部３４により供給される被写体分光特性（被写体の状態＝rm(λi)）と、点線で示される特性分類記憶部３６に記憶されている肌を被写体としたときの好ましい状態における参照分光特性（好ましい状態＝rp(λi)）との波長毎の差分diを以下の式（１）で示されるように算出する。
Figure 2019116926
 ・・・（１）
そして、被写体特性比較部３５は、以下の式（２）で示されるように、差分diの二乗平方根和mと所定の閾値thとを比較することで被写体となるユーザの肌の状態を評価し、比較結果を、ユーザの肌の状態の評価結果として出力すると共に、被写体分光特性および好ましい状態の参照分光特性とを併せて推薦商品選択部３７に出力する。
Figure 2019116926
 ・・・（２）
ここで、Σ√di 2は、波長λiにおける差分diの二乗平方根和mである。
また、図２は、被写体分光特性（被写体の状態＝rm(λi)）と、参照分光特性（好ましい状態＝rp(λi)）であり、横軸が波長であり、縦軸が、被写体の分光反射率である。図２で示されるように、人の肌についての、好ましい状態の被写体分光特性は、部位に応じて異なるが、全体として、波長が700nm付近の赤みがより強く、波長が400nm付近の青みがより弱い分光特性となる。
特性分類記憶部３６は、好ましい状態における分光特性を参照分光特性として記憶している。好ましい状態の参照分光特性の情報は、例えば、図３で示されるようなテーブルとして記憶されている。図３のテーブルで示されるように分光特性の情報は、左からインデックス欄、分光特性欄、部位欄、属性欄、および特徴欄が設けられており、インデックス毎に体の部位、年齢と性別からなる属性、並びに、日焼け肌や色白肌などの特徴が記憶されている。好ましい状態は、特性分類記憶部３６に記録されている任意の状態でよく、ユーザが決定することもできる。
図３においては、部位として「頬」の例が示されており、属性として「20代女性」の例が示されており、特徴として「日焼け肌」および「色白肌」が示されている。
また、分光特性において、例えば、インデックス＝１の場合については、{400,0.20}, {405,0.25}, {410,0.30}, …,{695,0.55},{700,0.55}と示されており、{A,B}において、Aが波長を、Bが分光反射率をそれぞれ表しており、被写体特性比較部３５は、図３で示される分光特性の情報に基づいて、図２の点線で示されるような波形を復元することができる。
すなわち、図３においては、インデックス＝１の参照分光特性について、分光特性が「{400,0.20}, {405,0.25}, {410,0.30}, …,{695,0.55},{700,0.55}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「日焼け肌」であることが表されている。
また、図３においては、インデックス＝２の参照分光特性について、分光特性が「{400,0.30}, {405,0.30}, {410,0.35}, …,{695,0.80},{700,0.85}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「色白肌」であることが表されている。
さらに、特性分類記憶部３６は、図４で示されるように、例えば、N人分の被写体分光特性の平均値からなる平均的な被写体の分光特性を平均分光特性として記憶している。図４においては、部位として「頬」と「額」の例が示されており、属性として「20代女性」の例が示されており、特徴として「日焼け肌」、「色白肌」の例が示されており、それぞれの条件における平均的な被写体分光特性が記憶されている。
すなわち、図４においては、インデックス＝１の平均分光特性について、分光特性が「{400,0.20}, {405,0.25}, {410,0.30}, …,{695,0.60},{700,0.65}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「日焼け肌」であることが登録されている。
また、インデックス＝２の平均分光特性について、分光特性が「{400,0.30}, {405,0.30}, {410,0.35}, …,{695,0.80},{700,0.85}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「色白肌」であることが登録されている。
さらに、インデックス＝３の平均分光特性について、分光特性が「{400,0.35}, {405,0.35}, {410,0.40}, …,{695,0.70},{700,0.70}」であり、部位が「額」であり、属性が「20代女性」であり、特徴が「色白肌」であることが登録されている。
被写体特性比較部３５は、好ましい状態の参照分光特性と平均分光特性との差分二乗平方根和mを閾値thとして算出し、被写体分光特性を評価する際に使用するようにしてもよい。また、被写体特性比較部３５は、好ましい状態の参照分光特性と平均分光特性とから分散σを算出し、閾値thをm＋ασとして求めて、被写体分光特性を評価する際に使用するようにしてもよい。ここで、αは、設計者により調整できるパラメータとなる。
推薦商品選択部３７は、ユーザの肌の状態の評価結果である、差分二乗平方根和mと所定の閾値thとの比較結果において、差分二乗平方根和mが所定の閾値thより大きい場合、被写体分光特性と好ましい状態の参照分光特性とに基づいて、商品記憶部３８に記憶されている商品（または物品）のうち推薦すべき商品（または物品）を選択（特定）し、選択結果となる商品の商品情報を出力制御部３９に出力する。
より詳細には、推薦商品選択部３７は、以下の式（３）に基づいて、好ましい状態の参照分光特性rp(λi)と、被写体分光特性rm(λi)との差分に所定の係数αを乗じて、好ましい状態の参照分光特性rp(λi)に加算することで、好適な商品の状態における分光特性rr(λi)を算出する。
Figure 2019116926
 ・・・（３）
すなわち、図５で示されるように、点線で表される好ましい状態の参照分光特性rp(λi)と、実線で表される被写体分光特性rm(λi)との差分に所定の係数αを乗じて、好ましい状態の参照分光特性rp(λi)に加算することで、太線で表される好適な商品の状態における分光特性rr(λi)が求められる。ここで、好適な商品の状態の分光特性とは、例えば、被写体である肌に、商品が適用されたときの理想的な被写体の分光特性であり、換言すれば、被写体に適用される理想的な商品の分光特性である。これに対して、好ましい状態の分光特性（参照分光特性）とは、例えば、被写体である肌に商品が適用される前の状態（商品が適用されていない状態）における理想的な分光特性である。したがって、好適な商品の状態の分光特性は、現状の推定された被写体の分光特性と、被写体である肌に商品が適用される前の状態の好ましい状態の（理想的な）分光特性（参照分光特性）との差分に基づいて求められる、肌に適用することで理想的な被写体の分光特性となることが期待される商品の分光特性であるとも言える。
そして、推薦商品選択部３７は、以下の式（４）で示されるように、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品情報の分光特性rdj(λi)との差分の二乗の総和Djを算出する。
Figure 2019116926
 ・・・（４）
ここで、Djは、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との差分の二乗の総和である。
さらに、推薦商品選択部３７は、以下の式（５）で示されるように、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との差分の二乗の総和Djが最小となる商品を商品記憶部３８より検索して、推薦すべき商品として選択し、出力制御部３９に出力する。
Figure 2019116926
 ・・・（５）
ここで、arg(min Dj)は、差分の二乗の総和Djが最小となる条件の集合を示しており、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との差分の二乗の総和Djが最小となる商品のインデックスが選択されることが表されている。
ここで、商品記憶部３８は、例えば、図６で示されるように商品のインデックス毎に分光特性を記憶している。
図６においては、左からインデックス欄、商品名欄、分光特性欄、特徴欄、および商品の写真欄が設けられており、それぞれに対応する商品情報が登録されている。
図６においては、商品名として図中上から「ファンデーションＡ」、「ファンデーションＢ」、および「クリームＡ」の例が示されており、特徴として、図中上から「美白肌」、「日焼け肌」、および「保湿」の例が示されており、それぞれの商品写真の例が表示されている。
すなわち、図６においては、インデックス＝１の商品情報について、商品名が「ファンデーションＡ」であり、好適な商品の分光特性が「{400,0.35}, {405,0.35}, {410,0.40}, …,{695,0.85},{700,0.90}」であり、特徴が「美白肌」であることが登録されており、併せて対応する商品写真が登録されている。
また、インデックス＝２の商品情報について、商品名が「ファンデーションＢ」であり、好適な商品の分光特性が「{400,0.20}, {405,0.25}, {410,0.25}, …,{695,0.60},{700,0.65}」であり、特徴が「日焼け肌」であることが登録されており、併せて対応する商品写真が登録されている。
さらに、インデックス＝３の商品情報について、商品名が「クリームＣ」であり、好適な商品の分光特性が「{400,0.35}, {405,0.35}, {410,0.40}, …,{695,0.80},{700,0.85}」であり、特徴が「保湿」であることが登録されており、併せて対応する商品写真が登録されている。
不適切光源検出部４１は、環境光源推定部３３より供給される環境光源分光特性と、特性分類記憶部３６に記憶されている平均分光特性とを比較して、被写体分光特性を推定するのに適していない、不適切光源であるか否かを判定して、判定結果を出力制御部３９に出力する。
例えば、図７の上段で示されるように、「やや明るい肌」および「日焼け肌」における平均分光特性を、全波長範囲について、適切に推定するにあたっては、環境光源分光特性が、全波長域に対してまんべんなく分布する照度が望ましい。
ここで、全波長域について、適切に推定するような場合、図７の下段の環境光源分光特性のうち、最上段の白熱電球のように、全波長域について、ある程度の照度（Intensity）が分布しているようであれば適切な環境光源であるとみなすことができる。しかしながら、図７の下段のうち、蛍光灯や白色LEDの環境光源分光特性については、特定の波長域でしか照度が得られないため、不適切な環境光源であるものとみなされる。
すなわち、蛍光灯は、パルス状の特性となるため、波長が435nmや545nm付近のピンポイントの範囲でのみしか十分な照度が得られない。また、白色LEDについては、465nmの数10nm前後の波長域のみでしか十分な照度が得られない。
より具体的には、不適切光源検出部４１は、以下の式（６）を演算することにより、全波長域の平均照度を算出し、所定の閾値よりも大きいか否かにより不適切光源であるか否かを判定する。
Figure 2019116926
 ・・・（６）
ここで、Λは、サンプル数であり、I(λ)は、照度である。
また、波長域を複数の領域に分割し、それぞれの領域において十分な照度が得られるか否かにより不適切な環境光源であるか否かが判定されるようにしてもよい。
全波長域を、例えば、400乃至500nm，500乃至570nm，570乃至630nm，630乃至700nmの４領域のそれぞれについて分割して、例えば、以下の式（７）を算出することにより、不適切な環境光源であるか否かが判定されるようにしてもよい。
Figure 2019116926
 ・・・（７）
ここで、Λiは、波長域毎のサンプル数であり、I(λi)は、波長域毎の照度である。
尚、図７の上段は、「やや明るい肌」および「日焼け肌」における被写体分光特性を表しており、縦軸が分光反射率であり、横軸が波長である。また、図７の下段は、上から白熱電球、蛍光灯、および白色LEDにおける環境光源分光特性を表しており、いずれも縦軸が照度であり、横軸が波長である。
出力制御部３９は、推薦商品選択部３７より供給される推薦商品の情報と、不適切光源検出部４１の環境光源が不適切光源であるか否かの判定結果とを取得して、出力部４０を制御して、推薦商品の商品情報を表示すると共に、不適切光源であるときには警告情報を提示する。
出力部４０は、表示部５１、バイブレータ５２、およびスピーカ５３を備えており、出力制御部３９により制御されて、各種の情報を提示する。
表示部５１は、LCD（Liquid Crystal Display）や有機EL（Electronic Luminescent）などからなるディスプレイであり、出力制御部３９により制御され、所定の画像を表示する。
バイブレータ５２は、出力制御部３９により制御されて、例えば、モータにより偏芯回転軸の重りを回転させることにより、推薦商品提示装置１１の全体を振動させる。
スピーカ５３は、出力制御部３９により制御されて、所定の音声を出力する。
すなわち、出力制御部３９は、推薦商品選択部３７より供給される推薦商品の情報を取得し、例えば、図８で示されるように、推薦すべき商品の商品情報として商品名および商品画像を表示部５１に表示させる。
図８においては、表示部５１において、推薦商品の商品情報として、上段に商品名として「ファンデーションＡ」が表示され、その右側に商品写真が表示されている例が示されている。また、図８においては、「ファンデーションＡ」の商品情報の下には、関連する商品として「ファンデーションＢ」乃至「ファンデーションＥ」が表示され、それぞれ商品画像が表示されている。尚、図８においては、推薦商品は１個である例が示されているが、複数の推薦商品を表示するようにしてもよい。
また、出力制御部３９は、不適切光源検出部４１より現状の被写体分光特性を取得するには環境光源分光特性が不適切であることを示す情報が供給される場合、例えば、図９の左部で示されるように、「ここでは、〇〇は測定できません」といった警告画像を生成して表示部５１に表示させて、環境光源分光特性が不適切であることをユーザに対して警告する。警告は、これに限らず、例えば、他の環境光源が十分に環境で再度撮像するように促すような画像を表示するようにしてもよい。また、図９の左部における「〇〇」は、例えば、肌色やシミなどである。
さらに、出力制御部３９は、不適切光源検出部４１より現状の被写体分光特性を取得するには環境光源分光特性が不適切であるという情報が供給される場合、例えば、図９の中央部で示されるように、バイブレータ５２を制御して、本体を振動させて、環境光源分光特性が不適切であることをユーザに警告する。
また、出力制御部３９は、不適切光源検出部４１より現状の被写体分光特性を取得するには、環境光源分光特性が不適切であるという情報が供給される場合、例えば、図９の右部で示されるように、スピーカ５３を制御して、警告音を発生させて、環境光源分光特性が不適切であることをユーザに警告する。
＜図１の推薦商品提示装置による商品推薦処理＞
次に、図１０のフローチャートを参照して、図１の推薦商品提示装置による商品推薦処理について説明する。
ステップＳ１１において、測定部３１は、ユーザにより操作部３２が操作されて、撮像が指示されると、フラッシュ３１ａを制御して、フラッシュ３１ａを発光させた状態で被写体の画像を撮像し、撮像した画像を環境光源推定部３３、および被写体分光特性推定部３４に出力する。
ステップＳ１２において、測定部３１は、フラッシュ３１ａを発光させない状態で被写体の画像を撮像し、撮像した画像を環境光源推定部３３、および被写体分光特性推定部３４に出力する。
ステップＳ１３において、環境光源推定部３３は、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より環境光源の分光特性を推定し、推定結果を環境光源分光特性として被写体分光特性推定部３４、および、不適切光源検出部４１に出力する。
ステップＳ１４において、被写体分光特性推定部３４は、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より、環境光源分光特性に基づいて、環境光源の影響を除去した後、画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
ステップＳ１５において、被写体特性比較部３５は、推定結果である被写体分光特性と、特性分類記憶部３６に記憶されている好ましい状態の分光特性である参照分光特性とを比較し、比較結果をユーザの肌の状態を評価する評価結果として、被写体分光特性を推薦商品選択部３７に出力する。このとき、被写体特性比較部３５は、被写体分光特性と、好ましい状態の参照分光特性とを、評価結果に併せて、推薦商品選択部３７に出力する。
ステップＳ１６において、推薦商品選択部３７は、評価結果、並びに被写体分光特性および好ましい状態の参照分光特性に基づいて、商品記憶部３８に記憶されている商品の中から推薦すべき商品を推薦商品として選択（特定）し出力制御部３９に出力する。
すなわち、評価結果に基づいて、ユーザの肌の状態の評価結果である、差分二乗平方根和mと所定の閾値thとの比較結果において、差分二乗平方根和mが所定の閾値thより大きい場合、推薦商品選択部３７は、図５を参照して説明したように、被写体分光特性と好ましい状態の参照分光特性とから、上述した式（３）を演算することにより、好適な商品の状態を算出する。そして、推薦商品選択部３７は、商品記憶部３８に記憶されている商品情報より式（４），式（５）により差分の二乗の総和が最小となる、すなわち、好適な商品の状態における分光特性と最も近い分光特性の商品のインデックスを選択し、選択したインデックスに対応する商品を推薦すべき推薦商品として選択する。
尚、推薦商品が選択されるのは、被写体分光特性と参照分光特性との差分二乗平方根和mが、所定の閾値thよりも高いという評価結果の場合である。したがって、例えば、被写体分光特性と参照分光特性との差分二乗平方根和mが、所定の閾値thよりも小さく、図２を参照して説明した比較により、被写体の状態が好ましい状態に近い、または、好ましい状態よりも良い場合については、推薦商品は選択されない。この場合、推薦商品選択部３７は、推薦すべき商品の商品情報の代わりに、例えば、「お肌の状態は好ましい状態です。」といった、ユーザの肌の状態が好ましい状態であることを示す情報を出力制御部３９に出力するようにしてもよい。また、被写体の状態が好ましい状態に近い、または、好ましい状態よりも良い場合については、上述したように、推薦商品が選択されないようにしてもよいし、一般的な商品を推薦するようにしてもよい。
ステップＳ１７において、不適切光源検出部４１は、環境光源分光特性の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切であるか否かに基づいて、不適切光源であるか否かを判定し、判定結果を出力制御部３９に出力する。
ステップＳ１７において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切あり、不適切光源ではないと判定された場合、処理は、ステップＳ１８に進む。
ステップＳ１８において、出力制御部３９は、推薦商品の商品情報を出力部４０の表示部５１に表示し、処理を終了する。尚、例えば、被写体分光特性と参照分光特性との差分二乗平方根和mが、所定の閾値thよりも小さく、図２を参照して説明した比較により、被写体の状態が好ましい状態に近い、または、好ましい状態よりも良い場合については、推薦商品は選択されない。そこで、このような場合、推薦商品選択部３７より、推薦すべき商品の商品情報の代わりに、例えば、「お肌の状態は好ましい状態です。」といった、ユーザの肌の状態が好ましい状態であることを示す情報が出力制御部３９に出力されるようにしてもよい。このようにすることで、出力制御部３９は、推薦商品の商品情報に代えて、「お肌の状態は好ましい状態です。」といった情報を出力部４０の表示部５１に表示することができる。
一方、ステップＳ１７において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きくなく、被写体分光特性を推定する環境光源として不適切あり、不適切光源であると判定された場合、処理は、ステップＳ１９に進む。
ステップＳ１９において、出力制御部３９は、推薦商品の情報と共に、環境光源が不適切光源であることを示す情報を出力部４０の表示部５１に表示する。また、出力制御部３９は、バイブレータ５２を振動させ、スピーカ５３より所定の音声を出力させることにより、環境光源が不適切光源であることを示す情報を表示し、処理を終了する。
尚、環境光源が不適切であるとの警告は、表示部５１による表示による警告、バイブレータ５２の振動による警告、およびスピーカ５３からの音声による警告の少なくともいずれかにより警告できればよいので、必ずしも全ての構成により警告する必要があるわけではない。また、環境光源が不適切である場合の警告方法については、表示部５１、バイブレータ５２、およびスピーカ５３のいずれか、または、いずれかの組み合わせをユーザにより予め設定できるようにしてもよい。
以上の処理により、被写体となるユーザの肌を撮像することにより、環境光源の影響を考慮して、ユーザの肌を被写体とする被写体分光特性を求め、所定の閾値と比較することで、ユーザの肌を評価することが可能となる。さらに、閾値との比較に応じた評価に基づいて、ユーザの肌の状態を好適な状態にさせる商品（または物品）を推薦商品として推薦（特定）して、提示することが可能となる。
また、以上においては、ユーザの肌の評価に応じて、好適な肌の状態にさせるための商品を推薦商品として提示させる例について説明してきたが、ユーザの肌の評価そのものを提示するようにしてもよい。すなわち、被写体となるユーザの肌を撮像することにより、環境光源の影響を考慮して、ユーザの肌を被写体とする被写体分光特性を求め、被写体分光特性の平均値に応じて設定される所定の閾値との比較結果や、所定の閾値との差分がどの程度であり、どの程度状態が良いのか、または、悪いのかを提示するようにしてもよい。
さらに、図１の推薦商品提示装置１１が、ユーザの肌の評価に対応する情報を提示するものであるとみなした場合、推薦商品の提示は、ユーザの肌の評価として提示される情報のうちの１つの情報であるとみなすこともできる。
従って、ユーザの肌の評価に対応する情報は、ユーザの肌を被写体とする被写体分光特性と、被写体分光特性の平均値からなる平均分光特性に応じて設定される所定の閾値との比較結果を示す情報や、所定の閾値との差分に応じて、どの程度状態が良いのか悪いのかを示す情報でもよい。また、ユーザの肌の評価に対応する情報は、例えば、日焼けにより全体として分光反射率が低い場合に、「これ以上の日焼けは控えるようにすることをおススメします。」といったコメントなどでもよい。このため、ユーザの肌の評価に対応する情報が、推薦商品の提示と共に、または、推薦商品の提示に代えて、提示されるようにしてもよいし、評価に対応して何らかの行動を促すような提示であってもよい。
また、以上においては、被写体であるユーザの肌の状態に応じて、好適な状態にするための推薦商品を提示する例について説明してきたが、被写体は、肌の色に限らず、その他の被写体についての色に基づいた評価を行うようにしてもよい。例えば、頭髪、服、食品、および塗装などを被写体とした画像の色に対する評価であってもよく、また、これらの評価に基づいて、好適な色の頭髪にする商品、好適な色の被服商品、好適な色の推薦食品、および好適な色の推薦塗装等を提示するようにしてもよい。
また、ユーザの肌の評価結果に応じて、化粧品等の推薦商品の提示のみならず、推薦すべきサービスを提示するようにしてもよく、例えば、エステティックの施術や運動などのヘルスケア行動を推薦するようにしてもよい。
さらに、以上においては、推薦商品提示装置１１は、スマートフォンなどの携帯端末である例について説明を進めてきたが、測定部３１、操作部３２、出力制御部３９、および出力部４０を除いた構成、すなわち、環境光源推定部３３、被写体分光特性推定部３４、被写体特性比較部３５、特性分類記憶部３６、推薦商品選択部３７、商品記憶部３８、および不適切光源検出部４１については、本体外部に構成されるようにしてもよく、例えば、ネットワークを介してクラウドサーバにより実現するようにしてもよい。
このようにすることで、スマートフォンの処理負荷を低減することが可能となる。また、被写体となるユーザの肌を撮像した画像があれば、クラウドサーバなどにより実現される推薦商品提示装置１１に対して撮像した画像を送信するだけで、ユーザの肌を評価することが可能となる。
また、以上においては、被写体分光特性（被写体の状態＝rm(λi)）と、参照分光特性（好ましい状態＝rp(λi)）との差分diや、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との総和Djを用いる例について説明してきたが、これらは、差分のみならず、例えば、比率で表現するようにしてもよい。
＜＜２．第２の実施の形態＞＞
以上においては、ユーザの肌の画像に基づいた被写体分光特性、および好ましい状態の被写体分光特性の差分二乗平方根和と、平均分光特性、および好ましい状態の参照分光特性の差分に基づいた閾値との比較結果が、ユーザの肌の評価として求められ、ユーザの肌の評価に基づいて、推薦商品（または物品）が選択（特定）されて提示される例について説明してきた。
しかしながら、ユーザの肌の評価は、これに限るものではなく、例えば、被写体分光特性の波長域を複数の領域に分割し、分割した波長域毎の、分光反射率の平均値と閾値との比較結果の組み合わせにより被写体分光特性の分類し、分類結果を用いてユーザの肌の状態を評価するようにしてもよい。
図１１は、被写体分光特性を波長域毎の、分光反射率の平均値と閾値の比較結果の組み合わせに応じて被写体分光特性を分類し、分類結果によりユーザの肌の状態を評価するようにした推薦商品提示装置１１の構成例を示している。
図１１の推薦商品提示装置１１の構成において、図１の推薦商品提示装置１１と同一の機能を備えた構成については、同一の符号を付しており、その説明を適宜省略する。
すなわち、図１１の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる点は、被写体特性比較部３５、特性分類記憶部３６、推薦商品選択部３７、および商品記憶部３８に代えて、被写体特性分類部７１、特性分類記憶部７２、推薦商品選択部７３、および商品記憶部７４を設けた点である。
被写体特性分類部７１は、被写体分光特性を波長域毎の、分光反射率の平均値と閾値の比較結果の組み合わせに応じた被写体分光特性の分類結果を、ユーザの肌の状態の評価として推薦商品選択部７３に出力する。
例えば、図１２で示されるように、被写体分光特性の波長域を、例えば、波長域Ｃ１乃至Ｃ６の６つの波長域に分割した場合、被写体特性分類部７１は、各波長域の被写体分光特性の平均値を、以下の式（８）として求める。
Figure 2019116926
 ・・・（８）
ここで、ｃは各波長域のサンプル数であり、rm(λi)は、各波長域Cm（m＝1,2,…6）における各波長λiの分光反射率である。
さらに、被写体特性分類部７１は、各波長域の被写体分光特性の平均値と閾値との比較により、閾値よりも小さい場合の値、閾値と同程度の場合の値、閾値よりも大きい場合の値からなる３値のいずれかの値に設定し、波長域毎の３値の組み合わせにより、被写体分光特性を分類する。すなわち、この場合、被写体分光特性は、36＝729通りに分類される。そして、被写体特性分類部７１は、分類した被写体分光特性の分類結果に基づいて、特性分類記憶部７２に記憶されている、被写体分光特性の分類結果に対応付けて記憶されている評価インデックスを読み出して、被写体分光特性の評価として推薦商品選択部７３に出力する。
推薦商品選択部７３は、評価インデックスに基づいて、商品記憶部７４に記憶されている商品情報を読み出して出力制御部３９に出力する。すなわち、商品記憶部７４は、評価インデックスと、商品情報のインデックスとを対応付けて記憶している。
尚、図１の推薦商品選択部３７は、被写体分光特性および参照分光特性から求められる好適な商品の状態の分光特性と、商品の分光特性との差分の二乗の総和が最小となる商品情報を選択して、推薦商品として出力している。これに対して、推薦商品選択部７３は、被写体分光特性の分類結果である評価インデックスと対応付けて商品記憶部７４に記憶されているインデックスの商品情報（または物品情報）を選択（特定）して、推薦商品（または推薦物品）として出力している。
すなわち、図１の推薦商品選択部３７は、実質的に被写体分光特性および参照分光特性に基づいて求められる好適な商品の状態の分光特性と最も類似する分光特性を備えた商品情報を推薦商品として選択していると言える。
ここで、好適な商品の状態の分光特性は、被写体分光特性から求められるものであり、また、被写体分光特性もまた、好適な商品の状態の分光特性から求められる。同様に、被写体分光特性の分類結果である評価インデックスは、対応する被写体分光特性の好適な商品の状態の分光特性から求められるものであり、好適な商品の状態の分光特性も、被写体分光特性の分類結果である評価インデックスから求められるものである。
したがって、商品記憶部７４においては、好適な商品の状態の分光特性と、商品情報の分光特性とが最も類似した商品情報のインデックスと評価インデックスとが、対応付けて登録されている。
推薦商品選択部３７は、被写体分光特性と所定の閾値thとの比較によりユーザの肌の状態を評価し、評価結果に基づいて、好適な商品の状態の分光特性に最も類似する分光特性の商品を、推薦商品として選択する。
これに対して、推薦商品選択部７３は、被写体分光特性を評価インデックスに分類することでユーザの肌の状態を評価し、評価結果である評価インデックスにより特定される好適な商品の状態の分光特性と最も類似する分光特性を備えた商品情報のインデックスの商品を推薦商品として選択している。
すなわち、推薦商品選択部３７，７３は、取得する評価結果が、被写体分光特性、および評価インデックスという点で異なるが、いずれにおいても、そこから得られる好適な商品の状態の分光特性に最も近い分光特性を備えた商品情報を選択する点で、実質的に同一の処理を実行していると言える。
＜図１１の推薦商品提示装置による商品推薦処理＞
次に、図１３のフローチャートを参照して、図１１の推薦商品提示装置による商品推薦処理について説明する。尚、図１３のフローチャートにおけるステップＳ３１乃至Ｓ３４，Ｓ３７乃至Ｓ３９の処理は、図１０のステップＳ１１乃至Ｓ１４，Ｓ１７乃至Ｓ１９の処理と同様であるので、その説明は省略する。
すなわち、ステップＳ３５において、被写体特性分類部７１は、被写体分光特性を波長域毎の、分光反射率の平均値と閾値の比較結果の組み合わせに応じた被写体分光特性の分類結果に基づいて、特性分類記憶部７２より対応する評価インデックスの情報を読み出し、ユーザの肌の評価結果として推薦商品選択部７３に出力する。
ステップＳ３６において、推薦商品選択部７３は、分類結果に対応する評価インデックスの情報に基づいて、評価インデックスに対応付けて登録されているインデックスの商品情報を商品記憶部７４より読み出して、推薦すべき推薦商品（または推薦物品）として選択（特定）し出力制御部３９に出力する。
以上の処理により、被写体となるユーザの肌を撮像することにより、環境光源の影響を考慮して、ユーザの肌を被写体とする被写体分光特性を求め、被写体分光特性を分類し、分類結果に対応する評価インデックスを出力することで、ユーザの肌を評価することが可能となる。さらに、分類結果に応じて設定される評価インデックスに基づいて、評価インデックスに対応付けて、ユーザの肌の状態を好適な商品の状態にさせる商品情報として登録されているインデックスの商品（または物品）を推薦商品として選択（特定）させて提示させることが可能となる。
＜＜３．第３の実施の形態＞＞
以上においては、測定部３１により撮像された画像に基づいて、環境光源分光特性と被写体分光特性とを利用して、ユーザの肌を評価し、評価に基づいて好適な商品の状態にさせる商品を推薦商品として提示し、環境光源が不適切なときに警告する情報を提示する例について説明してきた。
しかしながら、環境光源が不適切である場合には、適切にユーザの肌を評価することができない可能性があり、また、不適切な評価に基づいて提示された推薦商品を使用しても適切な効果が得られない可能性がある。そこで、推定された環境光源分光特性に基づいて、適切にユーザの肌を評価できる項目を提示して、ユーザにより選択できるようにして、選択された項目について適切な評価に基づいた推薦商品を提示できるようにしてもよい。
図１４は、推定された環境光源分光特性に基づいて、適切にユーザの肌の状態を評価できる項目を提示し、ユーザにより選択できるようにして、選択された項目について適切な評価に基づいた推薦商品を提示できるようにした推薦商品提示装置１１の構成例を示している。
尚、図１４の推薦商品提示装置１１において、図１の推薦商品提示装置１１における構成と、同一の機能を備えた構成については、同一の符号を付しており、その説明は、適宜省略するものとする。
すなわち、図１４の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる点は、不適切光源検出部４１に代えて、測定項目選択部８１を設けた点である。
測定項目選択部８１は、環境光源推定部３３より供給される環境光源分光特性と、特性分類記憶部３６に記憶された被写体分光特性との比較により、測定に適した測定項目を抽出し、出力制御部３９に出力し、測定に適した測定項目の選択画像を表示させる。そして、測定項目選択部８１は、選択画像に基づいて、ユーザにより操作部３２が操作されて選択されることにより、選択された選択項目を被写体特性比較部３５に出力する。
被写体特性比較部３５は、選択項目に対応する波長域のユーザの被写体分光特性および参照分光特性の差分二乗平方根和と、平均分光特性および参照分光特性の差分二乗平方根和を利用した閾値との比較結果を、ユーザの肌の状態の評価結果として出力する。
より詳細には、例えば、図１５で示されるように、測定項目が肌色の場合、使用する波長域は、400nm乃至700nmであり、測定項目が肌のしみ（赤み）の場合、使用する波長域は、545nm乃至575nm、および645nm乃至675nmであり、測定項目が肌のしみ（日焼け）の場合、使用する波長域は、645nm乃至675nm、および845nm乃至875nmであり、測定項目が脈の場合、使用する波長域は、500nm乃至550nmであり、測定項目がAGEs（糖化最終生成物）の場合、使用する波長域は、400nm乃至450nmである。
被写体特性比較部３５は、測定項目選択部８１より供給される測定項目に応じて、対応する波長域の被写体分光特性を用いて被写体分光特性と参考分光特性とを比較し、比較結果に基づいてユーザの肌の状態を評価して、推薦商品選択部３７に出力する。
推薦商品選択部３７は、測定項目に応じた波長域について、被写体分光特性と好ましい状態の参照分光特性とに基づいて、好適な商品の状態を求めて、商品記憶部３８に記憶されている商品のうち推薦すべき商品を選択し、選択結果となる商品の商品情報を出力制御部３９に出力する。
＜図１４の推薦商品提示装置による商品推薦処理＞
次に、図１６のフローチャートを参照して、図１４の推薦商品提示装置による商品推薦処理について説明する。
ステップＳ５１乃至Ｓ５３の処理により、測定部３１により被写体となるユーザの肌を撮像し、撮像した画像に基づいて、環境光源推定部３３が、環境光源分光特性を推定して、被写体分光特性推定部３４、および測定項目選択部８１に出力する。
ステップＳ５４において、測定項目選択部８１は、環境光源分光特性に基づいて、測定に適した測定項目を選択して出力制御部３９に出力する。
より詳細には、例えば、環境光源分光特性の400nm乃至700nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、図１５を参照して説明したように、肌色が測定に適した測定項目として選択される。また、同様に、環境光源分光特性のうち、545nm乃至575nm、および645nm乃至675nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、図１５を参照して説明したように、肌のしみ（赤み）が、測定に適した測定項目として選択される。
さらに、環境光源分光特性のうち、645nm乃至675nm、および845nm乃至875nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、肌のしみ（日焼け）が、測定に適した測定項目として選択される。また、500nm乃至550nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、脈が測定項目として選択される。さらに、400nm乃至450nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、AGEs（糖化最終生成物）が測定に適した測定項目として選択される。
出力制御部３９は、測定に適した測定項目の情報に基づいて、例えば、図１７で示されるような選択画面を生成して、表示部５１に表示させる。
図１７においては、最上段において「測定項目選択」と表示され、以下に測定に適した測定項目が表示され、左側の丸印状のボタンを操作部３２により操作することで、選択することができる。図１７においては、測定項目として、上から「肌色」、「脈」、および「肌のしみ」の順序に示されており、最上段のボタンに色が付されており、測定項目として「肌色」が選択されたときの例が示されている。
図１７で示されるように測定項目選択画面が表示されて、ユーザにより操作部３２が操作されて、測定項目が選択されると、測定項目選択部８１は、選択された測定項目と、対応する波長域の情報を被写体特性比較部３５に出力する。
ステップＳ５５において、被写体分光特性推定部３４が、被写体分光特性を推定し、推定結果を被写体特性比較部３５に出力する。
ステップＳ５６において、被写体特性比較部３５は、選択された測定項目を測定するのに必要とされる波長域について、被写体分光特性と参照分光特性との差分を求め、差分二乗平方根和mを求めると共に、閾値thと比較することで、ユーザの肌を評価し、評価結果である、閾値thとの比較結果と併せて、被写体分光特性の推定結果、および選択された測定項目の情報を推薦商品選択部３７に出力する。
ステップＳ５７は、推薦商品選択部３７は、選択された測定項目を測定するのに必要とされる波長域の差分二乗平方根和mと閾値thとの比較結果と併せて、被写体分光特性の推定結果、および選択された測定項目の情報に基づいて、商品記憶部３８に記憶されている商品情報より、推薦すべき商品を推薦商品として選択し、選択した推薦商品の情報を出力制御部３９に出力する。尚、推薦商品の選択方法の詳細については、選択された測定項目の測定に必要とされる波長域の情報のみを使用する以外は、図１の推薦商品提示装置１１と同様であるので、その説明は省略する。
ステップＳ５８において、出力制御部３９は、推薦商品の情報を表示部５１に表示させる。
以上の処理により、被写体となるユーザの肌を撮像することにより、環境光源により測定に適した測定項目だけを選択肢とする測定項目選択画面を表示することで、そのいずれかをユーザに選択させて、選択された測定項目に必要とされる被写体分光特性を用いて、所定の閾値と比較することで、環境光源に応じた適切なユーザの肌の評価を実現することができる。また、適切な評価結果に基づいて、ユーザの肌の状態を好適な状態にさせる商品を適切に選択（特定）して推薦商品（または推薦物品）として提示することができる。尚、環境光源により測定に適した測定項目については、その測定項目を表示しつつ、ユーザの選択を待たず、自動的に測定に適した測定項目の被写体分光特性を用いて、所定の閾値と比較することで、環境光源に応じた適切なユーザの肌の評価をするようにしてもよい。このようにすることで、測定項目選択画面の表示と、ユーザによる選択を待たずに迅速に、肌の評価を提示することが可能となる。
＜＜４．第４の実施の形態＞＞
以上においては、毎回、環境光源分光特性を推定し、被写体分光特性に基づいた商品推薦処理を実現する例について説明してきたが、ユーザがある程度限られた環境でのみ使用するような場合、一度測定した環境光源分光特性については、記憶しておき、再利用できるようにしてもよい。
図１８は、環境光源分光特性を記憶しておき、再利用できるようにした推薦商品提示装置１１の構成例を示している。尚、図１８の推薦商品提示装置１１の構成において、図１の推薦商品提示装置１１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図１８の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる点は、新たに、環境光源登録部１０１、環境光源記憶部１０２、および環境光源選択部１０３を設けた点である。
環境光源登録部１０１は、環境光源推定部３３より新たな環境光源分光特性が供給されるとき、出力制御部３９を介して、環境光源分光特性を登録するか否かをユーザに問い合わせる画像を表示部５１に表示させる。そして、これに応じてユーザにより操作部３２が操作されて、登録が指示されると、環境光源登録部１０１は、環境光源分光特性を、現在の位置情報と対応付けて環境光源記憶部１０２に登録する。
尚、現在の位置情報については、ユーザが操作部３２を操作して、位置を特定する情報として、「自室」、「洗面所」、または、「化粧室」といった情報を入力するようにしてもよい。また、現在の位置情報については、図示せぬGPS（Global Positioning System）などを利用して検出される地球上の緯度経度からなる位置情報と対応付けて登録するようにしてもよい。
環境光源選択部１０３は、測定部３１により画像が撮像されるとき、出力制御部３９を介して、表示部５１に環境光源記憶部１０２に登録されている環境光源分光特性のいずれかを利用するかを問い合わせる画像を表示させ、いずれかが選択されたとき、選択された環境光源分光特性の情報を読み出して、被写体分光特性推定部３４に出力する。
＜図１８の推薦商品提示装置による商品推薦処理＞
次に、図１９のフローチャートを参照して、図１８の推薦商品提示装置１１による商品推薦処理について説明する。
ステップＳ７１，Ｓ７２において、測定部３１は、フラッシュ３１ａを発光させた場合と、発光させない場合の画像を撮像し、環境光源推定部３３、および被写体分光特性推定部３４に出力する。
ステップＳ７３において、環境光源選択部１０３は、出力制御部３９を介して、例えば、図２０で示されるような、環境光源記憶部１０２に記憶されている環境光源分光特性の情報のいずれか、または、登録された環境光源分光特性を利用しないかのいずれかを選択する選択画像を表示部５１に表示させる。
図２０には、表示部５１における選択画像の表示例が示されており、最上段において「測定環境選択」と表示され、その下に環境光源記憶部１０２に登録されている環境光源分光特性と対応付けて登録されている場所として、上から、「自室」、「洗面所」、「化粧室」、および「利用しない」が選択肢として表示されており、選択肢のそれぞれの左側に丸印状の選択ボタンが表示されている。
選択ボタンのいずれかが、操作部３２により操作されることにより、選択肢が選択される。
ステップＳ７４において、環境光源選択部１０３は、操作部３２が操作されて、いずれか登録された環境光源分光特性が選択されたか否かを判定する。
ステップＳ７４において、例えば、「利用しない」が選択されて、登録された環境光源分光特性が選択されていない場合、処理は、ステップＳ７５に進む。
ステップＳ７５において、環境光源推定部３３は、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より環境光源分光特性を推定し、推定結果を被写体分光特性推定部３４、不適切光源検出部４１、および環境光源登録部１０１に出力する。
ステップＳ７６において、環境光源登録部１０１は、出力制御部３９を介して、表示部５１に現在の場所に対応付けて、ここで推定された環境光源分光特性を登録するか否かを問い合わせる画像を表示させる。
ステップＳ７７において、環境光源登録部１０１は、操作部３２が操作されて、ここで推定された環境光源分光特性を場所に対応付けて環境光源記憶部１０２に登録することが指示されたか否かを判定する。
ステップＳ７７において、ここで推定された環境光源分光特性を場所に対応付けて環境光源記憶部１０２に登録することが指示された場合、処理は、ステップＳ７８に進む。
ステップＳ７８において、環境光源登録部１０１は、ここで推定された環境光源分光特性を、現在の場所の情報と対応付けて環境光源記憶部１０２に登録する。
尚、ステップＳ７７において、環境光源分光特性を登録する指示がない場合、ステップＳ７８の処理はスキップされる。
ステップＳ７９において、被写体分光特性推定部３４は、ここで推定された環境光源分光特性により、環境光源の影響を除去して、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
尚、ステップＳ７４において、環境光源記憶部１０２に登録されているいずれかの環境光源分光特性が選択された場合、処理は、ステップＳ８０に進む。
ステップＳ８０において、被写体分光特性推定部３４は、選択された環境光源分光特性により、環境光源の影響を除去して、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
尚、ステップＳ８１乃至Ｓ８５の処理は、図１０のフローチャートにおけるステップＳ１５乃至Ｓ１９の処理と同様であるので、説明は省略する。
すなわち、登録された環境光源分光特性のいずれかが選択された場合は、選択された環境光源分光特性を利用して環境光源の影響が除去された状態で被写体分光特性が推定され、登録された環境光源分光特性のいずれかが選択されない場合、ここで推定された環境光源分光特性を利用して環境光源の影響が除去された状態で被写体分光特性が推定される。
結果として、一度登録された場所の環境光源分光特性については、推定する必要がなくなり、読み出すだけで再利用することができるので、環境光源分光特性の推定処理に係る負荷を低減し、処理速度を向上させることが可能となる。
＜＜５．第５の実施の形態＞＞
以上においては、被写体を撮像する測定部３１により撮像された画像を用いて、被写体分光特性と、環境光分光特性との両方を推定する例について説明してきたが、それぞれの測定部を設けるようにして、環境光源分光特性をより高精度に推定できるようにしてもよい。
図２１は、被写体分光特性を推定するための画像を撮像する測定部３１に加えて、環境光源分光特性を推定するための画像を撮像するための環境光源測定部をさらに設けるようにした推薦商品提示装置１１の構成例を示している。
図２１の推薦商品提示装置１１において、図１の推薦商品提示装置１１の構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図２１の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる構成は、新たに環境光源分光特性を推定するための画像を撮像する環境光源測定部１２１および環境光源推定部１２２が設けられた点である。
環境光源測定部１２１は、基本的には測定部３１と同一の構成であるが、環境光源となり得る、環境光源の測定に適した画像の撮像が可能な方向を撮像し、撮像した画像を環境光源推定部１２２に出力する。環境光源測定部１２１は、例えば、ウェアラブル端末などに設けられるようにして、環境光源となりうる光源を適切に撮像できる構成が望ましい。
環境光源推定部１２２は、環境光源測定部１２１により撮像された画像に基づいて、例えば、“コンピュータービジョンと分光反射率推定（応用物理学会誌）富永昌治著 1997 26巻12号”のように光源の種別、光源の分光特性を推定して環境光源分光特性として、推定結果を被写体分光特性推定部３４および不適切光源検出部４１に出力する。
＜図２１の推薦商品提示装置による商品推薦処理＞
次に、図２２のフローチャートを参照して、図２１の推薦商品提示装置１１による商品推薦処理について説明する。
ステップＳ１０１において、環境光源測定部１２１は、ユーザにより操作部３２が操作されて、撮像が指示されると、環境光源となり得る光源が確実に存在する方向の画像を撮像し、撮像した画像を環境光源推定部１２２に出力する。
ステップＳ１０２において、測定部３１は、フラッシュ３１ａを制御して、フラッシュ３１ａを発光させた状態で被写体の画像を撮像し、撮像した画像を被写体分光特性推定部３４に出力する。
ステップＳ１０３において、測定部３１は、フラッシュ３１ａを発光させない状態で被写体の画像を撮像し、撮像した画像を被写体分光特性推定部３４に出力する。
ステップＳ１０４において、環境光源推定部１２２は、環境光源測定部１２１より供給される画像より環境光源の分光特性を推定し、推定結果を環境光源分光特性として被写体分光特性推定部３４、および、不適切光源検出部４１に出力する。
ステップＳ１０５において、被写体分光特性推定部３４は、環境光源推定部１２２より供給された環境光源分光特性により、環境光源の影響を除去して、測定部３１により撮像された画像より画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
ステップＳ１０６において、被写体特性比較部３５は、推定結果である被写体分光特性と、特性分類記憶部３６に記憶されている好ましい状態の分光特性である参照分光特性とを比較し、比較結果をユーザの肌の状態を評価する評価結果として、被写体分光特性を推薦商品選択部３７に出力する。このとき、被写体特性比較部３５は、被写体分光特性と、好ましい状態の参照分光特性とを、評価結果に併せて、推薦商品選択部３７に出力する。
ステップＳ１０７において、推薦商品選択部３７は、評価結果、並びに被写体分光特性および好ましい状態の参照分光特性に基づいて、商品記憶部３８に記憶されている商品の中から推薦すべき商品を推薦商品（または推薦物品）として選択（特定）し出力制御部３９に出力する。
ステップＳ１０８において、不適切光源検出部４１は、環境光源推定部１２２より供給された環境光源分光特性の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切であるか否かに基づいて、不適切光源であるか否かを判定し、判定結果を出力制御部３９に出力する。
ステップＳ１０８において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切あり、不適切光源ではないと判定された場合、処理は、ステップＳ１０９に進む。
ステップＳ１０９において、出力制御部３９は、推薦商品の商品情報を出力部４０の表示部５１に表示し、処理を終了する。
一方、ステップＳ１０８において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きくなく、被写体分光特性を推定する環境光源として不適切あり、不適切光源であると判定された場合、処理は、ステップＳ１１０に進む。
ステップＳ１１０において、出力制御部３９は、推薦商品の情報と共に、環境光源が不適切光源であることを示す情報を出力部４０の表示部５１に表示する。また、出力制御部３９は、バイブレータ５２を振動させ、スピーカ５３より所定の音声を出力させることにより、環境光源が不適切光源であることを示す情報を表示し、処理を終了する。
以上の処理により、環境光源分光特性を推定するための構成を別途設けるようにしたことにより、環境光源分光特性を高精度の推定することが可能となるので、より適切に環境光源の影響を除去して、被写体分光特性を推定することが可能となる。
また、図２１の推薦商品提示装置１１の環境光源測定部１２１、および環境光源推定部１２２により推定された環境光源分光特性を、推定された場所に対応付けて、例えば、クラウドサーバ等に登録し、環境光源測定部１２１、および環境光源推定部１２２を備えていない、例えば、図１８の推薦商品提示装置１１により利用できるようにしてもよい。
＜＜６．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図２３は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図２３におけるCPU１００１が、図１における環境光源推定部３３、被写体分光特性推定部３４、被写体特性比較部３５、推薦商品選択部３７、出力制御部３９、および不適切光源検出部４１、図１１の被写体特性分類部７１、図１４の測定項目選択部８１、図１８の環境光源登録部１０１、および環境光源選択部１０３、並びに、図２１の環境光源推定部１２２の機能を実現させる。また、図２３における記憶部１００８が、図１，図１１，図１４，図１８，図２１の特性分類記憶部３６、および商品記憶部３８、並びに図１８の環境光源記憶部１０２を実現する。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部を備える
画像処理装置。
＜２＞ 前記評価部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
＜１＞に記載の画像処理装置。
＜３＞ 前記評価部は、前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果を、前記被写体の状態の評価結果として出力する
＜２＞に記載の画像処理装置。
＜４＞ 前記所定の閾値は、複数の被写体における被写体分光特性の平均値と、前記参照分光特性との差分二乗平方根和である
＜３＞に記載の画像処理装置。
＜５＞ 前記参照分光特性は、前記被写体分光特性における被写体の好ましい状態の分光特性である
＜１＞乃至＜４＞のいずれかに記載の画像処理装置。
＜６＞ 前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
前記特定部により特定された物品を表示する表示部とをさらに備える
＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜７＞ 前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果からなる前記被写体の状態の評価結果において、前記被写体分光特性と前記参照分光特性との差分二乗平方根和が所定の閾値よりも大きい場合、
前記特定部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する
＜６＞に記載の画像処理装置。
＜８＞ 前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
＜６＞に記載の画像処理装置。
＜９＞ 前記物品の情報について、前記物品の適用により前記被写体に生じる分光特性の情報と対応付けて記憶する物品記憶部をさらに備え、
前記特定部は、前記物品記憶部に記憶されている物品のうち、対応付けて記憶されている分光特性と、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性との差分二乗和が小さくなる物品を特定する
＜６＞に記載の画像処理装置。
＜１０＞ 前記評価部は、前記被写体分光特性を分類することで前記被写体の状態を評価する
＜１＞に記載の画像処理装置。
＜１１＞ 前記評価部は、前記被写体分光特性を複数の波長域に分割し、分割した波長域毎の所定の閾値との差分二乗平方根和との比較結果に基づいて、前記被写体分光特性を分類し、分類結果を評価インデックスとすることで、前記被写体の状態を評価する
＜１０＞に記載の画像処理装置。
＜１２＞ 前記評価インデックスに基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
前記特定部により特定された物品を表示する表示部をさらに備える
＜１１＞に記載の画像処理装置。
＜１３＞ 前記物品の情報について、前記被写体分光特性と前記参照分光特性との差分に基づいた、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品のインデックスと、前記被写体分光特性の評価インデックスとを対応付けて記憶する物品記憶部をさらに備え、
前記特定部は、前記物品記憶部に記憶された物品のうち、前記評価インデックスに対応付けて記憶された物品を、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品として特定する
＜１２＞に記載の画像処理装置。
＜１４＞ 前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
＜１３＞に記載の画像処理装置。
＜１５＞ 撮像された画像内の環境光源の分光特性を、環境光源分光特性として推定する環境光源分光特性推定部をさらに備え、
前記評価部は、前記画像より推定された前記環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
＜１＞乃至＜１４＞のいずれかに記載の画像処理装置。
＜１６＞ 前記環境光源分光特性推定部により推定された前記環境光源分光特性を、測定した場所に対応付けて記憶する環境光源分光特性記憶部をさらに備え、
前記評価部は、前記環境光源分光特性記憶部に記憶されている環境光源分光特性のうち、選択された環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性に基づいて、前記被写体の状態を評価する
＜１５＞に記載の画像処理装置。
＜１７＞ 前記環境光源分光特性推定部により推定された環境光源分光特性により、前記被写体分光特性に対して、前記環境光源が不適切な光源であることを検出する不適切光源検出部と、
前記環境光源が不適切な光源であることが検出された場合、前記環境光源が不適切な光源であることを提示する提示部とをさらに備える
＜１５＞に記載の画像処理装置。
＜１８＞ 前記不適切光源検出部は、前記環境光源分光特性推定部により推定された環境光源分光特性における、前記被写体分光特性の平均値との比較に基づいて、不適切な光源であることを検出する
＜１７＞に記載の画像処理装置。
＜１９＞ 撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価処理を含む
画像処理方法。
＜２０＞ 撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部をコンピュータとして機能させる
プログラム。
１１ 推薦商品提示装置， ３１ 収録部， ３１ａ フラッシュ， ３２ 操作部， ３３ 環境光源推定部， ３４ 被写体分光特性推定部， ３５ 被写体特性比較部， ３６ 特性分類記憶部， ３７ 推薦商品選択部， ３８ 商品記憶部， ３９ 出力制御部， ４０ 出力部， ４１ 不適切光源検出部， ５１ 表示部， ５２ バイブレータ， ５３ スピーカ， ７１ 被写体特性分類部， ７２ 特性分類記憶部， ７３ 推薦商品選択部， ７４ 商品記憶部， ８１ 測定項目選択部， １０１ 環境光源登録部， １０２ 環境光源記憶部， １０３ 環境光源選択部， １２１ 環境光源測定部， １２２ 環境光源推定部

Claims (20)

  1. 撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部を備える
    画像処理装置。
  2. 前記評価部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
    請求項１に記載の画像処理装置。
  3. 前記評価部は、前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果を、前記被写体の状態の評価結果として出力する
    請求項２に記載の画像処理装置。
  4. 前記所定の閾値は、複数の被写体における被写体分光特性の平均値と、前記参照分光特性との差分二乗平方根和である
    請求項３に記載の画像処理装置。
  5. 前記参照分光特性は、前記被写体分光特性における被写体の好ましい状態の分光特性である
    請求項１に記載の画像処理装置。
  6. 前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
    前記特定部により特定された物品を表示する表示部とをさらに備える
    請求項１の記載の画像処理装置。
  7. 前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果からなる前記被写体の状態の評価結果において、前記被写体分光特性と前記参照分光特性との差分二乗平方根和が所定の閾値よりも大きい場合、
    前記特定部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する
    請求項６に記載の画像処理装置。
  8. 前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
    請求項６に記載の画像処理装置。
  9. 前記物品の情報について、前記物品の適用により前記被写体に生じる分光特性の情報と対応付けて記憶する物品記憶部をさらに備え、
    前記特定部は、前記物品記憶部に記憶されている物品のうち、対応付けて記憶されている分光特性と、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性との差分二乗和が小さくなる物品を特定する
    請求項６に記載の画像処理装置。
  10. 前記評価部は、前記被写体分光特性を分類することで前記被写体の状態を評価する
    請求項１に記載の画像処理装置。
  11. 前記評価部は、前記被写体分光特性を複数の波長域に分割し、分割した波長域毎の所定の閾値との差分二乗平方根和との比較結果に基づいて、前記被写体分光特性を分類し、分類結果を評価インデックスとすることで、前記被写体の状態を評価する
    請求項１０に記載の画像処理装置。
  12. 前記評価インデックスに基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
    前記特定部により特定された物品を表示する表示部をさらに備える
    請求項１１に記載の画像処理装置。
  13. 前記物品の情報について、前記被写体分光特性と前記参照分光特性との差分に基づいた、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品のインデックスと、前記被写体分光特性の評価インデックスとを対応付けて記憶する物品記憶部をさらに備え、
    前記特定部は、前記物品記憶部に記憶された物品のうち、前記評価インデックスに対応付けて記憶された物品を、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品として特定する
    請求項１２に記載の画像処理装置。
  14. 前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
    請求項１３に記載の画像処理装置。
  15. 撮像された画像内の環境光源の分光特性を、環境光源分光特性として推定する環境光源分光特性推定部をさらに備え、
    前記評価部は、前記画像より推定された前記環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
    請求項１に記載の画像処理装置。
  16. 前記環境光源分光特性推定部により推定された前記環境光源分光特性を、測定した場所に対応付けて記憶する環境光源分光特性記憶部をさらに備え、
    前記評価部は、前記環境光源分光特性記憶部に記憶されている環境光源分光特性のうち、選択された環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性に基づいて、前記被写体の状態を評価する
    請求項１５に記載の画像処理装置。
  17. 前記環境光源分光特性推定部により推定された環境光源分光特性により、前記被写体分光特性に対して、前記環境光源が不適切な光源であることを検出する不適切光源検出部と、
    前記環境光源が不適切な光源であることが検出された場合、前記環境光源が不適切な光源であることを提示する提示部とをさらに備える
    請求項１５に記載の画像処理装置。
  18. 前記不適切光源検出部は、前記環境光源分光特性推定部により推定された環境光源分光特性における、前記被写体分光特性の平均値との比較に基づいて、不適切な光源であることを検出する
    請求項１７に記載の画像処理装置。
  19. 撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価処理を含む
    画像処理方法。
  20. 撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部をコンピュータとして機能させる
    プログラム。
JP2019559546A 2017-12-15 2018-11-30 画像処理装置、および画像処理方法、並びにプログラム Active JP7180614B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017240526 2017-12-15
JP2017240526 2017-12-15
PCT/JP2018/044129 WO2019116926A1 (ja) 2017-12-15 2018-11-30 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2019116926A1 true JPWO2019116926A1 (ja) 2020-12-17
JP7180614B2 JP7180614B2 (ja) 2022-11-30

Family

ID=66819215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019559546A Active JP7180614B2 (ja) 2017-12-15 2018-11-30 画像処理装置、および画像処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20200402227A1 (ja)
JP (1) JP7180614B2 (ja)
KR (1) KR20200099522A (ja)
CN (1) CN111447870A (ja)
WO (1) WO2019116926A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313350A (ja) * 1995-05-18 1996-11-29 Shiseido Co Ltd 色合わせ計算方法及び装置
US20040199079A1 (en) * 2002-04-03 2004-10-07 The Regents Of The University Of California System and method for quantitative or qualitative measurement of exogenous substances in tissue and other materials using laser-induced fluorescence spectroscopy
JP2011067284A (ja) * 2009-09-24 2011-04-07 Aisin Seiki Co Ltd 疲労検査装置
JP2013050376A (ja) * 2011-08-31 2013-03-14 Nippon System Kenkyusho:Kk 生体組織機能状態測定装置及びその方法
JP2013200299A (ja) * 2012-02-23 2013-10-03 Canon Inc 粗さ評価装置、それを用いた物体評価装置、及び粗さ評価方法
JP2014122847A (ja) * 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
WO2015012028A1 (ja) * 2013-07-22 2015-01-29 コニカミノルタ株式会社 メラノーマ診断支援装置、プログラムおよびメラノーマ診断支援方法
JP2015198909A (ja) * 2014-04-08 2015-11-12 花王株式会社 皮膚分類方法、化粧品の推薦方法及び皮膚分類カード

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020065452A1 (en) 2000-11-29 2002-05-30 Roland Bazin Process for diagnosing conditions of external body portions and features of products applied thereto
JP2002189918A (ja) 2000-12-20 2002-07-05 Pola Chem Ind Inc 化粧料情報作成装置，化粧料情報作成方法，及びコンピュータ読取可能な記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313350A (ja) * 1995-05-18 1996-11-29 Shiseido Co Ltd 色合わせ計算方法及び装置
US20040199079A1 (en) * 2002-04-03 2004-10-07 The Regents Of The University Of California System and method for quantitative or qualitative measurement of exogenous substances in tissue and other materials using laser-induced fluorescence spectroscopy
JP2011067284A (ja) * 2009-09-24 2011-04-07 Aisin Seiki Co Ltd 疲労検査装置
JP2013050376A (ja) * 2011-08-31 2013-03-14 Nippon System Kenkyusho:Kk 生体組織機能状態測定装置及びその方法
JP2013200299A (ja) * 2012-02-23 2013-10-03 Canon Inc 粗さ評価装置、それを用いた物体評価装置、及び粗さ評価方法
JP2014122847A (ja) * 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
WO2015012028A1 (ja) * 2013-07-22 2015-01-29 コニカミノルタ株式会社 メラノーマ診断支援装置、プログラムおよびメラノーマ診断支援方法
JP2015198909A (ja) * 2014-04-08 2015-11-12 花王株式会社 皮膚分類方法、化粧品の推薦方法及び皮膚分類カード

Also Published As

Publication number Publication date
JP7180614B2 (ja) 2022-11-30
KR20200099522A (ko) 2020-08-24
WO2019116926A1 (ja) 2019-06-20
US20200402227A1 (en) 2020-12-24
CN111447870A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
TWI585711B (zh) 獲得保養信息的方法、分享保養信息的方法及其電子裝置
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
US9445087B2 (en) Systems, devices, and methods for providing products and consultations
US9442973B1 (en) Associating cosmetic products to skin tone color
JP5670995B2 (ja) 化粧品レジメンを提供するシステム、ウェブサイトに送られたヒトの表面組織のデジタルカラービデオ画像から化粧品及び栄養食品レジメンを提供する方法、コンピューター記憶装置を含むシステム及び非持続性のコンピューター読み取り可能媒体
JP6545658B2 (ja) ビリルビンレベルを推定すること
US9013567B2 (en) Method for determining age, and age-dependent selection of cosmetic products
Iqbal et al. Classification of selected citrus fruits based on color using machine vision system
JP2009505107A (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
CN101553819A (zh) 用于捕捉和分析皮肤的数字图像的成像装置和方法
KR100993875B1 (ko) 퍼지 기반의 퍼스널 컬러 진단 시스템 및 그 방법
US20200349375A1 (en) Sensing Apparatus and Method
Wannous et al. Improving color correction across camera and illumination changes by contextual sample selection
JP2007175469A (ja) 肌状態管理システム
US20160140748A1 (en) Automated animation for presentation of images
JPWO2019116926A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
Nyman et al. Evaluation of the visual performance of image processing pipes: information value of subjective image attributes
Bhatti et al. Mobile cosmetics advisor: an imaging based mobile service
Almobarak et al. Classification of aesthetic photographic images using SVM and KNN classifiers
KR20200008484A (ko) 피부 진단을 통한 화장품 추천 시스템
JP2003190104A (ja) 肌色評価方法およびそれに用いる装置
Balbin et al. Durio Zibethinus ripeness determination and variety identification using principal component analysis and support vector machine
CN110660054B (zh) 光品质评定方法、装置及计算机可读存储介质
Delahunt et al. Perceptual image quality: Effects of tone characteristics
SEN Fusing mobile, wearable and infrastructure sensing for immersive daily lifestyle analytics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R151 Written notification of patent or utility model registration

Ref document number: 7180614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151