WO2019116926A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2019116926A1
WO2019116926A1 PCT/JP2018/044129 JP2018044129W WO2019116926A1 WO 2019116926 A1 WO2019116926 A1 WO 2019116926A1 JP 2018044129 W JP2018044129 W JP 2018044129W WO 2019116926 A1 WO2019116926 A1 WO 2019116926A1
Authority
WO
WIPO (PCT)
Prior art keywords
spectral characteristic
subject
light source
unit
spectral
Prior art date
Application number
PCT/JP2018/044129
Other languages
English (en)
French (fr)
Inventor
信一郎 五味
厚史 伊藤
丈士 上森
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/769,969 priority Critical patent/US20200402227A1/en
Priority to KR1020207015763A priority patent/KR20200099522A/ko
Priority to CN201880079485.4A priority patent/CN111447870A/zh
Priority to JP2019559546A priority patent/JP7180614B2/ja
Publication of WO2019116926A1 publication Critical patent/WO2019116926A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/303—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/2866—Markers; Calibrating of scan
    • G01J2003/2873—Storing reference spectrum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program, and in particular, an image processing apparatus and an image processing method that can evaluate the state of a subject in consideration of the influence of an environmental light source with a simple configuration. And the program.
  • Patent Documents 1 and 2) reference For example, techniques for imaging the skin and diagnosing the condition of the vascular network and pores of the skin or the color of a cosmetic material applied to the skin based on the imaged image have been proposed (Patent Documents 1 and 2) reference).
  • Patent Literatures 1 and 2 a dedicated skin measuring device is used that does not consider the influence of the environmental light source at the time of measurement, or a reference color chart is simultaneously imaged together with the skin The condition of the skin is measured by removing the influence of environmental light sources.
  • the present disclosure has been made in view of such a situation, and in particular, with a simple configuration, it is possible to evaluate a subject's state with high accuracy in consideration of the influence of an environmental light source.
  • An image processing apparatus includes an evaluation unit that evaluates the state of the subject based on a subject spectral characteristic that is a spectral characteristic of a subject in a captured image and a reference spectral characteristic. It is.
  • the evaluation unit may evaluate the state of the subject based on a difference between the subject spectral characteristic and the reference spectral characteristic.
  • the evaluation unit may output a comparison result of a difference square root sum of the subject spectral characteristic and the reference spectral characteristic and a predetermined threshold as an evaluation result of the state of the subject.
  • the predetermined threshold value may be a sum of square roots of differences between an average value of spectral characteristics of subjects of a plurality of subjects and the reference spectral characteristics.
  • the reference spectral characteristic may be a spectral characteristic of a preferable state of the subject in the subject spectral characteristic.
  • a specific unit for specifying an article having a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the subject is further provided with a display unit for displaying the article specified by the specific unit. You can do so.
  • the spectral characteristic of the subject is applied to the subject based on the difference between the subject spectral characteristic and the reference spectral characteristic, and the spectral characteristic of the subject is the reference spectral characteristic. It is possible to identify an article having a spectral characteristic approaching.
  • a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the subject is obtained by multiplying the difference between the spectral characteristic of the subject and the reference spectral characteristic for each wavelength by a predetermined coefficient.
  • the spectral characteristic may be a sum of the subject spectral characteristic.
  • An article storage unit may be further provided to store information of the article in association with information of spectral characteristics generated in the subject by application of the article, and the identification unit stores the information in the article storage unit.
  • the evaluation unit may evaluate the state of the subject by classifying the subject spectral characteristics.
  • the evaluation unit divides the subject spectral characteristics into a plurality of wavelength ranges, and classifies the subject spectral characteristics based on the result of comparison with the square root sum of differences with a predetermined threshold for each of the divided wavelength ranges.
  • the state of the subject can be evaluated by using the classification result as an evaluation index.
  • a specification unit that specifies an article having a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic, and the article specified by the specific unit are displayed Can be further provided.
  • An index of an article having a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the object based on the difference between the object spectral characteristic and the reference spectral characteristic with respect to the information of the article And an item storage unit that stores the evaluation index of the subject spectral characteristics in association with one another, and the identification unit is configured to use the evaluation index among the items stored in the item storage unit.
  • a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the subject is obtained by multiplying the difference between the spectral characteristic of the subject and the reference spectral characteristic for each wavelength by a predetermined coefficient.
  • the spectral characteristic may be a sum of the subject spectral characteristic.
  • the environmental light source spectral characteristic estimating unit may be further provided to estimate the spectral characteristics of the environmental light source in the captured image as the environmental light source spectral characteristics, and the evaluation unit is configured to estimate the environmental environment estimated from the image.
  • the state of the subject can be evaluated based on the difference between the subject spectral property of the subject and the reference spectral property in the image in which the influence of the environmental light source in the image is reduced according to the light source spectral property.
  • An environmental light source spectral characteristic storage unit may be further provided to store the environmental light source spectral characteristics estimated by the environmental light source spectral characteristic estimation unit in association with the measured location, and the evaluation unit may further include: Among the environmental light source spectral characteristics stored in the environmental light source spectral characteristics storage unit, the selected environmental light source spectral characteristics based on the subject spectral characteristics of the object in the image in which the influence of the environmental light source in the image is reduced. The state of the subject can be evaluated.
  • An inappropriate light source detection unit for detecting that the environmental light source is an inappropriate light source with respect to the subject spectral characteristics based on the environmental light source spectral characteristics estimated by the environmental light source spectral characteristics estimation unit; If an inappropriate light source is detected, a presentation unit can be further provided to present that the ambient light source is an inappropriate light source.
  • the inappropriate light source detection unit detects an inappropriate light source based on comparison with the average value of the subject spectral characteristics in the environmental light source spectral characteristics estimated by the environmental light source spectral characteristics estimation unit. You can do so.
  • An image processing method includes an evaluation process that evaluates a state of the subject based on a subject spectral characteristic that is a spectral characteristic of a subject in a captured image and a reference spectral characteristic. It is.
  • a program according to one aspect of the present disclosure is a program that causes an evaluation unit that evaluates the state of the subject to function as a computer based on the subject spectral characteristic that is the spectral characteristic of the subject in the captured image and the reference spectral characteristic. is there.
  • the state of the subject is evaluated based on the subject spectral properties that are spectral properties of the subject in the captured image and the reference spectral properties.
  • FIG. 7 is a diagram for explaining preferable subject spectral characteristics to be compared when evaluating the estimated subject spectral characteristics.
  • FIG. 6 is a view for explaining an example of data of preferable object spectral characteristics stored in the characteristic classification storage unit. It is a figure explaining an example of data of an average photographic subject spectral characteristic memorized by a characteristic classification storage part. It is a figure explaining the suitable photographic subject spectral characteristic calculated from the presumed photographic subject spectral characteristic and the desirable photographic subject spectral characteristic. It is a figure explaining the example of the goods information memorized corresponding to the photographic subject spectral characteristic of the suitable state memorized by the goods storage part.
  • the present disclosure estimates spectral characteristics of a skin with high accuracy in consideration of the influence of an environmental light source with a simple configuration, and evaluates the condition of the skin based on the estimation result.
  • the recommended product presentation device (image processing device) of the present disclosure estimates spectral characteristics of the user's skin in consideration of the influence of the environmental light source with a simple configuration, and refers to preferable spectral characteristics. The condition of the user's skin is evaluated by comparison with the spectral characteristics. Then, based on the evaluation result, the recommended product presentation device of the present disclosure selects (specifies) a recommended product (product or article to be recommended) to be subjected to a process of becoming skin with suitable spectral characteristics.
  • the evaluation of the user's skin condition is an evaluation for comparison between the spectral characteristics of the skin which is the subject imaged as an image and the preferable spectral characteristics in the preferable skin condition.
  • the spectral characteristics for comparison of both of the spectral characteristics, for each of the entire wavelength range, the predetermined wavelength range, and the average value, the maximum value, and the minimum value for each divided wavelength range obtained by dividing the entire wavelength range From the comparison, the difference between the two or the difference and the comparison with the predetermined threshold, and the comparison between the ratio of the both and the predetermined threshold, and the combination thereof are included.
  • the recommended product presentation device 11 of FIG. 1 is configured of, for example, a portable terminal represented by a smartphone.
  • the recommended product presentation device 11 includes a measurement unit 31, an operation unit 32, an environment light source estimation unit 33, and a subject spectral characteristic estimation unit 34.
  • the recommended product presentation device 11 includes an object characteristic comparison unit 35, a characteristic classification storage unit 36, a recommended product selection unit 37, a commodity storage unit 38, an output control unit 39, an output unit 40, and an inappropriate light source detection unit 41. .
  • the measurement unit 31 includes a complementary metal oxide semiconductor (CMOS) image sensor or the like, measures an image of the user's skin as an image as an image, and measures the imaged image as an environmental light source estimation unit 33 and an object spectral characteristic estimation unit Output to 34.
  • CMOS complementary metal oxide semiconductor
  • the measurement unit 31 includes a flash 31a, and performs imaging continuously with imaging in a state in which the flash 31a is emitted and imaging in a state in which the flash 31a is not emitted in imaging. Output.
  • the operation unit 32 includes operation buttons, a keyboard, and the like, and the measurement unit 31 is operated by the user at the timing of capturing an image, and outputs an operation signal according to the content of the operation to the measurement unit 31.
  • the environmental light source estimation unit 33 estimates the spectral characteristics of the environmental light source at the time of imaging from the image of the user's skin, which is the measurement result supplied from the measurement unit 31, and estimates the subject spectral characteristic estimation unit 34 as the environmental light source spectral characteristics. Output to the inappropriate light source detection unit 41.
  • the subject spectral characteristic estimation unit 34 removes (reduces) the influence of the environmental light source from the image of the user's skin, which is the measurement result supplied from the measurement unit 31, using the environmental light source spectral characteristic to The spectral characteristic of the subject is estimated and output to the subject characteristic comparison unit 35 as the subject spectral characteristic.
  • the spectral characteristics of the environment light source and the subject are both estimated by using two images of a state in which the flash 31a is caused to emit light at a known illuminance and an image in a state in which the flash 31a is not emitted.
  • a concrete estimation method of the environmental light source and the spectral characteristic of the subject for example, “Practical Scene Illuminant Estimation via Flash / No-Flash Pairs, Cheng Lu and Mark S. Drew; School of Computing Science, Simon Fraser University, Vancouver , British Columbia, Canada V5A 1S6 ⁇ clu, mark ⁇ @ cs. Sfu. Ca ".
  • the object characteristic comparison unit 35 reads out the spectral characteristic in a preferable state when the skin stored in the characteristic classification storage unit 36 is the object as a reference spectral characteristic, and compares it with the object spectral characteristic from the object spectral characteristic estimation unit 34 To evaluate and output the evaluation result to the recommended product selection unit 37. More specifically, the subject characteristic comparison unit 35 obtains the difference between the subject spectral characteristic and the reference spectral characteristic, compares the square root sum of the difference with a predetermined threshold value, and uses the comparison result as an evaluation result as a recommended product selection unit Output to 37.
  • the subject characteristic comparison unit 35 evaluates the skin condition of the user who is the subject by comparing the square root sum m of the difference d i with the predetermined threshold value th, as shown by the following expression (2)
  • the comparison result is output as the evaluation result of the skin condition of the user, and is also output to the recommended product selection unit 37 together with the subject spectral characteristics and the reference spectral characteristics in a preferable state.
  • ⁇ d i 2 is the square root sum m of the difference d i at wavelength lambda i.
  • the horizontal axis represents wavelength and the vertical axis, It is the spectral reflectance of the subject.
  • the subject spectral characteristics in a preferable state for human skin differ depending on the part, but overall, the redness at a wavelength of 700 nm is stronger and the blueness at a wavelength of 400 nm is more It has weak spectral characteristics.
  • the characteristic classification storage unit 36 stores spectral characteristics in a preferable state as reference spectral characteristics.
  • the information of the reference spectral characteristics in the preferable state is stored, for example, as a table as shown in FIG. As shown in the table of FIG. 3, the spectral characteristic information is provided from the left with an index column, a spectral characteristic column, a part column, a part column, an attribute column, and a feature column. Attributes, and characteristics such as sunburn skin and fair skin are stored.
  • the preferable state may be any state recorded in the property classification storage unit 36 and can be determined by the user.
  • FIG. 3 an example of “cheek” is shown as a part, an example of “20's female” is shown as an attribute, and “sunburn skin” and “white skin” are shown as characteristics.
  • A represents the wavelength
  • B represents the spectral reflectance
  • the subject characteristic comparison unit 35 calculates the dotted line in FIG. 2 based on the information of the spectral characteristic shown in FIG. Can be restored as shown in FIG.
  • the site is "cheek”
  • the attribute is "20's female”
  • the feature is "sunburn skin”.
  • the region is "cheek”
  • the attribute is "20's female”
  • the feature is "light white skin”.
  • the characteristic classification storage unit 36 stores, as an average spectral characteristic, an average spectral characteristic of an object consisting of an average value of object spectral characteristics for N persons, for example.
  • examples of “buccal” and “forehead” are shown as parts, and examples of “20's women” are shown as attributes, and examples of “sunburn skin” and “white skin” are featured as features Is stored, and the average object spectral characteristic under each condition is stored.
  • the spectral characteristics are “ ⁇ 400, 0.30 ⁇ , ⁇ 405, 0.30 ⁇ , ⁇ 410, 0.35 ⁇ , ..., ⁇ 695, 0.80 ⁇ , ⁇ 700, 0.85 ⁇ ”, It is registered that the site is "cheek”, the attribute is "20's female”, and the feature is "light skin”.
  • the spectral characteristics are " ⁇ 400, 0.35 ⁇ , ⁇ 405, 0.35 ⁇ , ⁇ 410, 0.40 ⁇ , ..., ⁇ 695, 0.70 ⁇ , ⁇ 700, 0.70 ⁇ ", It is registered that the part is “forehead”, the attribute is "20's female”, and the feature is "light skin”.
  • the subject characteristic comparison unit 35 may be used when the subject spectral characteristic is evaluated by calculating the difference square root sum m of the reference spectral characteristic and the average spectral characteristic in a preferable state as the threshold value th. Further, the subject characteristic comparison unit 35 may calculate the dispersion ⁇ from the reference spectral characteristic and the average spectral characteristic in a preferable state, obtain the threshold th as m + ⁇ , and use it when evaluating the subject spectral characteristic. .
  • ⁇ is a parameter that can be adjusted by the designer.
  • the recommended product selection unit 37 detects the subject when the difference square root sum m is larger than the predetermined threshold th in the comparison result of the difference root square sum m and the predetermined threshold th, which is the evaluation result of the skin condition of the user.
  • a product (or article) to be recommended is selected (specified) out of the products (or articles) stored in the product storage unit 38 based on the characteristic and the reference spectral characteristic in the preferable state, and the selected product
  • the product information is output to the output control unit 39.
  • the recommended product selection unit 37 determines the difference between the reference spectral characteristic r p ( ⁇ i ) in a preferable state and the object spectral characteristic r m ( ⁇ i ) based on the following equation (3)
  • the spectral characteristic r r ( ⁇ i ) in the state of the preferable commodity is calculated by multiplying the coefficient ⁇ of and the reference spectral characteristic r p ( ⁇ i ) in the preferable state.
  • the difference between the reference spectral characteristic r p ( ⁇ i ) in a preferable state represented by the dotted line and the object spectral characteristic r m ( ⁇ i ) represented by the solid line is a predetermined coefficient.
  • the spectral characteristic r r ( ⁇ i ) in the state of the preferable product represented by the thick line is obtained.
  • the spectral characteristics of the state of the preferable product are, for example, the spectral characteristics of an ideal object when the product is applied to the skin that is the object, in other words, the ideal applied to the object Spectral characteristics of various products.
  • the spectral characteristics in a preferable state are, for example, ideal spectral characteristics in a state before a product is applied to the skin as an object (a state in which the product is not applied). . Therefore, the spectral characteristics of the state of the preferable product are the spectral characteristics of the currently estimated subject and the (ideal) spectral characteristics of the preferable state of the state before the product is applied to the skin that is the object (reference spectrum). It can also be said that the spectral characteristics of a product that is expected to be an ideal object spectral characteristics by applying to the skin, which is obtained based on the difference with the characteristics).
  • the recommended product selection unit 37 displays the spectral characteristic r r ( ⁇ i ) of the state of the suitable product and the spectrum of the product information registered in the product storage unit 38 as represented by the following formula (4)
  • the sum D j of the squares of the differences with the characteristic r dj ( ⁇ i ) is calculated.
  • D j is a sum of squares of differences between the spectral characteristics r r ( ⁇ i ) of the state of the suitable product and the spectral characteristics r dj ( ⁇ i ) of the product registered in the product storage unit 38. is there.
  • the recommended product selection unit 37 displays the spectral characteristics r r ( ⁇ i ) of the state of the suitable product and the spectral characteristics of the product registered in the product storage unit 38 as represented by the following formula (5) A product for which the sum D j of squares of differences with r dj ( ⁇ i ) is the smallest is searched from the product storage unit 38, selected as a product to be recommended, and output to the output control unit 39.
  • arg (min D j ) indicates a set of conditions under which the sum D j of the squares of differences is minimized, and the spectral characteristic r r ( ⁇ i ) of the state of a suitable product and the product storage unit 38 product index the sum D j of the squares of the difference is minimized between the spectral characteristics r dj registered item (lambda i) are represented to be selected.
  • the product storage unit 38 stores spectral characteristics for each product index as shown in FIG. 6, for example.
  • an index column, a trade name column, a spectral characteristic column, a feature column, and a photograph column of a product are provided from the left, and corresponding product information is registered.
  • FIG. 6 examples of “foundation A”, “foundation B”, and “cream A” are shown from the top in the figure as trade names, and “whitening skin”, “sunburn skin” are from the top in the figure as characteristics. And “moisturizing” are shown, and examples of the respective product photos are displayed.
  • the spectral characteristics of the preferable product are " ⁇ 400, 0.35 ⁇ , ⁇ 405, 0.35 ⁇ , ⁇ 410, 0.40 ⁇ . , ⁇ 695, 0.85 ⁇ , ⁇ 700, 0.90 ⁇ ”
  • the feature is“ whitening skin ”is registered, and a corresponding product photograph is also registered.
  • the product name is “foundation B”
  • the spectral characteristics of suitable products are “ ⁇ 400, 0.20 ⁇ , ⁇ 405, 0.25 ⁇ , ⁇ 410, 0.25 ⁇ , ..., ⁇ 695 , 0.60 ⁇ , ⁇ 700, 0.65 ⁇ ”, and the feature is registered as“ sunburn skin ”, and a corresponding product photo is also registered.
  • the product name is "cream C”
  • the spectral characteristics of the preferable product are " ⁇ 400, 0.35 ⁇ , ⁇ 405, 0.35 ⁇ , ⁇ 410, 0.40 ⁇ , ..., ⁇ 695 , 0.80 ⁇ , ⁇ 700, 0.85 ⁇ , and the characteristic is registered as "moisturizing", and the corresponding product photograph is also registered.
  • the inappropriate light source detection unit 41 compares the environmental light source spectral characteristics supplied from the environmental light source estimation unit 33 with the average spectral characteristics stored in the characteristic classification storage unit 36 to estimate the subject spectral characteristics. It determines whether or not the light source is unsuitable and is an inappropriate light source, and outputs the determination result to the output control unit 39.
  • the environmental light source spectral characteristics correspond to the entire wavelength range. It is desirable that the illuminance be evenly distributed.
  • a certain degree of intensity is distributed over the entire wavelength range as in the topmost incandescent bulb among the environmental light source spectral characteristics in the lower stage of FIG. 7 If it does, it can be regarded as an appropriate environmental light source.
  • environmental light source spectral characteristics of a fluorescent lamp and a white LED can be regarded as an inappropriate environmental light source because illuminance can be obtained only in a specific wavelength range.
  • the fluorescent lamp since the fluorescent lamp has a pulse-like characteristic, sufficient illuminance can be obtained only in the range of pinpoint wavelengths near 435 nm and 545 nm. In addition, with a white LED, sufficient illuminance can be obtained only in a wavelength range of several tens of nm around 465 nm.
  • the inappropriate light source detection unit 41 calculates the average illuminance in the entire wavelength range by calculating the following equation (6), and the inappropriate light source is determined depending on whether it is larger than a predetermined threshold value. Determine if there is.
  • ⁇ is the number of samples
  • I ( ⁇ ) is the illuminance
  • the wavelength range may be divided into a plurality of regions, and it may be determined whether or not the environmental light source is inappropriate depending on whether sufficient illuminance can be obtained in each of the regions.
  • An inappropriate environment is obtained by dividing the entire wavelength range for each of four regions of, for example, 400 to 500 nm, 500 to 570 nm, 570 to 630 nm, and 630 to 700 nm, and calculating, for example, the following equation (7). Whether or not it is a light source may be determined.
  • ⁇ i is the number of samples in each wavelength range
  • I ( ⁇ i ) is the illuminance in each wavelength range.
  • FIG. 7 shows the object spectral characteristics in “slightly bright skin” and “tanned skin”, the vertical axis is the spectral reflectance, and the horizontal axis is the wavelength.
  • the lower part of FIG. 7 shows environmental light source spectral characteristics in the incandescent lamp, the fluorescent lamp, and the white LED from the top, and in each of them, the vertical axis is the illuminance and the horizontal axis is the wavelength.
  • the output control unit 39 acquires information on the recommended product supplied from the recommended product selection unit 37 and a determination result as to whether or not the environmental light source of the inappropriate light source detection unit 41 is an inappropriate light source, and outputs the output unit. 40 is controlled to display product information of a recommended product, and when it is an inappropriate light source, warning information is presented.
  • the output unit 40 includes a display unit 51, a vibrator 52, and a speaker 53, and is controlled by the output control unit 39 to present various types of information.
  • the display unit 51 is a display including an LCD (Liquid Crystal Display), an organic EL (Electronic Luminescent), and the like, and is controlled by the output control unit 39 to display a predetermined image.
  • LCD Liquid Crystal Display
  • organic EL Electro Luminescent
  • the vibrator 52 is controlled by the output control unit 39, and vibrates the entire recommended product presentation device 11 by, for example, rotating the weight of the eccentric rotation shaft by a motor.
  • the speaker 53 is controlled by the output control unit 39 to output a predetermined sound.
  • the output control unit 39 acquires the information of the recommended product supplied from the recommended product selection unit 37, and displays, for example, the product name and the product image as product information of the product to be recommended, as shown in FIG. Display on section 51.
  • FIG. 8 shows an example in which “fundament A” is displayed as the product name in the upper part as the product information of the recommended product in the display unit 51, and the product photograph is displayed on the right side thereof. Further, in FIG. 8, under the product information of “Foundation A”, “Foundation B” to “Foundation E” are displayed as related products, and product images are displayed respectively. In addition, although the example which is one recommendation goods is shown in FIG. 8, you may make it display several recommendation goods.
  • a warning image such as “Can not be measured here” is generated and displayed on the display unit 51 to warn the user that the environmental light source spectral characteristics are inappropriate.
  • the warning is not limited to this, and for example, an image may be displayed that encourages other environmental light sources to sufficiently image again in the environment.
  • “ ⁇ ” in the left part of FIG. 9 is, for example, a skin color or a stain.
  • the output control unit 39 is supplied with information that the environmental light source spectral characteristics are inappropriate for acquiring the current object spectral characteristics from the inappropriate light source detection unit 41, for example, in the central portion of FIG. As shown, the vibrator 52 is controlled to vibrate the body to alert the user that the ambient light source spectral characteristics are inadequate.
  • the output control unit 39 When the output control unit 39 is supplied with information indicating that the environmental light source spectral characteristics are inappropriate in order to obtain the current object spectral characteristics from the inappropriate light source detection unit 41, for example, the right portion of FIG.
  • the speaker 53 is controlled to generate a warning sound to warn the user that the environmental light source spectral characteristics are inappropriate, as shown in FIG.
  • step S11 when the operation unit 32 is operated by the user and the imaging instruction is given, the measuring unit 31 controls the flash 31a to capture an image of the subject with the flash 31a lit. The image is output to the environmental light source estimation unit 33 and the subject spectral characteristic estimation unit 34.
  • step S12 the measuring unit 31 captures an image of the subject without emitting the flash 31a, and outputs the captured image to the environmental light source estimating unit 33 and the subject spectral characteristic estimating unit 34.
  • step S13 the environmental light source estimation unit 33 estimates spectral characteristics of the environmental light source from two images of an image in a state in which the flash 31a emits light and an image in a state in which the flash 31a does not emit light.
  • the ambient light source spectral characteristic is output to the object spectral characteristic estimation unit 34 and the inappropriate light source detection unit 41.
  • step S14 the subject spectral characteristic estimation unit 34 generates an environmental light source based on environmental light source spectral characteristics from two images of an image in a state in which the flash 31a emits light and an image in a state in which the flash 31a does not emit light. After removing the influence of the spectral characteristic of the subject in the image, the estimation result is output to the subject characteristic comparison unit 35 as the subject spectral characteristic.
  • step S15 the subject characteristic comparison unit 35 compares the subject spectral characteristic which is the estimation result with the reference spectral characteristic which is the spectral characteristic of the preferable state stored in the characteristic classification storage unit 36, and compares the comparison result.
  • the subject spectral characteristics are output to the recommended product selection unit 37 as an evaluation result for evaluating the condition of the skin.
  • the subject characteristic comparison unit 35 outputs the subject spectral characteristic and the reference spectral characteristic in a preferable state to the recommended product selection unit 37 together with the evaluation result.
  • step S16 the recommended product selection unit 37 selects a product to be recommended as a recommended product from among the products stored in the product storage unit 38 based on the evaluation result and the subject spectral characteristics and the reference spectral characteristics in a preferable state. It is selected (specified) and output to the output control unit 39.
  • the product selection unit 37 calculates the state of a preferable product by calculating the above-mentioned equation (3) from the subject spectral characteristics and the reference spectral characteristics in a preferable state. . Then, the recommended product selection unit 37 determines from the product information stored in the product storage unit 38 that the sum of squares of differences is minimized according to Equations (4) and (5), that is, the spectrum in the state of a suitable product. The product index of the spectral property closest to the property is selected, and the product corresponding to the selected index is selected as a recommended product to be recommended.
  • the recommended product is selected in the case of the evaluation result that the difference square root sum m of the object spectral characteristic and the reference spectral characteristic is higher than a predetermined threshold value th. Therefore, for example, the difference square root sum m between the subject spectral characteristic and the reference spectral characteristic is smaller than the predetermined threshold th and the state of the subject is closer to a preferable state according to the comparison described with reference to FIG. No recommended product is selected for cases that are better than the preferred state.
  • the recommended product selection unit 37 indicates that the skin condition of the user is in a preferable state, for example, “The skin condition is preferable.” Instead of the product information of the product to be recommended. May be output to the output control unit 39. Further, in the case where the subject state is close to the preferable state or better than the preferable state, as described above, the recommended product may not be selected, or the general product may be recommended. Good.
  • step S17 the inappropriate light source detection unit 41 determines that the average illuminance of the entire wavelength range of the environmental light source spectral characteristics is larger than the threshold formed of the average value of the object spectral characteristics stored in the characteristic classification storage unit 36. Whether or not the light source is an inappropriate light source is determined based on whether it is appropriate as an environmental light source for estimating the characteristics, and the determination result is output to the output control unit 39.
  • step S17 the average illuminance of the entire wavelength range of the environmental light source is larger than the threshold formed of the average value of the object spectral characteristics stored in the characteristic classification storage unit 36, and is suitable as an environmental light source for estimating the object spectral characteristics. If it is determined that the light source is not an inappropriate light source, the process proceeds to step S18.
  • step S18 the output control unit 39 displays the product information of the recommended product on the display unit 51 of the output unit 40, and ends the process.
  • the difference square root sum m between the subject spectral characteristic and the reference spectral characteristic is smaller than a predetermined threshold th, and the state of the subject is closer to a preferable state according to the comparison described with reference to FIG.
  • No recommended product is selected for cases that are better than the preferred state. Therefore, in such a case, the condition of the user's skin, for example, "The condition of the skin is a preferable condition.” Is a preferable condition, for example, instead of the product information of the product to be recommended.
  • step S17 the average illuminance of the entire wavelength range of the environmental light source is not larger than the threshold formed of the average value of the object spectral characteristics stored in the characteristic classification storage unit 36. If it is determined that the light source is inappropriate and the light source is inappropriate, the process proceeds to step S19.
  • step S19 the output control unit 39 displays, on the display unit 51 of the output unit 40, information indicating that the environmental light source is an inappropriate light source, together with the information on the recommended product. Further, the output control unit 39 vibrates the vibrator 52 and causes the speaker 53 to output a predetermined sound, thereby displaying information indicating that the environmental light source is an inappropriate light source, and ends the processing.
  • the warning that the environmental light source is inappropriate may be at least any of the warning by the display on the display unit 51, the warning by the vibration of the vibrator 52, and the warning by the sound from the speaker 53.
  • the configuration does not have to warn you.
  • any one of the display unit 51, the vibrator 52, and the speaker 53, or any combination thereof may be set in advance by the user.
  • the spectral characteristics of the subject whose subject is the skin of the user are determined in consideration of the influence of the environment light source, and compared with a predetermined threshold value. It becomes possible to evaluate the skin. Furthermore, based on the evaluation according to the comparison with the threshold value, it is possible to recommend (specify) a product (or a product) that brings the user's skin condition into a suitable state as a recommended product and present it.
  • the presentation of the recommended product is one of the information presented as the evaluation of the skin of the user. It can also be regarded as one piece of information.
  • the information corresponding to the evaluation of the user's skin is the comparison result of the subject spectral characteristics with the user's skin as the subject and the predetermined threshold value set according to the average spectral characteristics consisting of the average value of the subject spectral characteristics. It may be information indicating how good or bad the state is in accordance with the information to be shown or the difference from the predetermined threshold value.
  • the information corresponding to the evaluation of the user's skin may be, for example, a comment such as "We recommend that you refrain from further sunburning" when spectral reflectance as a whole is low due to sunburning. . Therefore, the information corresponding to the evaluation of the user's skin may be presented along with the presentation of the recommended product or in place of the presentation of the recommended product, or may be prompted to take some action in response to the evaluation May be presented.
  • the subject is not limited to the skin color, and other subjects
  • the evaluation based on the color may be performed. For example, it may be an evaluation on the color of an image of a subject's head, clothes, food, painting, etc., and a product that makes hair of a suitable color based on these evaluations, a clothing product of a suitable color , Recommended food of suitable color, recommended paint of suitable color, etc. may be presented.
  • the recommended product presentation device 11 has been described above as an example of a portable terminal such as a smartphone in the above, the configuration excluding the measuring unit 31, the operation unit 32, the output control unit 39, and the output unit 40 That is, the environmental light source estimation unit 33, the object spectral characteristic estimation unit 34, the object characteristic comparison unit 35, the characteristic classification storage unit 36, the recommended product selection unit 37, the product storage unit 38, and the inappropriate light source detection unit 41 It may be configured outside, for example, it may be realized by a cloud server via a network.
  • the example using the sum D j of the characteristic r r ( ⁇ i ) and the spectral characteristic r dj ( ⁇ i ) of the commodity registered in the commodity storage unit 38 has been described, these are not only differences but also For example, it may be expressed by a ratio.
  • Second embodiment >>
  • the subject spectral characteristics based on the user's skin image, and the difference square root sum of the subject spectral characteristics in the preferable state are compared with the average spectral characteristics and the threshold based on the difference in the reference spectral characteristics in the preferable state.
  • a result is obtained as an evaluation of the user's skin, and based on the evaluation of the user's skin, an example has been described in which a recommended product (or article) is selected (specified) and presented.
  • the evaluation of the skin of the user is not limited to this, and for example, the wavelength range of the object spectral characteristic is divided into a plurality of regions, and the average value of the spectral reflectance and the threshold value are compared for each divided wavelength range.
  • the subject spectral characteristics may be classified based on a combination of the results, and the skin condition of the user may be evaluated using the classification results.
  • FIG. 11 classifies subject spectral characteristics according to the combination of the average value of spectral reflectance and the comparison result of the threshold for each wavelength range, and evaluates the skin condition of the user based on the classification result.
  • the configuration example of the recommended product presentation device 11 is shown.
  • the recommended product presentation device 11 of FIG. 11 differs from the recommended product presentation device 11 of FIG. 1 in that the object characteristic comparison unit 35, the characteristic classification storage unit 36, the recommended commodity selection unit 37, and the commodity storage unit 38 are replaced.
  • the object characteristic classification unit 71, the characteristic classification storage unit 72, the recommended product selection unit 73, and the product storage unit 74 are provided.
  • the subject characteristic classification unit 71 recommends, as an evaluation of the skin condition of the user, a classification result of the subject spectral characteristics according to a combination of the average value of spectral reflectance and the comparison result of the threshold for each wavelength range. Output to the selection unit 73.
  • the subject characteristic classification unit 71 compares the object spectral characteristics of each wavelength range.
  • the average value is determined as the following equation (8).
  • c is the number of samples in each wavelength range
  • the object characteristic classification unit 71 compares the average value of the object spectral characteristic of each wavelength range with the threshold value to find a value smaller than the threshold value, a value comparable to the threshold value, and a value larger than the threshold value.
  • the object characteristic classification unit 71 reads out the evaluation index stored in the characteristic classification storage unit 72 in association with the classification result of the object spectral characteristics, based on the classified result of the classified object spectral characteristics. Then, it is output to the recommended product selection unit 73 as an evaluation of the subject spectral characteristics.
  • the recommended product selection unit 73 reads the product information stored in the product storage unit 74 based on the evaluation index, and outputs the read product information to the output control unit 39. That is, the product storage unit 74 stores the evaluation index and the index of the product information in association with each other.
  • the recommended product selection unit 37 shown in FIG. 1 selects product information that minimizes the sum of squares of differences between the spectral characteristics of the state of the preferred product determined from the subject spectral characteristics and the reference spectral characteristics and the spectral characteristics of the product. It is selected and output as a recommended product.
  • the recommended product selection unit 73 selects (specifies) the product information (or the product information) of the index stored in the product storage unit 74 in association with the evaluation index which is the classification result of the subject spectral characteristics. Output as a recommended product (or a recommended item).
  • the recommended product selection unit 37 of FIG. 1 uses the product information having the spectral characteristics most similar to the spectral characteristics of the state of the suitable product determined substantially based on the subject spectral characteristics and the reference spectral characteristics as the recommended products. It can be said that it is selecting.
  • the spectral characteristics of the preferable product state are obtained from the subject spectral characteristics, and the subject spectral characteristics are also obtained from the spectral characteristics of the suitable product state.
  • the evaluation index which is the classification result of the subject spectral characteristics, is obtained from the spectral characteristics of the state of the suitable product of the corresponding subject spectral characteristics, and the spectral characteristics of the state of the suitable product are It is obtained from the evaluation index which is the classification result.
  • the spectral characteristics of the state of the preferable product and the index of the product information most similar to the spectral characteristics of the product information are registered in association with the evaluation index.
  • the recommended product selection unit 37 evaluates the skin condition of the user by comparing the subject spectral characteristics with the predetermined threshold value th, and based on the evaluation result, a product of spectral characteristics most similar to the spectral characteristics of the suitable product state. Is selected as a recommended product.
  • the recommended product selection unit 73 evaluates the skin condition of the user by classifying the subject spectral characteristics into the evaluation index, and the spectral characteristics of the state of the suitable product specified by the evaluation index which is the evaluation result.
  • the product of the product information index having the spectral characteristics most similar to the above is selected as the recommended product.
  • the recommended product selection units 37 and 73 differ in the evaluation result to be acquired in the subject spectral characteristics and the evaluation index, in any case, the spectral characteristics closest to the spectral characteristics of the state of the suitable product obtained therefrom It can be said that substantially the same processing is performed in that product information having characteristics is selected.
  • step S35 the object characteristic classification unit 71 classifies the object spectral characteristic based on the classification result of the object spectral characteristic according to the combination of the average value of the spectral reflectance and the comparison result of the threshold for each wavelength range.
  • Information on the corresponding evaluation index is read out from the storage unit 72, and is output to the recommended product selection unit 73 as the evaluation result of the user's skin.
  • the recommended product selection unit 73 should read the product information of the index registered in association with the evaluation index from the product storage unit 74 based on the information of the evaluation index corresponding to the classification result and recommend it. It is selected (specified) as a recommended product (or a recommended item) and output to the output control unit 39.
  • the subject spectral characteristics that take the skin of the user as the subject are determined in consideration of the influence of the environmental light source, the subject spectral characteristics are classified, and the classification result is handled.
  • the evaluation index it is possible to evaluate the skin of the user.
  • a product (or a product) of an index registered as product information that causes the user's skin condition to be in a suitable product condition in association with the evaluation index based on the evaluation index set according to the classification result Can be selected (specified) as recommended products and presented.
  • the environment light source spectral characteristics and the object spectral characteristics are used to evaluate the user's skin and to make the product suitable for the state of the product based on the evaluation. It has been described as an example of presenting information as a recommended product and presenting information that warns when the environmental light source is inappropriate.
  • an item capable of appropriately evaluating the skin of the user is presented, and can be selected by the user, and a recommended product based on the appropriate evaluation is presented for the selected item. It may be possible.
  • FIG. 14 presents an item capable of appropriately evaluating the skin condition of the user based on the estimated environmental light source spectral characteristic, and enables selection by the user, and a recommendation based on the appropriate evaluation of the selected item
  • the structural example of the recommendation goods presentation apparatus 11 which enabled it to present goods is shown.
  • the recommended product presentation apparatus 11 of FIG. 14 differs from the recommended product presentation apparatus 11 of FIG. 1 in that a measurement item selection unit 81 is provided instead of the inappropriate light source detection unit 41.
  • the measurement item selection unit 81 extracts a measurement item suitable for measurement by comparing the environmental light source spectral characteristic supplied from the environmental light source estimation unit 33 with the subject spectral characteristic stored in the characteristic classification storage unit 36 and outputting the measurement item.
  • the control unit 39 outputs the selected image of the measurement item suitable for measurement. Then, the measurement item selection unit 81 outputs the selected selection item to the subject characteristic comparison unit 35 when the operation unit 32 is operated and selected by the user based on the selection image.
  • the object characteristic comparison unit 35 compares the difference square root sum of the object spectral characteristic and the reference spectral characteristic of the user in the wavelength range corresponding to the selected item with the threshold using the average spectral characteristic and the difference square root sum of the reference spectral characteristic. The result is output as an evaluation result of the skin condition of the user.
  • the wavelength range to be used when the measurement item is skin color, the wavelength range to be used is 400 nm to 700 nm, and when the measurement item is skin blot (redness), the wavelength range to be used Are 545 nm to 575 nm and 645 nm to 675 nm, and when the measurement item is a stain on the skin (sunburn), the wavelength ranges used are 645 nm to 675 nm and 845 nm to 875 nm, and when the measurement item is a pulse, The wavelength range to be used is 500 nm to 550 nm, and when the measurement item is AGEs (final product of glycation), the wavelength range to be used is 400 nm to 450 nm.
  • the object characteristic comparison unit 35 compares the object spectral characteristic and the reference spectral characteristic using the object spectral characteristic of the corresponding wavelength range according to the measurement item supplied from the measurement item selection unit 81, and based on the comparison result The condition of the user's skin is evaluated and output to the recommended product selection unit 37.
  • the recommended product selection unit 37 obtains the state of a suitable product for the wavelength range corresponding to the measurement item based on the subject spectral characteristic and the reference spectral characteristic of the preferable state, and the product stored in the product storage unit 38
  • the product to be recommended is selected from the above, and the product information of the product as the selection result is output to the output control unit 39.
  • the environment light source estimation unit 33 estimates the environment light source spectral characteristics based on the images captured by the skin of the user as the subject by the measurement unit 31 through the processes of steps S51 to S53, and the object spectral characteristics estimation unit 34 and to the measurement item selection unit 81.
  • step S54 the measurement item selection unit 81 selects a measurement item suitable for measurement based on the environmental light source spectral characteristics and outputs the selected measurement item to the output control unit 39.
  • the skin color is a measurement item suitable for measurement. It is selected.
  • the differential root-square-sum sum m is higher than the threshold at 545 nm to 575 nm and 645 nm to 675 nm among the environmental light source spectral characteristics, as described with reference to FIG. Red) is selected as a measurement item suitable for measurement.
  • the difference square root sum m is higher than the threshold at 645 nm to 675 nm and 845 nm to 875 nm
  • skin stain is selected as a measurement item suitable for measurement.
  • the pulse is selected as the measurement item if the differential root sum square m is higher than the threshold.
  • AGEs final product of glycation
  • the output control unit 39 generates, for example, a selection screen as shown in FIG. 17 based on the information of the measurement item suitable for measurement, and causes the display unit 51 to display the selection screen.
  • Measurement item selection is displayed on the top row, measurement items suitable for measurement are displayed below, and selection can be made by operating the circular button on the left side with the operation unit 32. it can.
  • the measurement items are shown in the order of “skin color”, “pulse”, and “skin blot” from the top, and the topmost button is colored, and “skin color” is the measurement item. An example is shown when “is selected.
  • the measurement item selection unit 81 corresponds to the selected measurement item.
  • Information on the wavelength range is output to the object characteristic comparison unit 35.
  • step S 55 the subject spectral characteristic estimation unit 34 estimates the subject spectral characteristic, and outputs the estimation result to the subject characteristic comparison unit 35.
  • step S56 the subject characteristic comparison unit 35 obtains the difference between the subject spectral characteristic and the reference spectral characteristic for the wavelength range required to measure the selected measurement item, and obtains the difference square root sum m.
  • the user's skin is evaluated by comparing with the threshold th, and together with the comparison with the threshold th, which is the evaluation result, the estimation result of the subject spectral characteristics and the information of the selected measurement item are selected as recommended products Output to section 37.
  • step S57 the recommended product selection unit 37 estimates the spectral characteristic of the object together with the comparison result of the difference square root sum m of the wavelength range required to measure the selected measurement item and the threshold value th. And a product to be recommended is selected as a recommended product from the product information stored in the product storage unit 38 based on the information of the selected measurement item, and the information of the selected recommended product is output to the output control unit 39 Do.
  • the details of the recommended product selection method are the same as the recommended product presentation device 11 of FIG. 1 except that only the information on the wavelength range required for the measurement of the selected measurement item is used. The description is omitted.
  • step S58 the output control unit 39 causes the display unit 51 to display the information on the recommended product.
  • the user can select one of them by displaying a measurement item selection screen in which only the measurement items suitable for measurement are selected by the environment light source.
  • a measurement item selection screen in which only the measurement items suitable for measurement are selected by the environment light source.
  • the measurement item suitable for measurement by an environmental light source without displaying the measurement item, without waiting for a user's selection, using the object spectral characteristic of the measurement item suitable for measurement automatically, with a predetermined threshold value
  • the user's skin may be appropriately evaluated according to the environmental light source by comparison. By doing this, it is possible to present skin evaluation quickly without waiting for the display of the measurement item selection screen and the selection by the user.
  • FIG. 18 shows a configuration example of the recommended product presentation device 11 in which environmental light source spectral characteristics are stored and can be reused.
  • the same reference numerals are given to configurations having the same functions as the recommended product presentation device 11 of FIG. 1, and the description thereof will be appropriately omitted.
  • the recommended product presentation apparatus 11 of FIG. 18 differs from the recommended product presentation apparatus 11 of FIG. 1 in that an environmental light source registration unit 101, an environmental light source storage unit 102, and an environmental light source selection unit 103 are newly provided. It is.
  • the environmental light source registration unit 101 displays an image asking the user whether to register the environmental light source spectral characteristic via the output control unit 39. Display on section 51. Then, when the user operates the operation unit 32 and instructs registration, the environmental light source registration unit 101 associates the environmental light source spectral characteristics with the current position information and stores the same in the environmental light source storage unit 102. sign up.
  • the user may operate the operation unit 32 to input information such as “own room”, “washroom”, or “restroom” as information for specifying the position.
  • the current position information may be registered in association with position information including latitude and longitude on the earth detected using a GPS (Global Positioning System) or the like (not shown).
  • GPS Global Positioning System
  • the environmental light source selection unit 103 uses one of the environmental light source spectral characteristics registered in the environmental light source storage unit 102 in the display unit 51 via the output control unit 39 when an image is taken by the measurement unit 31.
  • the image which inquires whether or not is displayed, and when any one is selected, the information of the selected environmental light source spectral characteristic is read out and output to the subject spectral characteristic estimation unit 34.
  • the measurement unit 31 captures images when light is emitted from the flash 31a and when the light is not emitted, and outputs the images to the environment light source estimation unit 33 and the object spectral characteristic estimation unit 34.
  • step S73 the environment light source selection unit 103, via the output control unit 39, for example, any of the information of environment light source spectral characteristics stored in the environment light source storage unit 102 as shown in FIG.
  • the display unit 51 displays a selection image for selecting one of the registered environmental light source spectral characteristics and not used.
  • FIG. 20 shows a display example of the selected image on the display unit 51, and in the top row, “Selection of measurement environment” is displayed, and under it, environmental light source spectral characteristics registered in the environmental light source storage unit 102 and From the top, "your room”, “lavatory”, “restroom”, and “do not use” are displayed as options as the locations registered in association with each other, and a circle is displayed on the left side of each of the options.
  • the selection button is displayed.
  • An option is selected by one of the selection buttons being operated by the operation unit 32.
  • step S74 the environmental light source selection unit 103 determines whether the registered environmental light source spectral characteristics have been selected by operating the operation unit 32.
  • step S74 when “not used” is selected in step S74 and the registered environmental light source spectral characteristic is not selected, the process proceeds to step S75.
  • step S75 the environmental light source estimating unit 33 estimates environmental light source spectral characteristics from two images of an image in a state in which the flash 31a is emitting light and an image in a state in which the flash 31a is not emitting light.
  • the spectral characteristic estimation unit 34, the inappropriate light source detection unit 41, and the environmental light source registration unit 101 are output.
  • step S76 the environment light source registration unit 101 makes an image inquiring whether to register the environment light source spectral characteristics estimated here in association with the current location on the display unit 51 via the output control unit 39. Display.
  • step S77 whether or not the environment light source registration unit 101 has been instructed to register the environment light source spectral characteristics estimated here in the environment light source storage unit 102 in association with the location by operating the operation unit 32. judge.
  • step S77 If it is instructed in step S77 to register the environmental light source spectral characteristic estimated here in association with the place in the environmental light source storage unit 102, the process proceeds to step S78.
  • step S78 the environment light source registration unit 101 registers the environment light source spectral characteristics estimated here in the environment light source storage unit 102 in association with the information on the current location.
  • step S77 If there is no instruction to register the environmental light source spectral characteristics in step S77, the process of step S78 is skipped.
  • step S79 the subject spectral characteristic estimation unit 34 removes the influence of the environmental light source by the environmental light source spectral characteristic estimated here, and an image in a state in which the flash 31a emits light and a state in which the flash 31a does not emit light
  • the spectral characteristic of the subject in the image is estimated from the two images with the image of (1), and the estimation result is output to the subject characteristic comparison unit 35 as the subject spectral characteristic.
  • step S74 When one of the environmental light source spectral characteristics registered in the environmental light source storage unit 102 is selected in step S74, the process proceeds to step S80.
  • step S80 the subject spectral characteristic estimation unit 34 removes the influence of the environmental light source according to the selected environmental light source spectral characteristic, and an image in a state in which the flash 31a emits light and an image in a state in which the flash 31a does not emit light
  • the spectral characteristic of the subject in the image is estimated from the two images of and the estimation result is output to the subject characteristic comparison unit 35 as the subject spectral characteristic.
  • steps S81 to S85 are the same as the processes of steps S15 to S19 in the flowchart of FIG.
  • the subject spectral characteristics are estimated and registered in a state where the influence of the environmental light source is removed using the selected environmental light source spectral characteristics.
  • the subject spectral characteristics are estimated in a state where the influence of the environmental light source is removed using the environmental light source spectral characteristics estimated here.
  • FIG. 21 is a recommended product in which an environmental light source measurement unit for capturing an image for estimating environmental light source spectral characteristics is further provided in addition to the measurement unit 31 for capturing an image for estimating subject spectral characteristics.
  • the structural example of the presentation apparatus 11 is shown.
  • the configuration different from the recommended product presentation device 11 of FIG. 1 is the environmental light source measurement unit 121 and environmental light source estimation unit that picks up an image for estimating environmental light source spectral characteristics. This is a point where 122 is provided.
  • the environment light source measurement unit 121 basically has the same configuration as the measurement unit 31, but captures an image of a direction that can be an environment light source and is suitable for the measurement of the environment light source, and captures the captured image It is output to the light source estimation unit 122.
  • the environmental light source measurement unit 121 is desirably provided in, for example, a wearable terminal or the like so that the light source that can be an environmental light source can be appropriately imaged.
  • the environmental light source estimation unit 122 may use, for example, a light source such as "Computer vision and spectral reflectance estimation (Journal of the Applied Physics Society) 1997, vol.
  • the spectral characteristics of the light source are estimated, and the estimation result is output to the object spectral characteristic estimation unit 34 and the inappropriate light source detection unit 41 as environmental light source spectral characteristics.
  • step S101 when the user operates the operation unit 32 to issue an imaging instruction, the environmental light source measurement unit 121 captures an image in a direction in which the light source that can be the environmental light source reliably exists, and captures the captured image It is output to the light source estimation unit 122.
  • step S102 the measurement unit 31 controls the flash 31a to capture an image of a subject in a state where the flash 31a is emitted, and outputs the captured image to the subject spectral characteristic estimation unit 34.
  • step S103 the measurement unit 31 captures an image of the subject without emitting the flash 31a, and outputs the captured image to the subject spectral characteristic estimation unit 34.
  • step S104 the environmental light source estimation unit 122 estimates the spectral characteristics of the environmental light source from the image supplied from the environmental light source measurement unit 121, and the estimation result is regarded as the environmental light source spectral characteristics and the subject spectral characteristic estimation unit 34 It is output to the light source detection unit 41.
  • step S105 the subject spectral characteristic estimation unit 34 removes the influence of the environmental light source by the environmental light source spectral characteristic supplied from the environmental light source estimation unit 122, and the subject in the image from the image captured by the measurement unit 31.
  • the spectral characteristic is estimated, and the estimation result is output to the object characteristic comparison unit 35 as the object spectral characteristic.
  • step S106 the subject characteristic comparison unit 35 compares the subject spectral characteristic that is the estimation result with the reference spectral characteristic that is the spectral characteristic of the preferable state stored in the characteristic classification storage unit 36, and compares the comparison result.
  • the subject spectral characteristics are output to the recommended product selection unit 37 as an evaluation result for evaluating the condition of the skin.
  • the subject characteristic comparison unit 35 outputs the subject spectral characteristic and the reference spectral characteristic in a preferable state to the recommended product selection unit 37 together with the evaluation result.
  • the recommended product selection unit 37 recommends a product to be recommended from among the products stored in the product storage unit 38 based on the evaluation result and the subject spectral characteristics and the reference spectral characteristics in a preferable state ( Alternatively, it is selected (specified) as a recommended item and output to the output control unit 39.
  • step S108 the inappropriate light source detection unit 41 calculates the average illuminance of the object spectral characteristics stored in the characteristic classification storage unit 36 as the average illuminance of the entire wavelength range of the environmental light source spectral characteristics supplied from the environmental light source estimation unit 122. And determines whether or not the light source is an inappropriate light source based on whether or not the light source is suitable as an environmental light source for estimating the subject spectral characteristics, and outputs the determination result to the output control unit 39.
  • step S108 the average illuminance of the entire wavelength range of the environmental light source is larger than the threshold value formed of the average value of the object spectral characteristics stored in the characteristic classification storage unit 36, and is suitable as the environmental light source for estimating the object spectral characteristics. If it is determined that the light source is not an inappropriate light source, the process proceeds to step S109.
  • step S109 the output control unit 39 displays the product information of the recommended product on the display unit 51 of the output unit 40, and ends the process.
  • step S108 the average illuminance over the entire wavelength range of the environmental light source is not larger than the threshold formed of the average value of the object spectral characteristics stored in the characteristic classification storage unit 36. If it is determined that the light source is inappropriate and the light source is inappropriate, the process proceeds to step S110.
  • step S110 the output control unit 39 displays, on the display unit 51 of the output unit 40, information indicating that the environmental light source is an inappropriate light source, together with the information on the recommended product. Further, the output control unit 39 vibrates the vibrator 52 and causes the speaker 53 to output a predetermined sound, thereby displaying information indicating that the environmental light source is an inappropriate light source, and ends the processing.
  • the environmental light source spectral characteristics can be estimated with high accuracy, so the influence of the environmental light source is more appropriately removed. It is then possible to estimate subject spectral characteristics.
  • the environmental light source spectral characteristics estimated by the environmental light source measurement unit 121 and the environmental light source estimation unit 122 of the recommended product presentation device 11 in FIG. 21 are registered in, for example, a cloud server etc.
  • the environment light source measurement unit 121 and the environment light source estimation unit 122 may not be provided, and may be used, for example, by the recommended product presentation device 11 of FIG. 18.
  • FIG. 23 shows a configuration example of a general-purpose computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse through which the user inputs an operation command, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, programs and various data.
  • a storage unit 1008 including a hard disk drive to be stored, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • a magnetic disc including a flexible disc
  • an optical disc including a compact disc-read only memory (CD-ROM), a digital versatile disc (DVD)
  • a magneto-optical disc including a mini disc (MD)
  • a semiconductor A drive 1010 for reading and writing data to a removable storage medium 1011 such as a memory is connected.
  • the CPU 1001 reads a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, is installed in the storage unit 1008, and is loaded from the storage unit 1008 to the RAM 1003. Execute various processing according to the program.
  • the RAM 1003 also stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the program. Processing is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded in, for example, a removable storage medium 1011 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable storage medium 1011 to the drive 1010.
  • the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008.
  • the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • the CPU 1001 in FIG. 23 corresponds to the environment light source estimation unit 33, the object spectral characteristic estimation unit 34, the object characteristic comparison unit 35, the recommended product selection unit 37, the output control unit 39, and the inappropriate light source detection unit 41 in FIG.
  • the storage unit 1008 in FIG. 23 implements the characteristic classification storage unit 36 and the product storage unit 38 in FIGS. 1, 11, 14, 18, and 21, and the environment light source storage unit 102 in FIG.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present disclosure can also have the following configurations.
  • An image processing apparatus comprising: an evaluation unit that evaluates the state of the subject based on a subject spectral characteristic that is a spectral characteristic of a subject in a captured image and a reference spectral characteristic.
  • an evaluation unit evaluates the state of the subject based on a subject spectral characteristic that is a spectral characteristic of a subject in a captured image and a reference spectral characteristic.
  • the image processing apparatus according to ⁇ 1> wherein the evaluation unit evaluates the state of the subject based on a difference between the subject spectral characteristic and the reference spectral characteristic.
  • the evaluation unit outputs, as an evaluation result of the state of the subject, the comparison result of the sum of square roots of differences of the object spectral characteristic and the reference spectral characteristic and a predetermined threshold value.
  • ⁇ 4> The image processing apparatus according to ⁇ 3>, wherein the predetermined threshold is a sum of square roots of differences between the reference spectral characteristics and an average value of the spectral characteristics of subjects in a plurality of objects.
  • the reference spectral characteristic is a spectral characteristic of a preferable state of the subject in the subject spectral characteristic.
  • a specifying unit that specifies an article having a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the object.
  • ⁇ 7> A difference between the object spectral characteristic and the reference spectral characteristic in an evaluation result of the state of the object, which is a comparison result of a difference square root sum of the object spectral characteristic and the reference spectral characteristic and a predetermined threshold value If the square root sum is greater than a predetermined threshold,
  • the specifying unit specifies an article having a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the object based on the difference between the spectral characteristic of the object and the reference spectral characteristic.
  • the image processing apparatus as described in ⁇ 6>.
  • a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the object has a predetermined coefficient with respect to the difference between the spectral characteristic of the subject and the reference spectral characteristic for each wavelength.
  • the image processing apparatus according to ⁇ 6> which is a spectral characteristic to which the subject spectral characteristic is added by being multiplied.
  • An article storage unit for storing information of the article in association with information of spectral characteristics generated in the subject upon application of the article, further comprising:
  • the specification unit is configured to associate the spectral characteristic stored in association with the object among the articles stored in the article storage unit, and the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the subject
  • the image processing apparatus according to ⁇ 6>, which identifies an article in which the sum of squared differences with the spectral characteristics is small.
  • the evaluation unit divides the subject spectral characteristics into a plurality of wavelength regions, and classifies the subject spectral characteristics based on the result of comparison with the square root sum of differences with predetermined thresholds for each of the divided wavelength regions.
  • the image processing apparatus according to ⁇ 10> wherein the state of the subject is evaluated by using a classification result as an evaluation index.
  • a specification unit that specifies an article having a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the subject based on the evaluation index;
  • the information of the article is applied to the subject based on the difference between the subject spectral property and the reference spectral property, and the spectral property of the subject approaches the reference spectral property by applying to the subject
  • It further comprises an article storage unit that stores the index of the article and the evaluation index of the subject spectral characteristics in association with each other, Among the articles stored in the article storage unit, the identification unit applies the article stored in association with the evaluation index to the subject, whereby the spectral characteristic of the subject is the reference spectral characteristic.
  • the image processing apparatus according to ⁇ 12> which is specified as an article having an approaching spectral characteristic.
  • a spectral characteristic in which the spectral characteristic of the subject approaches the reference spectral characteristic by applying to the object has a predetermined coefficient with respect to the difference between the spectral characteristic of the subject and the reference spectral characteristic for each wavelength.
  • the image processing apparatus according to ⁇ 13> which is a spectral characteristic to which the subject spectral characteristic is added by being multiplied.
  • the environmental light source spectral characteristic estimation part which estimates the spectral characteristic of the environmental light source in ⁇ 15> the imaged image as an environmental light source spectral characteristic is further provided,
  • the evaluation unit is configured to determine the environmental light source spectral characteristic estimated from the image based on a difference between the object spectral characteristic of the object and the reference spectral characteristic in the image in which the influence of the environmental light source in the image is reduced.
  • the image processing apparatus according to any one of ⁇ 1> to ⁇ 14>, which evaluates a state of a subject.
  • the environmental light source spectral characteristic storage unit for storing the environmental light source spectral characteristics estimated by the environmental light source spectral characteristic estimation unit in association with the measured location, further comprising:
  • the evaluation unit is the subject of the subject in the image in which the influence of the environmental light source in the image is reduced by the selected environmental light source spectral characteristic among the environmental light source spectral characteristics stored in the environmental light source spectral characteristic storage unit.
  • the image processing apparatus according to ⁇ 15>, wherein the state of the subject is evaluated based on spectral characteristics.
  • An inappropriate light source detection unit for detecting that the environmental light source is an inappropriate light source with respect to the subject spectral characteristics based on the environmental light source spectral characteristics estimated by the environmental light source spectral characteristics estimation unit;
  • the image processing apparatus according to ⁇ 15>, further comprising: a presentation unit that presents that the ambient light source is an inappropriate light source when it is detected that the ambient light source is an inappropriate light source.
  • the inappropriate light source detection unit is an inappropriate light source based on comparison with the average value of the subject spectral characteristics in the environmental light source spectral characteristics estimated by the environmental light source spectral characteristics estimation unit.
  • the image processing apparatus according to ⁇ 17>, which detects.
  • An image processing method including an evaluation process of evaluating a state of the subject based on a subject spectral characteristic which is a spectral characteristic of a subject in a captured image and a reference spectral characteristic.
  • a program that causes an evaluation unit that evaluates the state of the subject to function as a computer based on a subject spectral characteristic that is a spectral characteristic of a subject in a captured image and a reference spectral characteristic.
  • 11 recommended product presentation device 31 recording unit, 31a flash, 32 operation unit, 33 environment light source estimation unit, 34 object spectral characteristic estimation unit, 35 object characteristic comparison unit, 36 characteristic classification storage unit, 37 recommended commodity selection unit, 38 items Storage unit, 39 output control unit, 40 output unit, 41 inappropriate light source detection unit, 51 display unit, 52 vibrator, 53 speaker, 71 object characteristic classification unit, 72 characteristic classification storage unit, 73 recommended commodity selection unit, 74 commodity storage Part, 81 Measurement item selection part, 101 Environment light source registration part, 102 Environment light source storage part, 103 Environment light source selection part, 121 Environment light source measurement part, 122 Environment light source estimation part

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Evolutionary Computation (AREA)

Abstract

本開示は、簡易な構成で、環境光源による影響を考慮して被写体の状態を高精度に評価することができるようにする画像処理装置、および画像処理方法、並びにプログラムに関する。 撮像された画像内の被写体であるユーザの肌における分光特性である被写体分光特性と、好ましい状態の分光特性との差分二乗平方根和を求め、所定の閾値との比較に基づいて、被写体である肌の状態を評価し、評価結果に応じた推薦商品を提示する。推薦商品提示装置に適用することができる。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、簡易な構成で、環境光源による影響を考慮して被写体の状態を評価できるようにした画像処理装置、および画像処理方法、並びにプログラムに関する。
　被写体として人の肌を撮像し、撮像した肌の画像に基づいて、肌の状態を測定し、肌の状態を評価する技術が提案されている。
　例えば、肌を撮像し、撮像した画像に基づいて、肌の血管網や毛穴の状態、または、肌に塗布された化粧品素材の色などを診断する技術が提案されている（特許文献１，２参照）。
特開２００２－２６３０８４号公報 特開２００２－１８９９１８号公報
　しかしながら、特許文献１，２のいずれの技術においても、測定時に環境光源の影響を考慮していない、専用の肌測定装置を用いている、または、肌と一緒に基準色票を同時に撮像するなどして環境光源の影響を除去するなどして肌の状態を測定している。
　このため、被写体である肌を撮像し、撮像結果から肌色を測定するにあたっては、簡便で、かつ高精度に被写体である肌の色情報を取得することができず、環境光源を調整する、または、基準色票を同時に撮像する必要があり、被写体の状態を高精度に評価するには煩わしさがあった。
　本開示は、このような状況に鑑みてなされたものであり、特に、簡易な構成で、環境光源による影響を考慮して被写体の状態を高精度に評価できるようにするものである。
　本開示の一側面の画像処理装置は、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部を備える画像処理装置である。
　前記評価部には、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価させるようにすることができる。
　前記評価部には、前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果を、前記被写体の状態の評価結果として出力させるようにすることができる。
　前記所定の閾値は、複数の被写体における被写体分光特性の平均値と、前記参照分光特性との差分二乗平方根和とすることができる。
　前記参照分光特性は、前記被写体分光特性における被写体の好ましい状態の分光特性とすることができる。
　前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、前記特定部により特定された物品を表示する表示部とをさらに設けるようにすることができる。
　前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果からなる前記被写体の状態の評価結果において、前記被写体分光特性と前記参照分光特性との差分二乗平方根和が所定の閾値よりも大きい場合、前記特定部には、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定させるようにすることができる。
　前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性とすることができる。
　前記物品の情報について、前記物品の適用により前記被写体に生じる分光特性の情報と対応付けて記憶する物品記憶部をさらに設けるようにすることができ、前記特定部には、前記物品記憶部に記憶されている物品のうち、対応付けて記憶されている分光特性と、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性との差分二乗和が小さくなる物品を特定させるようにすることができる。
　前記評価部には、前記被写体分光特性を分類することで前記被写体の状態を評価させるようにすることができる。
　前記評価部には、前記被写体分光特性を複数の波長域に分割させ、分割させた波長域毎の所定の閾値との差分二乗平方根和との比較結果に基づいて、前記被写体分光特性を分類させ、分類結果を評価インデックスとすることで、前記被写体の状態を評価させることができる。
　前記評価インデックスに基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、前記特定部により特定された物品を表示する表示部をさらに設けるようにすることができる。
　前記物品の情報について、前記被写体分光特性と前記参照分光特性との差分に基づいた、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品のインデックスと、前記被写体分光特性の評価インデックスとを対応付けて記憶する物品記憶部をさらに設けるようにすることができ、前記特定部は、前記物品記憶部に記憶された物品のうち、前記評価インデックスに対応付けて記憶された物品を、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品として特定させるようにすることができる。
　前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性とすることができる。
　撮像された画像内の環境光源の分光特性を、環境光源分光特性として推定する環境光源分光特性推定部をさらに設けるようにすることができ、前記評価部には、前記画像より推定された前記環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価させるようにすることができる。
　前記環境光源分光特性推定部により推定された前記環境光源分光特性を、測定した場所に対応付けて記憶する環境光源分光特性記憶部をさらに設けるようにすることができ、前記評価部には、前記環境光源分光特性記憶部に記憶されている環境光源分光特性のうち、選択された環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性に基づいて、前記被写体の状態を評価させるようにすることができる。
　前記環境光源分光特性推定部により推定された環境光源分光特性により、前記被写体分光特性に対して、前記環境光源が不適切な光源であることを検出する不適切光源検出部と、前記環境光源が不適切な光源であることが検出された場合、前記環境光源が不適切な光源であることを提示する提示部とをさらに設けるようにすることができる。
　前記不適切光源検出部には、前記環境光源分光特性推定部により推定された環境光源分光特性における、前記被写体分光特性の平均値との比較に基づいて、不適切な光源であることを検出させるようにすることができる。
　本開示の一側面の画像処理方法は、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価処理を含む画像処理方法である。
　本開示の一側面のプログラムは、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部をコンピュータとして機能させるプログラムである。
　本開示の一側面においては、撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態が評価される。
　本開示の一側面によれば、特に、簡易な構成で、環境光源による影響を考慮して肌状態を高精度に測定することが可能となる。
本開示の推薦商品提示装置の第１の実施の形態の構成例を説明するブロック図である。 推定された被写体分光特性を評価する際に比較する好ましい被写体分光特性を説明する図である。 特性分類記憶部に記憶されている好ましい被写体分光特性のデータ例を説明する図である。 特性分類記憶部に記憶されている平均的な被写体分光特性のデータ例を説明する図である。 推定された被写体分光特性と好ましい被写体分光特性とから求められる好適な被写体分光特性を説明する図である。 商品記憶部に記憶されている好適な状態の被写体分光特性と対応付けて記憶される商品情報の例を説明する図である。 被写体分光特性に対する適切な環境光源分光特性と不適切な環境光源分光特性とを説明する図である。 推薦商品の表示例を説明する図である。 環境光源が不適切であることの警告例を説明する図である。 図１の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 本開示の推薦商品提示装置の第２の実施の形態の構成例を説明するブロック図である。 推定された被写体分光特性を分類する例を説明する図である。 図１１の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 本開示の推薦商品提示装置の第３の実施の形態の構成例を説明するブロック図である。 被写体分光特性を用いた評価をする際の測定項目毎の使用する波長域を説明する図である。 図１４の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 測定項目の選択画面の表示例を説明する図である。 本開示の推薦商品提示装置の第４の実施の形態の構成例を説明するブロック図である。 図１８の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 環境光源分光特性を選択するための測定環境選択画面の表示例を説明する図である。 本開示の推薦商品提示装置の第５の実施の形態の構成例を説明するブロック図である。 図２１の推薦商品提示装置による商品推薦処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．第３の実施の形態
　４．第４の実施の形態
　５．第５の実施の形態
　６．ソフトウェアにより実行させる例
　＜＜１．第１の実施の形態＞＞
　本開示は、簡易な構成により、環境光源の影響を考慮して、肌の分光特性を高精度に推定し、推定結果に基づいて、肌の状態を評価するものである。
　より具体的には、本開示の推薦商品提示装置（画像処理装置）は、簡易な構成により、環境光源の影響を考慮して、ユーザの肌の分光特性を推定し、好ましい分光特性である参照分光特性との比較により、ユーザの肌の状態を評価する。そして、本開示の推薦商品提示装置は、評価結果に基づいて、好適な分光特性の肌となる処理を施す推薦商品（推薦する商品または物品）を選択（特定）して提示する。
　尚、本開示において、ユーザの肌の状態の評価とは、画像として撮像された被写体である肌の分光特性と、好ましい肌の状態における好ましい分光特性との比較に対する評価である。また、分光特性の両者の比較については、全波長域、所定の波長域、全波長域を分割した分割波長域毎の平均値、最大値、および最小値などのそれぞれについて、両者の単純な大小比較から、両者の差分そのものや差分と所定の閾値との比較、および両者の比率と所定の閾値との比較、並びに、これらの組み合わせ等を含む。
　以下、図１のブロック図を参照して、本開示の推薦商品提示装置の機能を実現する構成例について説明する。
　図１の推薦商品提示装置１１は、例えば、スマートフォンに代表される携帯端末などから構成される。推薦商品提示装置１１は、測定部３１、操作部３２、環境光源推定部３３、および被写体分光特性推定部３４を備える。さらに、推薦商品提示装置１１は、被写体特性比較部３５、特性分類記憶部３６、推薦商品選択部３７、商品記憶部３８、出力制御部３９、出力部４０、および不適切光源検出部４１を備える。
　測定部３１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、被写体となるユーザの肌を画像として撮像することで測定し、撮像した画像を環境光源推定部３３、および被写体分光特性推定部３４に出力する。また、測定部３１は、フラッシュ３１ａを備えており、撮像に際して、フラッシュ３１ａを発光させた状態の撮像と、フラッシュ３１ａを発光させない状態の撮像と連続的に実施し、合計２枚の画像を撮像して出力する。
　操作部３２は、操作ボタンやキーボードなどからなり、測定部３１において、画像を撮像するタイミングにおいて、ユーザにより操作され、操作内容に応じた操作信号を測定部３１に出力する。
　環境光源推定部３３は、測定部３１より供給される測定結果であるユーザの肌の画像より、撮像時における環境光源の分光特性を推定し、環境光源分光特性として被写体分光特性推定部３４、および不適切光源検出部４１に出力する。
　被写体分光特性推定部３４は、測定部３１より供給される測定結果であるユーザの肌の画像より、環境光源分光特性を用いて、環境光源による影響を除去（低減）して、撮像時における被写体の分光特性を推定し、被写体分光特性として被写体特性比較部３５に出力する。
　尚、環境光源、および被写体の分光特性は、いずれも既知の照度でフラッシュ３１ａを発光させた状態の画像と発光させない状態の画像との２枚の画像を利用することにより推定される。環境光源、および被写体の分光特性の具体的な推定方法については、例えば、“Practical Scene Illuminant Estimation via Flash/No-Flash Pairs, Cheng Lu and Mark S. Drew; School of Computing Science, Simon Fraser University, Vancouver, British Columbia, Canada V5A 1S6 {clu,mark}@cs.sfu.ca”を参照されたい。
　被写体特性比較部３５は、特性分類記憶部３６に記憶されている肌を被写体としたときの好ましい状態における分光特性を、参照分光特性として読み出し、被写体分光特性推定部３４からの被写体分光特性と比較することで評価し、評価結果を推薦商品選択部３７に出力する。より具体的には、被写体特性比較部３５は、被写体分光特性と参照分光特性との差分を求め、差分の二乗平方根和と所定の閾値とを比較し、比較結果を評価結果として推薦商品選択部３７に出力する。
　すなわち、被写体特性比較部３５は、図２で示されるように、実線で示される被写体分光特性推定部３４により供給される被写体分光特性（被写体の状態＝rm(λi)）と、点線で示される特性分類記憶部３６に記憶されている肌を被写体としたときの好ましい状態における参照分光特性（好ましい状態＝rp(λi)）との波長毎の差分diを以下の式（１）で示されるように算出する。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　そして、被写体特性比較部３５は、以下の式（２）で示されるように、差分diの二乗平方根和mと所定の閾値thとを比較することで被写体となるユーザの肌の状態を評価し、比較結果を、ユーザの肌の状態の評価結果として出力すると共に、被写体分光特性および好ましい状態の参照分光特性とを併せて推薦商品選択部３７に出力する。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ここで、Σ√di 2は、波長λiにおける差分diの二乗平方根和mである。
　また、図２は、被写体分光特性（被写体の状態＝rm(λi)）と、参照分光特性（好ましい状態＝rp(λi)）であり、横軸が波長であり、縦軸が、被写体の分光反射率である。図２で示されるように、人の肌についての、好ましい状態の被写体分光特性は、部位に応じて異なるが、全体として、波長が700nm付近の赤みがより強く、波長が400nm付近の青みがより弱い分光特性となる。
　特性分類記憶部３６は、好ましい状態における分光特性を参照分光特性として記憶している。好ましい状態の参照分光特性の情報は、例えば、図３で示されるようなテーブルとして記憶されている。図３のテーブルで示されるように分光特性の情報は、左からインデックス欄、分光特性欄、部位欄、属性欄、および特徴欄が設けられており、インデックス毎に体の部位、年齢と性別からなる属性、並びに、日焼け肌や色白肌などの特徴が記憶されている。好ましい状態は、特性分類記憶部３６に記録されている任意の状態でよく、ユーザが決定することもできる。
　図３においては、部位として「頬」の例が示されており、属性として「20代女性」の例が示されており、特徴として「日焼け肌」および「色白肌」が示されている。
　また、分光特性において、例えば、インデックス＝１の場合については、{400,0.20}, {405,0.25}, {410,0.30}, …,{695,0.55},{700,0.55}と示されており、{A,B}において、Aが波長を、Bが分光反射率をそれぞれ表しており、被写体特性比較部３５は、図３で示される分光特性の情報に基づいて、図２の点線で示されるような波形を復元することができる。
　すなわち、図３においては、インデックス＝１の参照分光特性について、分光特性が「{400,0.20}, {405,0.25}, {410,0.30}, …,{695,0.55},{700,0.55}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「日焼け肌」であることが表されている。
　また、図３においては、インデックス＝２の参照分光特性について、分光特性が「{400,0.30}, {405,0.30}, {410,0.35}, …,{695,0.80},{700,0.85}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「色白肌」であることが表されている。
　さらに、特性分類記憶部３６は、図４で示されるように、例えば、N人分の被写体分光特性の平均値からなる平均的な被写体の分光特性を平均分光特性として記憶している。図４においては、部位として「頬」と「額」の例が示されており、属性として「20代女性」の例が示されており、特徴として「日焼け肌」、「色白肌」の例が示されており、それぞれの条件における平均的な被写体分光特性が記憶されている。
　すなわち、図４においては、インデックス＝１の平均分光特性について、分光特性が「{400,0.20}, {405,0.25}, {410,0.30}, …,{695,0.60},{700,0.65}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「日焼け肌」であることが登録されている。
　また、インデックス＝２の平均分光特性について、分光特性が「{400,0.30}, {405,0.30}, {410,0.35}, …,{695,0.80},{700,0.85}」であり、部位が「頬」であり、属性が「20代女性」であり、特徴が「色白肌」であることが登録されている。
　さらに、インデックス＝３の平均分光特性について、分光特性が「{400,0.35}, {405,0.35}, {410,0.40}, …,{695,0.70},{700,0.70}」であり、部位が「額」であり、属性が「20代女性」であり、特徴が「色白肌」であることが登録されている。
　被写体特性比較部３５は、好ましい状態の参照分光特性と平均分光特性との差分二乗平方根和mを閾値thとして算出し、被写体分光特性を評価する際に使用するようにしてもよい。また、被写体特性比較部３５は、好ましい状態の参照分光特性と平均分光特性とから分散σを算出し、閾値thをm＋ασとして求めて、被写体分光特性を評価する際に使用するようにしてもよい。ここで、αは、設計者により調整できるパラメータとなる。
　推薦商品選択部３７は、ユーザの肌の状態の評価結果である、差分二乗平方根和mと所定の閾値thとの比較結果において、差分二乗平方根和mが所定の閾値thより大きい場合、被写体分光特性と好ましい状態の参照分光特性とに基づいて、商品記憶部３８に記憶されている商品（または物品）のうち推薦すべき商品（または物品）を選択（特定）し、選択結果となる商品の商品情報を出力制御部３９に出力する。
　より詳細には、推薦商品選択部３７は、以下の式（３）に基づいて、好ましい状態の参照分光特性rp(λi)と、被写体分光特性rm(λi)との差分に所定の係数αを乗じて、好ましい状態の参照分光特性rp(λi)に加算することで、好適な商品の状態における分光特性rr(λi)を算出する。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　すなわち、図５で示されるように、点線で表される好ましい状態の参照分光特性rp(λi)と、実線で表される被写体分光特性rm(λi)との差分に所定の係数αを乗じて、好ましい状態の参照分光特性rp(λi)に加算することで、太線で表される好適な商品の状態における分光特性rr(λi)が求められる。ここで、好適な商品の状態の分光特性とは、例えば、被写体である肌に、商品が適用されたときの理想的な被写体の分光特性であり、換言すれば、被写体に適用される理想的な商品の分光特性である。これに対して、好ましい状態の分光特性（参照分光特性）とは、例えば、被写体である肌に商品が適用される前の状態（商品が適用されていない状態）における理想的な分光特性である。したがって、好適な商品の状態の分光特性は、現状の推定された被写体の分光特性と、被写体である肌に商品が適用される前の状態の好ましい状態の（理想的な）分光特性（参照分光特性）との差分に基づいて求められる、肌に適用することで理想的な被写体の分光特性となることが期待される商品の分光特性であるとも言える。
　そして、推薦商品選択部３７は、以下の式（４）で示されるように、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品情報の分光特性rdj(λi)との差分の二乗の総和Djを算出する。
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　ここで、Djは、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との差分の二乗の総和である。
　さらに、推薦商品選択部３７は、以下の式（５）で示されるように、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との差分の二乗の総和Djが最小となる商品を商品記憶部３８より検索して、推薦すべき商品として選択し、出力制御部３９に出力する。
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　ここで、arg(min Dj)は、差分の二乗の総和Djが最小となる条件の集合を示しており、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との差分の二乗の総和Djが最小となる商品のインデックスが選択されることが表されている。
　ここで、商品記憶部３８は、例えば、図６で示されるように商品のインデックス毎に分光特性を記憶している。
　図６においては、左からインデックス欄、商品名欄、分光特性欄、特徴欄、および商品の写真欄が設けられており、それぞれに対応する商品情報が登録されている。
　図６においては、商品名として図中上から「ファンデーションＡ」、「ファンデーションＢ」、および「クリームＡ」の例が示されており、特徴として、図中上から「美白肌」、「日焼け肌」、および「保湿」の例が示されており、それぞれの商品写真の例が表示されている。
　すなわち、図６においては、インデックス＝１の商品情報について、商品名が「ファンデーションＡ」であり、好適な商品の分光特性が「{400,0.35}, {405,0.35}, {410,0.40}, …,{695,0.85},{700,0.90}」であり、特徴が「美白肌」であることが登録されており、併せて対応する商品写真が登録されている。
　また、インデックス＝２の商品情報について、商品名が「ファンデーションＢ」であり、好適な商品の分光特性が「{400,0.20}, {405,0.25}, {410,0.25}, …,{695,0.60},{700,0.65}」であり、特徴が「日焼け肌」であることが登録されており、併せて対応する商品写真が登録されている。
　さらに、インデックス＝３の商品情報について、商品名が「クリームＣ」であり、好適な商品の分光特性が「{400,0.35}, {405,0.35}, {410,0.40}, …,{695,0.80},{700,0.85}」であり、特徴が「保湿」であることが登録されており、併せて対応する商品写真が登録されている。
　不適切光源検出部４１は、環境光源推定部３３より供給される環境光源分光特性と、特性分類記憶部３６に記憶されている平均分光特性とを比較して、被写体分光特性を推定するのに適していない、不適切光源であるか否かを判定して、判定結果を出力制御部３９に出力する。
　例えば、図７の上段で示されるように、「やや明るい肌」および「日焼け肌」における平均分光特性を、全波長範囲について、適切に推定するにあたっては、環境光源分光特性が、全波長域に対してまんべんなく分布する照度が望ましい。
　ここで、全波長域について、適切に推定するような場合、図７の下段の環境光源分光特性のうち、最上段の白熱電球のように、全波長域について、ある程度の照度（Intensity）が分布しているようであれば適切な環境光源であるとみなすことができる。しかしながら、図７の下段のうち、蛍光灯や白色LEDの環境光源分光特性については、特定の波長域でしか照度が得られないため、不適切な環境光源であるものとみなされる。
　すなわち、蛍光灯は、パルス状の特性となるため、波長が435nmや545nm付近のピンポイントの範囲でのみしか十分な照度が得られない。また、白色LEDについては、465nmの数10nm前後の波長域のみでしか十分な照度が得られない。
　より具体的には、不適切光源検出部４１は、以下の式（６）を演算することにより、全波長域の平均照度を算出し、所定の閾値よりも大きいか否かにより不適切光源であるか否かを判定する。
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　ここで、Λは、サンプル数であり、I(λ)は、照度である。
　また、波長域を複数の領域に分割し、それぞれの領域において十分な照度が得られるか否かにより不適切な環境光源であるか否かが判定されるようにしてもよい。
　全波長域を、例えば、400乃至500nm，500乃至570nm，570乃至630nm，630乃至700nmの４領域のそれぞれについて分割して、例えば、以下の式（７）を算出することにより、不適切な環境光源であるか否かが判定されるようにしてもよい。
Figure JPOXMLDOC01-appb-M000007
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　ここで、Λiは、波長域毎のサンプル数であり、I(λi)は、波長域毎の照度である。
　尚、図７の上段は、「やや明るい肌」および「日焼け肌」における被写体分光特性を表しており、縦軸が分光反射率であり、横軸が波長である。また、図７の下段は、上から白熱電球、蛍光灯、および白色LEDにおける環境光源分光特性を表しており、いずれも縦軸が照度であり、横軸が波長である。
　出力制御部３９は、推薦商品選択部３７より供給される推薦商品の情報と、不適切光源検出部４１の環境光源が不適切光源であるか否かの判定結果とを取得して、出力部４０を制御して、推薦商品の商品情報を表示すると共に、不適切光源であるときには警告情報を提示する。
　出力部４０は、表示部５１、バイブレータ５２、およびスピーカ５３を備えており、出力制御部３９により制御されて、各種の情報を提示する。
　表示部５１は、LCD（Liquid Crystal Display）や有機EL（Electronic Luminescent）などからなるディスプレイであり、出力制御部３９により制御され、所定の画像を表示する。
　バイブレータ５２は、出力制御部３９により制御されて、例えば、モータにより偏芯回転軸の重りを回転させることにより、推薦商品提示装置１１の全体を振動させる。
　スピーカ５３は、出力制御部３９により制御されて、所定の音声を出力する。
　すなわち、出力制御部３９は、推薦商品選択部３７より供給される推薦商品の情報を取得し、例えば、図８で示されるように、推薦すべき商品の商品情報として商品名および商品画像を表示部５１に表示させる。
　図８においては、表示部５１において、推薦商品の商品情報として、上段に商品名として「ファンデーションＡ」が表示され、その右側に商品写真が表示されている例が示されている。また、図８においては、「ファンデーションＡ」の商品情報の下には、関連する商品として「ファンデーションＢ」乃至「ファンデーションＥ」が表示され、それぞれ商品画像が表示されている。尚、図８においては、推薦商品は１個である例が示されているが、複数の推薦商品を表示するようにしてもよい。
　また、出力制御部３９は、不適切光源検出部４１より現状の被写体分光特性を取得するには環境光源分光特性が不適切であることを示す情報が供給される場合、例えば、図９の左部で示されるように、「ここでは、〇〇は測定できません」といった警告画像を生成して表示部５１に表示させて、環境光源分光特性が不適切であることをユーザに対して警告する。警告は、これに限らず、例えば、他の環境光源が十分に環境で再度撮像するように促すような画像を表示するようにしてもよい。また、図９の左部における「〇〇」は、例えば、肌色やシミなどである。
　さらに、出力制御部３９は、不適切光源検出部４１より現状の被写体分光特性を取得するには環境光源分光特性が不適切であるという情報が供給される場合、例えば、図９の中央部で示されるように、バイブレータ５２を制御して、本体を振動させて、環境光源分光特性が不適切であることをユーザに警告する。
　また、出力制御部３９は、不適切光源検出部４１より現状の被写体分光特性を取得するには、環境光源分光特性が不適切であるという情報が供給される場合、例えば、図９の右部で示されるように、スピーカ５３を制御して、警告音を発生させて、環境光源分光特性が不適切であることをユーザに警告する。
　＜図１の推薦商品提示装置による商品推薦処理＞
　次に、図１０のフローチャートを参照して、図１の推薦商品提示装置による商品推薦処理について説明する。
　ステップＳ１１において、測定部３１は、ユーザにより操作部３２が操作されて、撮像が指示されると、フラッシュ３１ａを制御して、フラッシュ３１ａを発光させた状態で被写体の画像を撮像し、撮像した画像を環境光源推定部３３、および被写体分光特性推定部３４に出力する。
　ステップＳ１２において、測定部３１は、フラッシュ３１ａを発光させない状態で被写体の画像を撮像し、撮像した画像を環境光源推定部３３、および被写体分光特性推定部３４に出力する。
　ステップＳ１３において、環境光源推定部３３は、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より環境光源の分光特性を推定し、推定結果を環境光源分光特性として被写体分光特性推定部３４、および、不適切光源検出部４１に出力する。
　ステップＳ１４において、被写体分光特性推定部３４は、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より、環境光源分光特性に基づいて、環境光源の影響を除去した後、画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
　ステップＳ１５において、被写体特性比較部３５は、推定結果である被写体分光特性と、特性分類記憶部３６に記憶されている好ましい状態の分光特性である参照分光特性とを比較し、比較結果をユーザの肌の状態を評価する評価結果として、被写体分光特性を推薦商品選択部３７に出力する。このとき、被写体特性比較部３５は、被写体分光特性と、好ましい状態の参照分光特性とを、評価結果に併せて、推薦商品選択部３７に出力する。
　ステップＳ１６において、推薦商品選択部３７は、評価結果、並びに被写体分光特性および好ましい状態の参照分光特性に基づいて、商品記憶部３８に記憶されている商品の中から推薦すべき商品を推薦商品として選択（特定）し出力制御部３９に出力する。
　すなわち、評価結果に基づいて、ユーザの肌の状態の評価結果である、差分二乗平方根和mと所定の閾値thとの比較結果において、差分二乗平方根和mが所定の閾値thより大きい場合、推薦商品選択部３７は、図５を参照して説明したように、被写体分光特性と好ましい状態の参照分光特性とから、上述した式（３）を演算することにより、好適な商品の状態を算出する。そして、推薦商品選択部３７は、商品記憶部３８に記憶されている商品情報より式（４），式（５）により差分の二乗の総和が最小となる、すなわち、好適な商品の状態における分光特性と最も近い分光特性の商品のインデックスを選択し、選択したインデックスに対応する商品を推薦すべき推薦商品として選択する。
　尚、推薦商品が選択されるのは、被写体分光特性と参照分光特性との差分二乗平方根和mが、所定の閾値thよりも高いという評価結果の場合である。したがって、例えば、被写体分光特性と参照分光特性との差分二乗平方根和mが、所定の閾値thよりも小さく、図２を参照して説明した比較により、被写体の状態が好ましい状態に近い、または、好ましい状態よりも良い場合については、推薦商品は選択されない。この場合、推薦商品選択部３７は、推薦すべき商品の商品情報の代わりに、例えば、「お肌の状態は好ましい状態です。」といった、ユーザの肌の状態が好ましい状態であることを示す情報を出力制御部３９に出力するようにしてもよい。また、被写体の状態が好ましい状態に近い、または、好ましい状態よりも良い場合については、上述したように、推薦商品が選択されないようにしてもよいし、一般的な商品を推薦するようにしてもよい。
　ステップＳ１７において、不適切光源検出部４１は、環境光源分光特性の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切であるか否かに基づいて、不適切光源であるか否かを判定し、判定結果を出力制御部３９に出力する。
　ステップＳ１７において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切あり、不適切光源ではないと判定された場合、処理は、ステップＳ１８に進む。
　ステップＳ１８において、出力制御部３９は、推薦商品の商品情報を出力部４０の表示部５１に表示し、処理を終了する。尚、例えば、被写体分光特性と参照分光特性との差分二乗平方根和mが、所定の閾値thよりも小さく、図２を参照して説明した比較により、被写体の状態が好ましい状態に近い、または、好ましい状態よりも良い場合については、推薦商品は選択されない。そこで、このような場合、推薦商品選択部３７より、推薦すべき商品の商品情報の代わりに、例えば、「お肌の状態は好ましい状態です。」といった、ユーザの肌の状態が好ましい状態であることを示す情報が出力制御部３９に出力されるようにしてもよい。このようにすることで、出力制御部３９は、推薦商品の商品情報に代えて、「お肌の状態は好ましい状態です。」といった情報を出力部４０の表示部５１に表示することができる。
　一方、ステップＳ１７において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きくなく、被写体分光特性を推定する環境光源として不適切あり、不適切光源であると判定された場合、処理は、ステップＳ１９に進む。
　ステップＳ１９において、出力制御部３９は、推薦商品の情報と共に、環境光源が不適切光源であることを示す情報を出力部４０の表示部５１に表示する。また、出力制御部３９は、バイブレータ５２を振動させ、スピーカ５３より所定の音声を出力させることにより、環境光源が不適切光源であることを示す情報を表示し、処理を終了する。
　尚、環境光源が不適切であるとの警告は、表示部５１による表示による警告、バイブレータ５２の振動による警告、およびスピーカ５３からの音声による警告の少なくともいずれかにより警告できればよいので、必ずしも全ての構成により警告する必要があるわけではない。また、環境光源が不適切である場合の警告方法については、表示部５１、バイブレータ５２、およびスピーカ５３のいずれか、または、いずれかの組み合わせをユーザにより予め設定できるようにしてもよい。
　以上の処理により、被写体となるユーザの肌を撮像することにより、環境光源の影響を考慮して、ユーザの肌を被写体とする被写体分光特性を求め、所定の閾値と比較することで、ユーザの肌を評価することが可能となる。さらに、閾値との比較に応じた評価に基づいて、ユーザの肌の状態を好適な状態にさせる商品（または物品）を推薦商品として推薦（特定）して、提示することが可能となる。
　また、以上においては、ユーザの肌の評価に応じて、好適な肌の状態にさせるための商品を推薦商品として提示させる例について説明してきたが、ユーザの肌の評価そのものを提示するようにしてもよい。すなわち、被写体となるユーザの肌を撮像することにより、環境光源の影響を考慮して、ユーザの肌を被写体とする被写体分光特性を求め、被写体分光特性の平均値に応じて設定される所定の閾値との比較結果や、所定の閾値との差分がどの程度であり、どの程度状態が良いのか、または、悪いのかを提示するようにしてもよい。
　さらに、図１の推薦商品提示装置１１が、ユーザの肌の評価に対応する情報を提示するものであるとみなした場合、推薦商品の提示は、ユーザの肌の評価として提示される情報のうちの１つの情報であるとみなすこともできる。
　従って、ユーザの肌の評価に対応する情報は、ユーザの肌を被写体とする被写体分光特性と、被写体分光特性の平均値からなる平均分光特性に応じて設定される所定の閾値との比較結果を示す情報や、所定の閾値との差分に応じて、どの程度状態が良いのか悪いのかを示す情報でもよい。また、ユーザの肌の評価に対応する情報は、例えば、日焼けにより全体として分光反射率が低い場合に、「これ以上の日焼けは控えるようにすることをおススメします。」といったコメントなどでもよい。このため、ユーザの肌の評価に対応する情報が、推薦商品の提示と共に、または、推薦商品の提示に代えて、提示されるようにしてもよいし、評価に対応して何らかの行動を促すような提示であってもよい。
　また、以上においては、被写体であるユーザの肌の状態に応じて、好適な状態にするための推薦商品を提示する例について説明してきたが、被写体は、肌の色に限らず、その他の被写体についての色に基づいた評価を行うようにしてもよい。例えば、頭髪、服、食品、および塗装などを被写体とした画像の色に対する評価であってもよく、また、これらの評価に基づいて、好適な色の頭髪にする商品、好適な色の被服商品、好適な色の推薦食品、および好適な色の推薦塗装等を提示するようにしてもよい。
　また、ユーザの肌の評価結果に応じて、化粧品等の推薦商品の提示のみならず、推薦すべきサービスを提示するようにしてもよく、例えば、エステティックの施術や運動などのヘルスケア行動を推薦するようにしてもよい。
　さらに、以上においては、推薦商品提示装置１１は、スマートフォンなどの携帯端末である例について説明を進めてきたが、測定部３１、操作部３２、出力制御部３９、および出力部４０を除いた構成、すなわち、環境光源推定部３３、被写体分光特性推定部３４、被写体特性比較部３５、特性分類記憶部３６、推薦商品選択部３７、商品記憶部３８、および不適切光源検出部４１については、本体外部に構成されるようにしてもよく、例えば、ネットワークを介してクラウドサーバにより実現するようにしてもよい。
　このようにすることで、スマートフォンの処理負荷を低減することが可能となる。また、被写体となるユーザの肌を撮像した画像があれば、クラウドサーバなどにより実現される推薦商品提示装置１１に対して撮像した画像を送信するだけで、ユーザの肌を評価することが可能となる。
　また、以上においては、被写体分光特性（被写体の状態＝rm(λi)）と、参照分光特性（好ましい状態＝rp(λi)）との差分diや、好適な商品の状態の分光特性rr(λi)と、商品記憶部３８に登録されている商品の分光特性rdj(λi)との総和Djを用いる例について説明してきたが、これらは、差分のみならず、例えば、比率で表現するようにしてもよい。
　＜＜２．第２の実施の形態＞＞
　以上においては、ユーザの肌の画像に基づいた被写体分光特性、および好ましい状態の被写体分光特性の差分二乗平方根和と、平均分光特性、および好ましい状態の参照分光特性の差分に基づいた閾値との比較結果が、ユーザの肌の評価として求められ、ユーザの肌の評価に基づいて、推薦商品（または物品）が選択（特定）されて提示される例について説明してきた。
　しかしながら、ユーザの肌の評価は、これに限るものではなく、例えば、被写体分光特性の波長域を複数の領域に分割し、分割した波長域毎の、分光反射率の平均値と閾値との比較結果の組み合わせにより被写体分光特性の分類し、分類結果を用いてユーザの肌の状態を評価するようにしてもよい。
　図１１は、被写体分光特性を波長域毎の、分光反射率の平均値と閾値の比較結果の組み合わせに応じて被写体分光特性を分類し、分類結果によりユーザの肌の状態を評価するようにした推薦商品提示装置１１の構成例を示している。
　図１１の推薦商品提示装置１１の構成において、図１の推薦商品提示装置１１と同一の機能を備えた構成については、同一の符号を付しており、その説明を適宜省略する。
　すなわち、図１１の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる点は、被写体特性比較部３５、特性分類記憶部３６、推薦商品選択部３７、および商品記憶部３８に代えて、被写体特性分類部７１、特性分類記憶部７２、推薦商品選択部７３、および商品記憶部７４を設けた点である。
　被写体特性分類部７１は、被写体分光特性を波長域毎の、分光反射率の平均値と閾値の比較結果の組み合わせに応じた被写体分光特性の分類結果を、ユーザの肌の状態の評価として推薦商品選択部７３に出力する。
　例えば、図１２で示されるように、被写体分光特性の波長域を、例えば、波長域Ｃ１乃至Ｃ６の６つの波長域に分割した場合、被写体特性分類部７１は、各波長域の被写体分光特性の平均値を、以下の式（８）として求める。
Figure JPOXMLDOC01-appb-M000008
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
　ここで、ｃは各波長域のサンプル数であり、rm(λi)は、各波長域Cm（m＝1,2,…6）における各波長λiの分光反射率である。
　さらに、被写体特性分類部７１は、各波長域の被写体分光特性の平均値と閾値との比較により、閾値よりも小さい場合の値、閾値と同程度の場合の値、閾値よりも大きい場合の値からなる３値のいずれかの値に設定し、波長域毎の３値の組み合わせにより、被写体分光特性を分類する。すなわち、この場合、被写体分光特性は、36＝729通りに分類される。そして、被写体特性分類部７１は、分類した被写体分光特性の分類結果に基づいて、特性分類記憶部７２に記憶されている、被写体分光特性の分類結果に対応付けて記憶されている評価インデックスを読み出して、被写体分光特性の評価として推薦商品選択部７３に出力する。
　推薦商品選択部７３は、評価インデックスに基づいて、商品記憶部７４に記憶されている商品情報を読み出して出力制御部３９に出力する。すなわち、商品記憶部７４は、評価インデックスと、商品情報のインデックスとを対応付けて記憶している。
　尚、図１の推薦商品選択部３７は、被写体分光特性および参照分光特性から求められる好適な商品の状態の分光特性と、商品の分光特性との差分の二乗の総和が最小となる商品情報を選択して、推薦商品として出力している。これに対して、推薦商品選択部７３は、被写体分光特性の分類結果である評価インデックスと対応付けて商品記憶部７４に記憶されているインデックスの商品情報（または物品情報）を選択（特定）して、推薦商品（または推薦物品）として出力している。
　すなわち、図１の推薦商品選択部３７は、実質的に被写体分光特性および参照分光特性に基づいて求められる好適な商品の状態の分光特性と最も類似する分光特性を備えた商品情報を推薦商品として選択していると言える。
　ここで、好適な商品の状態の分光特性は、被写体分光特性から求められるものであり、また、被写体分光特性もまた、好適な商品の状態の分光特性から求められる。同様に、被写体分光特性の分類結果である評価インデックスは、対応する被写体分光特性の好適な商品の状態の分光特性から求められるものであり、好適な商品の状態の分光特性も、被写体分光特性の分類結果である評価インデックスから求められるものである。
　したがって、商品記憶部７４においては、好適な商品の状態の分光特性と、商品情報の分光特性とが最も類似した商品情報のインデックスと評価インデックスとが、対応付けて登録されている。
　推薦商品選択部３７は、被写体分光特性と所定の閾値thとの比較によりユーザの肌の状態を評価し、評価結果に基づいて、好適な商品の状態の分光特性に最も類似する分光特性の商品を、推薦商品として選択する。
　これに対して、推薦商品選択部７３は、被写体分光特性を評価インデックスに分類することでユーザの肌の状態を評価し、評価結果である評価インデックスにより特定される好適な商品の状態の分光特性と最も類似する分光特性を備えた商品情報のインデックスの商品を推薦商品として選択している。
　すなわち、推薦商品選択部３７，７３は、取得する評価結果が、被写体分光特性、および評価インデックスという点で異なるが、いずれにおいても、そこから得られる好適な商品の状態の分光特性に最も近い分光特性を備えた商品情報を選択する点で、実質的に同一の処理を実行していると言える。
　＜図１１の推薦商品提示装置による商品推薦処理＞
　次に、図１３のフローチャートを参照して、図１１の推薦商品提示装置による商品推薦処理について説明する。尚、図１３のフローチャートにおけるステップＳ３１乃至Ｓ３４，Ｓ３７乃至Ｓ３９の処理は、図１０のステップＳ１１乃至Ｓ１４，Ｓ１７乃至Ｓ１９の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ３５において、被写体特性分類部７１は、被写体分光特性を波長域毎の、分光反射率の平均値と閾値の比較結果の組み合わせに応じた被写体分光特性の分類結果に基づいて、特性分類記憶部７２より対応する評価インデックスの情報を読み出し、ユーザの肌の評価結果として推薦商品選択部７３に出力する。
　ステップＳ３６において、推薦商品選択部７３は、分類結果に対応する評価インデックスの情報に基づいて、評価インデックスに対応付けて登録されているインデックスの商品情報を商品記憶部７４より読み出して、推薦すべき推薦商品（または推薦物品）として選択（特定）し出力制御部３９に出力する。
　以上の処理により、被写体となるユーザの肌を撮像することにより、環境光源の影響を考慮して、ユーザの肌を被写体とする被写体分光特性を求め、被写体分光特性を分類し、分類結果に対応する評価インデックスを出力することで、ユーザの肌を評価することが可能となる。さらに、分類結果に応じて設定される評価インデックスに基づいて、評価インデックスに対応付けて、ユーザの肌の状態を好適な商品の状態にさせる商品情報として登録されているインデックスの商品（または物品）を推薦商品として選択（特定）させて提示させることが可能となる。
　＜＜３．第３の実施の形態＞＞
　以上においては、測定部３１により撮像された画像に基づいて、環境光源分光特性と被写体分光特性とを利用して、ユーザの肌を評価し、評価に基づいて好適な商品の状態にさせる商品を推薦商品として提示し、環境光源が不適切なときに警告する情報を提示する例について説明してきた。
　しかしながら、環境光源が不適切である場合には、適切にユーザの肌を評価することができない可能性があり、また、不適切な評価に基づいて提示された推薦商品を使用しても適切な効果が得られない可能性がある。そこで、推定された環境光源分光特性に基づいて、適切にユーザの肌を評価できる項目を提示して、ユーザにより選択できるようにして、選択された項目について適切な評価に基づいた推薦商品を提示できるようにしてもよい。
　図１４は、推定された環境光源分光特性に基づいて、適切にユーザの肌の状態を評価できる項目を提示し、ユーザにより選択できるようにして、選択された項目について適切な評価に基づいた推薦商品を提示できるようにした推薦商品提示装置１１の構成例を示している。
　尚、図１４の推薦商品提示装置１１において、図１の推薦商品提示装置１１における構成と、同一の機能を備えた構成については、同一の符号を付しており、その説明は、適宜省略するものとする。
　すなわち、図１４の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる点は、不適切光源検出部４１に代えて、測定項目選択部８１を設けた点である。
　測定項目選択部８１は、環境光源推定部３３より供給される環境光源分光特性と、特性分類記憶部３６に記憶された被写体分光特性との比較により、測定に適した測定項目を抽出し、出力制御部３９に出力し、測定に適した測定項目の選択画像を表示させる。そして、測定項目選択部８１は、選択画像に基づいて、ユーザにより操作部３２が操作されて選択されることにより、選択された選択項目を被写体特性比較部３５に出力する。
　被写体特性比較部３５は、選択項目に対応する波長域のユーザの被写体分光特性および参照分光特性の差分二乗平方根和と、平均分光特性および参照分光特性の差分二乗平方根和を利用した閾値との比較結果を、ユーザの肌の状態の評価結果として出力する。
　より詳細には、例えば、図１５で示されるように、測定項目が肌色の場合、使用する波長域は、400nm乃至700nmであり、測定項目が肌のしみ（赤み）の場合、使用する波長域は、545nm乃至575nm、および645nm乃至675nmであり、測定項目が肌のしみ（日焼け）の場合、使用する波長域は、645nm乃至675nm、および845nm乃至875nmであり、測定項目が脈の場合、使用する波長域は、500nm乃至550nmであり、測定項目がAGEs（糖化最終生成物）の場合、使用する波長域は、400nm乃至450nmである。
　被写体特性比較部３５は、測定項目選択部８１より供給される測定項目に応じて、対応する波長域の被写体分光特性を用いて被写体分光特性と参考分光特性とを比較し、比較結果に基づいてユーザの肌の状態を評価して、推薦商品選択部３７に出力する。
　推薦商品選択部３７は、測定項目に応じた波長域について、被写体分光特性と好ましい状態の参照分光特性とに基づいて、好適な商品の状態を求めて、商品記憶部３８に記憶されている商品のうち推薦すべき商品を選択し、選択結果となる商品の商品情報を出力制御部３９に出力する。
　＜図１４の推薦商品提示装置による商品推薦処理＞
　次に、図１６のフローチャートを参照して、図１４の推薦商品提示装置による商品推薦処理について説明する。
　ステップＳ５１乃至Ｓ５３の処理により、測定部３１により被写体となるユーザの肌を撮像し、撮像した画像に基づいて、環境光源推定部３３が、環境光源分光特性を推定して、被写体分光特性推定部３４、および測定項目選択部８１に出力する。
　ステップＳ５４において、測定項目選択部８１は、環境光源分光特性に基づいて、測定に適した測定項目を選択して出力制御部３９に出力する。
　より詳細には、例えば、環境光源分光特性の400nm乃至700nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、図１５を参照して説明したように、肌色が測定に適した測定項目として選択される。また、同様に、環境光源分光特性のうち、545nm乃至575nm、および645nm乃至675nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、図１５を参照して説明したように、肌のしみ（赤み）が、測定に適した測定項目として選択される。
　さらに、環境光源分光特性のうち、645nm乃至675nm、および845nm乃至875nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、肌のしみ（日焼け）が、測定に適した測定項目として選択される。また、500nm乃至550nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、脈が測定項目として選択される。さらに、400nm乃至450nmにおいて、差分二乗平方根和mが、閾値よりも高ければ、AGEs（糖化最終生成物）が測定に適した測定項目として選択される。
　出力制御部３９は、測定に適した測定項目の情報に基づいて、例えば、図１７で示されるような選択画面を生成して、表示部５１に表示させる。
　図１７においては、最上段において「測定項目選択」と表示され、以下に測定に適した測定項目が表示され、左側の丸印状のボタンを操作部３２により操作することで、選択することができる。図１７においては、測定項目として、上から「肌色」、「脈」、および「肌のしみ」の順序に示されており、最上段のボタンに色が付されており、測定項目として「肌色」が選択されたときの例が示されている。
　図１７で示されるように測定項目選択画面が表示されて、ユーザにより操作部３２が操作されて、測定項目が選択されると、測定項目選択部８１は、選択された測定項目と、対応する波長域の情報を被写体特性比較部３５に出力する。
　ステップＳ５５において、被写体分光特性推定部３４が、被写体分光特性を推定し、推定結果を被写体特性比較部３５に出力する。
　ステップＳ５６において、被写体特性比較部３５は、選択された測定項目を測定するのに必要とされる波長域について、被写体分光特性と参照分光特性との差分を求め、差分二乗平方根和mを求めると共に、閾値thと比較することで、ユーザの肌を評価し、評価結果である、閾値thとの比較結果と併せて、被写体分光特性の推定結果、および選択された測定項目の情報を推薦商品選択部３７に出力する。
　ステップＳ５７は、推薦商品選択部３７は、選択された測定項目を測定するのに必要とされる波長域の差分二乗平方根和mと閾値thとの比較結果と併せて、被写体分光特性の推定結果、および選択された測定項目の情報に基づいて、商品記憶部３８に記憶されている商品情報より、推薦すべき商品を推薦商品として選択し、選択した推薦商品の情報を出力制御部３９に出力する。尚、推薦商品の選択方法の詳細については、選択された測定項目の測定に必要とされる波長域の情報のみを使用する以外は、図１の推薦商品提示装置１１と同様であるので、その説明は省略する。
　ステップＳ５８において、出力制御部３９は、推薦商品の情報を表示部５１に表示させる。
　以上の処理により、被写体となるユーザの肌を撮像することにより、環境光源により測定に適した測定項目だけを選択肢とする測定項目選択画面を表示することで、そのいずれかをユーザに選択させて、選択された測定項目に必要とされる被写体分光特性を用いて、所定の閾値と比較することで、環境光源に応じた適切なユーザの肌の評価を実現することができる。また、適切な評価結果に基づいて、ユーザの肌の状態を好適な状態にさせる商品を適切に選択（特定）して推薦商品（または推薦物品）として提示することができる。尚、環境光源により測定に適した測定項目については、その測定項目を表示しつつ、ユーザの選択を待たず、自動的に測定に適した測定項目の被写体分光特性を用いて、所定の閾値と比較することで、環境光源に応じた適切なユーザの肌の評価をするようにしてもよい。このようにすることで、測定項目選択画面の表示と、ユーザによる選択を待たずに迅速に、肌の評価を提示することが可能となる。
　＜＜４．第４の実施の形態＞＞
　以上においては、毎回、環境光源分光特性を推定し、被写体分光特性に基づいた商品推薦処理を実現する例について説明してきたが、ユーザがある程度限られた環境でのみ使用するような場合、一度測定した環境光源分光特性については、記憶しておき、再利用できるようにしてもよい。
　図１８は、環境光源分光特性を記憶しておき、再利用できるようにした推薦商品提示装置１１の構成例を示している。尚、図１８の推薦商品提示装置１１の構成において、図１の推薦商品提示装置１１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図１８の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる点は、新たに、環境光源登録部１０１、環境光源記憶部１０２、および環境光源選択部１０３を設けた点である。
　環境光源登録部１０１は、環境光源推定部３３より新たな環境光源分光特性が供給されるとき、出力制御部３９を介して、環境光源分光特性を登録するか否かをユーザに問い合わせる画像を表示部５１に表示させる。そして、これに応じてユーザにより操作部３２が操作されて、登録が指示されると、環境光源登録部１０１は、環境光源分光特性を、現在の位置情報と対応付けて環境光源記憶部１０２に登録する。
　尚、現在の位置情報については、ユーザが操作部３２を操作して、位置を特定する情報として、「自室」、「洗面所」、または、「化粧室」といった情報を入力するようにしてもよい。また、現在の位置情報については、図示せぬGPS（Global Positioning System）などを利用して検出される地球上の緯度経度からなる位置情報と対応付けて登録するようにしてもよい。
　環境光源選択部１０３は、測定部３１により画像が撮像されるとき、出力制御部３９を介して、表示部５１に環境光源記憶部１０２に登録されている環境光源分光特性のいずれかを利用するかを問い合わせる画像を表示させ、いずれかが選択されたとき、選択された環境光源分光特性の情報を読み出して、被写体分光特性推定部３４に出力する。
　＜図１８の推薦商品提示装置による商品推薦処理＞
　次に、図１９のフローチャートを参照して、図１８の推薦商品提示装置１１による商品推薦処理について説明する。
　ステップＳ７１，Ｓ７２において、測定部３１は、フラッシュ３１ａを発光させた場合と、発光させない場合の画像を撮像し、環境光源推定部３３、および被写体分光特性推定部３４に出力する。
　ステップＳ７３において、環境光源選択部１０３は、出力制御部３９を介して、例えば、図２０で示されるような、環境光源記憶部１０２に記憶されている環境光源分光特性の情報のいずれか、または、登録された環境光源分光特性を利用しないかのいずれかを選択する選択画像を表示部５１に表示させる。
　図２０には、表示部５１における選択画像の表示例が示されており、最上段において「測定環境選択」と表示され、その下に環境光源記憶部１０２に登録されている環境光源分光特性と対応付けて登録されている場所として、上から、「自室」、「洗面所」、「化粧室」、および「利用しない」が選択肢として表示されており、選択肢のそれぞれの左側に丸印状の選択ボタンが表示されている。
　選択ボタンのいずれかが、操作部３２により操作されることにより、選択肢が選択される。
　ステップＳ７４において、環境光源選択部１０３は、操作部３２が操作されて、いずれか登録された環境光源分光特性が選択されたか否かを判定する。
　ステップＳ７４において、例えば、「利用しない」が選択されて、登録された環境光源分光特性が選択されていない場合、処理は、ステップＳ７５に進む。
　ステップＳ７５において、環境光源推定部３３は、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より環境光源分光特性を推定し、推定結果を被写体分光特性推定部３４、不適切光源検出部４１、および環境光源登録部１０１に出力する。
　ステップＳ７６において、環境光源登録部１０１は、出力制御部３９を介して、表示部５１に現在の場所に対応付けて、ここで推定された環境光源分光特性を登録するか否かを問い合わせる画像を表示させる。
　ステップＳ７７において、環境光源登録部１０１は、操作部３２が操作されて、ここで推定された環境光源分光特性を場所に対応付けて環境光源記憶部１０２に登録することが指示されたか否かを判定する。
　ステップＳ７７において、ここで推定された環境光源分光特性を場所に対応付けて環境光源記憶部１０２に登録することが指示された場合、処理は、ステップＳ７８に進む。
　ステップＳ７８において、環境光源登録部１０１は、ここで推定された環境光源分光特性を、現在の場所の情報と対応付けて環境光源記憶部１０２に登録する。
　尚、ステップＳ７７において、環境光源分光特性を登録する指示がない場合、ステップＳ７８の処理はスキップされる。
　ステップＳ７９において、被写体分光特性推定部３４は、ここで推定された環境光源分光特性により、環境光源の影響を除去して、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
　尚、ステップＳ７４において、環境光源記憶部１０２に登録されているいずれかの環境光源分光特性が選択された場合、処理は、ステップＳ８０に進む。
　ステップＳ８０において、被写体分光特性推定部３４は、選択された環境光源分光特性により、環境光源の影響を除去して、フラッシュ３１ａが発光した状態の画像と、フラッシュ３１ａが発光していない状態の画像との２枚の画像より画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
　尚、ステップＳ８１乃至Ｓ８５の処理は、図１０のフローチャートにおけるステップＳ１５乃至Ｓ１９の処理と同様であるので、説明は省略する。
　すなわち、登録された環境光源分光特性のいずれかが選択された場合は、選択された環境光源分光特性を利用して環境光源の影響が除去された状態で被写体分光特性が推定され、登録された環境光源分光特性のいずれかが選択されない場合、ここで推定された環境光源分光特性を利用して環境光源の影響が除去された状態で被写体分光特性が推定される。
　結果として、一度登録された場所の環境光源分光特性については、推定する必要がなくなり、読み出すだけで再利用することができるので、環境光源分光特性の推定処理に係る負荷を低減し、処理速度を向上させることが可能となる。
　＜＜５．第５の実施の形態＞＞
　以上においては、被写体を撮像する測定部３１により撮像された画像を用いて、被写体分光特性と、環境光分光特性との両方を推定する例について説明してきたが、それぞれの測定部を設けるようにして、環境光源分光特性をより高精度に推定できるようにしてもよい。
　図２１は、被写体分光特性を推定するための画像を撮像する測定部３１に加えて、環境光源分光特性を推定するための画像を撮像するための環境光源測定部をさらに設けるようにした推薦商品提示装置１１の構成例を示している。
　図２１の推薦商品提示装置１１において、図１の推薦商品提示装置１１の構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図２１の推薦商品提示装置１１において、図１の推薦商品提示装置１１と異なる構成は、新たに環境光源分光特性を推定するための画像を撮像する環境光源測定部１２１および環境光源推定部１２２が設けられた点である。
　環境光源測定部１２１は、基本的には測定部３１と同一の構成であるが、環境光源となり得る、環境光源の測定に適した画像の撮像が可能な方向を撮像し、撮像した画像を環境光源推定部１２２に出力する。環境光源測定部１２１は、例えば、ウェアラブル端末などに設けられるようにして、環境光源となりうる光源を適切に撮像できる構成が望ましい。
　環境光源推定部１２２は、環境光源測定部１２１により撮像された画像に基づいて、例えば、“コンピュータービジョンと分光反射率推定（応用物理学会誌）富永昌治著 1997 26巻12号”のように光源の種別、光源の分光特性を推定して環境光源分光特性として、推定結果を被写体分光特性推定部３４および不適切光源検出部４１に出力する。
　＜図２１の推薦商品提示装置による商品推薦処理＞
　次に、図２２のフローチャートを参照して、図２１の推薦商品提示装置１１による商品推薦処理について説明する。
　ステップＳ１０１において、環境光源測定部１２１は、ユーザにより操作部３２が操作されて、撮像が指示されると、環境光源となり得る光源が確実に存在する方向の画像を撮像し、撮像した画像を環境光源推定部１２２に出力する。
　ステップＳ１０２において、測定部３１は、フラッシュ３１ａを制御して、フラッシュ３１ａを発光させた状態で被写体の画像を撮像し、撮像した画像を被写体分光特性推定部３４に出力する。
　ステップＳ１０３において、測定部３１は、フラッシュ３１ａを発光させない状態で被写体の画像を撮像し、撮像した画像を被写体分光特性推定部３４に出力する。
　ステップＳ１０４において、環境光源推定部１２２は、環境光源測定部１２１より供給される画像より環境光源の分光特性を推定し、推定結果を環境光源分光特性として被写体分光特性推定部３４、および、不適切光源検出部４１に出力する。
　ステップＳ１０５において、被写体分光特性推定部３４は、環境光源推定部１２２より供給された環境光源分光特性により、環境光源の影響を除去して、測定部３１により撮像された画像より画像内における被写体における分光特性を推定し、推定結果を被写体分光特性として被写体特性比較部３５に出力する。
　ステップＳ１０６において、被写体特性比較部３５は、推定結果である被写体分光特性と、特性分類記憶部３６に記憶されている好ましい状態の分光特性である参照分光特性とを比較し、比較結果をユーザの肌の状態を評価する評価結果として、被写体分光特性を推薦商品選択部３７に出力する。このとき、被写体特性比較部３５は、被写体分光特性と、好ましい状態の参照分光特性とを、評価結果に併せて、推薦商品選択部３７に出力する。
　ステップＳ１０７において、推薦商品選択部３７は、評価結果、並びに被写体分光特性および好ましい状態の参照分光特性に基づいて、商品記憶部３８に記憶されている商品の中から推薦すべき商品を推薦商品（または推薦物品）として選択（特定）し出力制御部３９に出力する。
　ステップＳ１０８において、不適切光源検出部４１は、環境光源推定部１２２より供給された環境光源分光特性の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切であるか否かに基づいて、不適切光源であるか否かを判定し、判定結果を出力制御部３９に出力する。
　ステップＳ１０８において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きく、被写体分光特性を推定する環境光源として適切あり、不適切光源ではないと判定された場合、処理は、ステップＳ１０９に進む。
　ステップＳ１０９において、出力制御部３９は、推薦商品の商品情報を出力部４０の表示部５１に表示し、処理を終了する。
　一方、ステップＳ１０８において、環境光源の全波長域の平均照度が、特性分類記憶部３６に記憶されている被写体分光特性の平均値からなる閾値よりも大きくなく、被写体分光特性を推定する環境光源として不適切あり、不適切光源であると判定された場合、処理は、ステップＳ１１０に進む。
　ステップＳ１１０において、出力制御部３９は、推薦商品の情報と共に、環境光源が不適切光源であることを示す情報を出力部４０の表示部５１に表示する。また、出力制御部３９は、バイブレータ５２を振動させ、スピーカ５３より所定の音声を出力させることにより、環境光源が不適切光源であることを示す情報を表示し、処理を終了する。
　以上の処理により、環境光源分光特性を推定するための構成を別途設けるようにしたことにより、環境光源分光特性を高精度の推定することが可能となるので、より適切に環境光源の影響を除去して、被写体分光特性を推定することが可能となる。
　また、図２１の推薦商品提示装置１１の環境光源測定部１２１、および環境光源推定部１２２により推定された環境光源分光特性を、推定された場所に対応付けて、例えば、クラウドサーバ等に登録し、環境光源測定部１２１、および環境光源推定部１２２を備えていない、例えば、図１８の推薦商品提示装置１１により利用できるようにしてもよい。
　＜＜６．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図２３は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図２３におけるCPU１００１が、図１における環境光源推定部３３、被写体分光特性推定部３４、被写体特性比較部３５、推薦商品選択部３７、出力制御部３９、および不適切光源検出部４１、図１１の被写体特性分類部７１、図１４の測定項目選択部８１、図１８の環境光源登録部１０１、および環境光源選択部１０３、並びに、図２１の環境光源推定部１２２の機能を実現させる。また、図２３における記憶部１００８が、図１，図１１，図１４，図１８，図２１の特性分類記憶部３６、および商品記憶部３８、並びに図１８の環境光源記憶部１０２を実現する。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部を備える
　画像処理装置。
＜２＞　前記評価部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
　＜１＞に記載の画像処理装置。
＜３＞　前記評価部は、前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果を、前記被写体の状態の評価結果として出力する
　＜２＞に記載の画像処理装置。
＜４＞　前記所定の閾値は、複数の被写体における被写体分光特性の平均値と、前記参照分光特性との差分二乗平方根和である
　＜３＞に記載の画像処理装置。
＜５＞　前記参照分光特性は、前記被写体分光特性における被写体の好ましい状態の分光特性である
　＜１＞乃至＜４＞のいずれかに記載の画像処理装置。
＜６＞　前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
　前記特定部により特定された物品を表示する表示部とをさらに備える
　＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜７＞　前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果からなる前記被写体の状態の評価結果において、前記被写体分光特性と前記参照分光特性との差分二乗平方根和が所定の閾値よりも大きい場合、
　前記特定部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する
　＜６＞に記載の画像処理装置。
＜８＞　前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
　＜６＞に記載の画像処理装置。
＜９＞　前記物品の情報について、前記物品の適用により前記被写体に生じる分光特性の情報と対応付けて記憶する物品記憶部をさらに備え、
　前記特定部は、前記物品記憶部に記憶されている物品のうち、対応付けて記憶されている分光特性と、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性との差分二乗和が小さくなる物品を特定する
　＜６＞に記載の画像処理装置。
＜１０＞　前記評価部は、前記被写体分光特性を分類することで前記被写体の状態を評価する
　＜１＞に記載の画像処理装置。
＜１１＞　前記評価部は、前記被写体分光特性を複数の波長域に分割し、分割した波長域毎の所定の閾値との差分二乗平方根和との比較結果に基づいて、前記被写体分光特性を分類し、分類結果を評価インデックスとすることで、前記被写体の状態を評価する
　＜１０＞に記載の画像処理装置。
＜１２＞　前記評価インデックスに基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
　前記特定部により特定された物品を表示する表示部をさらに備える
　＜１１＞に記載の画像処理装置。
＜１３＞　前記物品の情報について、前記被写体分光特性と前記参照分光特性との差分に基づいた、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品のインデックスと、前記被写体分光特性の評価インデックスとを対応付けて記憶する物品記憶部をさらに備え、
　前記特定部は、前記物品記憶部に記憶された物品のうち、前記評価インデックスに対応付けて記憶された物品を、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品として特定する
　＜１２＞に記載の画像処理装置。
＜１４＞　前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
　＜１３＞に記載の画像処理装置。
＜１５＞　撮像された画像内の環境光源の分光特性を、環境光源分光特性として推定する環境光源分光特性推定部をさらに備え、
　前記評価部は、前記画像より推定された前記環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
　＜１＞乃至＜１４＞のいずれかに記載の画像処理装置。
＜１６＞　前記環境光源分光特性推定部により推定された前記環境光源分光特性を、測定した場所に対応付けて記憶する環境光源分光特性記憶部をさらに備え、
　前記評価部は、前記環境光源分光特性記憶部に記憶されている環境光源分光特性のうち、選択された環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性に基づいて、前記被写体の状態を評価する
　＜１５＞に記載の画像処理装置。
＜１７＞　前記環境光源分光特性推定部により推定された環境光源分光特性により、前記被写体分光特性に対して、前記環境光源が不適切な光源であることを検出する不適切光源検出部と、
　前記環境光源が不適切な光源であることが検出された場合、前記環境光源が不適切な光源であることを提示する提示部とをさらに備える
　＜１５＞に記載の画像処理装置。
＜１８＞　前記不適切光源検出部は、前記環境光源分光特性推定部により推定された環境光源分光特性における、前記被写体分光特性の平均値との比較に基づいて、不適切な光源であることを検出する
　＜１７＞に記載の画像処理装置。
＜１９＞　撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価処理を含む
　画像処理方法。
＜２０＞　撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部をコンピュータとして機能させる
　プログラム。
　１１　推薦商品提示装置，　３１　収録部，　３１ａ　フラッシュ，　３２　操作部，　３３　環境光源推定部，　３４　被写体分光特性推定部，　３５　被写体特性比較部，　３６　特性分類記憶部，　３７　推薦商品選択部，　３８　商品記憶部，　３９　出力制御部，　４０　出力部，　４１　不適切光源検出部，　５１　表示部，　５２　バイブレータ，　５３　スピーカ，　７１　被写体特性分類部，　７２　特性分類記憶部，　７３　推薦商品選択部，　７４　商品記憶部，　８１　測定項目選択部，　１０１　環境光源登録部，　１０２　環境光源記憶部，　１０３　環境光源選択部，　１２１　環境光源測定部，　１２２　環境光源推定部

Claims (20)

  1. 　撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部を備える
    　画像処理装置。
  2. 　前記評価部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
    　請求項１に記載の画像処理装置。
  3. 　前記評価部は、前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果を、前記被写体の状態の評価結果として出力する
    　請求項２に記載の画像処理装置。
  4. 　前記所定の閾値は、複数の被写体における被写体分光特性の平均値と、前記参照分光特性との差分二乗平方根和である
    　請求項３に記載の画像処理装置。
  5. 　前記参照分光特性は、前記被写体分光特性における被写体の好ましい状態の分光特性である
    　請求項１に記載の画像処理装置。
  6. 　前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
    　前記特定部により特定された物品を表示する表示部とをさらに備える
    　請求項１の記載の画像処理装置。
  7. 　前記被写体分光特性と前記参照分光特性との差分二乗平方根和と、所定の閾値との比較結果からなる前記被写体の状態の評価結果において、前記被写体分光特性と前記参照分光特性との差分二乗平方根和が所定の閾値よりも大きい場合、
    　前記特定部は、前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する
    　請求項６に記載の画像処理装置。
  8. 　前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
    　請求項６に記載の画像処理装置。
  9. 　前記物品の情報について、前記物品の適用により前記被写体に生じる分光特性の情報と対応付けて記憶する物品記憶部をさらに備え、
    　前記特定部は、前記物品記憶部に記憶されている物品のうち、対応付けて記憶されている分光特性と、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性との差分二乗和が小さくなる物品を特定する
    　請求項６に記載の画像処理装置。
  10. 　前記評価部は、前記被写体分光特性を分類することで前記被写体の状態を評価する
    　請求項１に記載の画像処理装置。
  11. 　前記評価部は、前記被写体分光特性を複数の波長域に分割し、分割した波長域毎の所定の閾値との差分二乗平方根和との比較結果に基づいて、前記被写体分光特性を分類し、分類結果を評価インデックスとすることで、前記被写体の状態を評価する
    　請求項１０に記載の画像処理装置。
  12. 　前記評価インデックスに基づいて、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品を特定する特定部と、
    　前記特定部により特定された物品を表示する表示部をさらに備える
    　請求項１１に記載の画像処理装置。
  13. 　前記物品の情報について、前記被写体分光特性と前記参照分光特性との差分に基づいた、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品のインデックスと、前記被写体分光特性の評価インデックスとを対応付けて記憶する物品記憶部をさらに備え、
    　前記特定部は、前記物品記憶部に記憶された物品のうち、前記評価インデックスに対応付けて記憶された物品を、前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性を有する物品として特定する
    　請求項１２に記載の画像処理装置。
  14. 　前記被写体に対して適用することで前記被写体の分光特性が前記参照分光特性に近づく分光特性は、波長毎に前記被写体分光特性と前記参照分光特性との差分に対して所定の係数が乗じられて、前記被写体分光特性が加算された分光特性である
    　請求項１３に記載の画像処理装置。
  15. 　撮像された画像内の環境光源の分光特性を、環境光源分光特性として推定する環境光源分光特性推定部をさらに備え、
    　前記評価部は、前記画像より推定された前記環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性と前記参照分光特性との差分に基づいて、前記被写体の状態を評価する
    　請求項１に記載の画像処理装置。
  16. 　前記環境光源分光特性推定部により推定された前記環境光源分光特性を、測定した場所に対応付けて記憶する環境光源分光特性記憶部をさらに備え、
    　前記評価部は、前記環境光源分光特性記憶部に記憶されている環境光源分光特性のうち、選択された環境光源分光特性により、前記画像内の環境光源による影響を低減した画像における被写体の前記被写体分光特性に基づいて、前記被写体の状態を評価する
    　請求項１５に記載の画像処理装置。
  17. 　前記環境光源分光特性推定部により推定された環境光源分光特性により、前記被写体分光特性に対して、前記環境光源が不適切な光源であることを検出する不適切光源検出部と、
    　前記環境光源が不適切な光源であることが検出された場合、前記環境光源が不適切な光源であることを提示する提示部とをさらに備える
    　請求項１５に記載の画像処理装置。
  18. 　前記不適切光源検出部は、前記環境光源分光特性推定部により推定された環境光源分光特性における、前記被写体分光特性の平均値との比較に基づいて、不適切な光源であることを検出する
    　請求項１７に記載の画像処理装置。
  19. 　撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価処理を含む
    　画像処理方法。
  20. 　撮像された画像内の被写体における分光特性である被写体分光特性と、参照分光特性とに基づいて、前記被写体の状態を評価する評価部をコンピュータとして機能させる
    　プログラム。
PCT/JP2018/044129 2017-12-15 2018-11-30 画像処理装置、および画像処理方法、並びにプログラム WO2019116926A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/769,969 US20200402227A1 (en) 2017-12-15 2018-11-30 Image processing apparatus, and image processing method, and program
KR1020207015763A KR20200099522A (ko) 2017-12-15 2018-11-30 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램
CN201880079485.4A CN111447870A (zh) 2017-12-15 2018-11-30 图像处理装置、图像处理方法和程序
JP2019559546A JP7180614B2 (ja) 2017-12-15 2018-11-30 画像処理装置、および画像処理方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-240526 2017-12-15
JP2017240526 2017-12-15

Publications (1)

Publication Number Publication Date
WO2019116926A1 true WO2019116926A1 (ja) 2019-06-20

Family

ID=66819215

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044129 WO2019116926A1 (ja) 2017-12-15 2018-11-30 画像処理装置、および画像処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20200402227A1 (ja)
JP (1) JP7180614B2 (ja)
KR (1) KR20200099522A (ja)
CN (1) CN111447870A (ja)
WO (1) WO2019116926A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040199079A1 (en) * 2002-04-03 2004-10-07 The Regents Of The University Of California System and method for quantitative or qualitative measurement of exogenous substances in tissue and other materials using laser-induced fluorescence spectroscopy
JP2011067284A (ja) * 2009-09-24 2011-04-07 Aisin Seiki Co Ltd 疲労検査装置
JP2013050376A (ja) * 2011-08-31 2013-03-14 Nippon System Kenkyusho:Kk 生体組織機能状態測定装置及びその方法
JP2013200299A (ja) * 2012-02-23 2013-10-03 Canon Inc 粗さ評価装置、それを用いた物体評価装置、及び粗さ評価方法
JP2014122847A (ja) * 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
WO2015012028A1 (ja) * 2013-07-22 2015-01-29 コニカミノルタ株式会社 メラノーマ診断支援装置、プログラムおよびメラノーマ診断支援方法
JP2015198909A (ja) * 2014-04-08 2015-11-12 花王株式会社 皮膚分類方法、化粧品の推薦方法及び皮膚分類カード

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3278547B2 (ja) * 1995-05-18 2002-04-30 株式会社資生堂 色合わせ計算方法及び装置
US20020065452A1 (en) 2000-11-29 2002-05-30 Roland Bazin Process for diagnosing conditions of external body portions and features of products applied thereto
JP2002189918A (ja) 2000-12-20 2002-07-05 Pola Chem Ind Inc 化粧料情報作成装置，化粧料情報作成方法，及びコンピュータ読取可能な記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040199079A1 (en) * 2002-04-03 2004-10-07 The Regents Of The University Of California System and method for quantitative or qualitative measurement of exogenous substances in tissue and other materials using laser-induced fluorescence spectroscopy
JP2011067284A (ja) * 2009-09-24 2011-04-07 Aisin Seiki Co Ltd 疲労検査装置
JP2013050376A (ja) * 2011-08-31 2013-03-14 Nippon System Kenkyusho:Kk 生体組織機能状態測定装置及びその方法
JP2013200299A (ja) * 2012-02-23 2013-10-03 Canon Inc 粗さ評価装置、それを用いた物体評価装置、及び粗さ評価方法
JP2014122847A (ja) * 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
WO2015012028A1 (ja) * 2013-07-22 2015-01-29 コニカミノルタ株式会社 メラノーマ診断支援装置、プログラムおよびメラノーマ診断支援方法
JP2015198909A (ja) * 2014-04-08 2015-11-12 花王株式会社 皮膚分類方法、化粧品の推薦方法及び皮膚分類カード

Also Published As

Publication number Publication date
JPWO2019116926A1 (ja) 2020-12-17
US20200402227A1 (en) 2020-12-24
KR20200099522A (ko) 2020-08-24
CN111447870A (zh) 2020-07-24
JP7180614B2 (ja) 2022-11-30

Similar Documents

Publication Publication Date Title
TWI585711B (zh) 獲得保養信息的方法、分享保養信息的方法及其電子裝置
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
US9445087B2 (en) Systems, devices, and methods for providing products and consultations
US9013567B2 (en) Method for determining age, and age-dependent selection of cosmetic products
Tsouri et al. On the benefits of alternative color spaces for noncontact heart rate measurements using standard red-green-blue cameras
US11449997B2 (en) Skin condition measuring module
JP6545658B2 (ja) ビリルビンレベルを推定すること
Iqbal et al. Classification of selected citrus fruits based on color using machine vision system
US7283238B2 (en) Method and apparatus for matching colours
Delpueyo et al. Multispectral imaging system based on light-emitting diodes for the detection of melanomas and basal cell carcinomas: a pilot study
Yeo et al. Specam: Sensing surface color and material with the front-facing camera of a mobile device
US20200349375A1 (en) Sensing Apparatus and Method
Hasan et al. RGB pixel analysis of fingertip video image captured from sickle cell patient with low and high level of hemoglobin
Ashmawi et al. Fitme: Body measurement estimations using machine learning method
JP2019148992A (ja) 空席情報提示システム、サーバ、空席情報提示方法およびプログラム
WO2019116926A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2007175469A (ja) 肌状態管理システム
JP2005095326A (ja) 皮膚測定値より肌年齢を算出する方法及びその表示方法
Almobarak et al. Classification of aesthetic photographic images using SVM and KNN classifiers
JP2018073078A (ja) 肌情報管理システム及び方法並びにプログラム
JP4723191B2 (ja) 唇の荒れの評価方法
Balbin et al. Durio Zibethinus ripeness determination and variety identification using principal component analysis and support vector machine
Cook et al. Colorimetric skin tone scale for improved accuracy and reduced perceptual bias of human skin tone annotations
US10955340B2 (en) Method for determining glossiness of a portion of a skin of a user
JP2018005268A (ja) 点呼支援システムおよび点呼支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18888680

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019559546

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18888680

Country of ref document: EP

Kind code of ref document: A1