WO2020050295A1 - 画像解析装置、画像解析方法およびプログラム - Google Patents

画像解析装置、画像解析方法およびプログラム Download PDF

Info

Publication number
WO2020050295A1
WO2020050295A1 PCT/JP2019/034706 JP2019034706W WO2020050295A1 WO 2020050295 A1 WO2020050295 A1 WO 2020050295A1 JP 2019034706 W JP2019034706 W JP 2019034706W WO 2020050295 A1 WO2020050295 A1 WO 2020050295A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
unit
imaging
image analysis
Prior art date
Application number
PCT/JP2019/034706
Other languages
English (en)
French (fr)
Inventor
勇二 舛田
めぐみ 関野
拓伸 吉川
デイビッド クリストファー ベレンズ
マイケル アンソニー イスナルディ
ユーチォン チャン
Original Assignee
株式会社資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社資生堂 filed Critical 株式会社資生堂
Priority to US17/273,975 priority Critical patent/US11494945B2/en
Priority to JP2020541255A priority patent/JP7289308B2/ja
Publication of WO2020050295A1 publication Critical patent/WO2020050295A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an image analysis device, an image analysis method, and a program for measuring the color of a subject by analyzing the image of the subject.
  • a colorimeter that measures an object (for example, a human body or an article) using an imaging device such as a digital camera and measures the color of the object by analyzing the captured image.
  • an imaging device such as a digital camera
  • measures the color of the object by analyzing the captured image is known.
  • a color sample (standard color chart) and a subject are respectively imaged to acquire RGB data, and the RGB data of the subject is corrected based on the RGB data of the color sample and the color reference value of the color sample.
  • a colorimetric device is disclosed.
  • Patent Document 2 a plurality of color profiles representing the relationship between reference colorimetric values corresponding to a plurality of lighting conditions and RGB data of an image captured by a digital camera are created in advance and acquired by capturing an object. There is disclosed a color conversion device that measures the color of a subject based on the obtained RGB data, illumination conditions at the time of imaging, and the color profile.
  • the colorimeter described in Patent Literature 1 uses a light shielding member to prevent external light other than the light source from irradiating the subject when measuring the color of the subject. For this reason, it is difficult for a user to perform color measurement at home or the like using the colorimeter.
  • the color conversion device described in Patent Document 2 does not require a color sample when measuring the color of a subject, but prepares color profiles corresponding to a plurality of lighting conditions in advance and selects an optimal color profile. There is a need to. However, it is difficult to select an optimal color profile because the external light at the place where the user performs the measurement varies. That is, the accuracy of measurement may be reduced due to the influence of external light.
  • the present invention provides an image analysis apparatus, an image analysis method, and a program that do not require the use of a color sample and that can easily and accurately measure the color of a subject by removing the influence of external light.
  • the purpose is to provide.
  • an imaging unit that captures an image of a subject, a light-emitting unit that emits light toward the subject, and causes the imaging unit to capture a first image of the subject while causing the light-emitting unit to emit light.
  • a control unit configured to cause the image capturing unit to capture a second image of the subject without causing the light emitting unit to emit light, and a control unit configured to perform the control based on a difference value between the color information of the first image and the color information of the second image.
  • An image analysis device comprising: an estimation unit configured to estimate a color of a subject.
  • the step of causing the imaging device to capture the first image of the subject while causing the light emitting device to emit light toward the subject and An image capturing step of capturing a second image; and estimating a color of the subject based on a difference value between color information of the first image and the color information of the second image.
  • Program is provided.
  • the color of an object can be measured simply and with high accuracy without using a color sample and removing the influence of external light.
  • FIG. 3 is a diagram illustrating a state during measurement of the image analysis device according to the first embodiment. It is a front view of the image analysis device concerning a 1st embodiment.
  • FIG. 2 is a rear view of the image analysis device according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the image analysis device according to the first embodiment.
  • FIG. 2 is a functional block diagram of the image analysis device according to the first embodiment.
  • FIG. 5 is a diagram illustrating a positional relationship between a reflection area of the illumination light of the light emitting unit and a measurement area in the subject according to the first embodiment.
  • 4 is a flowchart illustrating an example of a process performed by the image analysis device according to the first embodiment.
  • FIG. 3 is a diagram illustrating a state of the image analysis device according to the first embodiment when measurement is started.
  • 5 is a flowchart illustrating details of an imaging process according to the first embodiment.
  • 5 is a graph illustrating a change in energy of a high frequency component according to the first embodiment.
  • It is a functional block diagram of an image analysis device concerning a 2nd embodiment. It is a figure explaining correction of a measurement field according to a posture state of an image analysis device concerning a 2nd embodiment.
  • 9 is a flowchart illustrating an example of a process performed by the image analysis device according to the second embodiment. It is a flow chart which shows an example of correction processing of a measurement field concerning a 2nd embodiment.
  • It is a figure showing the state during measurement of the image analysis device concerning a modification embodiment.
  • It is a front view showing an example of an operation screen displayed on an image analysis device concerning a modification embodiment.
  • FIG. 1 is a diagram illustrating a state at the time of measurement of the image analysis device 100 according to the present embodiment.
  • FIG. 2 is a front view of the image analysis device 100
  • FIG. 3 is a rear view of the image analysis device 100.
  • the image analysis device 100 may be a portable information terminal such as a smartphone or a tablet computer.
  • a smartphone will be described as an example of the image analysis device 100.
  • the image analysis apparatus 100 is provided with a touch panel (display) 101 on the front side. Further, the image analysis device 100 is provided with an imaging unit 102 and an LED 103 which is a light emitting unit at an upper portion on the back side. As described above, in the present embodiment, the imaging unit 102 and the LED 103 are provided on the surfaces opposite to the touch panel 101 that displays the operation screen.
  • the imaging unit 102 is provided at a distance W1 from the center axis (Y axis) of the image analysis device 100, and the LED 103 is provided at a distance W2 (W2 ⁇ W1) from the center axis (see FIG. 3). .
  • an application program for measuring the color of the subject is installed in the image analysis device 100 in advance.
  • the measurement application may be downloaded from a network (not shown), or may be supplied to the image analysis device 100 via a recording medium such as a memory card or a personal computer.
  • the subject in the present embodiment is the cheek of the user, and the image analysis device 100 measures the flesh color of the cheek (see FIG. 1).
  • An icon of the measurement application is displayed on the touch panel 101 (not shown), and the measurement application is activated when the user touches the icon (see FIG. 2).
  • the image analysis device 100 automatically captures a focused image.
  • the image analysis device 100 can analyze a captured image and display the analysis result on the touch panel 101.
  • FIG. 4 is a block diagram illustrating a hardware configuration example of the image analysis device 100 according to the present embodiment.
  • the image analysis device 100 includes an imaging unit 102, an LED 103, a signal processing circuit 204, a timing generation circuit 205, a lens driving circuit 206, a speaker 208, a touch sensor 209, and a coordinate detection circuit 210. Further, the image analyzer 100 includes a display 211, a display controller 212, a frame memory 213, a CPU 214, a RAM 215, a ROM 216, a storage 217, a gyroscope 218, and a wireless communication module 219. These devices are connected via a bus.
  • the imaging unit 102 includes an optical system 201, an imaging element 202, and an A / D converter 203.
  • the optical system 201 includes an optical filter, a fixed lens, and a focus lens, and forms light from a subject (imaging part) on an imaging surface of the imaging element 202 to form a subject image.
  • the image sensor 202 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and includes a plurality of two-dimensionally arranged pixels, a color filter, and a microlens.
  • the plurality of pixels may include an imaging pixel and a focus detection pixel.
  • the image sensor 202 has an electronic shutter function for controlling the charge accumulation time.
  • the plurality of pixels output pixel signals based on incident light from the optical system 201, respectively.
  • the A / D (Analog / Digital) converter 203 includes a comparison circuit, a latch circuit, and the like, and converts an analog pixel signal from the image sensor 202 into digital image data.
  • the A / D converter 203 may be provided in the image sensor 202.
  • the imaging unit 102 can output a moving image at a predetermined frame rate in addition to a still image.
  • the frame rate can be any value, for example, 1/4 second, 1/30 second, 1/60 second, and the like.
  • the signal processing circuit 204 includes a numerical operation circuit and performs digital processing such as white balance adjustment, gamma correction, pixel interpolation, contour emphasis, gradation conversion, noise reduction, and compression on the image data from the A / D converter 203. Perform signal processing.
  • the lens drive circuit 206 includes an actuator and the like, drives a focus lens of the optical system 201, and adjusts a focusing distance.
  • the timing generation circuit 205 outputs a timing signal such as a clock signal and a synchronization signal to the image sensor 202 and the A / D converter 203.
  • the LED (Light Emitting Diode) 103 is a light source provided near the optical system 201.
  • the LED 103 is used as an illumination unit that irradiates light toward an imaging part in order to obtain illuminance suitable for imaging.
  • the LED 103 may be composed of a plurality of LEDs 103 having different light colors. By adjusting the light emission intensity of each LED 103, it is possible to emit light having a color temperature and a saturation that are optimal for an imaging portion.
  • the speaker 208 includes a piezoelectric vibration unit, and is driven by a current driving circuit. The speaker 208 outputs an audio signal such as music, a message, and a sound effect, and is used as a notification unit for notifying the user that imaging has ended.
  • the touch sensor 209 is a capacitive sensor including transparent matrix electrodes, and is provided on the display 211. When the user's finger touches the touch sensor 209, the capacitance of the electrode changes.
  • the coordinate detection circuit 210 can detect a change in the capacitance of the touch sensor 209 and calculate the position where the user's finger touches.
  • the touch sensor 209 is used as an operation unit that receives an instruction from a user.
  • the display 211 is, for example, a TFT (Thin Film Transistor) liquid crystal display or an organic EL (Electro Luminescence) display, and displays an image, a moving image, a text, an icon, and the like according to a display signal from the display controller 212.
  • the display controller 212 is a processor including a video memory, and controls display on the display 211.
  • the display controller 212 temporarily stores display data from the CPU 214, generates a display signal, and outputs the display signal to the display 211.
  • the touch sensor 20 and the display 211 are integrally formed to constitute the touch panel 101.
  • the frame memory 213 can temporarily hold image data of a plurality of frames, and can be used in image processing by the signal processing circuit 204 and the CPU 214.
  • the signal processing circuit 204 may perform camera shake correction and noise reduction by detecting a motion vector in image data of a plurality of frames.
  • the frame memory 213 can store image data of a plurality of temporally continuous frames.
  • a part of the RAM 215 may be used as the frame memory 213.
  • a CPU (Central Processing Unit) 214 includes a CPU core, a cache memory, and the like, and comprehensively controls each device of the image analysis apparatus 100.
  • the CPU 214 reads out and executes a predetermined program from the ROM 216 and the storage 217 to realize the function of each unit of the image analysis device 100.
  • a RAM (Random Access Memory) 215 is, for example, a DRAM (Dynamic RAM), and is used as a work area of the CPU 214, a program load area, and the like.
  • a ROM (Read Only Memory) 216 is, for example, an EEPROM (Electrically Erasable Programmable ROM), and stores a BIOS (Basic Input Output System), various setting files, and the like.
  • the storage 217 is, for example, a flash memory and stores basic programs such as an OS (Operating System) and various application programs such as a measurement application. The storage 217 also stores various data such as a measurement result by the measurement application, an image by the imaging unit 102, and a moving image.
  • the gyroscope 218 includes a piezoelectric vibrating element, and detects the direction of the image analyzer 100.
  • the image analysis device 100 may further include a GPS (Global Positioning System) sensor, an illuminance sensor, a proximity sensor, an acceleration sensor, and the like.
  • GPS Global Positioning System
  • the wireless communication module 219 is an interface for performing wireless communication with a communication network such as the Internet.
  • the wireless communication module 219 includes an antenna (not shown) and uses a mobile communication system such as LTE (Long Term Evolution), 4G (4th Generation), or a wireless communication system such as a wireless LAN (Local Area Network). Connect to The wireless communication module 219 can transmit and receive data to and from external devices via a communication network.
  • LTE Long Term Evolution
  • 4G (4th Generation) 4G (4th Generation
  • a wireless communication system such as a wireless LAN (Local Area Network).
  • Connect to The wireless communication module 219 can transmit and receive data to and from external devices via a communication network.
  • FIG. 5 is a functional block diagram of the image analysis device 100 according to the present embodiment.
  • the image analysis device 100 includes a control unit 301, an image acquisition unit 302, a measurement region identification unit 303, and a skin color estimation unit 304.
  • the function of each unit is realized by the CPU 214 reading out the measurement application 300 stored in the ROM 216 or the storage 217 to the RAM 215 and executing it.
  • the control unit 301 controls operations of the imaging unit 102, the LED 103, and the speaker 208.
  • the control unit 301 has an auto focus (AF) function, and can adjust the focusing distance of the imaging unit 102.
  • AF auto focus
  • the control unit 301 controls the position of the focus lens of the optical system 201 via the lens driving circuit 206 so that the contrast of the captured image is maximized.
  • the control unit 301 is not limited to performing the AF process using the contrast method, and may perform the AF process using the imaging surface phase difference method. However, when executing the measurement application 300, the control unit 301 of the present embodiment invalidates the autofocus function.
  • the control unit 301 has an automatic exposure (AE) function, and controls the ISO sensitivity of the image sensor 202 and the speed of the electronic shutter.
  • the control unit 301 can enable or disable the AF function and the AE function. Further, the control unit 301 controls the LED 103 and the speaker 208 and acquires an instruction from the user via the touch sensor 209.
  • the control unit 301 also includes image data (hereinafter, referred to as a “first image”) obtained by capturing an object while the LED 103 emits light, and image data (hereinafter, image data) obtained by capturing the same object as the first image without emitting the LED 103. , “Second image”) through the image acquisition unit 302 described below.
  • the control unit 301 controls the imaging unit 102 to continuously capture the first image and the second image while switching the light emission of the LED 103.
  • the light incident on the image sensor 202 when capturing the first image is two kinds of light: external light and illumination light by the LED 103.
  • the light incident on the image sensor 202 when capturing the second image is only external light.
  • the image acquiring unit 302 reads out the image data (first image) of a plurality of frames captured while the LED 103 emits light from the frame memory 213, and acquires the clearest image data from the image data of the plurality of frames.
  • the image acquisition unit 302 can extract a frequency component based on the sharpness of the imaging region from the image data, and can determine the focus of the image data based on the frequency component. Then, the image acquisition unit 302 stores the image data of the first image captured at the focusing distance in the storage 217.
  • the image acquisition unit 302 extracts a frequency component using a frequency transform such as a Fourier transform.
  • Data such as a frequency spectrum obtained as a result of the frequency conversion is held in the RAM 215.
  • the frequency transform is not limited to the Fourier transform, but may be a wavelet transform, a Laplacian operation, a discrete cosine transform, a Hadamard transform, a KL (Karhunen-Loeve) transform, or the like.
  • the image acquisition unit 302 acquires image data of the second image captured at the focusing distance from the frame memory 213 without causing the LED 103 to emit light
  • the image acquisition unit 302 acquires the image data of the second image similarly to the case of the first image.
  • the image data is stored in the storage 217.
  • the measurement area specifying unit 303 corresponds to the position where the light of the LED 103 is specularly reflected (specularly reflected) on the subject in the first image and the second image.
  • a measurement area separated from the reflection area by a predetermined distance is specified. That is, the measurement region is offset from the reflection region of the illumination light of the LED 103.
  • the skin color estimating unit 304 estimates the color of the subject based on the difference between the color information of the first image and the color information of the second image. Specifically, the skin color estimating unit 304 calculates a difference value for the color information of the reference pixels included in the predetermined measurement region among the pixel groups forming the first image and the second image. The skin color estimating unit 304 estimates the color of the subject according to a predetermined algorithm that associates the calculated difference value, the known illumination condition, and the value of the measurement area in the color system. Note that the first image and the second image of the present embodiment include color information of the RGB color system, and the skin color estimating unit 304 uses the color information of the XYZ color system converted from the RGB color system. Assume that the color is estimated.
  • FIG. 6 is a diagram illustrating a positional relationship between the reflection area S of the illumination light of the LED 103 and the measurement area M in the subject.
  • the reflection area S is set at a position on the X axis separated by a distance A to the left with respect to the Y axis of the image analysis apparatus 100.
  • the measurement area M is set at a position at a distance B to the right with respect to the Y axis of the image analysis apparatus 100 and at a distance C below the X axis.
  • the distance between the center of gravity of the reflection area S and the center of gravity of the measurement area M is set to the distance D.
  • the image analysis apparatus 100 can measure the color of the subject with high accuracy without being excessively affected by the illumination light. .
  • the reflection area S of the illumination light of the LED 103 with respect to the subject is located at a position of 3.9 ° with respect to the Y axis at the time of focusing, if the angle between the measurement area M and the reflection area S is 7 ° or less, The reflected light covers the measurement area M. If the angle between the measurement region M and the reflection region S is 11 ° or more, the illumination in the measurement region M becomes too dark. For this reason, the measurement area M is 7.5 ° from the position of the reflection area S on the Y axis (corresponding to the sum of the distance A and the distance B on the screen in FIG. 6) and 3.5 ° on the X axis ( On the screen of FIG. 6, it is preferable to set to a position moved (corresponding to the distance C). In this case, the distance D between the center of gravity of the reflection area S and the measurement area M is set to 8.3 ° in terms of angle information.
  • FIG. 7 is a flowchart illustrating an example of a process performed by the image analysis device 100 according to the present embodiment.
  • the user measures the color (skin color) of the subject (cheek) using the measurement application 300.
  • the control unit 301 invalidates the AF function of the imaging unit 102 (Step S101). That is, the control unit 301 sets the optical system 201 to a fixed focus state.
  • the focusing distance can be determined such that the size of the captured image is optimal in image analysis.
  • the focusing distance may be in the range of 50 mm to 100 mm, or may be the shortest distance that can be set in the imaging unit 102.
  • the control unit 301 sets the light amount, the color temperature, and the saturation of the LED 103 so that a light environment suitable for imaging is obtained, and turns on the LED 103.
  • control unit 301 starts imaging the subject by the imaging unit 102 while causing the LED 103 to emit light (step S102).
  • the control unit 301 may cause the imaging unit 102 to capture the first image with the white balance function also disabled.
  • FIG. 8 is a diagram showing a state of the image analysis device 100 at the start of measurement.
  • a case where the user taps the screen with the image analysis device 100 in close contact with the cheek is shown.
  • the control unit 301 displays a message such as “Tap the screen to start shooting. Move the camera away from your cheek slowly” on the display 211 ( (See FIG. 2).
  • the control unit 301 may display an animation together with the message, or may emit the message by voice.
  • the control unit 301 starts imaging by the imaging unit 102. Imaging is performed at a predetermined frame rate (for example, 4 to 5 frames per second). Since the distance between the imaging unit 102 and the imaging region at the time of starting imaging is shorter than the focusing distance, the sharpness of the first captured image is low.
  • control unit 301 continues imaging by the imaging unit 102 until the focusing distance from the subject (cheek) is reached (step S103). After tapping the touch panel 101, the user gradually moves the imaging unit 102 in a direction perpendicular to the subject (cheek). The control unit 301 determines whether or not the imaging unit 102 has moved to an in-focus distance with respect to the subject (cheek) based on the change in the sharpness of the image. Details of the imaging process (step S103) will be described later.
  • the image obtaining unit 302 obtains a captured image (first image) of the subject at the focal distance (Step S104). Specifically, the image acquisition unit 302 acquires, as a first image, image data having the highest energy of a high frequency component from image data of a plurality of frames obtained by imaging.
  • the image data acquisition process (step S104) may be executed simultaneously with the above-described imaging process (step S103).
  • control unit 301 performs imaging of the subject by the imaging unit 102 in a state where the light emission of the LED 103 is stopped (step S105). Accordingly, the image obtaining unit 302 obtains a captured image (second image) of the subject at the light emission stop state and at the focusing distance from the frame memory 213 (step S106). Note that the control unit 301 may cause the imaging unit 102 to capture the second image with the white balance function also disabled.
  • the skin color estimating unit 304 acquires color information in the measurement areas of the first image and the second image (Step S107).
  • the measurement area is separated by a predetermined distance from the reflection area corresponding to the position where the light of the LED 103 in the first image and the second image is specularly reflected (specular reflection) on the subject.
  • the skin color estimating unit 304 calculates a difference value of color information in a common measurement area between the first image and the second image (Step S108). Then, the skin color estimating unit 304 estimates the color of the subject based on the calculated difference value (step S109), and displays the estimated value on the touch panel 101 (display) as a measurement result.
  • FIG. 9 is a flowchart showing details of the imaging process (step S103) shown in FIG.
  • the control unit 301 captures one frame of image data and reads it from the frame memory 213 (step S201).
  • the control unit 301 may trim the read image data to a predetermined size (for example, 640 ⁇ 480 pixels).
  • the control unit 301 performs Fourier transform on the image data and extracts energy of a high frequency component (step S202).
  • the control unit 301 calculates the amount of change in energy of the high frequency component between the frame and the most recently captured frame (step S203). For example, the control unit 301 determines the difference (E (n) ⁇ ) between the energy E (n) for the latest frame (n) and the energy E (n ⁇ 1) for the immediately preceding frame (n ⁇ 1). E (n-1)) is calculated.
  • the energy of the high frequency component a moving average value of a predetermined number of frames may be used.
  • FIG. 10 shows an example of a change in energy of a high frequency component between a plurality of frames.
  • the vertical axis represents the energy E of the high frequency component
  • the horizontal axis represents the image data of a plurality of frames numbered in time series. That is, the frame number “1” is the image data of the frame that is first captured in the imaging, and is sequentially captured while the imaging is continued.
  • the difference (E (n) ⁇ E (n ⁇ 1)) of the energy E is a positive value from the frame number “2” to the frame number “28”, and is a positive value for the frame number “29”.
  • control unit 301 compares the amount of change in energy with a predetermined threshold (step S204).
  • the control unit 301 determines whether the energy difference (E (n) ⁇ E (n ⁇ 1)) is equal to or greater than 0 (positive or negative), for example, using 0 as a threshold.
  • control unit 301 continues imaging, and executes the processing in steps S201 to S204 for the next frame.
  • the control unit 301 ends the imaging process in a state where the LED 103 emits light, and returns to the process of the flowchart in FIG.
  • the first image captured with the LED 103 emitting light and the second image captured with the LED 103 stopped emitting light are acquired, and a predetermined image in these images is acquired.
  • the color of the measurement area is estimated from the difference value of the color information of the measurement area. That is, the influence of external light (environmental light) is canceled by calculating the difference value, and the measurement is performed based on the known property of the illumination light (emission intensity and the like) and the difference value of the color information calculated from the two types of captured images.
  • the color of the area can be estimated with high accuracy. As a result, even a user who does not have a device dedicated to skin measurement can perform accurate skin measurement using a camera such as a smartphone without using a color sample.
  • FIG. 11 is a functional block diagram of the image analysis device 400.
  • the gyroscope 218 as a sensor unit detects the direction (inclination) of the image analysis device 400 (imaging unit 102) with respect to the subject, it outputs a detection signal to the control unit 301.
  • the control unit 301 stores the angle information corresponding to the detection signal in the storage 217.
  • the first angle information indicates the direction (inclination) of the image analysis device 400 at the time when the user instructs the start of imaging.
  • the second angle information indicates the direction (inclination) of the image analysis device 400 at the time when the first image and the second image are reached after reaching the focusing distance.
  • the measurement region specifying unit 303 Based on the positional relationship between the imaging unit 102 and the LED 103 (light emitting unit) and the amount of change in tilt (the amount of change in angle), the measurement region specifying unit 303 maintains the positional relationship between the reflection region and the measurement region while maintaining the position of the measurement region. Is corrected.
  • the measurement area specifying unit 303 keeps the illumination light of the LED 103 constant by moving the measurement area.
  • the measurement area specifying unit 303 calculates the amount of change in tilt based on the rotation angle of the gyroscope 218 about the roll axis and the pitch axis.
  • the relationship between the calculated change amount of the inclination and the correction position of the measurement area may be defined in advance in the storage 217 or the like.
  • FIG. 12 is a diagram illustrating correction of the measurement area according to the posture state of the image analysis device 400.
  • the X axis is the pitch axis
  • the Y axis is the roll axis
  • the Z axis is the yaw axis.
  • X1 and X2 indicate rotation directions around the X axis
  • Y1 and Y2 indicate rotation directions around the Y axis. Note that when rotated around the Z axis, the relative positional relationship between the measurement region and the reflection region does not change, and therefore, the measurement region is not corrected.
  • FIG. 12B shows the directions in which the reflection area S and the measurement area M of the illumination light move in the imaging area P when rotating around the X axis and the Y axis shown in FIG. Is shown.
  • FIG. 13 is a flowchart illustrating an example of a process performed by the image analysis device 400.
  • the user measures the color (skin color) of the subject (cheek) using the measurement application 300.
  • the control unit 301 invalidates the AF function of the imaging unit 102 (step S301). That is, the control unit 301 sets the optical system 201 to a fixed focus state.
  • the focusing distance can be determined such that the size of the captured image is optimal in image analysis.
  • the focusing distance may be in the range of 50 mm to 100 mm, or may be the shortest distance that can be set in the imaging unit 102.
  • the control unit 301 sets the light amount, the color temperature, and the saturation of the LED 103 so that a light environment suitable for imaging is obtained, and turns on the LED 103.
  • control unit 301 starts imaging the subject by the imaging unit 102 while making the LED 103 emit light (step S302).
  • the control unit 301 stores the first angle information at the time of starting the imaging (step S303). Specifically, when the user taps the touch panel 101 with the image analysis device 400 touching the cheek, the tilt state of the image analysis device 400 in the X-axis and Y-axis directions is stored as first angle information.
  • control unit 301 continues imaging by the imaging unit 102 until the focusing distance from the subject (cheek) is reached (step S304).
  • the user After tapping the touch panel 101, the user gradually moves the imaging unit 102 in a direction perpendicular to the subject (cheek).
  • the control unit 301 determines whether or not the position of the imaging unit 102 has moved to a focus distance with respect to the subject (cheek) based on the change in the sharpness of the image.
  • the imaging process (step S304) is the same as in FIG. 9 described above.
  • the image acquisition unit 302 acquires a captured image (first image) of the subject at the focusing distance (step S305). Specifically, the image acquisition unit 302 acquires image data having the highest energy of a high-frequency component from image data of a plurality of frames obtained by imaging.
  • the process of acquiring image data may be performed simultaneously with the above-described imaging process (Step S304).
  • control unit 301 performs imaging of the subject by the imaging unit 102 in a state where the light emission of the LED 103 is stopped (step S306).
  • the image acquisition unit 302 acquires a captured image (second image) at the focusing distance when light emission is stopped, and the control unit 301 acquires second angle information at the focusing distance (step S307).
  • the measurement area specifying unit 303 corrects the set position of the measurement area based on the first angle information and the second angle information (Step S308).
  • the skin color estimating unit 304 acquires color information in the measurement area of the first image and the second image (Step S309).
  • the measurement area is separated by a predetermined distance from the reflection area corresponding to the position where the light of the LED 103 in the first image and the second image is specularly reflected (specular reflection) on the subject.
  • Steps S308 and S309 may be performed simultaneously.
  • the skin color estimating unit 304 calculates a difference value of color information in a common measurement area between the first image and the second image (Step S310). Then, the skin color estimating unit 304 estimates the color of the subject based on the calculated difference value (step S311), and displays the estimated value on the touch panel 101 (display) as a measurement result.
  • FIG. 14 is a flowchart showing the details of the measurement area correction processing (step S308) shown in FIG.
  • the skin color estimating unit 304 acquires the first angle information and the second angle information stored in the storage 217 (Step S401), it calculates the amount of angle change around the X axis (Step S402).
  • the skin color estimating unit 304 determines whether or not the amount of angle change around the X axis is equal to or smaller than a threshold (step S403).
  • the threshold value of the angle change amount around the X axis is, for example, 6 °.
  • the process proceeds to step S404.
  • the skin color estimating unit 304 determines that the angle change amount exceeds the threshold value (NO in step S403), the process proceeds to step S407.
  • the skin color estimating unit 304 determines whether the amount of angle change around the Y axis is equal to or smaller than a threshold value (step S405).
  • the threshold value of the angle change amount around the Y axis is, for example, 6 °.
  • the process proceeds to step S406.
  • the skin color estimating unit 304 determines that the angle change amount exceeds the threshold value (NO in step S405), the process proceeds to step S407.
  • the skin color estimating unit 304 corrects the set position of the measurement area so that the positional relationship between the area where the illumination light of the LED 103 is regularly reflected and the measurement area is maintained (step S406), and the flowchart of FIG. 13 (step S309). Return to).
  • the skin color estimating unit 304 outputs a message urging re-measurement to be displayed on the touch panel 101 or by voice (step S407), and ends the process without returning to the flowchart of FIG. That is, when the image analysis device 400 is tilted beyond the range in which the measurement area can be corrected from the start of the measurement, the irradiation condition of the LED 103 has largely changed, and the measurement is performed again.
  • the position of the measurement region can be corrected while maintaining the positional relationship between the reflection region of the illumination light and the measurement region based on the angle information detected by the gyroscope 218. For this reason, even when the inclination (posture state) of the image analysis device 400 changes between the start of measurement and the end of measurement, by maintaining the illumination light in the measurement area at a constant level, the measurement area can be measured. Color can be measured with high accuracy.
  • FIG. 15 is a diagram illustrating a state of the image analysis device 500 during an imaging process.
  • FIG. 16 is a front view showing an example of an operation screen displayed on the image analysis device 500.
  • the imaging unit 104 in-camera
  • the LED 105 are on the same surface (the front of the image analysis device 500) as the display 211 (the touch panel 101) that displays the operation screen. It is shown that each is provided. In this case, since the user can input the start and end instructions for skin color measurement while referring to the operation screen displayed on the display 211, there is an advantage that the operability is further improved.
  • the light emitting unit is not limited to the LED 103 alone.
  • the display of the touch panel 101 may be configured to also serve as a light emitting unit.
  • the flesh color can be measured using the in-camera, and there is an advantage that the irradiation range of the illumination light can be set in detail as compared with the LED 103.
  • the measurement site is not limited to the cheek of the user.
  • the image analyzers 100, 400, and 500 can be applied to measure various parts of the human body surface such as skin, scalp, nails, hair, and lips.
  • the measurement site by the image analysis devices 100, 400, and 500 is not limited to a human body.
  • the image analysis device 100 is applicable for measuring the color of any object other than the human body.
  • the measuring method is not limited to this.
  • BRDF Bidirectional Reflection Distribution Function
  • Image analysis device 101 Touch panel (display) 102, 104 Imaging unit 103, 105 LED (light emitting unit) 213 Frame memory 214 CPU 215 RAM 217 Storage 218 Gyroscope 301 Control unit 302 Image acquisition unit 303 Measurement area specifying unit (specifying unit) 304 skin color estimator (estimator)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本発明に係る画像解析装置は、被写体を撮像する撮像部と、前記被写体に向けて発光する発光部と、前記発光部を発光させながら前記撮像部に前記被写体の第１画像を撮像させるとともに、前記発光部を発光させずに前記撮像部に前記被写体の第２画像を撮像させる制御部と、前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定する推定部と、を備えることを特徴とする。

Description

画像解析装置、画像解析方法およびプログラム
　本発明は、被写体の画像を解析することで被写体の色を測定する画像解析装置、画像解析方法およびプログラムに関する。
　近年、デジタルカメラ等の撮像装置を用いて被写体（例えば人体や物品）を撮像し、撮像画像を解析することで被写体の色を測定する測色装置が知られている。例えば、特許文献１には、色見本（標準色票）および被写体をそれぞれ撮像してＲＧＢデータを取得するとともに、色見本のＲＧＢデータおよび色見本の色彩基準値に基づいて被写体のＲＧＢデータを補正する測色装置が開示されている。
　また、特許文献２には、複数の照明条件に応じた基準測色値とデジタルカメラで撮影した画像のＲＧＢデータとの関係を表す複数の色プロファイルを予め作成しておき、被写体の撮像により取得されたＲＧＢデータ、撮像時の照明条件、および当該色プロファイルに基づいて被写体の色を測定する色変換装置が開示されている。
特開２０１８－３４０６４号公報 特開２０１５－４６１４２号公報
　特許文献１に記載された測色装置は、被写体の色を測定する際に、色見本だけでなく、光源以外の外部光が被写体に照射することを防止するために遮光部材を用いている。このため、ユーザが当該測色装置を用いて自宅等で色測定を行うことは困難である。
　また、特許文献２に記載された色変換装置は、被写体の色を測定する際に色見本は不要であるが、複数の照明条件に対応する色プロファイルを予め用意し、最適な色プロファイルを選択する必要がある。しかし、ユーザが測定を行う場所における外部光は様々であるため、最適な色プロファイルを選択することは困難である。すなわち、外部光の影響により測定の精度が低下してしまう場合があった。
　そこで、本発明は、上記の問題に鑑み、色見本を用いる必要がなく、かつ、外部光の影響を除去して被写体の色を簡単かつ高精度に測定できる画像解析装置、画像解析方法およびプログラムを提供することを目的とする。
　本発明の一つの観点によれば、被写体を撮像する撮像部と、前記被写体に向けて発光する発光部と、前記発光部を発光させながら前記撮像部に前記被写体の第１画像を撮像させるとともに、前記発光部を発光させずに前記撮像部に前記被写体の第２画像を撮像させる制御部と、前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定する推定部と、を備えることを特徴とする画像解析装置が提供される。
　本発明の他の観点によれば、被写体に向けて発光装置を発光させながら撮像装置に前記被写体の第１画像を撮像させるステップと、前記発光装置を発光させずに前記撮像装置に前記被写体の第２画像を撮像させるステップと、前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定するステップと、を備えることを特徴とする画像解析方法が提供される。
　本発明のさらに他の観点によれば、被写体に向けて発光装置を発光させながら撮像装置に前記被写体の第１画像を撮像させるステップと、前記発光装置を発光させずに前記撮像装置に前記被写体の第２画像を撮像させるステップと、前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定するステップと、を実行させることを特徴とするプログラムが提供される。
　本発明によれば、色見本を用いることなく、外部光の影響を除去して被写体の色を簡単かつ高精度に測定できる。
第１実施形態に係る画像解析装置の測定中の状態を示す図である。 第１実施形態に係る画像解析装置の正面図である。 第１実施形態に係る画像解析装置の背面図である。 第１実施形態に係る画像解析装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る画像解析装置の機能ブロック図である。 第１実施形態に係る被写体における発光部の照明光の反射領域と測定領域の位置関係を説明する図である。 第１実施形態に係る画像解析装置で行われる処理の一例を示すフローチャートである。 第１実施形態に係る画像解析装置の測定開始時の状態を示す図である。 第１実施形態に係る撮像処理の詳細を示すフローチャートである。 第１実施形態に係る高周波数成分のエネルギーの変化を示すグラフである。 第２実施形態に係る画像解析装置の機能ブロック図である。 第２実施形態に係る画像解析装置の姿勢状態に応じた測定領域の補正を説明する図である。 第２実施形態に係る画像解析装置で行われる処理の一例を示すフローチャートである。 第２実施形態に係る測定領域の補正処理の一例を示すフローチャートである。 変形実施形態に係る画像解析装置の測定中の状態を示す図である。 変形実施形態に係る画像解析装置に表示される操作画面の一例を示す正面図である。
［第１実施形態］
　図１は、本実施形態に係る画像解析装置１００の測定時の状態を示す図である。図２は、画像解析装置１００の正面図であり、図３は、画像解析装置１００の背面図である。画像解析装置１００は、例えばスマートフォンやタブレットコンピュータなどの携帯情報端末であり得る。以下、画像解析装置１００の一例としてスマートフォンを例に挙げて説明する。
　画像解析装置１００には、正面側にタッチパネル（ディスプレイ）１０１が設けられている。また、画像解析装置１００には、背面側の上部に撮像部１０２と、発光部であるＬＥＤ１０３とが設けられている。このように、本実施形態では、撮像部１０２およびＬＥＤ１０３は、操作画面を表示するタッチパネル１０１と反対の面にそれぞれ設けられる。撮像部１０２は、画像解析装置１００の中心軸（Ｙ軸）から距離Ｗ１の位置に設けられ、ＬＥＤ１０３は、中心軸から距離Ｗ２（Ｗ２＜Ｗ１）の位置に設けられている（図３参照）。
　また、画像解析装置１００の内部には、被写体の色を測定するためのアプリケーションプログラム（以下、「測定アプリ」という。）が予めインストールされている。測定アプリは図示されていないネットワークからダウンロードされてもよく、メモリカードなどの記録媒体やパーソナルコンピュータを介して画像解析装置１００に供給されてもよい。なお、本実施形態における被写体はユーザの頬であり、画像解析装置１００は頬の肌色を測定するものとする（図１参照）。
　タッチパネル１０１には測定アプリのアイコンが表示され（図示省略）、ユーザがアイコンに触れることにより測定アプリが起動するものとする（図２参照）。ユーザは、画像解析装置１００を把持し、撮像部１０２を被写体（頬）に向けながら、被写体に対して近接または離隔させると、画像解析装置１００は合焦した画像を自動的に撮像する。画像解析装置１００は撮像された画像を解析し、その解析結果をタッチパネル１０１に表示することができる。
　図４は、本実施形態に係る画像解析装置１００のハードウェア構成例を示すブロック図である。画像解析装置１００は、撮像部１０２、ＬＥＤ１０３、信号処理回路２０４、タイミング発生回路２０５、レンズ駆動回路２０６、スピーカ２０８、タッチセンサ２０９、座標検出回路２１０を備えている。さらに、画像解析装置１００は、ディスプレイ２１１、ディスプレイコントローラ２１２、フレームメモリ２１３、ＣＰＵ２１４、ＲＡＭ２１５、ＲＯＭ２１６、ストレージ２１７、ジャイロスコープ２１８、無線通信モジュール２１９を備えている。これらのデバイスは、バスを介して接続されている。
　撮像部１０２は、光学系２０１、撮像素子２０２、Ａ／Ｄ変換器２０３を備える。光学系２０１は、光学フィルタ、固定レンズ、フォーカスレンズを含み、被写体（撮像部位）からの光を撮像素子２０２の撮像面に結像させ、被写体像を形成する。撮像素子２０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサであり、２次元配列された複数の画素、色フィルタ、マイクロレンズを備える。複数の画素は、撮像用の画素、焦点検出用の画素を含み得る。また、撮像素子２０２は、電荷蓄積時間を制御する電子シャッタ機能を有している。複数の画素は、光学系２０１からの入射光に基づく画素信号をそれぞれ出力する。
　Ａ／Ｄ（Analog/Digital）変換器２０３は、比較回路、ラッチ回路などから構成され、撮像素子２０２からのアナログの画素信号をデジタルの画像データに変換する。Ａ／Ｄ変換器２０３は、撮像素子２０２内に設けられてもよい。撮像部１０２は、静止画像の他、所定のフレームレートの動画像を出力することができる。フレームレートは、例えば１／４秒、１／３０秒、１／６０秒などの任意の値であり得る。
　信号処理回路２０４は、数値演算回路を含み、Ａ／Ｄ変換器２０３からの画像データに対して、ホワイトバランス調整、ガンマ補正、画素補間、輪郭強調、階調変換、ノイズリダクション、圧縮などのデジタル信号処理を行う。レンズ駆動回路２０６は、アクチュエータなどを備え、光学系２０１のフォーカスレンズを駆動し、合焦距離を調節する。タイミング発生回路２０５は、クロック信号、同期信号などのタイミング信号を撮像素子２０２、Ａ／Ｄ変換器２０３に出力する。
　ＬＥＤ（Light Emitting Diode）１０３は、光学系２０１の近傍に設けられた光源である。ＬＥＤ１０３は、撮像に適した照度を得るために、撮像部位に向けて光を照射する照明部として使用される。ＬＥＤ１０３は、光色の異なる複数のＬＥＤ１０３から構成されてもよく、各ＬＥＤ１０３の発光強度を調整することにより、撮像部位に最適な色温度、彩度の光を発することができる。スピーカ２０８は、圧電式の振動ユニットを備え、電流駆動回路によって駆動される。スピーカ２０８は、音楽、メッセージ、効果音などの音声信号を出力し、撮像が終了したことをユーザに通知するための通知部として使用される。
　タッチセンサ２０９は、透明なマトリクス状の電極を備えた容量性センサであり、ディスプレイ２１１上に設けられている。ユーザの指がタッチセンサ２０９に触れることにより、電極における静電容量が変化する。座標検出回路２１０は、タッチセンサ２０９における静電容量の変化を検出し、ユーザの指が接触した位置を算出することができる。タッチセンサ２０９は、ユーザからの指示を受け付ける操作部として使用される。
　ディスプレイ２１１は、例えばＴＦＴ（Thin Film Transistor）液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイであり、ディスプレイコントローラ２１２からの表示信号に応じて、画像、動画、テキスト、アイコンなどの表示を行う。ディスプレイコントローラ２１２は、ビデオメモリを含むプロセッサであり、ディスプレイ２１１の表示を制御する。ディスプレイコントローラ２１２は、ＣＰＵ２１４からの表示データを一時記憶するとともに、表示信号を生成し、ディスプレイ２１１に出力する。タッチセンサ２０、ディスプレイ２１１は一体的に形成され、タッチパネル１０１を構成する。
　フレームメモリ２１３は、複数フレームの画像データを一時的に保持可能であって、信号処理回路２０４、ＣＰＵ２１４による画像処理において使用され得る。例えば、信号処理回路２０４は、複数フレームの画像データにおいて動きベクトルを検出することにより、手振れ補正、ノイズリダクションを行なってもよい。また、動画撮像において、フレームメモリ２１３は、時間的に連続する複数フレームの画像データを記憶することができる。なお、ＲＡＭ２１５の一部がフレームメモリ２１３として使用されてもよい。ＣＰＵ（Central Processing Unit）２１４は、ＣＰＵコア、キャッシュメモリなどを備え、画像解析装置１００の各デバイスを統括的に制御する。ＣＰＵ２１４は、ＲＯＭ２１６、ストレージ２１７から所定のプログラムを読み出し実行することにより、画像解析装置１００の各部の機能を実現する。
　ＲＡＭ（Random Access Memory）２１５は、例えばＤＲＡＭ（Dynamic RAM）であり、ＣＰＵ２１４のワーク領域、プログラムのロード領域などに使用される。ＲＯＭ（Read Only Memory）２１６は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）であり、ＢＩＯＳ（Basic Input Output System）、各種設定ファイルなどを格納する。ストレージ２１７は、例えばフラッシュメモリであり、ＯＳ（Operating System）などの基本プログラム、測定アプリなどの各種アプリケーションプログラムを格納する。ストレージ２１７は、測定アプリによる測定結果、撮像部１０２による画像、動画などの様々なデータも格納する。
　ジャイロスコープ２１８は、圧電振動素子から構成され、画像解析装置１００の向きを検出する。画像解析装置１００は、さらに、ＧＰＳ（Global Positioning System）センサ、照度センサ、近接センサ、加速度センサなどを備えていてもよい。
　無線通信モジュール２１９は、インターネットなどの通信ネットワークと無線通信を行うためのインタフェースである。無線通信モジュール２１９はアンテナ（図示省略）を含み、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）などの移動体通信方式、または無線ＬＡＮ（Local Area Network）などの無線通信方式を用いて通信ネットワークに接続する。無線通信モジュール２１９は、通信ネットワークを介して外部の機器とデータの送受信を行うことができる。
　図５は、本実施形態に係る画像解析装置１００の機能ブロック図である。画像解析装置１００は、制御部３０１、画像取得部３０２、測定領域特定部３０３、および肌色推定部３０４を有している。各部の機能は、ＣＰＵ２１４がＲＯＭ２１６あるいはストレージ２１７に格納された測定アプリケーション３００をＲＡＭ２１５に読み出し、実行することにより実現される。
　制御部３０１は、撮像部１０２、ＬＥＤ１０３、スピーカ２０８の動作を制御する。制御部３０１は、オートフォーカス（ＡＦ）機能を有しており、撮像部１０２の合焦距離を調節できる。ＡＦ処理において、制御部３０１は、撮像した画像のコントラストが最大となるように、レンズ駆動回路２０６を介して光学系２０１のフォーカスレンズの位置を制御する。制御部３０１は、コントラスト方式によるＡＦ処理に限らず、撮像面位相差方式によるＡＦ処理を行ってもよい。ただし、本実施形態の制御部３０１は、測定アプリケーション３００を実行する際、オートフォーカス機能を無効化するものとする。
　また、制御部３０１は、自動露出（ＡＥ）機能を有しており、撮像素子２０２のＩＳＯ感度、電子シャッタのスピードを制御する。制御部３０１は、ＡＦ機能、ＡＥ機能を有効または無効に設定することができる。さらに、制御部３０１は、ＬＥＤ１０３、スピーカ２０８を制御するとともに、タッチセンサ２０９を介してユーザからの指示を取得する。
　また、制御部３０１は、ＬＥＤ１０３を発光させながら被写体を撮像した画像データ（以下、「第１画像」という。）と、ＬＥＤ１０３を発光させずに第１画像と同じ被写体を撮像した画像データ（以下、「第２画像」という。）とを、後述する画像取得部３０２を介して取得する。制御部３０１は、被写体が撮像部１０２の合焦距離に位置するときに、ＬＥＤ１０３の発光を切換制御しながら撮像部１０２に第１画像および第２画像を連続して撮像させるものとする。第１画像を撮像する際に撮像素子２０２に入射される光は、外部光およびＬＥＤ１０３による照明光の２つである。これに対し、第２画像を撮像する際に撮像素子２０２に入射される光は、外部光のみである。
　画像取得部３０２は、ＬＥＤ１０３を発光させながら撮像した複数フレームの画像データ（第１画像）をフレームメモリ２１３から読み出し、複数フレームの画像データの中から最も鮮明な画像データを取得する。画像取得部３０２は、画像データから撮像部位の鮮鋭度に基づく周波数成分を抽出し、周波数成分に基づいて画像データの合焦を判定することができる。そして、画像取得部３０２は、合焦距離において撮像した第１画像に係る画像データをストレージ２１７に格納する。
　画像取得部３０２は、フーリエ変換などの周波数変換を用いて周波数成分を抽出する。周波数変換の結果として得られた周波数スペクトルなどのデータは、ＲＡＭ２１５において保持される。周波数変換は、フーリエ変換に限らず、ウェーブレット変換、ラプラシアン演算、離散コサイン変換、アダマール変換、ＫＬ（Karhunen-Loeve）変換などであってもよい。
　また、画像取得部３０２は、ＬＥＤ１０３を発光させずに、合焦距離において撮像した第２画像に係る画像データをフレームメモリ２１３から取得すると、第１画像の場合と同様に、第２画像に係る画像データをストレージ２１７に格納する。
　測定領域特定部３０３は、図３に示した撮像部１０２とＬＥＤ１０３の位置関係に基づいて、第１画像および第２画像の中でＬＥＤ１０３の光が被写体において正反射（鏡面反射）する位置に対応する反射領域から所定の距離で離間した測定領域を特定する。すなわち、測定領域は、ＬＥＤ１０３の照明光の反射領域からオフセットしている。
　肌色推定部３０４は、第１画像の色情報と第２画像の色情報との差分値に基づいて被写体の色を推定する。具体的には、肌色推定部３０４は、第１画像および第２画像を構成する画素群のうち、所定の測定領域に含まれる参照画素の色情報について差分値を算出する。そして、肌色推定部３０４は、算出された差分値、既知の照明条件、および測定領域の表色系における値を関連付ける所定のアルゴリズムに従って被写体の色を推定するものとする。なお、本実施形態の第１画像および第２画像は、ＲＧＢ表色系の色情報を含み、かつ、肌色推定部３０４は、ＲＧＢ表色系から変換したＸＹＺ表色系の色情報に基づいて色を推定するものとする。
　図６は、被写体におけるＬＥＤ１０３の照明光の反射領域Ｓと測定領域Ｍの位置関係を説明する図である。ここでは、タッチパネル１０１に被写体の画像が表示されている場合に、反射領域Ｓは画像解析装置１００のＹ軸に対して左方向に距離Ａだけ離間し、Ｘ軸上の位置に設定されている。また、測定領域Ｍは、画像解析装置１００のＹ軸に対して右方向に距離Ｂ、Ｘ軸に対して下方向に距離Ｃにある位置に設定されている。そして、反射領域Ｓと測定領域Ｍの重心間距離は距離Ｄに設定されている。このように、測定領域Ｍは、反射領域Ｓから所定の距離および方向の位置に設定されるため、画像解析装置１００は照明光の影響を過度に受けずに被写体の色を高精度で測定できる。
　例えば、ＬＥＤ１０３の照明光の被写体に対する反射領域Ｓが、合焦時においてＹ軸に対して３．９°の位置にある場合、測定領域Ｍと反射領域Ｓの角度が７°以下であると、反射光が測定領域Ｍにかぶってしまう。また、測定領域Ｍと反射領域Ｓの角度が１１°以上であると、測定領域Ｍにおける照明が暗くなり過ぎてしまう。このため、測定領域Ｍは、反射領域Ｓの位置からＹ軸で７．５°（図６の画面上では、距離Ａと距離Ｂを合計した距離に相当）、Ｘ軸で３．５°（図６の画面上では、距離Ｃに相当）動かした位置に設定すると好適である。この場合、反射領域Ｓと測定領域Ｍの重心間距離Ｄは、角度情報に換算すると８．３°に設定される。
　図７は、本実施形態に係る画像解析装置１００によって行われる処理の一例を示すフローチャートである。ここでは、ユーザが測定アプリ３００を用いて被写体（頬）の色（肌色）を測定する例を説明する。
　画像解析装置１００において、ユーザが測定アプリ３００を起動すると、制御部３０１は、撮像部１０２のＡＦ機能を無効化する（ステップＳ１０１）。すなわち、制御部３０１は、光学系２０１を固定焦点の状態とする。ここで、合焦距離は、撮像された画像のサイズが画像解析において最適となるように定められ得る。例えば、合焦距離は、５０ｍｍ～１００ｍｍの範囲であってもよく、また、撮像部１０２において設定可能な最短距離であってもよい。制御部３０１は、撮像に適した光環境が得られるようにＬＥＤ１０３の光量、色温度、彩度を設定し、ＬＥＤ１０３を点灯する。
　次に、制御部３０１は、例えば画像解析装置１００がユーザの頬に接触している初期状態において、ＬＥＤ１０３を発光させながら、撮像部１０２による被写体の撮像を開始する（ステップＳ１０２）。なお、制御部３０１は、ホワイトバランス機能も無効化した状態で撮像部１０２に第１画像を撮像させるとよい。
　図８は、画像解析装置１００の測定開始時の状態を示す図である。ここでは、ユーザが画像解析装置１００を頬に密着させた状態で、画面をタップする場合を示している。このように、ユーザが測定アプリ３００を起動すると、制御部３０１は、例えば「画面をタップすると撮影を開始します。カメラを頬からゆっくり遠ざけてください。」などのメッセージをディスプレイ２１１に表示する（図２参照）。
　制御部３０１は、メッセージとともにアニメーションを表示してもよく、音声によってメッセージを発してもよい。ユーザがメッセージに従って撮像部１０２を被写体（頬）に近づけ、タッチパネル１０１をタップすると（図１参照）、制御部３０１は、撮像部１０２による撮像を開始する。撮像は、所定のフレームレート（例えば４～５フレーム毎秒）で行われる。撮像開始時における撮像部１０２と撮像部位との間の距離は、合焦距離よりも短いため、最初に撮像される画像の鮮鋭度は低い。
　次に、制御部３０１は、被写体（頬）から合焦距離に達するまで、撮像部１０２による撮像を継続する（ステップＳ１０３）。ユーザは、タッチパネル１０１をタップした後、撮像部１０２を被写体（頬）に対して垂直な方向に徐々に遠ざけていく。制御部３０１は、画像の鮮鋭度の変化に基づいて、撮像部１０２が被写体（頬）に対して合焦距離まで移動したか否かを判断する。撮像処理（ステップＳ１０３）の詳細については、後述する。
　次に、画像取得部３０２は、合焦距離における被写体の撮像画像（第１画像）を取得する（ステップＳ１０４）。具体的には、画像取得部３０２は、撮像で得られた複数フレームの画像データの中から、高周波数成分のエネルギーが最大の画像データを第１画像として取得する。画像データの取得処理（ステップＳ１０４）は、上述の撮像処理（ステップＳ１０３）と同時に実行されてもよい。
　次に、制御部３０１は、ＬＥＤ１０３の発光を停止させた状態で、撮像部１０２による被写体の撮像を行う（ステップＳ１０５）。これに伴い、画像取得部３０２は、発光停止状態、かつ、合焦距離における被写体の撮像画像（第２画像）をフレームメモリ２１３から取得する（ステップＳ１０６）。なお、制御部３０１は、ホワイトバランス機能も無効化した状態で撮像部１０２に第２画像を撮像させるとよい。
　次に、肌色推定部３０４は、第１画像と第２画像の測定領域における色情報を取得する（ステップＳ１０７）。上述したように、測定領域は、第１画像および第２画像の中でＬＥＤ１０３の光が被写体において正反射（鏡面反射）する位置に対応する反射領域から所定の距離で離間している。
　次に、肌色推定部３０４は、第１画像と第２画像の間で、共通の測定領域における色情報の差分値を算出する（ステップＳ１０８）。
　そして、肌色推定部３０４は、算出された差分値に基づいて、被写体の色を推定する（ステップＳ１０９）と、推定値を測定結果としてタッチパネル１０１（ディスプレイ）に表示する。
　図９は、図６において示した撮像処理（ステップＳ１０３）の詳細を示すフローチャートである。
　まず、制御部３０１は、１フレームの画像データの撮像を行い、フレームメモリ２１３から読み出す（ステップＳ２０１）。制御部３０１は、読み出した画像データを所定のサイズ（例えば６４０×４８０画素）にトリミングしてもよい。
　次に、制御部３０１は、画像データをフーリエ変換し、高周波数成分のエネルギーを抽出する（ステップＳ２０２）。
　次に、制御部３０１は、直近に撮像されたフレームとの間で、高周波数成分のエネルギーの変化量を算出する（ステップＳ２０３）。例えば、制御部３０１は、直近のフレーム（ｎ）についてのエネルギーＥ（ｎ）と、１つ前のフレーム（ｎ－１）についてのエネルギーＥ（ｎ－１）との差（Ｅ（ｎ）－Ｅ（ｎ－１））を計算する。高周波数成分のエネルギーは、所定フレーム数の移動平均値を用いてもよい。複数フレーム間における高周波数成分のエネルギーの変化の一例を図１０に示す。
　図１０において、縦軸は高周波数成分のエネルギーＥを表し、横軸は時系列に番号付けされた複数フレームの画像データを表している。すなわち、フレーム番号“１”は撮像において最初に撮像されたフレームの画像データであり、撮像が継続している間、順次撮像されていく。図１０の例では、エネルギーＥの差（Ｅ（ｎ）－Ｅ（ｎ－１））は、フレーム番号“２”からフレーム番号“２８”までは正の値であり、フレーム番号“２９”で負の値になる。すなわち、高周波数成分のエネルギーのピークがフレーム番号“２８”に位置していることを示している。
　次に、制御部３０１は、エネルギーの変化量を所定の閾値と比較する（ステップＳ２０４）。制御部３０１は、例えば０を閾値とし、エネルギーの差（Ｅ（ｎ）－Ｅ（ｎ－１））が０以上か否か（正負）を判断する。制御部３０１は、変化量が０以上（正の値）である場合（ステップＳ２０４でＮＯ）、撮像を継続し、次のフレームに対してステップＳ２０１～ステップＳ２０４の処理を実行する。制御部３０１は、変化量が０より小さい（負の値）である場合（ステップＳ２０４でＹＥＳ）、ＬＥＤ１０３が発光した状態での撮像処理を終了し、図７のフローチャートの処理に戻る。
　本実施形態に係る画像解析装置１００によれば、ＬＥＤ１０３を発光させた状態で撮像した第１画像とＬＥＤ１０３の発光を停止させた状態で撮像した第２画像を取得し、これらの画像における所定の測定領域の色情報の差分値から測定領域の色を推定する。すなわち、差分値を算出することで外部光（環境光）の影響をキャンセルし、既知の照明光の性質（発光強度など）と２種類の撮像画像から算出した色情報の差分値に基づいて測定領域の色を高精度で推定できる。この結果、肌測定専用の機器を持たないユーザであっても、色見本を用いることなく、スマートフォン等のカメラを用いて精度の良い肌測定を行うことができる。
［第２実施形態］
　以下、第２実施形態に係る画像解析装置４００について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。このため、第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。
　図１１は、画像解析装置４００の機能ブロック図である。画像解析装置４００において、センサ部であるジャイロスコープ２１８は、被写体に対する画像解析装置４００（撮像部１０２）の向き（傾き）を検出すると、その検出信号を制御部３０１に出力する。制御部３０１は、検出信号に対応する角度情報をストレージ２１７に格納する。第１角度情報は、ユーザが撮像の開始を指示した時点での画像解析装置４００の向き（傾き）を示す。これに対し、第２角度情報は、合焦距離に達して第１画像および第２画像を撮像した時点での画像解析装置４００の向き（傾き）を示すものとする。
　測定領域特定部３０３は、撮像部１０２とＬＥＤ１０３（発光部）の位置関係および傾きの変化量（角度変化量）に基づいて、反射領域と測定領域の位置関係を維持しながら測定領域の設定位置を補正する。測定領域特定部３０３は、測定領域を動かすことにより、ＬＥＤ１０３の照明光の当たり方を一定に保つ。
　測定領域特定部３０３は、被写体がジャイロスコープ２１８のヨー軸の軸方向に位置するときに、ジャイロスコープ２１８のロール軸およびピッチ軸を中心とした回転角度に基づいて傾きの変化量を算出する。算出した傾きの変化量と測定領域の補正位置との関係については、ストレージ２１７などに予め定義されているとよい。
　図１２は、画像解析装置４００の姿勢状態に応じた測定領域の補正を説明する図である。図１２（ａ）では、Ｘ軸がピッチ軸であり、Ｙ軸がロール軸であり、Ｚ軸がヨー軸である。Ｘ１、Ｘ２はＸ軸周りの回転方向を示し、Ｙ１、Ｙ２はＹ軸周りでの回転方向を示す。なお、Ｚ軸周りで回転した場合は、測定領域と反射領域との相対的な位置関係は変わらないため、測定領域の補正対象とはしないものとする。図１２（ｂ）は、図１２（ａ）で示したＸ軸およびＹ軸周りでそれぞれ回転した場合に、撮像領域Ｐの中で照明光の反射領域Ｓと測定領域Ｍがそれぞれどの方向に移動されるのかを示している。
　図１３は、画像解析装置４００で行われる処理の一例を示すフローチャートである。ここでは、ユーザが測定アプリ３００を用いて被写体（頬）の色（肌色）を測定する例を説明する。
　画像解析装置４００において、ユーザが測定アプリ３００を起動すると、制御部３０１は、撮像部１０２のＡＦ機能を無効化する（ステップＳ３０１）。すなわち、制御部３０１は、光学系２０１を固定焦点の状態とする。ここで、合焦距離は、撮像された画像のサイズが画像解析において最適となるように定められ得る。例えば、合焦距離は、５０ｍｍ～１００ｍｍの範囲であってもよく、また、撮像部１０２において設定可能な最短距離であってもよい。制御部３０１は、撮像に適した光環境が得られるようにＬＥＤ１０３の光量、色温度、彩度を設定し、ＬＥＤ１０３を点灯する。
　次に、制御部３０１は、例えば画像解析装置４００がユーザの頬（被写体）に接触している初期状態において、ＬＥＤ１０３を発光させながら、撮像部１０２による被写体の撮像を開始する（ステップＳ３０２）。
　次に、制御部３０１は、撮像開始時点の第１角度情報を記憶する（ステップＳ３０３）。具体的には、ユーザが画像解析装置４００を頬に当てた状態でタッチパネル１０１をタップした際、画像解析装置４００のＸ軸およびＹ軸方向における傾き状態が第１角度情報として記憶される。
　続いて、制御部３０１は、被写体（頬）から合焦距離に達するまで、撮像部１０２による撮像を継続する（ステップＳ３０４）。ユーザは、タッチパネル１０１をタップした後、撮像部１０２を被写体（頬）に対して垂直な方向に徐々に遠ざけていく。制御部３０１は、画像の鮮鋭度の変化に基づいて、撮像部１０２の位置が被写体（頬）に対して合焦距離まで移動したか否かを判断する。撮像処理（ステップＳ３０４）は、上述した図９と同様である。
　次に、画像取得部３０２は、合焦距離における被写体の撮像画像（第１画像）を取得する（ステップＳ３０５）。具体的には、画像取得部３０２は、撮像で得られた複数フレームの画像データの中から、高周波数成分のエネルギーが最大の画像データを取得する。画像データの取得処理（ステップＳ３０５）は、上述した撮像処理（ステップＳ３０４）と同時に実行されてもよい。
　次に、制御部３０１は、ＬＥＤ１０３の発光を停止させた状態で、撮像部１０２による被写体の撮像を行う（ステップＳ３０６）。これに伴い、画像取得部３０２は、発光停止時の合焦距離における撮像画像（第２画像）を取得し、制御部３０１は、合焦距離における第２角度情報を取得する（ステップＳ３０７）。
　次に、測定領域特定部３０３は、第１角度情報と第２角度情報により測定領域の設定位置を補正する（ステップＳ３０８）。
　次に、肌色推定部３０４は、第１画像と第２画像の測定領域における色情報を取得する（ステップＳ３０９）。上述したように、測定領域は、第１画像および第２画像の中でＬＥＤ１０３の光が被写体において正反射（鏡面反射）する位置に対応する反射領域から所定の距離で離間している。ステップＳ３０８およびステップＳ３０９の処理は、同時に行われてもよい。
　次に、肌色推定部３０４は、第１画像と第２画像の間で、共通の測定領域における色情報の差分値を算出する（ステップＳ３１０）。
　そして、肌色推定部３０４は、算出された差分値に基づいて、被写体の色を推定する（ステップＳ３１１）と、推定値を測定結果としてタッチパネル１０１（ディスプレイ）に表示する。
　図１４は、図１３において示した測定領域の補正処理（ステップＳ３０８）の詳細を示すフローチャートである。
　まず、肌色推定部３０４は、ストレージ２１７に記憶されている第１角度情報および第２角度情報を取得する（ステップＳ４０１）と、Ｘ軸周りでの角度変化量を算出する（ステップＳ４０２）。
　次に、肌色推定部３０４は、Ｘ軸周りでの角度変化量が閾値以下であるか否かを判定する（ステップＳ４０３）。Ｘ軸周りでの角度変化量の閾値は、例えば６°である。ここで、肌色推定部３０４が、角度変化量は閾値以下であると判定した場合（ステップＳ４０３でＹＥＳ）には、処理はステップＳ４０４へ移行する。これに対し、ここで、肌色推定部３０４が、角度変化量は閾値を超えると判定した場合（ステップＳ４０３でＮＯ）には、処理はステップＳ４０７へ移行する。
　次に、肌色推定部３０４は、Ｙ軸周りでの角度変化量を算出する（ステップＳ４０４）と、Ｙ軸周りでの角度変化量が閾値以下であるか否かを判定する（ステップＳ４０５）。Ｙ軸周りでの角度変化量の閾値は、例えば６°である。ここで、肌色推定部３０４が、角度変化量は閾値以下であると判定した場合（ステップＳ４０５でＹＥＳ）には、処理はステップＳ４０６へ移行する。これに対し、ここで、肌色推定部３０４が、角度変化量は閾値を超えると判定した場合（ステップＳ４０５でＮＯ）には、処理はステップＳ４０７へ移行する。
　次に、肌色推定部３０４は、ＬＥＤ１０３の照明光が正反射する領域と測定領域の位置関係を維持するように、測定領域の設定位置を補正し（ステップＳ４０６）、図１３のフローチャート（ステップＳ３０９）へ戻る。
　そして、肌色推定部３０４は、再測定を促すメッセージをタッチパネル１０１への表示または音声によって出力し（ステップＳ４０７）、図１３のフローチャートには戻らずに処理を終了する。すなわち、測定領域を補正可能な範囲を超えて画像解析装置４００が測定開始時よりも傾けられた場合には、ＬＥＤ１０３の照射条件が大きく変動したことになるため、再測定となる。
　本実施形態に係る画像解析装置４００によれば、ジャイロスコープ２１８で検出された角度情報に基づいて照明光の反射領域と測定領域との位置関係を維持しつつ、測定領域の位置を補正できる。このため、測定開始時と測定終了時との間で画像解析装置４００の傾き（姿勢状態）が変化した場合でも、測定領域における照明光の当たり方を一定レベルに維持することで、測定領域の色を高精度で測定できる。
［変形実施形態］
　上述の実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されるものではない。すなわち、本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で変更実施可能である。
　上述の実施形態では、発光部であるＬＥＤ１０３は、画像解析装置１００の背面側にのみ設けられていたが、正面側にも設けられてもよい。図１５は、画像解析装置５００の撮像処理時の状態を示す図である。また、図１６は、画像解析装置５００に表示される操作画面の一例を示す正面図である。ここでは、背面側の撮像部１０２およびＬＥＤ１０３とは別に、撮像部１０４（インカメラ）およびＬＥＤ１０５が、操作画面を表示するディスプレイ２１１（タッチパネル１０１）と同一の面（画像解析装置５００の正面）にそれぞれ設けられることが示されている。この場合、ユーザは、ディスプレイ２１１に表示された操作画面を参照しながら、肌色測定の開始および終了指示を入力できるため、操作性がさらに向上する利点がある。
　また、上述の実施形態では、ＬＥＤ１０３が発光部となる場合について説明したが、発光部はＬＥＤ１０３のみに限られない。例えば、タッチパネル１０１のディスプレイ自体が発光部を兼ねるように構成することもできる。この場合、上述した図１５と同様に、インカメラを用いた肌色測定が可能になるとともに、ＬＥＤ１０３に比べて照明光の照射範囲を詳細に設定できる利点もある。
　上述の実施形態では、画像解析装置１００、４００、５００がユーザの頬の色を測定する場合について説明したが、測定部位はユーザの頬に限られない。画像解析装置１００、４００、５００は、肌、頭皮、爪、毛髪、唇などの人体表面の様々な部位を測定するために適用可能である。同様に、画像解析装置１００、４００、５００による測定部位は人体に限られない。画像解析装置１００は、人体以外の任意の物体の色を測定するために適用可能である。
　上述の各実施形態では、画像解析装置１００、４００、５００が被写体から合焦距離に達したときに撮像した第１画像および第２画像に基づいて被写体の色を測定（推定）する方法を説明したが、測定方法はこれに限られない。例えば、３Ｄスキャニング機能を持つ携帯電話の場合では、撮影時の距離から双方向反射率分布関数ＢＲＤＦ(Bidirectional Reflectance Distribution Function)に基づいて照明条件に距離の補正を行うことで、合焦距離以外の位置における撮影画像（第１画像および第２画像）を用いて各実施形態の場合と同様に被写体の色の測定が可能となる。
１００、４００、５００　画像解析装置
１０１　タッチパネル（ディスプレイ）
１０２、１０４　撮像部
１０３、１０５　ＬＥＤ（発光部）
２１３　フレームメモリ
２１４　ＣＰＵ
２１５　ＲＡＭ
２１７　ストレージ
２１８　ジャイロスコープ
３０１　制御部
３０２　画像取得部
３０３　測定領域特定部（特定部）
３０４　肌色推定部（推定部）

Claims (13)

  1. 　被写体を撮像する撮像部と、
    　前記被写体に向けて発光する発光部と、
    　前記発光部を発光させながら前記撮像部に前記被写体の第１画像を撮像させるとともに、前記発光部を発光させずに前記撮像部に前記被写体の第２画像を撮像させる制御部と、
    　前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定する推定部と、
    　を備えることを特徴とする画像解析装置。
  2. 　前記撮像部と前記発光部の位置関係に基づいて、前記第１画像および前記第２画像の中で前記発光部の光が前記被写体において正反射する位置に対応する反射領域から所定の距離で離間した測定領域を特定する特定部をさらに備え、
    　前記推定部は、前記第１画像および前記第２画像を構成する画素群のうち、前記測定領域に含まれる参照画素の前記色情報について前記差分値を算出する
    　ことを特徴とする請求項１に記載の画像解析装置。
  3. 　前記被写体に対する前記撮像部の傾きを検出するセンサ部をさらに備え、
    　前記特定部は、前記撮像部と前記発光部の位置関係および前記傾きの変化量に基づいて、前記反射領域と前記測定領域の位置関係を維持しながら前記測定領域の位置を補正する
    　ことを特徴とする請求項２に記載の画像解析装置。
  4. 　前記センサ部は、ジャイロスコープであって、
    　前記特定部は、前記被写体が前記ジャイロスコープのヨー軸の軸方向に位置するときに、前記ジャイロスコープのロール軸およびピッチ軸を中心とした回転角度に基づいて前記傾きの前記変化量を算出する
    　ことを特徴とする請求項３に記載の画像解析装置。
  5. 　前記制御部は、前記被写体が前記撮像部の合焦距離に位置するときに、前記発光部の発光を切換制御しながら前記撮像部に前記第１画像および前記第２画像を連続して撮像させる
    　ことを特徴とする請求項１乃至４のいずれか一項に記載の画像解析装置。
  6. 　前記撮像部および前記発光部は、操作画面を表示するディスプレイと反対の面にそれぞれ設けられる
    　ことを特徴とする請求項１乃至５のいずれか一項に記載の画像解析装置。
  7. 　前記撮像部および前記発光部は、操作画面を表示するディスプレイと同一の面にそれぞれ設けられる
    　ことを特徴とする請求項１乃至５のいずれか一項に記載の画像解析装置。
  8. 　前記ディスプレイは、前記発光部を兼ねる
    　ことを特徴とする請求項７に記載の画像解析装置。
  9. 　前記制御部は、ホワイトバランス機能を無効化した状態で前記撮像部に前記第１画像および前記第２画像を撮像させる
    　ことを特徴とする請求項１乃至８のいずれか一項に記載の画像解析装置。
  10. 　前記第１画像および前記第２画像は、ＲＧＢ表色系の前記色情報を含み、
    　前記推定部は、前記ＲＧＢ表色系から変換したＸＹＺ表色系の前記色情報に基づいて前記色を推定する
    　ことを特徴とする請求項１乃至９のいずれか一項に記載の画像解析装置。
  11. 　前記被写体は、人体表面であることを特徴とする請求項１乃至１０のいずれか一項に記載の画像解析装置。
  12. 　被写体に向けて発光装置を発光させながら撮像装置に前記被写体の第１画像を撮像させるステップと、
    　前記発光装置を発光させずに前記撮像装置に前記被写体の第２画像を撮像させるステップと、
    　前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定するステップと、
    　を備えることを特徴とする画像解析方法。
  13. 　コンピュータに、
    　被写体に向けて発光装置を発光させながら撮像装置に前記被写体の第１画像を撮像させるステップと、
    　前記発光装置を発光させずに前記撮像装置に前記被写体の第２画像を撮像させるステップと、
    　前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定するステップと、
    　を実行させることを特徴とするプログラム。
PCT/JP2019/034706 2018-09-06 2019-09-04 画像解析装置、画像解析方法およびプログラム WO2020050295A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/273,975 US11494945B2 (en) 2018-09-06 2019-09-04 Image analysis device, image analysis method, and program
JP2020541255A JP7289308B2 (ja) 2018-09-06 2019-09-04 画像解析装置、画像解析方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862727997P 2018-09-06 2018-09-06
US62/727,997 2018-09-06

Publications (1)

Publication Number Publication Date
WO2020050295A1 true WO2020050295A1 (ja) 2020-03-12

Family

ID=69721877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034706 WO2020050295A1 (ja) 2018-09-06 2019-09-04 画像解析装置、画像解析方法およびプログラム

Country Status (3)

Country Link
US (1) US11494945B2 (ja)
JP (1) JP7289308B2 (ja)
WO (1) WO2020050295A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3922202A1 (en) * 2020-06-12 2021-12-15 Koninklijke Philips N.V. System and method for determining skin contact for a personal care device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078202A (ja) * 1999-09-01 2001-03-23 Minolta Co Ltd デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体
JP2008259676A (ja) * 2007-04-12 2008-10-30 Matsushita Electric Ind Co Ltd 情報処理装置および色判定方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014041115A (ja) 2012-07-27 2014-03-06 Pola Chem Ind Inc 測色装置、並びに該測色装置により得られた色情報を有する肌色マップ
KR20140028415A (ko) * 2012-08-29 2014-03-10 한국전자통신연구원 피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법
EP2919185A4 (en) 2012-11-09 2016-07-13 Fujifilm Corp CAMERA SYSTEM, COLOR TRANSFORMATION DEVICE AND METHOD THEREFOR, AND COLOR TRANSFORMATION PROGRAM
KR102581945B1 (ko) * 2017-02-07 2023-09-25 삼성전자주식회사 스킨 정보 제공 방법 및 이를 지원하는 전자 장치
KR102055881B1 (ko) * 2018-01-09 2019-12-13 주식회사 룰루랩 피부 상태 측정용 모듈

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078202A (ja) * 1999-09-01 2001-03-23 Minolta Co Ltd デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体
JP2008259676A (ja) * 2007-04-12 2008-10-30 Matsushita Electric Ind Co Ltd 情報処理装置および色判定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3922202A1 (en) * 2020-06-12 2021-12-15 Koninklijke Philips N.V. System and method for determining skin contact for a personal care device
WO2021249901A1 (en) * 2020-06-12 2021-12-16 Koninklijke Philips N.V. System and method for determining skin contact for a personal care device

Also Published As

Publication number Publication date
US11494945B2 (en) 2022-11-08
US20210350577A1 (en) 2021-11-11
JP7289308B2 (ja) 2023-06-09
JPWO2020050295A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP6340477B2 (ja) 距離画像取得装置及び距離画像取得方法
EP1914982A1 (en) Imaging device
US20140184854A1 (en) Front camera face detection for rear camera zoom function
JP4843002B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
CN109756668B (zh) 在不同图像捕获条件下结合光学变焦和数字变焦
US9854151B2 (en) Imaging device and focusing control method
KR20150115455A (ko) 휴대단말기의 프로젝터 초점 제어 방법 및 장치
JP4730478B2 (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
WO2018228466A1 (zh) 对焦区域显示方法、装置及终端设备
US10812705B2 (en) Imaging apparatus, imaging method, and imaging program
KR20120007948A (ko) 전자 카메라, 화상 처리 장치 및 화상 처리 방법
CN105915807B (zh) 计算光量变化特性的方法和电子设备
JP5407373B2 (ja) 撮影装置、及びプログラム
TWI470191B (zh) 光源感測裝置及其光源感測方法
JP7289308B2 (ja) 画像解析装置、画像解析方法およびプログラム
JP6172973B2 (ja) 画像処理装置
JP7289309B2 (ja) 画像解析装置、画像解析方法およびプログラム
JP6368593B2 (ja) 画像処理プログラム、情報処理システム、画像処理方法
US20150237243A1 (en) Photographic apparatus, stroboscopic image prediction method, and a non-transitory computer readable storage medium storing stroboscopic image prediction program
JP5800600B2 (ja) 撮像装置、撮像方法およびプログラム
KR101444207B1 (ko) 요철형 패턴 영상 획득 장치 및 방법
JP6386837B2 (ja) 画像処理プログラム、情報処理システム、情報処理装置、画像処理方法
JP2018078528A (ja) 画像解析装置、画像解析方法およびプログラム
WO2022145322A1 (ja) 撮像装置、フォーカス制御方法、及び、フォーカス制御プログラム
US20230098738A1 (en) Imaging apparatus, imaging control method, and imaging control program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857969

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020541255

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19857969

Country of ref document: EP

Kind code of ref document: A1