WO2015159732A1 - 情報処理装置、情報処理システム、及び、プログラム - Google Patents

情報処理装置、情報処理システム、及び、プログラム Download PDF

Info

Publication number
WO2015159732A1
WO2015159732A1 PCT/JP2015/060555 JP2015060555W WO2015159732A1 WO 2015159732 A1 WO2015159732 A1 WO 2015159732A1 JP 2015060555 W JP2015060555 W JP 2015060555W WO 2015159732 A1 WO2015159732 A1 WO 2015159732A1
Authority
WO
WIPO (PCT)
Prior art keywords
pores
porphyrin
component
skin
pore
Prior art date
Application number
PCT/JP2015/060555
Other languages
English (en)
French (fr)
Inventor
鈴木　優
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580017099.9A priority Critical patent/CN106163381B/zh
Priority to US15/301,967 priority patent/US10076275B2/en
Priority to JP2016513716A priority patent/JP6624459B2/ja
Priority to KR1020167027232A priority patent/KR102383183B1/ko
Publication of WO2015159732A1 publication Critical patent/WO2015159732A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present technology relates to an information processing device, an information processing system, and a program, and more particularly, to an information processing device, an information processing system, and a program that are suitable for use when presenting the state of pores in a user's skin.
  • porphyrin is detected by binarizing an image obtained by extracting an R (red) component from an image taken by irradiating the user's skin with ultraviolet rays, and the region, number, and area where porphyrin is detected are displayed.
  • R red
  • Patent Documents 1 and 2 For example, refer to Patent Documents 1 and 2.
  • the information processing apparatus distinguishes between pores in which an abnormality is detected and normal pores based on the detection results of the pores in the human skin and the state of the pores.
  • a display control unit for controlling the display of the state is included.
  • the display control unit can control the display of a pore state image, which is an image indicating the state of pores of the person's skin, by distinguishing pores in which an abnormality has been detected from normal pores.
  • the pores in which the abnormality has been detected can include at least one of pores in which porphyrin has been detected or pores in which porphyrin precursors have been detected.
  • the display control unit can be controlled to display the pore state image by distinguishing between pores in which porphyrin is detected and pores in which porphyrin precursors are detected.
  • the display control unit can be controlled to display the pore state image without distinguishing between pores in which the porphyrin has been detected and pores in which the porphyrin precursor has been detected.
  • the display control unit can be controlled to display only the selected type of pores in the pore state image.
  • the pores in which the abnormality has been detected can include at least one of pores in which porphyrin has been detected or pores in which porphyrin precursors have been detected.
  • porphyrin or porphyrin precursor is detected, and a graph showing the ratio of normal pores, or porphyrin detected pores, porphyrin precursor detected pores, and normal It is possible to control the display of a graph showing the ratio of pores.
  • the display control unit can be controlled to emphasize and display the types of pores selected in the graph in a pore state image that is an image showing the state of pores of the human skin.
  • the display control unit displays a graph having an axis indicating a porphyrin ratio, which is a ratio of pores in which porphyrin is detected, and an axis indicating a porphyrin precursor ratio, which is the ratio of pores in which porphyrin precursors are detected.
  • the position on the graph corresponding to the porphyrin rate and the porphyrin precursor rate of the user can be displayed.
  • the display control unit can control display of a graph showing a transition of a statistic regarding at least one of a pore in which porphyrin is detected, a pore in which a porphyrin precursor is detected, and a normal pore. .
  • a pore detection unit that detects pores in a first skin image that is an image of the person's skin irradiated with the first light in the first wavelength range, and a second that is different from the first wavelength range
  • State detection for detecting the state of pores of the human skin based on pixel values of a plurality of color components of the second skin image obtained by photographing the human skin irradiated with the second light in the wavelength range of Can be further provided.
  • the first light is white light
  • the second light is UV light
  • the state detection unit includes pixel values of R component, G component, and B component of each pixel of the second skin image. Based on the above, it is possible to detect porphyrin and a precursor of porphyrin.
  • the pixel value of the R component is relatively larger than the pixel value of the G component in the region of the second skin image corresponding to each pore detected in the first skin image, It is determined that porphyrin is generated in a region where the pixel value of the G component is relatively larger than the pixel value of the B component, and the pixel value of the R component and the pixel value of the G component are substantially the same. It can be determined that a porphyrin precursor has occurred in a region where the G component pixel value is relatively larger than the B component pixel value.
  • the R component pixel value is relatively larger than the G component pixel value
  • the G component pixel value is It is determined that porphyrin is generated in an area relatively larger than the B component pixel value, the R component pixel value and the G component pixel value are substantially the same, and the R component pixel value and the G component pixel value are It can be determined that a porphyrin precursor has occurred in an area relatively larger than the pixel value of the B component.
  • the program according to the first aspect of the present technology distinguishes between pores in which an abnormality has been detected and normal pores based on the detection results of the pores and pores in the human skin, and displays the state of the pores in the human skin.
  • the computer is caused to execute processing including a display control step for controlling the display.
  • the information processing system is the skin of a person irradiated with the first light in the first wavelength range or the second light in the second wavelength range different from the first wavelength range.
  • An imaging unit that performs imaging, a pore detection unit that detects pores in a first skin image that is an image of the person's skin irradiated with the first light, and the second light is irradiated
  • a state detection unit that detects a state of pores of the person's skin based on pixel values of a plurality of color components of each pixel of a second skin image that is an image of the person's skin
  • a display control unit for controlling the display of the state of the pores of the person's skin by distinguishing the normal pores from the pores in which an abnormality has been detected based on the detection results of the pores of the skin and the state of the pores.
  • the display control unit can control the display of a pore state image, which is an image indicating the state of pores of the person's skin, by distinguishing pores in which an abnormality has been detected from normal pores.
  • a display section for displaying the pore state image can be further provided.
  • the first light is white light
  • the second light is UV light
  • the state detection unit includes pixel values of R component, G component, and B component of each pixel of the second skin image.
  • the display control unit is based on the detection result of porphyrin and porphyrin precursor of the human skin, porphyrin detected porphyrin or porphyrin precursor It is possible to control display of the state of the pores of the person's skin by distinguishing at least one of the detected pores from normal pores.
  • the pixel value of the R component is relatively larger than the pixel value of the G component in the region of the second skin image corresponding to each pore detected in the first skin image, It is determined that porphyrin is generated in a region where the pixel value of the G component is relatively larger than the pixel value of the B component, and the pixel value of the R component and the pixel value of the G component are substantially the same. It can be determined that a porphyrin precursor has occurred in a region where the G component pixel value is relatively larger than the B component pixel value.
  • the R component pixel value is relatively larger than the G component pixel value
  • the G component pixel value is It is determined that porphyrin is generated in an area relatively larger than the B component pixel value, the R component pixel value and the G component pixel value are substantially the same, and the R component pixel value and the G component pixel value are It can be determined that a porphyrin precursor has occurred in an area relatively larger than the pixel value of the B component.
  • An imaging device including at least the imaging unit and an information processing device including at least the display control unit are provided, and the pore detection unit and the state detection unit are included in the imaging device or the information processing device. it can.
  • An information processing system includes an imaging device including an imaging unit, a pore detection unit, a porphyrin detection unit, and a counting unit, and an information processing device including a display control unit, First, a skin image of a person irradiated with white light or UV light having a predetermined wavelength is captured, and the pore detection unit is an image obtained by capturing the skin of the person irradiated with white light.
  • the porphyrin detection unit detects pixel values of the R component, the G component, and the B component of each pixel of the second skin image that is an image of the human skin irradiated with the UV light.
  • the counting unit Based on the detection of porphyrin and porphyrin precursor, the counting unit counts the number of detected pores, the number of porphyrin and the number of porphyrin precursor, the display control unit, the number of pores, the number of porphyrin And To control the display of data based on the aura number of Firin.
  • the pores in the human skin are displayed by distinguishing the abnormal pores from the normal pores. Is done.
  • photographing of the skin of a person irradiated with the first light in the first wavelength range or the second light in the second wavelength range different from the first wavelength range is performed.
  • the first skin image which is an image of the person's skin irradiated with the first light
  • pores were detected, and the person's skin irradiated with the second light was photographed.
  • detection of the state of pores of the person's skin is performed, and the detection result of the state of pores and pores of the person's skin
  • the state of the pores in the person's skin is displayed by distinguishing the pores in which the abnormality is detected from the normal pores.
  • white that is an image obtained by photographing the skin of a person irradiated with white light or UV light having a predetermined wavelength, and capturing the skin of the person irradiated with the white light.
  • the pixel values of the R component, G component, and B component of each pixel of the UV light skin image which is an image of the human skin irradiated with the UV light, with pore detection in the light skin image.
  • Porphyrin and porphyrin precursors are detected, the number of detected pores, the number of porphyrins and porphyrin precursors are counted, and the display of data based on the number of pores, the number of porphyrins and the number of precursors of porphyrin Be controlled.
  • the state of the pores can be known in more detail.
  • FIG. 1 It is a figure showing a 1st embodiment of an analysis system to which this art is applied. It is a block diagram which shows the structural example of the function of 1st Embodiment of an analysis system. It is a flowchart for demonstrating 1st Embodiment of an analysis process. It is a flowchart for demonstrating the detail of a pore detection process. It is a figure which shows the example of a white light skin image. It is a figure which shows the example of H skin image. It is a figure which shows the example of the H skin image after a filter process. It is a figure which shows the example of a binarized image. It is a figure which shows the example of the binarized image after a shrinkage
  • FIG. 1 shows a configuration example of an apparatus of an analysis system 1 to which the present technology is applied.
  • the analysis system 1 captures the user's skin, analyzes the user's skin condition, particularly the pore condition, based on the obtained skin image, and presents the analysis result to the user.
  • the analysis system 1 is configured to include a camera 11, an analysis device 12, and a display device 13.
  • the camera 11 is composed of a photographing device capable of photographing in the wavelength range of UV light in addition to visible light.
  • the camera 11 captures the skin of the user who is the target of analyzing the pore state, and supplies the obtained skin image to the analysis device 12.
  • the analysis device 12 is configured by, for example, a dedicated device, a personal computer, or a mobile terminal (for example, a smartphone, a tablet, a mobile phone, etc.).
  • the analysis device 12 can also be realized by a server (for example, a server on the cloud) connected to a network (not shown). Based on the skin image acquired from the camera 11, the analysis device 12 analyzes the skin state of the user, particularly the pore state, and displays the analysis result on the display device 13.
  • the display device 13 includes, for example, a dedicated display or a display provided in a personal computer, a tablet, a smartphone, or the like.
  • the display device 13 displays the analysis result of the state of the user's skin, particularly the state of the pores, under the control of the analysis device 12.
  • communication between the camera 11 and the analysis device 12 and between the analysis device 12 and the display device 13 may be either wired communication or wireless communication.
  • FIG. 2 is a block diagram illustrating a configuration example of functions of the analysis system 1.
  • the camera 11 is configured to include a photographing unit 101, a white light irradiation unit 102, and a UV light irradiation unit 103.
  • the imaging unit 101 is configured to include an image sensor such as a CMOS image sensor or a CCD image sensor that has sensitivity not only to visible light but also to the wavelength range of UV light.
  • the imaging unit 101 captures an area (hereinafter referred to as an analysis area) that is a target of analyzing the user's skin in a state in which the white light emitted from the white light irradiation unit 102 is irradiated.
  • the imaging unit 101 supplies an RGB image (hereinafter referred to as a white light skin image) obtained as a result of imaging to the color conversion unit 121 and the display control unit 114 of the pore detection unit 111 of the analysis device 12.
  • the photographing unit 101 photographs an analysis region of the user's skin in a state where the UV light emitted from the UV light irradiation unit 103 is irradiated.
  • the imaging unit 101 supplies an image obtained as a result of imaging (hereinafter referred to as a UV light skin image) to the processing region setting unit 131 and the display control unit 114 of the porphyrin detection unit 112 of the analysis device 12.
  • the photographing unit 101 has a resolution that allows the pores of a person's face to be clearly photographed.
  • the photographing unit 101 is preferably capable of close-up photographing.
  • the white light irradiation unit 102 includes, for example, a white LED (Light Emitting Diode), a camera flash, or the like, and irradiates the user's skin with white light.
  • a white LED Light Emitting Diode
  • a camera flash or the like
  • the UV light irradiation unit 103 includes, for example, a light source that emits UV light, and irradiates the user's skin with UV light.
  • the wavelength range of the UV light irradiated by the UV light irradiation unit 103 is set to a range of 350 to 400 nm included in the near ultraviolet wavelength range, for example.
  • the white light irradiation unit 102 and the UV light irradiation unit 103 are installed at substantially the same position so that illumination light can be irradiated onto the user's skin from substantially the same direction.
  • the analysis device 12 is configured to include a pore detection unit 111, a porphyrin detection unit 112, a statistical processing unit 113, and a display control unit 114.
  • the pore detection unit 111 detects pores in the analysis region based on the white light skin image.
  • the pore detection unit 111 is configured to include a color conversion unit 121, a filter processing unit 122, a binarization processing unit 123, a contraction processing unit 124, and an expansion processing unit 125.
  • the color conversion unit 121 converts the color space of the white light skin image, which is an RGB image, into an HSV color space, thereby generating an H (Hue) component image of the white light skin image (hereinafter referred to as an H skin image). Is generated.
  • the color conversion unit 121 supplies the generated H skin image to the filter processing unit 122.
  • the filter processing unit 122 performs a predetermined filter process on the H skin image, and extracts a low frequency component of the H skin image.
  • the filter processing unit 122 supplies the H skin image subjected to the filter processing to the binarization processing unit 123.
  • the binarization processing unit 123 converts the H skin image into a binarized image by performing binarization processing on the H skin image.
  • the binarization processing unit 123 supplies the binarized image to the contraction processing unit 124.
  • the contraction processing unit 124 performs a morphological calculation contraction process on the binarized image.
  • the contraction processing unit 124 supplies the binarized image after the contraction processing to the expansion processing unit 125.
  • the expansion processing unit 125 generates a pore region map indicating the distribution of the positions of the pore regions in the analysis region by performing expansion processing of the morphology operation on the binarized image.
  • the expansion processing unit 125 supplies the generated pore region map to the processing region setting unit 131 of the porphyrin detection unit 112, the pore number counting unit 141 of the statistical processing unit 113, and the display control unit 114.
  • the porphyrin detection unit 112 detects the state of pores in the analysis region, particularly porphyrin, based on the UV light skin image and the pore region map.
  • the porphyrin detection unit 112 is configured to include a processing region setting unit 131, an RGB average value calculation unit 132, and a porphyrin determination unit 133.
  • the processing region setting unit 131 sets a region corresponding to each pore region shown in the pore region map in the UV light skin image as a processing region to be subjected to porphyrin determination.
  • the processing region setting unit 131 supplies the UV light skin image and information indicating the set processing region to the RGB average value calculation unit 132.
  • the RGB average value calculation unit 132 calculates the average value of the pixel values for each of the R, G, and B components in each processing region of the UV light skin image.
  • the RGB average value calculation unit 132 supplies the UV light skin image and information indicating the calculation result of the average value to the porphyrin determination unit 133.
  • Porphyrin determination unit 133 performs porphyrin determination of each processing region of the UV light skin image, a region where porphyrin is generated (hereinafter referred to as porphyrin region), and a region where porphyrin precursor is generated (hereinafter referred to as porphyrin region). Porphyrin precursor region) is detected.
  • the porphyrin determination unit 133 generates a porphyrin region map indicating the distribution of the positions of the porphyrin region and the porphyrin precursor region in the analysis region, and supplies the porphyrin region map to the porphyrin number counting unit 142 and the display control unit 114 of the statistical processing unit 113.
  • the statistical processing unit 113 performs a statistical value calculation process indicating the state of the user's pores based on the pore region map and the porphyrin region map.
  • the statistical processing unit 113 is configured to include a pore number counting unit 141, a porphyrin number counting unit 142, and a ratio calculating unit 143.
  • the pore number counting unit 141 counts the number of pore regions in the analysis region (hereinafter referred to as the number of pores) based on the pore region map, and supplies the count result to the ratio calculation unit 143.
  • the porphyrin number counting unit 142 counts the number of porphyrin regions in the analysis region (hereinafter referred to as porphyrin number) and the number of porphyrin precursor regions (hereinafter referred to as porphyrin precursor numbers) based on the porphyrin region map. The count result is supplied to the ratio calculation unit 143.
  • the ratio calculation unit 143 calculates the ratio for each type of pores of the user based on the count result of the number of pores, the number of porphyrins, and the number of precursors of porphyrin, and supplies the calculation result to the display control unit 114.
  • the display control unit 114 displays the analysis result of the state of the user's pore based on the white light skin image, the UV light skin image, the pore region map, the porphyrin region map, and the calculation result of the ratio for each type of pore. 13 is displayed.
  • step S1 the analysis system 1 executes a pore detection process.
  • the detail of a pore detection process is demonstrated.
  • the camera 11 captures a white light skin image.
  • the imaging unit 101 performs imaging of the analysis region in a state where the white light from the white light irradiation unit 102 is applied to the analysis region of the user's skin and the vicinity thereof.
  • the analysis region is set, for example, on the entire nose, a part of the nose (for example, a part next to the nose), a cheek part next to the nose, the forehead, the scalp, the entire face, the entire head, and the like.
  • the photographing unit 101 supplies the white light skin image obtained as a result of photographing to the color conversion unit 121 and the display control unit 114.
  • FIG. 5 shows an example of a white light skin image when the side portion of the nose is photographed. Although the white light skin image is shown in gray scale, the actual white light skin image is a color RGB image.
  • step S52 the color conversion unit 121 performs color conversion of the white light skin image. That is, the color conversion unit 121 generates an image (H skin image) of an H (Hue) component of the white light skin image by converting the color space of the white light skin image that is an RGB image into an HSV color space. To do. The color conversion unit 121 supplies the generated H skin image to the filter processing unit 122.
  • the value of the H component of each pixel is obtained from the pixel values of the R (red), G (green), and B (blue) components of each pixel by the following equations (1) to (3).
  • Equation (1) For the pixel with the largest R component pixel value, Equation (1) is used, and for the pixel with the largest G component pixel value, Equation (2) is used, and the B component pixel value is the largest.
  • equation (3) is used for the pixel.
  • R, G, and B in each equation indicate pixel values of R, G, and B components
  • MAX indicates the maximum value among the R, G, and B pixel values of each pixel
  • MIN indicates , Indicates the minimum value among the R, G, and B pixel values of each pixel.
  • a value obtained by adding 360 to the value is set as the pixel value of the H component of the pixel.
  • FIG. 6 shows an example of an H skin image obtained by performing color conversion of the white light skin image of FIG.
  • This H skin image contains high frequency components such as noise and fine edges.
  • the filter processing unit 122 performs filter processing of the H skin image. That is, the filter processing unit 122 extracts a low-frequency component of the H skin image by applying a low-pass filter to the H skin image. For example, when the H skin image is 1280 ⁇ 1024 pixels, an average filter of 9 ⁇ 9 taps is used. The filter processing unit 122 supplies the H skin image subjected to the filter processing to the binarization processing unit 123.
  • FIG. 7 shows an example of the H skin image after filtering the H skin image of FIG.
  • the H skin image is an image obtained by removing noise, fine edges, and the like from the H skin image of FIG.
  • the binarization processing unit 123 performs binarization processing. That is, the binarization processing unit 123 sets the pixel value of a pixel whose H component value is equal to or less than a predetermined threshold Hth to 1 and sets the pixel value of a pixel exceeding the threshold Hth to 0, thereby performing post-filter processing.
  • the H skin image is converted into a binarized image.
  • the threshold value Hth is set to 64.8.
  • the binarization processing unit 123 supplies the obtained binarized image to the contraction processing unit 124.
  • FIG. 8 shows an example of a binarized image obtained from the H skin image after the filter processing of FIG.
  • a region where pores exist is indicated by a white bright spot having a certain size. Note that white bright spots include regions that are not pores.
  • step S55 the contraction processing unit 124 repeats the contraction process a predetermined number of times.
  • the contraction processing unit 124 continuously repeats the contraction process of the morphological operation three times for the binarized image using the disk-shaped structuring element having a radius of 2 to 4.
  • the contraction processing unit 124 supplies the binarized image after the contraction processing to the expansion processing unit 125.
  • FIG. 9 shows an example of the binarized image after the contraction process is performed a predetermined number of times on the binarized image of FIG.
  • step S56 the expansion processing unit 125 repeats the expansion processing a predetermined number of times.
  • the expansion processing unit 125 continuously repeats the expansion process of the morphological operation three times for the binarized image after the contraction process using a disk-shaped structuring element having a radius of 2 to 5.
  • the expansion processing unit 125 supplies the binarized image after the expansion processing as a pore region map to the processing region setting unit 131, the pore number counting unit 141, and the display control unit 114. Thereafter, the pore detection process ends.
  • FIG. 10 shows an example of a pore region map obtained by performing an expansion process on the binarized image after the contraction process of FIG.
  • each white bright spot indicates the position of the pore region.
  • steps S55 and S56 the number of morphological operations and the size and shape of the structuring element can be arbitrarily changed. Moreover, the pore detection process demonstrated above is the example, and you may make it detect a pore area
  • step S2 the analysis system 1 executes porphyrin detection processing.
  • the analysis system 1 executes porphyrin detection processing.
  • the detail of a porphyrin detection process is demonstrated.
  • step S101 the camera 11 captures a UV light skin image.
  • the imaging unit 101 performs imaging of the analysis region in a state where the UV light from the UV light irradiation unit 103 is applied to the analysis region of the user's skin and the periphery thereof. At this time, it is desirable that the white light skin image and the UV light skin image are taken in substantially the same direction from the same direction.
  • the photographing unit 101 supplies the UV light skin image obtained as a result of photographing to the processing region setting unit 131 and the display control unit 114.
  • FIG. 12 shows an example of a UV light skin image.
  • This UV light skin image is shown in gray scale, but the actual UV light skin image is a color RGB image. Further, here, in order to make the explanation easy to understand, an example of a UV light skin image obtained by photographing a position different from the white light skin image of FIG. 5 is shown.
  • FIG. 12 shows an example of a histogram showing the distribution of pixel values of each component of RGB in a normal pore region in which neither porphyrin nor porphyrin precursor has occurred, porphyrin precursor region, and porphyrin region. ing.
  • the pixel values of the R, G, and B components are usually relatively larger than the normal pore region. Further, the pixel values of the R component and the G component show substantially the same distribution, and the pixel value of the B component is relatively smaller than the pixel values of the R component and the G component.
  • the orange color is usually emitted from the porphyrin region. Accordingly, in the porphyrin region, the R component pixel value is the largest and the B component pixel value is the smallest. Further, the pixel value of the R component is relatively larger than the porphyrin precursor region, the pixel value of the G component is relatively larger than the normal pore, and relatively smaller than the porphyrin precursor region, and the pixel value of the B component is Has almost the same distribution as normal pores.
  • the processing area setting unit 131 sets a processing area. Specifically, the processing region setting unit 131 sets the region of the UV light skin image corresponding to each pore region shown in the pore region map as the processing region. The processing region setting unit 131 supplies the UV light skin image and information indicating the set processing region to the RGB average value calculation unit 132.
  • the RGB average value calculation unit 132 calculates the average of the R, G, and B components of each processing region. Specifically, the RGB average value calculation unit 132 calculates the average value of the pixel values for each of the R, G, and B components of the pixels in the region for each processing region. The RGB average value calculation unit 132 supplies the UV light skin image and the calculation result of the average value to the porphyrin determination unit 133.
  • step S104 the porphyrin determination unit 133 performs porphyrin determination. Specifically, first, the porphyrin determination unit 133 determines whether each processing region satisfies the following determination formula (4).
  • avgR, avgG, and avgB represent average values of the pixel values of the R, G, and B components in the processing region.
  • TH1 represents a predetermined threshold value.
  • the porphyrin determination part 133 determines the process area
  • the porphyrin determination unit 133 determines whether each processing region that satisfies the determination formula (4) satisfies the following determination formula (5).
  • TH2 represents a predetermined threshold.
  • the porphyrin determination part 133 determines with the process area
  • the porphyrin determination unit 133 determines that the processing region that does not satisfy the determination formula (5) is the porphyrin precursor region. That is, the difference between the average value of the R component pixel values and the average value of the G component pixel values and the average value of the B component pixel values is equal to or greater than the threshold TH1, and the R component pixels A processing region in which the difference between the average value of the values and the average value of the G component pixel values is less than the threshold value TH2 is determined to be a porphyrin precursor region. Therefore, a processing region in which the R component pixel value and the G component pixel value are substantially the same, and the R component pixel value and the G component pixel value are relatively larger than the B component pixel value is a porphyrin precursor region. Determined.
  • porphyrin determination is performed based only on the magnitude relationship of the average values of the pixel values of R, G, and B components, for example, even when the tendency to be emitted is dark, the type of pores is accurately determined. Can do.
  • porphyrin determination part 133 produces
  • region supplies it to the porphyrin number counting part 142 and the display control part 114. Thereafter, the porphyrin detection process ends.
  • step S3 the statistical processing unit 113 executes statistical processing.
  • the details of the statistical processing will be described with reference to FIG.
  • step S151 the pore number counting unit 141 counts the number of pores. That is, the pore number counting unit 141 counts the number of pores in the analysis region based on the pore region map. The pore number counting unit 141 supplies the counting result of the number of pores to the ratio calculating unit 143.
  • the porphyrin number counting unit 142 counts the number of porphyrins. That is, the porphyrin number counting unit 142 counts the number of porphyrins and porphyrin precursors in the analysis region based on the porphyrin region map. The porphyrin number counting unit 142 supplies the count result of the porphyrin number and the porphyrin precursor number to the ratio calculating unit 143.
  • the ratio calculation unit 143 calculates a ratio for each type of pore. For example, the ratio calculation unit 143 calculates the abnormal pore rate, porphyrin rate, porphyrin precursor rate, and normal pore rate by the following equations (6) to (9).
  • Abnormal pore rate (%) (number of porphyrins + number of porphyrin precursors) / total number of pores x 100 (6)
  • Porphyrin ratio (%) number of porphyrins / total number of pores ⁇ 100 (7)
  • Porphyrin precursor rate (%) Porphyrin precursor / total pores x 100 (8)
  • Normal pore rate (%) 100-Abnormal pore rate (9)
  • the total number of pores is the total number of pore regions detected in the analysis region.
  • the abnormal pore rate indicates the ratio of the abnormal pore region (porphyrin region and porphyrin precursor region) to the pore region in the analysis region.
  • the porphyrin ratio indicates the proportion of the porphyrin region in the pore region in the analysis region.
  • the porphyrin precursor rate indicates the ratio of the porphyrin precursor region to the pore region in the analysis region.
  • the abnormal pore rate is the sum of the porphyrin rate and the porphyrin precursor rate.
  • the normal pore rate indicates a ratio of normal pore regions (pore regions where porphyrins and porphyrin precursors are not generated) out of pore regions in the analysis region.
  • the ratio calculation unit 143 supplies the calculation result to the display control unit 114. Thereafter, the statistical processing ends.
  • step S4 the display device 13 displays the analysis result under the control of the display control unit 114. That is, the display control unit 114 displays the analysis result of the user's pore state based on the white light skin image, the UV light skin image, the pore region map, the porphyrin region map, and the calculation result of the ratio for each type of pore. It is displayed on the display device 13. Thereafter, the analysis process ends.
  • FIG. 14 a case where the pore region map schematically shown in FIG. 14 is obtained by the pore detection processing and the porphyrin region map schematically shown in FIG. 15 is obtained by the porphyrin detection processing will be described as an example.
  • the white circles in the pore region map in FIG. 14 indicate pore regions, the shaded circles in FIG. 15 indicate porphyrin regions, and the shaded circles indicate porphyrin precursor regions.
  • FIG. 16 schematically shows a first display example of the analysis result.
  • a face image indicating the state of the user's pores (hereinafter referred to as a pore state image) is displayed.
  • the pore state image is, for example, an image showing the position and type of each detected pore on the white light skin image. That is, the position of each detected pore is displayed on the white light skin image by a predetermined mark such as a circle or a dot.
  • a mark having a different shape, pattern, display effect, or the like is displayed for each type of pores so that the types of pores can be easily distinguished. For example, in this example, normal pores are indicated by white circles, and abnormal pores in which porphyrin or porphyrin precursor has occurred are indicated by a predetermined pattern of circles.
  • an artificial image such as computer graphics or an illustration may be used in addition to the actually photographed white light skin image.
  • the user continuously receives diagnosis, compares the past and present pore state images, normal regions, regions with improved pore states, regions with deteriorated pore states, pores It is possible to easily know areas that are not present.
  • the pore analysis service provider can present the effect of pore care to the user in an easily understandable manner.
  • pore ratio graph a graph showing the ratio of each type of pores.
  • the ratio of abnormal pores to normal pores is shown by a bar graph together with specific numerical values.
  • normal pores are 12 percent and abnormal pores are 88 percent.
  • the user can grasp
  • the pore corresponding to the selected item is highlighted in the pore state image.
  • a mark indicating an abnormal pore is highlighted in the pore state image.
  • any method such as changing the color, enlarging display, or blinking display can be adopted.
  • the mark indicating the type of each pore in the pore state image and each item of the pore ratio graph have the same color, pattern, display effect, etc. for each type of pore. Thereby, the user can easily associate each pore in the pore state image with each item in the pore ratio graph.
  • FIG. 18 schematically shows a modified example of the first display example of the analysis result.
  • the pore state image is displayed on the left side and the pore ratio graph is displayed on the right side as in the example of FIG.
  • pores in which porphyrin is detected and pores in which a porphyrin precursor is detected are distinguished.
  • pores in which porphyrin has been detected and pores in which a porphyrin precursor has been detected are indicated by different marks. That is, pores in which porphyrin has been detected are indicated by a shaded pattern circle, and pores in which a porphyrin precursor has been detected are indicated by a hatched pattern circle.
  • the user can know the distribution of abnormal pores by distinguishing between pores in which porphyrin is generated and pores in which porphyrin precursors are generated.
  • pores in which porphyrin is detected are displayed as separate items.
  • the normal pores are 12%
  • the pores in which porphyrin is detected are 78%
  • the pores in which the porphyrin precursor is detected are 10%.
  • the mark indicating the state of each pore in the pore state image and each item in the pore ratio graph have the same color, pattern, display effect, etc. for each type of pore.
  • FIG. 19 schematically shows a second display example of the analysis result.
  • tabs of “pore”, “normal pore”, “porphyrin precursor”, and “porphyrin” are displayed at the top of the screen.
  • the pore state image similar to FIG.16 and FIG.18 is displayed under the tab row
  • the type of pore corresponding to the selected tab is displayed in the pore state image.
  • a pore state image similar to that in FIG. 18 is displayed. That is, in the pore state image, normal pores, pores in which porphyrin is detected, and pores in which a porphyrin precursor is detected are distinguished and displayed.
  • the “normal pores” tab is selected, as shown in FIG. 19A, only normal pores are displayed in the pore state image.
  • the “porphyrin precursor” tab is selected, as shown in FIG. 19B, only the pores in which the porphyrin precursor has been detected are displayed in the pore state image.
  • the “porphyrin” tab is selected, although not shown, only the pores in which porphyrin is detected are displayed in the pore state image. Thereby, the user can confirm the distribution of each kind of pores collectively or individually.
  • FIG. 20 schematically shows a third display example of the analysis result.
  • the current position of the user's pore state is shown on a two-dimensional graph with the porphyrin precursor rate on the horizontal axis and the porphyrin rate on the vertical axis.
  • the porphyrin precursor rate is 10% and the porphyrin rate is 78%, as in the example of FIG. 18, as shown in FIG. 10, 78).
  • the current position of the user's pore state is indicated on the origin (0, 0). Accordingly, the current position of the user's pore state is displayed closer to the origin as there are more normal pores, and is displayed at a position farther from the origin as there are more abnormal pores.
  • the user can quickly and sensuously grasp his / her current pore state (for example, whether his / her skin is healthy or unhealthy).
  • FIG. 21 schematically shows a modification of the third display example of the analysis result.
  • an area (shaded area in the figure) in which many people of the same generation as the user are distributed is shown on the graph of FIG.
  • This region includes the origin of the graph and is a region in which a predetermined percentage (for example, 95%) of people of the same generation as the user is included by the data accumulated in the analysis system 1. That is, this region is a region in which a predetermined percentage of people are included from the top when people of the same generation as the user are arranged in order of healthy pores. Therefore, when the current position of the user's pore state is displayed outside this region, it can be seen that the state of the user's pore is unhealthy as compared to a person of the same generation.
  • FIG. 22 schematically shows a fourth display example of the analysis result.
  • a time-series transition of the normal pore ratio of the user is shown on a graph in which time is plotted on the horizontal axis and normal pore ratio is plotted on the vertical axis.
  • the unit of the time axis is set to day, week, month, year, etc.
  • the plot showing the normal pore rate of the user is a star when the normal pore rate is equal to or higher than the average of the same generation of the user, and is a triangle when the normal pore rate is less than the average of the same generation of the user. .
  • the user can grasp
  • the user can grasp the progress rate of the deterioration of the pore state and the effect of pore care using specific indicators.
  • the transition of data based on statistics on at least one of pores in which porphyrin is detected, pores in which a precursor of porphyrin is detected, and normal pores is displayed. Also good. For example, the transition of the abnormal pore rate, porphyrin rate, porphyrin precursor rate, pore number, porphyrin number, porphyrin precursor number, normal pore number, etc. may be displayed. Also, two or more statistics transitions may be displayed simultaneously.
  • the user can know the state of the pores of his skin in more detail. Moreover, since the state of a pore is displayed visually, the user can grasp
  • porphyrin determination based on the pixel values of the R, G, and B components of the white light skin image, normal pores, pores in which porphyrin is generated, and porphyrin precursors are generated The pores can be identified more accurately.
  • FIG. 23 shows a configuration example of the analysis system 201.
  • portions corresponding to those in FIG. 2 are denoted by the same reference numerals, and the description of portions having the same processing will be omitted as appropriate because the description will be repeated.
  • the analysis system 201 is different from the analysis system 1 of FIG. 2 in that an analysis device 211 is provided instead of the analysis device 12.
  • the analysis device 211 is different from the analysis device 12 in that a porphyrin detection unit 221 and a statistical processing unit 222 are provided instead of the porphyrin detection unit 112 and the statistical processing unit 113.
  • the porphyrin detection unit 221 is different from the porphyrin detection unit 112 in that a processing region setting unit 231 is provided instead of the processing region setting unit 131.
  • the statistical processing unit 222 is different from the statistical processing unit 113 in that a map correction unit 241 is added.
  • the processing region setting unit 231 sets a processing region to be subjected to porphyrin determination in the UV light skin image without using the pore region map.
  • the processing area setting unit 231 supplies the UV light skin image and information indicating the set processing area to the RGB average value calculation unit 132.
  • the map correction unit 241 acquires the pore region map from the expansion processing unit 125 and acquires the porphyrin region map from the porphyrin determination unit 133. Then, the map correction unit 241 corrects the porphyrin region map based on the pore region map, and supplies the corrected porphyrin region map to the porphyrin number counting unit 142 and the display control unit 114.
  • step S201 a pore detection process is executed in the same manner as in step S1 of FIG. 3, and the process proceeds to step S203.
  • the expansion processing unit 125 supplies the pore region map obtained as a result of the pore detection processing to the pore number counting unit 141, the map correction unit 241, and the display control unit 114.
  • step S202 the analysis system 201 performs porphyrin detection processing, and the processing proceeds to step S203.
  • step S203 the analysis system 201 performs porphyrin detection processing, and the processing proceeds to step S203.
  • the detail of a porphyrin detection process is demonstrated.
  • step S251 a UV light skin image is taken in the same manner as in step S101 of FIG.
  • the processing area setting unit 231 sets a processing area. Specifically, the processing area setting unit 231 classifies each pixel of the UV light skin image according to whether or not it is a chromatic color, and segments the pixels determined to be a chromatic color. Thereby, each area where the pixels determined to be chromatic are concentrated is set as a processing area.
  • the processing region setting unit 131 supplies the processing region calculation result to the RGB average value calculation unit 132.
  • step S253 the average of the R, G, and B components in each processing region is calculated in the same manner as in step S103 of FIG.
  • step S254 the porphyrin determination is performed in the same manner as the processing in step S104 of FIG. 11, and the porphyrin detection processing ends.
  • the porphyrin determination unit 133 supplies the generated porphyrin region map to the map correction unit 241.
  • the pore detection process and the porphyrin detection process can be performed in parallel or in order. Moreover, when performing a pore detection process and a porphyrin detection process in order, which process may be performed first.
  • the map correction unit 241 corrects the porphyrin region map. Specifically, the map correction unit 241 collates the porphyrin region and porphyrin precursor region in the porphyrin region map with the pore region in the pore region map. Then, the map correction unit 241 determines that the porphyrin region and porphyrin precursor region where the corresponding pore region does not exist is low in reliability of the detection result, and deletes it from the porphyrin region map.
  • the upper left figure of FIG. 26 schematically shows an example of a pore area map
  • the lower left figure schematically shows an example of a porphyrin area map
  • the right figure shows an example of a corrected porphyrin area map.
  • the porphyrin region and the porphyrin precursor region indicated by the dotted circle in the corrected porphyrin region map are deleted from the porphyrin region map because there is no corresponding pore region in the pore region map.
  • the map correction unit 241 supplies the corrected porphyrin region map to the porphyrin number counting unit 142 and the display control unit 114.
  • step S204 statistical processing is executed in the same manner as in step S3 in FIG. 3, and in step S205, analysis results are displayed in the same manner as in step S4 in FIG. 3, and the analysis processing ends.
  • Modification 1 Modification related to sharing of functions
  • the sharing of functions of the devices in the analysis system shown in FIGS. 2 and 23 is an example, and can be freely changed.
  • the analysis system 301 in FIG. 27 is obtained by changing the function sharing of the analysis system 1 in FIG.
  • portions corresponding to those in FIG. 2 are denoted by the same reference numerals, and description of portions having the same processing will be omitted as appropriate because the description will be repeated.
  • the analysis system 301 is different from the analysis system 1 in that a camera 311 and an analysis device 312 are provided instead of the camera 11 and the analysis device 12.
  • the camera 311 has a configuration in which the pore detection unit 111, the porphyrin detection unit 112, and the pore number counting unit 141 and the porphyrin number counting unit 142 of the statistical processing unit 113 provided in the analysis device 12 are added to the camera 11. ing.
  • the analysis device 312 has a configuration in which the pore detection unit 111, the porphyrin detection unit 112, and the pore number counting unit 141 and the porphyrin number counting unit 142 of the statistical processing unit 113 are deleted from the analysis device 12.
  • the processing up to counting the number of pores, the number of porphyrins, and the number of porphyrin precursors is performed on the camera 311 side, and the counting result is transmitted from the camera 311 to the analyzing apparatus 312.
  • the analysis device 312 calculates a ratio for each type of pores of the user, and displays the calculation result on the display device 13. For example, the right graph of FIG. 16, the right graph of FIG. 18, the screens of FIGS. 20 to 22, and the like are displayed.
  • analysis system 201 in FIG. 23 can also share functions similar to those of the analysis system 301.
  • the camera 351 may have all functions. That is, the camera 351 has all the functions of the camera 11, the analysis device 12, and the display device 13 in FIG. 2, or the camera 11, the analysis device 211, and the display device 13 in FIG. Therefore, the camera 351 shoots the user's skin, analyzes the state of the user's skin based on the skin image obtained as a result, and displays the analysis result on the display unit 361.
  • the analysis device 12 of FIG. 2 or the analysis device 211 of FIG. 23 is provided with the function of the display device 13, or the camera 11 is provided with the function of the analysis device 12 of FIG. 2 or the analysis device 211 of FIG. Or can be provided.
  • the analysis result of the pore state may be displayed together with the analysis result of other elements of the skin.
  • the present technology can also be applied to a case where a pore (for example, a pore clogged with sebum) in which an abnormality due to porphyrin or an element other than a porphyrin precursor has occurred is detected and the detection result is displayed.
  • a pore for example, a pore clogged with sebum
  • the display method of FIGS. 16 and 18 to 22 can be applied.
  • Detection may be performed using one or two components. Further, porphyrin and a precursor of porphyrin may be detected using an image in a color space different from RGB (for example, HSV color space).
  • RGB for example, HSV color space
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 29 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded on the removable medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can take the following configurations.
  • Information processing including a display control unit that controls display of the state of the pores of the person's skin by distinguishing between pores in which an abnormality has been detected and normal pores based on the detection results of the pores of the person's skin and the state of the pores apparatus.
  • the display control unit controls display of a pore state image that is an image indicating a state of pores of the person's skin by distinguishing between pores in which an abnormality has been detected and normal pores.
  • the pore in which the abnormality is detected includes at least one of a pore in which porphyrin is detected or a pore in which a porphyrin precursor is detected.
  • the pore in which the abnormality is detected includes at least one of a pore in which porphyrin is detected or a pore in which a porphyrin precursor is detected.
  • the display control unit is a graph showing the ratio of porphyrins or porphyrin precursors and normal pores, or pores in which porphyrins are detected, pores in which porphyrin precursors are detected, and normal The information processing apparatus according to (7), wherein display of a graph indicating a pore ratio is controlled.
  • the display control unit performs control so that the type of pores selected in the graph is emphasized and displayed in a pore state image that is an image indicating a state of pores of the human skin. Information processing device.
  • the display control unit displays a graph having an axis indicating a porphyrin ratio, which is a ratio of pores in which porphyrin is detected, and an axis indicating a porphyrin precursor ratio, which is the ratio of pores in which porphyrin precursors are detected.
  • the information processing apparatus according to any one of (7) to (9), wherein control is performed to display a position on the graph corresponding to the porphyrin rate and the porphyrin precursor rate of the user.
  • the display control unit controls display of a graph showing a transition of a statistic regarding at least one of a pore in which porphyrin is detected, a pore in which a porphyrin precursor is detected, and a normal pore.
  • a pore detection unit that detects pores in the first skin image, which is an image of the skin of the person irradiated with the first light in the first wavelength range; The human skin based on pixel values of a plurality of color components of a second skin image obtained by photographing the human skin irradiated with second light in a second wavelength region different from the first wavelength region.
  • the information processing apparatus according to any one of (1) to (11), further including: a state detection unit that detects a state of the pores of (13) The first light is white light; The second light is UV light; The information processing apparatus according to (12), wherein the state detection unit detects porphyrin and a precursor of porphyrin based on pixel values of an R component, a G component, and a B component of each pixel of the second skin image.
  • the state detection unit has a pixel value of the R component that is relatively larger than a pixel value of the G component in the region of the second skin image corresponding to each pore detected in the first skin image, It is determined that porphyrin is generated in a region where the pixel value of the component is relatively larger than the pixel value of the B component, the pixel value of the R component and the pixel value of the G component are substantially the same, and the pixel value of the R component and G.
  • the information processing apparatus according to (13), wherein it is determined that a porphyrin precursor has occurred in a region where the pixel value of the component is relatively larger than the pixel value of the B component.
  • the state detection unit is configured such that the R component pixel value is relatively larger than the G component pixel value and the G component pixel value is B. It is determined that porphyrin is generated in a region relatively larger than the pixel value of the component, the pixel value of the R component and the pixel value of the G component are substantially the same, and the pixel value of the R component and the pixel value of the G component are B.
  • the porphyrin precursor is determined to be generated in a region that is relatively larger than the pixel value of the component.
  • a photographing unit that photographs the skin of a person irradiated with the first light in the first wavelength region or the second light in the second wavelength region different from the first wavelength region;
  • a pore detection unit that detects pores in a first skin image, which is an image of the person's skin irradiated with the first light; Based on pixel values of a plurality of color components of each pixel of a second skin image, which is an image of the person's skin irradiated with the second light, detection of the state of pores in the person's skin
  • a state detector to perform, Information processing comprising: a display control unit that controls display of the state of the pores of the person's skin by distinguishing between the pores in which an abnormality has been detected based on the detection result of the pores of the person's skin and the state of the pores and normal pores system.
  • the first light is white light;
  • the second light is UV light;
  • the state detection unit detects porphyrin and porphyrin precursor based on the pixel values of the R component, G component, and B component of each pixel of the second skin image,
  • the display control unit distinguishes between normal pores and at least one of pores in which porphyrin has been detected or pores in which porphyrin precursor has been detected based on the detection result of porphyrin and porphyrin precursor in the human skin.
  • the information processing system according to any one of (18) to (20), wherein display of a state of pores of the human skin is controlled.
  • the state detection unit has a pixel value of the R component that is relatively larger than a pixel value of the G component in the region of the second skin image corresponding to each pore detected in the first skin image, It is determined that porphyrin is generated in a region where the pixel value of the component is relatively larger than the pixel value of the B component, the pixel value of the R component and the pixel value of the G component are substantially the same, and the pixel value of the R component and G.
  • the information processing system according to (21) wherein it is determined that a porphyrin precursor has occurred in a region where the pixel value of the component is relatively larger than the pixel value of the B component.
  • the state detection unit is configured such that the R component pixel value is relatively larger than the G component pixel value and the G component pixel value is B. It is determined that porphyrin is generated in a region relatively larger than the pixel value of the component, the pixel value of the R component and the pixel value of the G component are substantially the same, and the pixel value of the R component and the pixel value of the G component are B.
  • An imaging device including at least the imaging unit; An information processing device including at least the display control unit, The information processing system according to any one of (18) to (23), wherein the pore detection unit and the state detection unit are included in the imaging device or the information processing device.
  • An imaging device including an imaging unit, a pore detection unit, a porphyrin detection unit, and a counting unit;
  • An information processing device including a display control unit, The photographing unit shoots the skin of a person irradiated with white light or UV light of a predetermined wavelength, The pore detection unit detects pores in a first skin image that is an image of the human skin irradiated with the white light,
  • the porphyrin detection unit is configured to perform porphyrin and porphyrin based on pixel values of R component, G component, and B component of each pixel of a second skin image that is an image of the human skin irradiated with the UV light.
  • the counting unit counts the number of detected pores, the number of porphyrins and the number of precursors of porphyrins
  • the display control unit controls display of data based on the number of pores, the number of porphyrins, and the number of precursors of the porphyrins.
  • 1 analysis system 11 camera, 12 analysis device, 13 display device, 101 imaging unit, 102 white light irradiation unit, 103 UV light irradiation unit, 104 pore detection unit, 105 porphyrin detection unit, 106 statistical processing unit, 107 display control unit , 121 color conversion unit, 122 filter processing unit, 123 binarization processing unit, 124 contraction processing unit, 125 expansion processing unit, 131 processing region setting unit, 132 RGB average value calculation unit, 133 porphyrin determination unit, 141 pore count Part, 142 porphyrin number counting part, 143 ratio calculation part, 201 analysis system, 211 analysis device, 221 porphyrin detection part, 222 statistical processing part, 231 processing area setting part

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

　本技術は、毛穴の状態をより詳細に知ることができるようにする情報処理装置、情報処理システム、及び、プログラムに関する。 撮影部は、第１の波長域の第１の光又は第１の波長域と異なる第２の波長域の第２の光が照射された人の肌の撮影を行う。毛穴検出部は、第１の光が照射された人の肌を撮影した画像である第１の肌画像において毛穴の検出を行う。ポルフィリン検出部は、第２の光が照射された人の肌を撮影した画像である第２の肌画像の各画素の複数の色成分の画素値に基づいて、人の肌の毛穴の状態の検出を行う。表示制御部は、人の肌の毛穴及び毛穴の状態の検出結果に基づいて異常が検出された毛穴と正常な毛穴を区別して人の肌の毛穴の状態の表示を制御する。本技術は、例えば、肌の毛穴の状態を解析するシステムに適用できる。

Description

情報処理装置、情報処理システム、及び、プログラム
　本技術は、情報処理装置、情報処理システム、及び、プログラムに関し、特に、ユーザの肌の毛穴の状態を提示する場合に用いて好適な情報処理装置、情報処理システム、及び、プログラムに関する。
　従来、ユーザの肌に紫外線を照射して撮影した画像からＲ（赤）成分を抽出した画像を２値化することによりポルフィリンの検出を行い、ポルフィリンが検出された領域、個数、面積を表示することが提案されている（例えば、特許文献１、２参照）。
特開２００７－１５２０８４号公報 特開２００９－４９４号公報
　しかしながら、特許文献１及び２に記載の発明では、ポルフィリンが検出された領域しか表示されない。そのため、例えば、ポルフィリンが検出されていない領域に、ポルフィリンが発生していない正常な毛穴が存在するのか、或いは、毛穴がなくポルフィリンが発生する可能性がないのかが分からない。
　そこで、本技術は、毛穴の状態をより詳細に知ることができるようにするものである。
　本技術の第１の側面の情報処理装置は、人の肌の毛穴及び毛穴の状態の検出結果に基づいて、異常が検出された毛穴と正常な毛穴とを区別して前記人の肌の毛穴の状態の表示を制御する表示制御部を含む。
　前記表示制御部には、異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態を示す画像である毛穴状態画像の表示を制御させることができる。
　前記異常が検出された毛穴には、ポルフィリンが検出された毛穴又はポルフィリンの前兆が検出された毛穴のうち少なくとも一方を含めることができる。
　前記表示制御部には、ポルフィリンが検出された毛穴とポルフィリンの前兆が検出された毛穴とを区別して前記毛穴状態画像を表示するように制御させることができる。
　前記表示制御部には、前記ポルフィリンが検出された毛穴と前記ポルフィリンの前兆が検出された毛穴とを区別せずに前記毛穴状態画像を表示するように制御させることができる。
　前記表示制御部には、選択された種類の毛穴のみ前記毛穴状態画像において表示するように制御させることができる。
　前記異常が検出された毛穴には、ポルフィリンが検出された毛穴又はポルフィリンの前兆が検出された毛穴のうち少なくとも一方を含めることができる。
　前記表示制御部には、ポルフィリン若しくはポルフィリンの前兆が検出された毛穴、及び、正常な毛穴の比率を示すグラフ、又は、ポルフィリンが検出された毛穴、ポルフィリンの前兆が検出された毛穴、及び、正常な毛穴の比率を示すグラフの表示を制御させることができる。
　前記表示制御部には、前記グラフにおいて選択された種類の毛穴を、前記人の肌の毛穴の状態を示す画像である毛穴状態画像において強調して表示するように制御させることができる。
　前記表示制御部には、ポルフィリンが検出された毛穴の比率であるポルフィリン率を示す軸、及び、ポルフィリンの前兆が検出された毛穴の比率であるポルフィリン前兆率を示す軸を持つグラフを表示するとともに、前記ユーザの前記ポルフィリン率及び前記ポルフィリン前兆率に対応する前記グラフ上の位置を表示するように制御させることができる。
　前記表示制御部には、ポルフィリンが検出された毛穴、ポルフィリンの前兆が検出された毛穴、及び、正常な毛穴のうちの少なくとも１つに関する統計量の推移を示すグラフの表示を制御させることができる。
　第１の波長域の第１の光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出を行う毛穴検出部と、前記第１の波長域と異なる第２の波長域の第２の光が照射された前記人の肌を撮影した第２の肌画像の複数の色成分の画素値に基づいて、前記人の肌の毛穴の状態の検出を行う状態検出部とをさらに設けることができる。
　前記第１の光を、白色光とし、前記第２の光を、ＵＶ光とし、前記状態検出部には、前記第２の肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出を行わせることができる。
　前記状態検出部には、前記第１の肌画像において検出された各毛穴に対応する前記第２の肌画像の領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定させ、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定させることができる。
　前記状態検出部には、前記第２の肌画像において有彩色の画素が集中している領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定させ、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定させることができる。
　前記第１の肌画像において毛穴が検出されていない領域を、前記ポルフィリン又は前記ポルフィリンの前兆が発生していると判定された領域から削除する修正部をさらに設けることができる。
　本技術の第１の側面のプログラムは、人の肌の毛穴及び毛穴の状態の検出結果に基づいて、異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態の表示を制御する表示制御ステップを含む処理をコンピュータに実行させる。
　本技術の第２の側面の情報処理システムは、第１の波長域の第１の光又は前記第１の波長域と異なる第２の波長域の第２の光が照射された人の肌の撮影を行う撮影部と、前記第１の光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出を行う毛穴検出部と、前記第２の光が照射された前記人の肌を撮影した画像である第２の肌画像の各画素の複数の色成分の画素値に基づいて、前記人の肌の毛穴の状態の検出を行う状態検出部と、前記人の肌の毛穴及び毛穴の状態の検出結果に基づいて異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態の表示を制御する表示制御部とを含む。
　前記表示制御部には、異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態を示す画像である毛穴状態画像の表示を制御させることができる。
　前記毛穴状態画像を表示する表示部をさらに設けることができる。
　前記第１の光を、白色光とし、前記第２の光を、ＵＶ光とし、前記状態検出部には、前記第２の肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出を行わせ、前記表示制御部には、前記人の肌のポルフィリン及びポルフィリンの前兆の検出結果に基づいて、ポルフィリンが検出された毛穴又はポルフィリンの前兆が検出された毛穴のうち少なくとも一方と正常な毛穴とを区別して前記人の肌の毛穴の状態の表示を制御させることができる。
　前記状態検出部には、前記第１の肌画像において検出された各毛穴に対応する前記第２の肌画像の領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定させ、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定させることができる。
　前記状態検出部には、前記第２の肌画像において有彩色の画素が集中している領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定させ、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定させることができる。
　前記撮影部を少なくとも含む撮影装置と、前記表示制御部を少なくとも含む情報処理装置とを設け、前記毛穴検出部及び前記状態検出部を、前記撮影装置又は前記情報処理装置に含めるようにすることができる。
　本技術の第３の側面の情報処理システムは、撮影部、毛穴検出部、ポルフィリン検出部、及び、計数部を含む撮影装置と、表示制御部を含む情報処理装置とを備え、前記撮影部は、白色光又は所定の波長のＵＶ光が照射された人の肌の撮影を行い、前記毛穴検出部は、前記白色光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出を行い、前記ポルフィリン検出部は、前記ＵＶ光が照射された前記人の肌を撮影した画像である第２の肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出を行い、前記計数部は、検出された毛穴数、ポルフィリン数及びポルフィリンの前兆数の計数を行い、前記表示制御部は、前記毛穴数、前記ポルフィリン数及び前記ポルフィリンの前兆数に基づくデータの表示を制御する。
　本技術の第１の側面においては、人の肌の毛穴及び毛穴の状態の検出結果に基づいて、異常が検出された毛穴と正常な毛穴とを区別して前記人の肌の毛穴の状態が表示される。
　本技術の第２の側面においては、第１の波長域の第１の光又は前記第１の波長域と異なる第２の波長域の第２の光が照射された人の肌の撮影が行われ、前記第１の光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出が行われ、前記第２の光が照射された前記人の肌を撮影した画像である第２の肌画像の各画素の複数の色成分の画素値に基づいて、前記人の肌の毛穴の状態の検出が行われ、前記人の肌の毛穴及び毛穴の状態の検出結果に基づいて異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態が表示される。
　本技術の第３の側面においては、白色光又は所定の波長のＵＶ光が照射された人の肌の撮影が行われ、前記白色光が照射された前記人の肌を撮影した画像である白色光肌画像において毛穴の検出が行われ、前記ＵＶ光が照射された前記人の肌を撮影した画像であるＵＶ光肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出が行われ、検出された毛穴数、ポルフィリン数及びポルフィリンの前兆数の計数が行われ、前記毛穴数、前記ポルフィリン数及び前記ポルフィリンの前兆数に基づくデータの表示が制御される。
　本技術の第１の側面乃至第３の側面によれば、毛穴の状態をより詳細に知ることができる。
本技術を適用した解析システムの第１の実施の形態を示す図である。 解析システムの第１の実施の形態の機能の構成例を示すブロック図である。 解析処理の第１の実施の形態を説明するためのフローチャートである。 毛穴検出処理の詳細を説明するためのフローチャートである。 白色光肌画像の例を示す図である。 Ｈ肌画像の例を示す図である。 フィルタ処理後のＨ肌画像の例を示す図である。 ２値化画像の例を示す図である。 収縮処理後の２値化画像の例を示す図である。 毛穴領域マップの例を示す図である。 ポルフィリン検出処理の第１の実施の形態の詳細を説明するためのフローチャートである。 ＵＶ光肌画像の例を示す図である。 統計処理の詳細を説明するためのフローチャートである。 毛穴領域マップの例を模式的に示す図である。 ポルフィリン領域マップの例を模式的に示す図である。 解析結果の第１の表示例を示す図である。 従来の解析結果の表示例を示す図である。 解析結果の第１の表示例の変形例を示す図である。 解析結果の第２の表示例を示す図である。 解析結果の第３の表示例を示す図である。 解析結果の第３の表示例の変形例を示す図である。 解析結果の第４の表示例を示す図である。 解析システムの第２の実施の形態の機能の構成例を示すブロック図である。 解析処理の第２の実施の形態を説明するためのフローチャートである。 ポルフィリン検出処理の第２の実施の形態の詳細を説明するためのフローチャートである。 ポルフィリン領域マップの修正方法を説明するための図である。 解析システムの第１の実施の形態の変形例を示すブロック図である。 カメラの変形例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（毛穴の検出結果を利用してポルフィリンの検出を行う例）
２．第２の実施の形態（毛穴の検出結果を利用せずにポルフィリンの検出を行う例）
３．変形例
＜１．第１の実施の形態＞
　まず、図１乃至図２２を参照して、本技術を適用した解析システムの第１の実施の形態について説明する。
｛解析システム１の構成例｝
　図１は、本技術を適用した解析システム１の装置の構成例を示している。
　解析システム１は、ユーザの肌を撮影し、得られた肌画像に基づいて、ユーザの肌の状態、特に毛穴の状態の解析を行い、解析結果をユーザに提示する。解析システム１は、カメラ１１、解析装置１２、及び、表示装置１３を含むように構成される。
　カメラ１１は、可視光に加えて、ＵＶ光の波長域の撮影が可能な撮影装置により構成される。カメラ１１は、毛穴の状態の解析を行う対象となるユーザの肌を撮影し、得られた肌画像を解析装置１２に供給する。
　解析装置１２は、例えば、専用の装置、パーソナルコンピュータ、又は、携帯端末（例えば、スマートフォン、タブレット、携帯電話機等）等により構成される。なお、解析装置１２を、図示せぬネットワークに接続されたサーバ（例えば、クラウド上のサーバ）等により実現することも可能である。解析装置１２は、カメラ１１から取得した肌画像に基づいて、ユーザの肌の状態、特に毛穴の状態の解析を行い、解析結果を表示装置１３に表示させる。
　表示装置１３は、例えば、専用のディスプレイ、又は、パーソナルコンピュータ、タブレット、スマートフォン等に備えられているディスプレイにより構成される。表示装置１３は、解析装置１２の制御の下に、ユーザの肌の状態、特に毛穴の状態の解析結果を表示する。
　なお、カメラ１１と解析装置１２の間、及び、解析装置１２と表示装置１３の間の通信は、それぞれ有線通信又は無線通信のいずれであってもよい。
｛解析システム１の機能の構成例｝
　図２は、解析システム１の機能の構成例を示すブロック図である。
　カメラ１１は、撮影部１０１、白色光照射部１０２、および、ＵＶ光照射部１０３を含むように構成される。
　撮影部１０１は、可視光に加えてＵＶ光の波長域に対しても感度を有するCMOSイメージセンサ、CCDイメージセンサ等のイメージセンサを含むように構成される。撮影部１０１は、白色光照射部１０２から発せられる白色光を照射した状態でユーザの肌の解析を行う対象となる領域（以下、解析領域と称する）を撮影する。撮影部１０１は、撮影の結果得られたＲＧＢ画像（以下、白色光肌画像と称する）を、解析装置１２の毛穴検出部１１１の色変換部１２１及び表示制御部１１４に供給する。また、撮影部１０１は、ＵＶ光照射部１０３から発せられるＵＶ光を照射した状態でユーザの肌の解析領域を撮影する。撮影部１０１は、撮影の結果得られた画像（以下、ＵＶ光肌画像と称する）を、解析装置１２のポルフィリン検出部１１２の処理領域設定部１３１及び表示制御部１１４に供給する。
　なお、撮影部１０１は、人の顔の毛穴を鮮明に撮影できる程度の解像度を有することが望ましい。また、撮影部１０１は、接写撮影が可能であることが望ましい。
　白色光照射部１０２は、例えば、白色のLED（Light Emitting Diode）、又は、カメラのフラッシュ等からなり、ユーザの肌に白色光を照射する。
　ＵＶ光照射部１０３は、例えば、ＵＶ光を発する光源等からなり、ユーザの肌にＵＶ光を照射する。ＵＶ光照射部１０３が照射するＵＶ光の波長域は、例えば、近紫外線の波長域に含まれる３５０乃至４００ｎｍの範囲に設定される。
　なお、白色光照射部１０２とＵＶ光照射部１０３をほぼ同じ位置に設置し、ほぼ同じ方向からユーザの肌に照明光を照射できるようにすることが望ましい。
　解析装置１２は、毛穴検出部１１１、ポルフィリン検出部１１２、統計処理部１１３、及び、表示制御部１１４を含むように構成される。
　毛穴検出部１１１は、白色光肌画像に基づいて、解析領域内の毛穴の検出を行う。毛穴検出部１１１は、色変換部１２１、フィルタ処理部１２２、２値化処理部１２３、収縮処理部１２４、及び、膨張処理部１２５を含むように構成される。
　色変換部１２１は、ＲＧＢ画像である白色光肌画像の色空間をＨＳＶ色空間に変換することにより、白色光肌画像のＨ（Hue、色相）成分の画像（以下、Ｈ肌画像と称する）を生成する。色変換部１２１は、生成したＨ肌画像をフィルタ処理部１２２に供給する。
　フィルタ処理部１２２は、Ｈ肌画像に対して所定のフィルタ処理を行い、Ｈ肌画像の低域成分を抽出する。フィルタ処理部１２２は、フィルタ処理を施したＨ肌画像を２値化処理部１２３に供給する。
　２値化処理部１２３は、Ｈ肌画像に対して２値化処理を行うことにより、Ｈ肌画像を２値化画像に変換する。２値化処理部１２３は、２値化画像を収縮処理部１２４に供給する。
　収縮処理部１２４は、２値化画像に対してモフォロジー演算の収縮処理を行う。収縮処理部１２４は、収縮処理後の２値化画像を膨張処理部１２５に供給する。
　膨張処理部１２５は、２値化画像に対してモフォロジー演算の膨張処理を行うことにより、解析領域内の毛穴領域の位置の分布を示す毛穴領域マップを生成する。膨張処理部１２５は、生成した毛穴領域マップを、ポルフィリン検出部１１２の処理領域設定部１３１、統計処理部１１３の毛穴数計数部１４１、及び、表示制御部１１４に供給する。
　ポルフィリン検出部１１２は、ＵＶ光肌画像及び毛穴領域マップに基づいて、解析領域内の毛穴の状態、特にポルフィリンの検出を行う。ポルフィリン検出部１１２は、処理領域設定部１３１、ＲＧＢ平均値算出部１３２、及び、ポルフィリン判定部１３３を含むように構成される。
　処理領域設定部１３１は、ＵＶ光肌画像において、毛穴領域マップに示される各毛穴領域に対応する領域を、ポルフィリン判定を行う対象となる処理領域に設定する。処理領域設定部１３１は、ＵＶ光肌画像、及び、設定した処理領域を示す情報をＲＧＢ平均値算出部１３２に供給する。
　ＲＧＢ平均値算出部１３２は、ＵＶ光肌画像の各処理領域内のＲ、Ｇ、Ｂの成分毎の画素値の平均値を算出する。ＲＧＢ平均値算出部１３２は、ＵＶ光肌画像、及び、平均値の算出結果を示す情報をポルフィリン判定部１３３に供給する。
　ポルフィリン判定部１３３は、ＵＶ光肌画像の各処理領域のポルフィリン判定を行い、ポルフィリンが発生している領域（以下、ポルフィリン領域と称する）、及び、ポルフィリンの前兆が発生している領域（以下、ポルフィリン前兆領域と称する）を検出する。ポルフィリン判定部１３３は、解析領域内のポルフィリン領域及びポルフィリン前兆領域の位置の分布を示すポルフィリン領域マップを生成し、統計処理部１１３のポルフィリン数計数部１４２及び表示制御部１１４に供給する。
　統計処理部１１３は、毛穴領域マップ及びポルフィリン領域マップに基づいて、ユーザの毛穴の状態を示す統計値の算出処理を行う。統計処理部１１３は、毛穴数計数部１４１、ポルフィリン数計数部１４２、及び、比率算出部１４３を含むように構成される。
　毛穴数計数部１４１は、毛穴領域マップに基づいて、解析領域内の毛穴領域の数（以下、毛穴数と称する）の計数を行い、計数結果を比率算出部１４３に供給する。
　ポルフィリン数計数部１４２は、ポルフィリン領域マップに基づいて、解析領域内のポルフィリン領域の数（以下、ポルフィリン数と称する）、及び、ポルフィリン前兆領域の数（以下、ポルフィリン前兆数と称する）の計数を行い、計数結果を比率算出部１４３に供給する。
　比率算出部１４３は、毛穴数、ポルフィリン数、及び、ポルフィリンの前兆数の計数結果に基づいて、ユーザの毛穴の種類毎の比率を算出し、算出結果を表示制御部１１４に供給する。
　表示制御部１１４は、白色光肌画像、ＵＶ光肌画像、毛穴領域マップ、ポルフィリン領域マップ、及び、毛穴の種類毎の比率の算出結果に基づいて、ユーザの毛穴の状態の解析結果を表示装置１３に表示させる。
｛解析処理｝
　次に、図３のフローチャートを参照して、解析システム１により実行される解析処理について説明する。
　ステップＳ１において、解析システム１は、毛穴検出処理を実行する。ここで、図４のフローチャートを参照して、毛穴検出処理の詳細について説明する。
　ステップＳ５１において、カメラ１１は、白色光肌画像を撮影する。具体的には、白色光照射部１０２からの白色光をユーザの肌の解析領域及びその周辺に照射した状態で、撮影部１０１は、解析領域の撮影を行う。解析領域は、例えば、鼻全体、鼻の一部（例えば、鼻の横の部分）、鼻の横の頬の部分、おでこ、頭皮、顔全体、頭部全体等に設定される。撮影部１０１は、撮影の結果得られた白色光肌画像を色変換部１２１及び表示制御部１１４に供給する。
　図５は、鼻の横側の部分を撮影した場合の白色光肌画像の例を示している。なお、この白色光肌画像はグレースケールで示されているが、実際の白色光肌画像は、カラーのＲＧＢ画像である。
　なお、白色光照明部１０２を用いずに、例えば、白色光の一種である自然光の下で白色光肌画像を撮影するようにしてもよい。
　ステップＳ５２において、色変換部１２１は、白色光肌画像の色変換を行う。すなわち、色変換部１２１は、ＲＧＢ画像である白色光肌画像の色空間をＨＳＶ色空間に変換することにより、白色光肌画像のＨ（Hue、色相）成分の画像（Ｈ肌画像）を生成する。色変換部１２１は、生成したＨ肌画像をフィルタ処理部１２２に供給する。
　なお、各画素のＨ成分の値は、各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分の画素値から次の式（１）乃至式（３）により求められる。
Figure JPOXMLDOC01-appb-M000001
　なお、Ｒ成分の画素値が最も大きい画素については、式（１）が用いられ、Ｇ成分の画素値が最も大きい画素については、式（２）が用いられ、Ｂ成分の画素値が最も大きい画素については、式（３）が用いられる。また、各式のＲ、Ｇ、Ｂは、Ｒ、Ｇ、Ｂの各成分の画素値を示し、ＭＡＸは、各画素のＲ、Ｇ、Ｂの画素値のうちの最大値を示し、ＭＩＮは、各画素のＲ、Ｇ、Ｂの画素値のうちの最小値を示す。さらに、式（１）乃至（３）の右辺の値が０未満になった場合、その値に３６０を加算した値が、その画素のＨ成分の画素値に設定される。
　図６は、図５の白色光肌画像の色変換を行うことにより得られるＨ肌画像の例を示している。このＨ肌画像には、ノイズや細かなエッジ等の高域成分が含まれている。
　ステップＳ５３において、フィルタ処理部１２２は、Ｈ肌画像のフィルタ処理を行う。すなわち、フィルタ処理部１２２は、Ｈ肌画像に低域通過フィルタを適用することにより、Ｈ肌画像の低域成分を抽出する。例えば、Ｈ肌画像が横１２８０×縦１０２４画素の場合、９×９タップの平均フィルタが用いられる。フィルタ処理部１２２は、フィルタ処理を施したＨ肌画像を２値化処理部１２３に供給する。
　図７は、図６のＨ肌画像に対してフィルタ処理を施した後のＨ肌画像の例を示している。このＨ肌画像は、図６のＨ肌画像からノイズや細かなエッジ等が除去された画像となる。
　ステップＳ５４において、２値化処理部１２３は、２値化処理を行う。すなわち、２値化処理部１２３は、Ｈ成分の値が所定の閾値Ｈｔｈ以下の画素の画素値を１に設定し、閾値Ｈｔｈを超える画素の画素値を０に設定することにより、フィルタ処理後のＨ肌画像を２値化画像に変換する。例えば、閾値Ｈｔｈの値は、６４．８に設定される。２値化処理部１２３は、得られた２値化画像を収縮処理部１２４に供給する。
　図８は、図７のフィルタ処理後のＨ肌画像から得られる２値化画像の例を示している。この２値化画像において、毛穴が存在する領域が、ある程度の大きさの白色の輝点により示される。なお、白色の輝点の中には、毛穴でない領域も含まれる。
　ステップＳ５５において、収縮処理部１２４は、収縮処理を所定の回数繰り返す。例えば、収縮処理部１２４は、２値化画像に対して、半径２乃至４の円盤型の構造化要素を用いて、モフォロジー演算の収縮処理を連続して３回繰り返す。収縮処理部１２４は、収縮処理後の２値化画像を膨張処理部１２５に供給する。
　図９は、図８の２値化画像に対して収縮処理を所定の回数行った後の２値化画像の例を示している。収縮処理を行うことにより、毛穴領域とは異なる白色の小さな輝点が２値化画像から除去される。
　ステップＳ５６において、膨張処理部１２５は、膨張処理を所定の回数繰り返す。例えば、膨張処理部１２５は、収縮処理後の２値化画像に対して、半径２乃至５の円盤型の構造化要素を用いて、モフォロジー演算の膨張処理を連続して３回繰り返す。膨張処理部１２５は、膨張処理後の２値化画像を毛穴領域マップとして処理領域設定部１３１、毛穴数計数部１４１、及び、表示制御部１１４に供給する。その後、毛穴検出処理は終了する。
　図１０は、図９の収縮処理後の２値化画像に対して膨張処理を行うことにより得られる毛穴領域マップの例を示している。毛穴領域マップにおいて、白色の各輝点が毛穴領域の位置を示している。膨張処理を行うことにより、収縮処理により収縮された毛穴領域の大きさが元の大きさに戻る。
　なお、ステップＳ５５及びＳ５６の処理において、モフォロジー演算の回数、構造化要素の大きさ及び形は、任意に変更することが可能である。また、以上に説明した毛穴検出処理は、その一例であり、他の方法により毛穴領域を検出するようにしてもよい。
　図３に戻り、ステップＳ２において、解析システム１は、ポルフィリン検出処理を実行する。ここで、図１１のフローチャートを参照して、ポルフィリン検出処理の詳細について説明する。
　ステップＳ１０１において、カメラ１１は、ＵＶ光肌画像を撮影する。具体的には、ＵＶ光照射部１０３からのＵＶ光をユーザの肌の解析領域及びその周辺に照射した状態で、撮影部１０１は、解析領域の撮影を行う。このとき、白色光肌画像とＵＶ光肌画像は、ほぼ同じ領域をほぼ同じ方向から撮影するようにすることが望ましい。撮影部１０１は、撮影の結果得られたＵＶ光肌画像を処理領域設定部１３１、及び、表示制御部１１４に供給する。
　図１２は、ＵＶ光肌画像の例を示している。なお、このＵＶ光肌画像はグレースケールで示されているが、実際のＵＶ光肌画像は、カラーのＲＧＢ画像である。また、ここでは、説明を分かりやすくするために、図５の白色光肌画像とは異なる位置を撮影したＵＶ光肌画像の例として示している。
　また、図１２には、ポルフィリン及びポルフィリンの前兆のいずれも発生していない正常な毛穴領域、ポルフィリン前兆領域、及び、ポルフィリン領域におけるＲＧＢの各成分の画素値の分布を示すヒストグラムの例が示されている。
　ここで、波長域が３５０乃至４００ｎｍのＵＶ光を人の肌に照射すると、毛穴の状態により異なる色の蛍光が発せられる。具体的には、正常な毛穴領域は、通常蛍光を発さず、暗い領域となる。従って、正常な毛穴領域では、通常Ｒ、Ｇ、Ｂの各成分の画素値は小さくなり、かつ、ほぼ同様の分布を示す。
　ポルフィリン前兆領域からは、通常緑色の蛍光が発せられる。従って、ポルフィリン前兆領域では、Ｒ、Ｇ、Ｂの各成分の画素値は、通常正常な毛穴領域より相対的に大きくなる。また、Ｒ成分とＧ成分の画素値がほぼ同様の分布を示し、Ｂ成分の画素値がＲ成分及びＧ成分の画素値より相対的に小さくなる。
　ポルフィリン領域からは、通常オレンジ色の蛍光が発せられる。従って、ポルフィリン領域において、Ｒ成分の画素値が最も大きくなり、Ｂ成分の画素値が最も小さくなる。また、Ｒ成分の画素値は、ポルフィリン前兆領域より相対的に大きくなり、Ｇ成分の画素値は、正常な毛穴より相対的に大きく、ポルフィリン前兆領域より相対的に小さくなり、Ｂ成分の画素値は、正常な毛穴とほぼ同様の分布になる。
　ステップＳ１０２において、処理領域設定部１３１は、処理領域を設定する。具体的には、処理領域設定部１３１は、毛穴領域マップに示される各毛穴領域に対応するＵＶ光肌画像の領域を処理領域に設定する。処理領域設定部１３１は、ＵＶ光肌画像、及び、設定した処理領域を示す情報をＲＧＢ平均値算出部１３２に供給する。
　ステップＳ１０３において、ＲＧＢ平均値算出部１３２は、各処理領域のＲ、Ｇ、Ｂ成分の平均を算出する。具体的には、ＲＧＢ平均値算出部１３２は、処理領域毎に、領域内の画素のＲ、Ｇ、Ｂの成分毎の画素値の平均値を算出する。ＲＧＢ平均値算出部１３２は、ＵＶ光肌画像、及び、平均値の算出結果をポルフィリン判定部１３３に供給する。
　ステップＳ１０４において、ポルフィリン判定部１３３は、ポルフィリン判定を行う。具体的には、まず、ポルフィリン判定部１３３は、各処理領域が次の判定式（４）を満たすか否かを判定する。
　max{avgR, avgG}－avgB≧TH1　・・・（４）
　なお、avgR、avgG、avgBは、処理領域内のＲ、Ｇ、Ｂの各成分の画素値の平均値を表す。また、TH1は所定の閾値を表す。
　そして、ポルフィリン判定部１３３は、判定式（４）を満たさない処理領域を正常な毛穴領域であると判定する。すなわち、Ｒ成分の画素値の平均値とＧ成分の画素値の平均値のうち大きい方の値とＢ成分の画素値の平均値との差が閾値TH1未満の処理領域が、正常な毛穴領域であると判定される。従って、Ｒ、Ｇ、Ｂの各成分の画素値の分布の差が小さい処理領域が、正常な毛穴領域であると判定される。
　また、ポルフィリン判定部１３３は、判定式（４）を満たす各処理領域が、次の判定式（５）を満たすか否かを判定する。
　avgR－avgG≧TH2　・・・（５）
　なお、TH2は所定の閾値を表す。
　そして、ポルフィリン判定部１３３は、判定式（５）を満たす処理領域をポルフィリン領域であると判定する。すなわち、Ｒ成分の画素値の平均値とＧ成分の画素値の平均値のうち大きい方の値とＢ成分の画素値の平均値との差が閾値TH1以上であり、かつ、Ｒ成分の画素値の平均値とＧ成分の画素値の平均値との差が閾値TH2以上である処理領域が、ポルフィリン領域であると判定される。従って、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい処理領域が、ポルフィリン領域であると判定される。
　一方、ポルフィリン判定部１３３は、判定式（５）を満たさない処理領域をポルフィリン前兆領域であると判定する。すなわち、Ｒ成分の画素値の平均値とＧ成分の画素値の平均値のうち大きい方の値とＢ成分の画素値の平均値との差が閾値TH1以上であり、かつ、Ｒ成分の画素値の平均値とＧ成分の画素値の平均値との差が閾値TH2未満である処理領域が、ポルフィリン前兆領域であると判定される。従って、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい処理領域が、ポルフィリン前兆領域であると判定される。
　なお、ポルフィリン判定は、Ｒ、Ｇ、Ｂの各成分の画素値の平均値の大小関係のみに基づいて行われるので、例えば、発せられる傾向が暗い場合でも、正確に毛穴の種類を判定することができる。
　そして、ポルフィリン判定部１３３は、解析領域内のポルフィリン領域及びポルフィリン前兆領域の位置の分布を示すポルフィリン領域マップを生成し、ポルフィリン数計数部１４２、及び、表示制御部１１４に供給する。その後、ポルフィリン検出処理は終了する。
　なお、平均値以外の処理領域内のＲ成分、Ｇ成分、Ｂ成分の画素値の分布を表す他の統計値（例えば、中央値）を用いて、ポルフィリン判定を行うようにしてもよい。
　図３に戻り、ステップＳ３において、統計処理部１１３は、統計処理を実行する。ここで、図１３を参照して、統計処理の詳細について説明する。
　ステップＳ１５１において、毛穴数計数部１４１は、毛穴数の計数を行う。すなわち、毛穴数計数部１４１は、毛穴領域マップに基づいて、解析領域内の毛穴数を数える。毛穴数計数部１４１は、毛穴数の計数結果を比率算出部１４３に供給する。
　ステップＳ１５２において、ポルフィリン数計数部１４２は、ポルフィリン数の計数を行う。すなわち、ポルフィリン数計数部１４２は、ポルフィリン領域マップに基づいて、解析領域内のポルフィリン数及びポルフィリン前兆数を数える。ポルフィリン数計数部１４２は、ポルフィリン数及びポルフィリン前兆数の計数結果を比率算出部１４３に供給する。
　ステップＳ１５３において、比率算出部１４３は、毛穴の種類毎の比率を算出する。例えば、比率算出部１４３は、次式（６）乃至（９）により、異常毛穴率、ポルフィリン率、ポルフィリン前兆率、及び、正常毛穴率を算出する。
　異常毛穴率（％）＝（ポルフィリン数＋ポルフィリン前兆数）／総毛穴数×100　・・・（６）
　ポルフィリン率（％）＝ポルフィリン数／総毛穴数×100　・・・（７）
　ポルフィリン前兆率（％）＝ポルフィリン前兆数／総毛穴数×100　・・・（８）
　正常毛穴率（％）＝100－異常毛穴率　・・・（９）
　なお、総毛穴数とは、解析領域内において検出された毛穴領域の総数である。
　従って、異常毛穴率は、解析領域内の毛穴領域のうち異常な毛穴領域（ポルフィリン領域及びポルフィリン前兆領域）が占める割合を示す。ポルフィリン率は、解析領域内の毛穴領域のうちポルフィリン領域が占める割合を示す。ポルフィリン前兆率は、解析領域内の毛穴領域のうちポルフィリン前兆領域が占める割合を示す。なお、異常毛穴率は、ポルフィリン率とポルフィリン前兆率の合計となる。正常毛穴率は、解析領域内の毛穴領域のうち正常な毛穴領域（ポルフィリン及びポルフィリン前兆が発生していない毛穴領域）が占める割合を示す。
　そして、比率算出部１４３は、算出結果を表示制御部１１４に供給する。その後、統計処理は終了する。
　図３に戻り、ステップＳ４において、表示装置１３は、表示制御部１１４の制御の下に、解析結果を表示する。すなわち、表示制御部１１４は、白色光肌画像、ＵＶ光肌画像、毛穴領域マップ、ポルフィリン領域マップ、及び、毛穴の種類毎の比率の算出結果に基づいて、ユーザの毛穴の状態の解析結果を表示装置１３に表示させる。その後、解析処理は終了する。
　ここで、図１４乃至図２２を参照して、解析結果の表示例について説明する。以下、毛穴検出処理により図１４に模式的に示される毛穴領域マップが得られ、ポルフィリン検出処理により図１５に模式的に示されるポルフィリン領域マップが得られた場合を例に挙げて説明する。なお、図１４の毛穴領域マップの白丸は毛穴領域を示し、図１５の網掛けの丸はポルフィリン領域を示し、斜線の丸はポルフィリン前兆領域を示している。
　図１６は、解析結果の第１の表示例を模式的に示している。画面の左側には、ユーザの毛穴の状態を示す顔画像（以下、毛穴状態画像と称する）が表示されている。毛穴状態画像は、例えば、検出された各毛穴の位置及び種類を、白色光肌画像上に示した画像である。すなわち、検出された各毛穴の位置が、丸や点などの所定の印により白色光肌画像上に表示される。また、毛穴の種類を容易に区別できるように、毛穴の種類毎に形状、模様又は表示効果等が異なる印が表示される。例えば、この例では、正常な毛穴は白丸で示され、ポルフィリン又はポルフィリン前兆が発生している異常な毛穴は所定のパターンの丸で示されている。
　なお、毛穴状態画像に用いる顔画像には、実際に撮影した白色光肌画像以外に、例えば、コンピュータグラフィックスやイラスト等の人工的な画像を用いてもよい。
　なお、従来は、図１７に示されるように、異常な毛穴の位置しか表示されなかった。従って、ユーザは、例えば、異常な毛穴のない領域に正常な毛穴が存在するのか、或いは、毛穴自体が存在しないのかを知ることができなかった。
　一方、図１６の例では、異常な毛穴だけでなく正常な毛穴も表示されており、ユーザは、自分の肌の毛穴の状態をより詳細に知ることができる。例えば、ユーザは、検出された毛穴全体の分布や、正常な毛穴と異常な毛穴の分布を簡単に認識することができる。
　また、例えば、ユーザは、継続的に診断を受け、過去と現在の毛穴状態画像を比較することにより、正常な領域、毛穴の状態が改善された領域、毛穴の状態が悪化した領域、毛穴がない領域等を容易に知ることができる。
　さらに、毛穴解析のサービスの提供者は、例えば、毛穴のケアの効果を具体的に分かりやすくユーザに提示することができる。
　また、画面の右側には、毛穴の毎の種類毎の比率を示すグラフ（以下、毛穴比率グラフと称する）が表示されている。具体的には、毛穴比率グラフにおいては、異常な毛穴と正常な毛穴の比率が、具体的な数値とともに棒グラフにより示されている。この例では、正常な毛穴が１２パーセントであり、異常な毛穴が８８パーセントである。これにより、ユーザは、自分の毛穴の状態を具体的な数値で把握することができる。
　さらに、例えば、クリックやタッチ等により毛穴比率グラフの各項目を選択すると、毛穴状態画像において、選択した項目に該当する毛穴が強調表示される。例えば、毛穴比率グラフにおいて異常な毛穴の項目を選択すると、毛穴状態画像において、異常な毛穴を示すマークが強調表示される。なお、強調表示の方法には、例えば、色を変化させたり、拡大表示したり、点滅表示したりする等の任意の方法を採用することができる。
　なお、毛穴状態画像における各毛穴の種類を示すマークと毛穴比率グラフの各項目とは、毛穴の種類毎に色、パターン、表示効果等を合わせるようにすることが望ましい。これにより、ユーザは、毛穴状態画像における各毛穴と、毛穴比率グラフにおける各項目とを容易に対応付けることができる。
　図１８は、解析結果の第１の表示例の変形例を模式的に示している。この例では、図１６の例と同様に、毛穴状態画像が左側に表示され、毛穴比率グラフが右側に表示されている。ただし、この例では、毛穴状態画像及び毛穴比率グラフにおいて、ポルフィリンが検出された毛穴とポルフィリンの前兆が検出された毛穴が区別されている。
　具体的には、毛穴状態画像において、ポルフィリンが検出された毛穴とポルフィリンの前兆が検出された毛穴が、それぞれ異なるマークにより示されている。すなわち、ポルフィリンが検出された毛穴は、網掛けのパターンの丸により示され、ポルフィリンの前兆が検出された毛穴は、斜線のパターンの丸により示されている。これにより、ユーザは、ポルフィリンが発生している毛穴と、ポルフィリンの前兆が発生している毛穴とを区別して、異常な毛穴の分布を知ることができる。
　また、毛穴比率グラフにおいても、ポルフィリンが検出された毛穴（ポルフィリン率）とポルフィリンの前兆が検出された毛穴（ポルフィリン前兆率）とが別項目で表示されている。なお、この例では、正常な毛穴が１２パーセントであり、ポルフィリンが検出された毛穴が７８パーセントであり、ポルフィリンの前兆が検出された毛穴が１０パーセントである。
　さらに、図１６の例と同様に、毛穴比率グラフにおいて各項目を選択すると、毛穴状態画像において、選択した項目に該当する毛穴が強調表示される。
　なお、この例でも、毛穴状態画像における各毛穴の状態を示すマークと毛穴比率グラフの各項目とは、毛穴の種類毎に色、パターン、表示効果等を合わせるようにすることが望ましい。
　図１９は、解析結果の第２の表示例を模式的に示している。この例では、画面上部に”毛穴”、”正常な毛穴”、”ポルフィリン前兆”、”ポルフィリン”のタブが表示されている。また、タブ列の下には、図１６及び図１８と同様の毛穴状態画像が表示されている。
　この例では、毛穴状態画像において、選択したタブに該当する種類の毛穴が表示される。具体的には、”毛穴”タブを選択すると、図１８と同様の毛穴状態画像が表示される。すなわち、毛穴状態画像において、正常な毛穴、ポルフィリンが検出された毛穴、ポルフィリンの前兆が検出された毛穴が区別して表示される。”正常な毛穴”タブを選択すると、図１９のＡに示されるように、毛穴状態画像において、正常な毛穴のみが表示される。”ポルフィリン前兆”タブを選択すると、図１９のＢに示されるように、毛穴状態画像において、ポルフィリンの前兆が検出された毛穴のみが表示される。”ポルフィリン”タブを選択すると、図示は省略するが、毛穴状態画像において、ポルフィリンが検出された毛穴のみが表示される。これにより、ユーザは、各種類の毛穴の分布をまとめて或いは個別に確認することができる。
　図２０は、解析結果の第３の表示例を模式的に示している。この例では、横軸にポルフィリン前兆率をとり、縦軸にポルフィリン率をとる２次元のグラフ上において、ユーザの毛穴の状態の現在位置が示されている。例えば、図１８の例と同様に、ポルフィリン前兆率が１０パーセントであり、ポルフィリン率が７８パーセントである場合、図２０に示されるように、ユーザの毛穴の状態の現在位置が、グラフの座標（１０，７８）上に示される。
　なお、全てが正常な毛穴の場合、ユーザの毛穴の状態の現在位置が、原点（０，０）上に示される。従って、ユーザの毛穴の状態の現在位置は、正常な毛穴が多いほど原点の近く表示され、異常な毛穴が多いほど原点から遠い位置に表示される。これにより、ユーザは、自分の現在の毛穴の状態（例えば、自分の肌が健康であるか不健康であるか等）を迅速かつ感覚的に捉えることができる。
　図２１は、解析結果の第３の表示例の変形例を模式的に示している。この例では、図２０のグラフ上に、ユーザと同世代の人の多くが分布する領域（図内の斜線の領域）が示されている。この領域は、グラフの原点を含み、解析システム１に蓄積されているデータにより、ユーザと同世代の人のうち所定の割合（例えば、９５パーセント）の人が包含される領域である。すなわち、この領域は、ユーザと同世代の人を毛穴の状態が健康な順に並べた場合に、上位から所定の割合の人が含まれる領域である。従って、ユーザの毛穴の状態の現在位置がこの領域外に表示された場合、そのユーザの毛穴の状態は、同世代の人と比較して不健康であることが分かる。
　図２２は、解析結果の第４の表示例を模式的に示している。この例では、横軸に時間をとり、縦軸に正常毛穴率をとるグラフ上に、ユーザの正常毛穴率の時系列の推移が示されている。なお、時間軸の単位は、日、週、月、年等に設定される。このグラフにおいてユーザの正常毛穴率を示すプロットが、正常毛穴率がユーザの同世代の平均以上の場合に星形となり、正常毛穴率がユーザの同世代の平均未満の場合に三角形になっている。これにより、ユーザは、自分の肌の状態の推移とともに、同世代の人と比較して自分の肌が健康であるか否かを容易に把握することができる。また、ユーザは、例えば、毛穴の状態の悪化の進行率や毛穴のケアの効果を具体的な指標により把握することができる。
　なお、正常毛穴率以外にも、ポルフィリンが検出された毛穴、ポルフィリンの前兆が検出された毛穴、及び、正常な毛穴のうちの少なくとも１つに関する統計量に基づくデータの推移を表示するようにしてもよい。例えば、異常毛穴率、ポルフィリン率、ポルフィリン前兆率、毛穴数、ポルフィリン数、ポルフィリン前兆数、正常な毛穴数等の推移を表示するようにしてもよい。また、２つ以上の統計量の推移を同時に表示するようにしてもよい。
　以上のようにして、ユーザは、自分の肌の毛穴の状態をより詳細に知ることができる。また、ユーザは、毛穴の状態が視覚的に表示されるため、自分の肌の毛穴の状態を容易に把握することができる。逆に、サービスの提供者は、ユーザの毛穴の状態を分かりやすく的確に説明することができる。
　また、白色光肌画像のＲ、Ｇ、Ｂの各成分の画素値に基づいてポルフィリン判定を行うことにより、正常な毛穴、ポルフィリンが発生している毛穴、及び、ポルフィリンの前兆が発生している毛穴を、より正確に識別することができる。
＜２．第２の実施の形態＞
　次に、図２３乃至図２６を参照して、本技術を適用した解析システムの第２の実施の形態について説明する。なお、第２の実施の形態は、毛穴検出処理とポルフィリン検出処理を並列に実行できるようにするものである。
｛解析システム２０１の構成例｝
　図２３は、解析システム２０１の構成例を示している。なお、図中、図２と対応する部分には同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので適宜省略する。
　解析システム２０１は、図２の解析システム１と比較して、解析装置１２の代わりに解析装置２１１が設けられている点が異なる。解析装置２１１は、解析装置１２と比較して、ポルフィリン検出部１１２及び統計処理部１１３の代わりに、ポルフィリン検出部２２１及び統計処理部２２２が設けられている点が異なる。ポルフィリン検出部２２１は、ポルフィリン検出部１１２と比較して、処理領域設定部１３１の代わりに処理領域設定部２３１が設けられている点が異なる。統計処理部２２２は、統計処理部１１３と比較して、マップ修正部２４１が追加されている点が異なる。
　処理領域設定部２３１は、毛穴領域マップを用いずに、ＵＶ光肌画像においてポルフィリン判定を行う対象となる処理領域を設定する。処理領域設定部２３１は、ＵＶ光肌画像、及び、設定した処理領域を示す情報をＲＧＢ平均値算出部１３２に供給する。
　マップ修正部２４１は、膨張処理部１２５から毛穴領域マップを取得し、ポルフィリン判定部１３３からポルフィリン領域マップを取得する。そして、マップ修正部２４１は、毛穴領域マップに基づいて、ポルフィリン領域マップを修正し、修正後のポルフィリン領域マップをポルフィリン数計数部１４２及び表示制御部１１４に供給する。
｛解析処理｝
　次に、図２４のフローチャートを参照して、解析システム２０１により実行される解析処理について説明する。
　ステップＳ２０１において、図３のステップＳ１の処理と同様に、毛穴検出処理が実行され、処理はステップＳ２０３に進む。なお、膨張処理部１２５は、毛穴検出処理の結果得られた毛穴領域マップを、毛穴数計数部１４１、マップ修正部２４１、及び、表示制御部１１４に供給する。
　ステップＳ２０２において、解析システム２０１は、ポルフィリン検出処理を実行し、処理はステップＳ２０３に進む。ここで、図２５のフローチャートを参照して、ポルフィリン検出処理の詳細について説明する。
　ステップＳ２５１において、図１１のステップＳ１０１の処理と同様に、ＵＶ光肌画像が撮影される。
　ステップＳ２５２において、処理領域設定部２３１は、処理領域を設定する。具体的には、処理領域設定部２３１は、ＵＶ光肌画像の各画素を有彩色か否かにより分類し、有彩色であると判定された画素をセグメント化する。これにより、有彩色であると判定された画素が集中している各領域が、それぞれ処理領域に設定される。処理領域設定部１３１は、処理領域の算出結果をＲＧＢ平均値算出部１３２に供給する。
　ステップＳ２５３において、図１１のステップＳ１０３の処理と同様に、各処理領域のＲ、Ｇ、Ｂ成分の平均が算出される。
　ステップＳ２５４において、図１１のステップＳ１０４の処理と同様に、ポルフィリン判定が行われ、ポルフィリン検出処理は終了する。なお、ポルフィリン判定部１３３は、生成したポルフィリン領域マップをマップ修正部２４１に供給する。
　なお、毛穴検出処理とポルフィリン検出処理は、並列に行うことも可能であるし、順番に行うことも可能である。また、毛穴検出処理とポルフィリン検出処理を順番に行う場合、どちらの処理を先に行うようにしてもよい。
　図３に戻り、ステップＳ２０３において、マップ修正部２４１は、ポルフィリン領域マップを修正する。具体的には、マップ修正部２４１は、ポルフィリン領域マップにおけるポルフィリン領域及びポルフィリン前兆領域と、毛穴領域マップにおける毛穴領域との照合を行う。そして、マップ修正部２４１は、対応する毛穴領域が存在しないポルフィリン領域及びポルフィリン前兆領域を、検出結果の信頼度が低いと判定し、ポルフィリン領域マップから削除する。
　例えば、図２６の左上の図は、毛穴領域マップの例を模式的に示し、左下の図は、ポルフィリン領域マップの例を模式的に示し、右の図は、修正後のポルフィリン領域マップの例を模式的に示している。この例では、修正後のポルフィリン領域マップにおいて点線の丸で示されるポルフィリン領域及びポルフィリン前兆領域が、毛穴領域マップにおいて対応する毛穴領域が存在しないため、ポルフィリン領域マップから削除される。
　なお、対応する毛穴領域が存在しないポルフィリン領域及びポルフィリン前兆領域が検出される現象は、例えば、白色光とＵＶ光との照射状態の差により発生することが想定される。従って、白色光とＵＶ光の照射状態（例えば、照射領域、照射方向等）をできるだけ合わせるようにすることが望ましい。
　マップ修正部２４１は、修正後のポルフィリン領域マップをポルフィリン数計数部１４２及び表示制御部１１４に供給する。
　その後、ステップＳ２０４において、図３のステップＳ３の処理と同様に、統計処理が実行され、ステップＳ２０５において、図３のステップＳ４の処理と同様に、解析結果が表示され、解析処理は終了する。
　これにより、毛穴検出処理とポルフィリン検出処理を並行して実行することができるため、処理を高速化することができる。
　なお、毛穴以外の他の肌の要素（例えば、キメや色等）の解析を行う場合、毛穴検出処理を先に行うようにすることが望ましい。すなわち、毛穴検出処理で得られる白色光肌画像は、毛穴以外のキメや色等の肌の他の要素の解析にも使用することができる一方、ポルフィリン検出処理で得られるＵＶ光肌画像は、ポルフィリン検出処理でしか使用されない。従って、ポルフィリン検出を行わない場合等にＵＶ光肌画像の撮影を省略できるように、毛穴検出処理をポルフィリン検出処理の前に行うようにすることが望ましい。
＜３．変形例＞
　以下、上述した本技術の実施の形態の変形例について説明する。
［変形例１：機能の分担に関する変形例］
　図２及び図２３に示される解析システムにおける各装置の機能の分担は、その一例であり、自由に変更することが可能である。
　例えば、図２７の解析システム３０１は、図２の解析システム１の機能の分担を変更したものである。なお、図中、図２と対応する部分には、同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので適宜省略する。
　解析システム３０１は、解析システム１と比較して、カメラ１１及び解析装置１２の代わりに、カメラ３１１及び解析装置３１２が設けられている点が異なる。
　カメラ３１１は、解析装置１２に設けられていた毛穴検出部１１１、ポルフィリン検出部１１２、並びに、統計処理部１１３の毛穴数計数部１４１及びポルフィリン数計数部１４２をカメラ１１に加えた構成を有している。逆に、解析装置３１２は、毛穴検出部１１１、ポルフィリン検出部１１２、並びに、統計処理部１１３の毛穴数計数部１４１及びポルフィリン数計数部１４２を解析装置１２から削除した構成を有している。
　そして、解析システム３０１では、毛穴数、ポルフィリン数及びポルフィリン前兆数の計数処理までがカメラ３１１側で行われ、計数結果がカメラ３１１から解析装置３１２に送信される。
　そして、解析装置３１２は、ユーザの毛穴の種類毎の比率を算出し、算出結果を表示装置１３に表示させる。例えば、図１６の右のグラフ、図１８の右のグラフ、図２０乃至図２２の画面等が表示される。
　従って、解析システム３０１では、データ量の大きい肌画像のカメラ３１１から解析装置３１２への転送を省略することができる。
　なお、図２３の解析システム２０１についても、解析システム３０１と同様の機能の分担を行うことが可能である。
　また、例えば、図２８に示されるように、カメラ３５１に全ての機能を持たせるようにしてもよい。すなわち、カメラ３５１は、図２のカメラ１１、解析装置１２、及び、表示装置１３、又は、図２３のカメラ１１、解析装置２１１、及び、表示装置１３の機能を全て備えている。従って、カメラ３５１は、ユーザの肌を撮影し、その結果得られた肌画像に基づいて、ユーザの肌の状態の解析を行い、解析結果を表示部３６１に表示する。
　また、図示は省略するが、図２の解析装置１２又は図２３の解析装置２１１に表示装置１３の機能を設けたり、カメラ１１に図２の解析装置１２又は図２３の解析装置２１１の機能を設けたりすることが可能である。
［変形例２：処理に関する変形例］
　以上では、毛穴検出処理において、ＨＳＶ色空間におけるＨ（Hue、色相）成分の画像（Ｈ肌画像）を使用する例を示したが、他の色空間の画像を用いるようにしてもよい。例えば、元のＲＧＢ画像をそのまま用いるようにしてもよいし、L*a*b*表色系の色座標a*、b*に対して、次式（１０）で求められる色相角ｈにより表される画像を用いるようにしてもよい。
　h＝tan-1(b*/a*)　・・・（１０）
　また、例えば、解析結果を表示する際に、ポルフィリンの前兆が検出された毛穴を正常な毛穴に含めるようにして、ポルフィリンが検出された毛穴と正常な毛穴のみを区別して表示するようにしてもよい。
　また、例えば、毛穴の状態の解析結果を、肌の他の要素の解析結果とともに表示するようにしてもよい。
　さらに、本技術は、ポルフィリンやポルフィリンの前兆以外の要素による異常が発生した毛穴（例えば、皮脂が詰まった毛穴等）を検出し、検出結果を表示する場合にも適用することができる。例えば、図１６、図１８乃至図２２の表示方法等を適用することが可能である。
　また、以上の説明では、白色光を用いて撮影した肌画像に基づいて毛穴を検出し、ＵＶ光を用いて撮影した肌画像に基づいて毛穴の状態を検出する例を示したが、上記以外の波長域の光を用いることも可能である。なお、異なる波長域の光を用いる場合においても、毛穴の検出に用いる画像の撮影に用いる照明光の波長域と、毛穴の状態の検出に用いる画像の撮影に用いる照明光の波長域は通常異なると想定される。
　さらに、以上の説明では、ポルフィリン及びポルフィリンの前兆の検出をＵＶ光肌画像の各画素のＲ、Ｇ、Ｂの各成分を用いて検出する例を示したが、Ｒ、Ｇ、Ｂのうちの１つ又は２つの成分を用いて検出するようにしてもよい。また、ＲＧＢとは異なる色空間（例えば、ＨＳＶ色空間）の画像を用いて、ポルフィリン及びポルフィリンの前兆の検出を行うようにしてもよい。
｛コンピュータの構成例｝
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、例えば、本技術は以下のような構成も取ることができる。
（１）
　人の肌の毛穴及び毛穴の状態の検出結果に基づいて、異常が検出された毛穴と正常な毛穴とを区別して前記人の肌の毛穴の状態の表示を制御する表示制御部を
　含む情報処理装置。
（２）
　前記表示制御部は、異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態を示す画像である毛穴状態画像の表示を制御する
　含む上記（１）に記載の情報処理装置。
（３）
　前記異常が検出された毛穴は、ポルフィリンが検出された毛穴又はポルフィリンの前兆が検出された毛穴のうち少なくとも一方を含む
　上記（２）に記載の情報処理装置。
（４）
　前記表示制御部は、ポルフィリンが検出された毛穴とポルフィリンの前兆が検出された毛穴とを区別して前記毛穴状態画像を表示するように制御する
　上記（３）に記載の情報処理装置。
（５）
　前記表示制御部は、前記ポルフィリンが検出された毛穴と前記ポルフィリンの前兆が検出された毛穴とを区別せずに前記毛穴状態画像を表示するように制御する
　上記（３）に記載の情報処理装置。
（６）
　前記表示制御部は、選択された種類の毛穴のみ前記毛穴状態画像において表示するように制御する
　上記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記異常が検出された毛穴は、ポルフィリンが検出された毛穴又はポルフィリンの前兆が検出された毛穴のうち少なくとも一方を含む
　上記（１）に記載の情報処理装置。
（８）
　前記表示制御部は、ポルフィリン若しくはポルフィリンの前兆が検出された毛穴、及び、正常な毛穴の比率を示すグラフ、又は、ポルフィリンが検出された毛穴、ポルフィリンの前兆が検出された毛穴、及び、正常な毛穴の比率を示すグラフの表示を制御する
　上記（７）に記載の情報処理装置。
（９）
　前記表示制御部は、前記グラフにおいて選択された種類の毛穴を、前記人の肌の毛穴の状態を示す画像である毛穴状態画像において強調して表示するように制御する
　上記（８）に記載の情報処理装置。
（１０）
　前記表示制御部は、ポルフィリンが検出された毛穴の比率であるポルフィリン率を示す軸、及び、ポルフィリンの前兆が検出された毛穴の比率であるポルフィリン前兆率を示す軸を持つグラフを表示するとともに、前記ユーザの前記ポルフィリン率及び前記ポルフィリン前兆率に対応する前記グラフ上の位置を表示するように制御する
　上記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記表示制御部は、ポルフィリンが検出された毛穴、ポルフィリンの前兆が検出された毛穴、及び、正常な毛穴のうちの少なくとも１つに関する統計量の推移を示すグラフの表示を制御する
　上記（７）乃至（９）のいずれかに記載の情報処理装置。
（１２）
　第１の波長域の第１の光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出を行う毛穴検出部と、
　前記第１の波長域と異なる第２の波長域の第２の光が照射された前記人の肌を撮影した第２の肌画像の複数の色成分の画素値に基づいて、前記人の肌の毛穴の状態の検出を行う状態検出部と
　をさらに含む上記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記第１の光は、白色光であり、
　前記第２の光は、ＵＶ光であり、
　前記状態検出部は、前記第２の肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出を行う
　上記（１２）に記載の情報処理装置。
（１４）
　前記状態検出部は、前記第１の肌画像において検出された各毛穴に対応する前記第２の肌画像の領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定し、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定する
　上記（１３）に記載の情報処理装置。
（１５）
　前記状態検出部は、前記第２の肌画像において有彩色の画素が集中している領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定し、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定する
　上記（１３）に記載の情報処理装置。
（１６）
　前記第１の肌画像において毛穴が検出されていない領域を、前記ポルフィリン又は前記ポルフィリンの前兆が発生していると判定された領域から削除する修正部を
　さらに含む上記（１５）に記載の情報処理装置。
（１７）
　人の肌の毛穴及び毛穴の状態の検出結果に基づいて、異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態の表示を制御する表示制御ステップを
　含む処理をコンピュータに実行させるためのプログラム。
（１８）
　第１の波長域の第１の光又は前記第１の波長域と異なる第２の波長域の第２の光が照射された人の肌の撮影を行う撮影部と、
　前記第１の光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出を行う毛穴検出部と、
　前記第２の光が照射された前記人の肌を撮影した画像である第２の肌画像の各画素の複数の色成分の画素値に基づいて、前記人の肌の毛穴の状態の検出を行う状態検出部と、
　前記人の肌の毛穴及び毛穴の状態の検出結果に基づいて異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態の表示を制御する表示制御部と
　を含む情報処理システム。
（１９）
　前記表示制御部は、異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態を示す画像である毛穴状態画像の表示を制御する
　含む上記（１８）に記載の情報処理システム。
（２０）
　前記毛穴状態画像を表示する表示部を
　さらに含む上記（１９）に記載の情報処理システム。
（２１）
　前記第１の光は、白色光であり、
　前記第２の光は、ＵＶ光であり、
　前記状態検出部は、前記第２の肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出を行い、
　前記表示制御部は、前記人の肌のポルフィリン及びポルフィリンの前兆の検出結果に基づいて、ポルフィリンが検出された毛穴又はポルフィリンの前兆が検出された毛穴のうち少なくとも一方と正常な毛穴とを区別して前記人の肌の毛穴の状態の表示を制御する
　上記（１８）乃至（２０）のいずれかに記載の情報処理システム。
（２２）
　前記状態検出部は、前記第１の肌画像において検出された各毛穴に対応する前記第２の肌画像の領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定し、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定する
　上記（２１）に記載の情報処理システム。
（２３）
　前記状態検出部は、前記第２の肌画像において有彩色の画素が集中している領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定し、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定する
　上記（２１）に記載の情報処理システム。
（２４）
　前記撮影部を少なくとも含む撮影装置と、
　前記表示制御部を少なくとも含む情報処理装置と
　を備え、
　前記毛穴検出部及び前記状態検出部は、前記撮影装置又は前記情報処理装置に含まれる
　上記（１８）乃至（２３）のいずれかに記載の情報処理システム。
（２５）
　撮影部、毛穴検出部、ポルフィリン検出部、及び、計数部を含む撮影装置と、
　表示制御部を含む情報処理装置と
　を備え、
　前記撮影部は、白色光又は所定の波長のＵＶ光が照射された人の肌の撮影を行い、
　前記毛穴検出部は、前記白色光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出を行い、
　前記ポルフィリン検出部は、前記ＵＶ光が照射された前記人の肌を撮影した画像である第２の肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出を行い、
　前記計数部は、検出された毛穴数、ポルフィリン数及びポルフィリンの前兆数の計数を行い、
　前記表示制御部は、前記毛穴数、前記ポルフィリン数及び前記ポルフィリンの前兆数に基づくデータの表示を制御する
　情報処理システム。
　１　解析システム，　１１　カメラ，　１２　解析装置，　１３　表示装置，　１０１　撮影部，　１０２　白色光照射部，　１０３　ＵＶ光照射部，　１０４　毛穴検出部，　１０５　ポルフィリン検出部，　１０６　統計処理部，　１０７　表示制御部，　１２１　色変換部，　１２２　フィルタ処理部，　１２３　２値化処理部，　１２４　収縮処理部，　１２５　膨張処理部，　１３１　処理領域設定部，　１３２　ＲＧＢ平均値算出部，　１３３　ポルフィリン判定部，　１４１　毛穴数計数部，　１４２　ポルフィリン数計数部，　１４３　比率算出部，　２０１　解析システム，　２１１　解析装置，　２２１　ポルフィリン検出部，　２２２　統計処理部，　２３１　処理領域設定部

Claims (25)

  1. 　人の肌の毛穴及び毛穴の状態の検出結果に基づいて、異常が検出された毛穴と正常な毛穴とを区別して前記人の肌の毛穴の状態の表示を制御する表示制御部を
    　含む情報処理装置。
  2. 　前記表示制御部は、異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態を示す画像である毛穴状態画像の表示を制御する
    　含む請求項１に記載の情報処理装置。
  3. 　前記異常が検出された毛穴は、ポルフィリンが検出された毛穴又はポルフィリンの前兆が検出された毛穴のうち少なくとも一方を含む
    　請求項２に記載の情報処理装置。
  4. 　前記表示制御部は、ポルフィリンが検出された毛穴とポルフィリンの前兆が検出された毛穴とを区別して前記毛穴状態画像を表示するように制御する
    　請求項３に記載の情報処理装置。
  5. 　前記表示制御部は、前記ポルフィリンが検出された毛穴と前記ポルフィリンの前兆が検出された毛穴とを区別せずに前記毛穴状態画像を表示するように制御する
    　請求項３に記載の情報処理装置。
  6. 　前記表示制御部は、選択された種類の毛穴のみ前記毛穴状態画像において表示するように制御する
    　請求項２に記載の情報処理装置。
  7. 　前記異常が検出された毛穴は、ポルフィリンが検出された毛穴又はポルフィリンの前兆が検出された毛穴のうち少なくとも一方を含む
    　請求項１に記載の情報処理装置。
  8. 　前記表示制御部は、ポルフィリン若しくはポルフィリンの前兆が検出された毛穴、及び、正常な毛穴の比率を示すグラフ、又は、ポルフィリンが検出された毛穴、ポルフィリンの前兆が検出された毛穴、及び、正常な毛穴の比率を示すグラフの表示を制御する
    　請求項７に記載の情報処理装置。
  9. 　前記表示制御部は、前記グラフにおいて選択された種類の毛穴を、前記人の肌の毛穴の状態を示す画像である毛穴状態画像において強調して表示するように制御する
    　請求項８に記載の情報処理装置。
  10. 　前記表示制御部は、ポルフィリンが検出された毛穴の比率であるポルフィリン率を示す軸、及び、ポルフィリンの前兆が検出された毛穴の比率であるポルフィリン前兆率を示す軸を持つグラフを表示するとともに、前記ユーザの前記ポルフィリン率及び前記ポルフィリン前兆率に対応する前記グラフ上の位置を表示するように制御する
    　請求項７に記載の情報処理装置。
  11. 　前記表示制御部は、ポルフィリンが検出された毛穴、ポルフィリンの前兆が検出された毛穴、及び、正常な毛穴のうちの少なくとも１つに関する統計量の推移を示すグラフの表示を制御する
    　請求項７に記載の情報処理装置。
  12. 　第１の波長域の第１の光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出を行う毛穴検出部と、
    　前記第１の波長域と異なる第２の波長域の第２の光が照射された前記人の肌を撮影した第２の肌画像の複数の色成分の画素値に基づいて、前記人の肌の毛穴の状態の検出を行う状態検出部と
    　をさらに含む請求項１に記載の情報処理装置。
  13. 　前記第１の光は、白色光であり、
    　前記第２の光は、ＵＶ光であり、
    　前記状態検出部は、前記第２の肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出を行う
    　請求項１２に記載の情報処理装置。
  14. 　前記状態検出部は、前記第１の肌画像において検出された各毛穴に対応する前記第２の肌画像の領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定し、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定する
    　請求項１３に記載の情報処理装置。
  15. 　前記状態検出部は、前記第２の肌画像において有彩色の画素が集中している領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定し、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定する
    　請求項１３に記載の情報処理装置。
  16. 　前記第１の肌画像において毛穴が検出されていない領域を、前記ポルフィリン又は前記ポルフィリンの前兆が発生していると判定された領域から削除する修正部を
    　さらに含む請求項１５に記載の情報処理装置。
  17. 　人の肌の毛穴及び毛穴の状態の検出結果に基づいて、異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態の表示を制御する表示制御ステップを
    　含む処理をコンピュータに実行させるためのプログラム。
  18. 　第１の波長域の第１の光又は前記第１の波長域と異なる第２の波長域の第２の光が照射された人の肌の撮影を行う撮影部と、
    　前記第１の光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出を行う毛穴検出部と、
    　前記第２の光が照射された前記人の肌を撮影した画像である第２の肌画像の各画素の複数の色成分の画素値に基づいて、前記人の肌の毛穴の状態の検出を行う状態検出部と、
    　前記人の肌の毛穴及び毛穴の状態の検出結果に基づいて異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態の表示を制御する表示制御部と
    　を含む情報処理システム。
  19. 　前記表示制御部は、異常が検出された毛穴と正常な毛穴を区別して前記人の肌の毛穴の状態を示す画像である毛穴状態画像の表示を制御する
    　含む請求項１８に記載の情報処理システム。
  20. 　前記毛穴状態画像を表示する表示部を
    　さらに含む請求項１９に記載の情報処理システム。
  21. 　前記第１の光は、白色光であり、
    　前記第２の光は、ＵＶ光であり、
    　前記状態検出部は、前記第２の肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出を行い、
    　前記表示制御部は、前記人の肌のポルフィリン及びポルフィリンの前兆の検出結果に基づいて、ポルフィリンが検出された毛穴又はポルフィリンの前兆が検出された毛穴のうち少なくとも一方と正常な毛穴とを区別して前記人の肌の毛穴の状態の表示を制御する
    　請求項１８に記載の情報処理システム。
  22. 　前記状態検出部は、前記第１の肌画像において検出された各毛穴に対応する前記第２の肌画像の領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定し、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定する
    　請求項２１に記載の情報処理システム。
  23. 　前記状態検出部は、前記第２の肌画像において有彩色の画素が集中している領域のうち、Ｒ成分の画素値がＧ成分の画素値より相対的に大きく、Ｇ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンが発生していると判定し、Ｒ成分の画素値とＧ成分の画素値がほぼ同じで、Ｒ成分の画素値及びＧ成分の画素値がＢ成分の画素値より相対的に大きい領域にポルフィリンの前兆が発生していると判定する
    　請求項２１に記載の情報処理システム。
  24. 　前記撮影部を少なくとも含む撮影装置と、
    　前記表示制御部を少なくとも含む情報処理装置と
    　を備え、
    　前記毛穴検出部及び前記状態検出部は、前記撮影装置又は前記情報処理装置に含まれる
    　請求項１８に記載の情報処理システム。
  25. 　撮影部、毛穴検出部、ポルフィリン検出部、及び、計数部を含む撮影装置と、
    　表示制御部を含む情報処理装置と
    　を備え、
    　前記撮影部は、白色光又は所定の波長のＵＶ光が照射された人の肌の撮影を行い、
    　前記毛穴検出部は、前記白色光が照射された前記人の肌を撮影した画像である第１の肌画像において毛穴の検出を行い、
    　前記ポルフィリン検出部は、前記ＵＶ光が照射された前記人の肌を撮影した画像である第２の肌画像の各画素のＲ成分、Ｇ成分及びＢ成分の画素値に基づいて、ポルフィリン及びポルフィリンの前兆の検出を行い、
    　前記計数部は、検出された毛穴数、ポルフィリン数及びポルフィリンの前兆数の計数を行い、
    　前記表示制御部は、前記毛穴数、前記ポルフィリン数及び前記ポルフィリンの前兆数に基づくデータの表示を制御する
    　情報処理システム。
PCT/JP2015/060555 2014-04-16 2015-04-03 情報処理装置、情報処理システム、及び、プログラム WO2015159732A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580017099.9A CN106163381B (zh) 2014-04-16 2015-04-03 信息处理设备、信息处理系统和程序
US15/301,967 US10076275B2 (en) 2014-04-16 2015-04-03 Information processing device, information processing system, and program
JP2016513716A JP6624459B2 (ja) 2014-04-16 2015-04-03 情報処理装置、情報処理システム、及び、プログラム
KR1020167027232A KR102383183B1 (ko) 2014-04-16 2015-04-03 정보 처리 장치, 정보 처리 시스템, 및, 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014084291 2014-04-16
JP2014-084291 2014-04-16

Publications (1)

Publication Number Publication Date
WO2015159732A1 true WO2015159732A1 (ja) 2015-10-22

Family

ID=54323944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060555 WO2015159732A1 (ja) 2014-04-16 2015-04-03 情報処理装置、情報処理システム、及び、プログラム

Country Status (6)

Country Link
US (1) US10076275B2 (ja)
JP (1) JP6624459B2 (ja)
KR (1) KR102383183B1 (ja)
CN (1) CN106163381B (ja)
TW (1) TWI696450B (ja)
WO (1) WO2015159732A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018082903A (ja) * 2016-11-24 2018-05-31 Ｎｓマテリアルズ株式会社 携帯型測定器
JP2018196426A (ja) * 2017-05-23 2018-12-13 花王株式会社 毛穴検出方法及び毛穴検出装置
JP2018202044A (ja) * 2017-06-08 2018-12-27 花王株式会社 毛穴詰まり評価方法及び毛穴詰まり評価装置
CN109843150A (zh) * 2016-08-22 2019-06-04 盖尔德马研究及发展公司 基于智能手机的评估皮肤问题的紫外线设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368795B2 (en) * 2014-06-30 2019-08-06 Canfield Scientific, Incorporated Acne imaging methods and apparatus
TWI701018B (zh) * 2015-01-29 2020-08-11 日商新力股份有限公司 資訊處理裝置、資訊處理方法、及程式
US10278835B2 (en) * 2016-06-29 2019-05-07 Vision Quest Industries Incorporated Dba Vq Orthocare Measurement and ordering system for orthotic devices
WO2018182173A1 (ko) * 2017-03-27 2018-10-04 (주)아모레퍼시픽 2차원 피부 이미지 분석 시스템 및 분석 방법
CN107424167B (zh) * 2017-04-20 2020-08-11 深圳可思美科技有限公司 一种毛孔定位识别的方法和装置
CN108308833A (zh) * 2018-01-29 2018-07-24 上海康斐信息技术有限公司 一种智能卸妆仪的卸妆检测方法及系统
CN109583330B (zh) * 2018-11-15 2023-05-05 北京理工大学 一种用于人脸照片的毛孔检测方法
CN110148125A (zh) * 2019-05-21 2019-08-20 苏州大学 基于颜色检测的自适应皮肤油脂检测方法
KR20220060945A (ko) * 2020-11-05 2022-05-12 삼성전자주식회사 피부 이미지를 분석하는 전자 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289706A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔撮影装置
JP2009006089A (ja) * 2007-06-29 2009-01-15 Noritsu Koki Co Ltd 顔撮影装置
JP2009508648A (ja) * 2005-09-20 2009-03-05 ブライ−テックス・バイオ−フォトニクス・リミテッド・ライアビリティ・カンパニー デジタル画像を用いて人の皮膚状態を分析するためのシステム及び方法
JP2011509154A (ja) * 2008-01-07 2011-03-24 マイスキン、インク． スペクトル畳み込みに基づく光と物質の相互作用の解析システムおよび方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004110264A1 (ja) * 2003-06-11 2004-12-23 Kose Corporation 肌の評価方法および画像のシミュレーション方法
US8026942B2 (en) * 2004-10-29 2011-09-27 Johnson & Johnson Consumer Companies, Inc. Skin imaging system with probe
MX2007005208A (es) * 2004-10-29 2007-12-07 Johnson & Johnson Aparato y metodo para tomar y observar imagenes de la piel.
CN1961820B (zh) * 2005-11-08 2011-03-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
JP5080060B2 (ja) 2005-11-08 2012-11-21 株式会社 資生堂 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
KR100853655B1 (ko) * 2006-12-15 2008-08-25 한국전기연구원 피부 질환의 광학 진단 및 치료를 위한 장치, 광원 시스템 및 장치의 이용방법
SG10201914077TA (en) 2007-01-05 2020-03-30 Myskin Inc System, device and method for dermal imaging
US10085643B2 (en) * 2007-01-05 2018-10-02 Jadran Bandic Analytic methods of tissue evaluation
US20090245603A1 (en) * 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
JP2009000494A (ja) 2007-05-23 2009-01-08 Noritsu Koki Co Ltd ポルフィリン検出方法、ポルフィリンの表示方法、およびポルフィリン検出装置
TWI430776B (zh) * 2011-05-30 2014-03-21 Univ Southern Taiwan 智慧型影像膚質檢測系統及方法
TWI556116B (zh) * 2012-02-15 2016-11-01 Hitachi Maxell Skin condition analysis and analysis information management system, skin condition analysis and analysis information management method, and data management server

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508648A (ja) * 2005-09-20 2009-03-05 ブライ−テックス・バイオ−フォトニクス・リミテッド・ライアビリティ・カンパニー デジタル画像を用いて人の皮膚状態を分析するためのシステム及び方法
JP2008289706A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔撮影装置
JP2009006089A (ja) * 2007-06-29 2009-01-15 Noritsu Koki Co Ltd 顔撮影装置
JP2011509154A (ja) * 2008-01-07 2011-03-24 マイスキン、インク． スペクトル畳み込みに基づく光と物質の相互作用の解析システムおよび方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109843150A (zh) * 2016-08-22 2019-06-04 盖尔德马研究及发展公司 基于智能手机的评估皮肤问题的紫外线设备
JP2019528136A (ja) * 2016-08-22 2019-10-10 ガルデルマ・リサーチ・アンド・デヴェロップメント 皮膚の状態のスマートフォンに基づく評価のためのｕｖデバイス
JP7055129B2 (ja) 2016-08-22 2022-04-15 ガルデルマ・リサーチ・アンド・デヴェロップメント 皮膚の状態のスマートフォンに基づく評価のためのｕｖデバイス
US11375946B2 (en) 2016-08-22 2022-07-05 Galderma Research And Development UV device for smartphone-based evaluation of skin conditions
JP2018082903A (ja) * 2016-11-24 2018-05-31 Ｎｓマテリアルズ株式会社 携帯型測定器
WO2018096864A1 (ja) * 2016-11-24 2018-05-31 Ｎｓマテリアルズ株式会社 携帯型測定器
JP2018196426A (ja) * 2017-05-23 2018-12-13 花王株式会社 毛穴検出方法及び毛穴検出装置
JP2018202044A (ja) * 2017-06-08 2018-12-27 花王株式会社 毛穴詰まり評価方法及び毛穴詰まり評価装置

Also Published As

Publication number Publication date
KR20160144364A (ko) 2016-12-16
US10076275B2 (en) 2018-09-18
JP6624459B2 (ja) 2019-12-25
US20170202504A1 (en) 2017-07-20
CN106163381A (zh) 2016-11-23
JPWO2015159732A1 (ja) 2017-04-13
CN106163381B (zh) 2020-05-15
TW201540263A (zh) 2015-11-01
TWI696450B (zh) 2020-06-21
KR102383183B1 (ko) 2022-04-06

Similar Documents

Publication Publication Date Title
WO2015159732A1 (ja) 情報処理装置、情報処理システム、及び、プログラム
US11514270B2 (en) Speckle contrast analysis using machine learning for visualizing flow
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
JP5043755B2 (ja) 樹脂材料検査装置およびプログラム
US10219703B2 (en) Method and system for intra-oral imagine using HDR imaging and highlight removal
JP5939962B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US20170178322A1 (en) System and method for detecting anomalies in an image captured in-vivo
JP2013090751A (ja) シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム
JP2018086130A (ja) 生体情報検出装置及び生体情報検出方法
JP6281291B2 (ja) 画像の特徴点抽出方法、欠陥検査方法、欠陥検査装置
JPWO2015146111A1 (ja) 検知装置、検知方法、及びコンピュータプログラム
JP2021519415A (ja) 制御されていない環境において歯のシェードを評価する方法及びシステム
JP5820284B2 (ja) 画像処理装置、方法、及びプログラム
EP3599585B1 (en) Image-processing methods for marking plaque fluorescent reaction area and systems therefor
JP2022121091A (ja) 口腔粘膜疾患診断支援システム，方法およびプログラム
Han et al. Canonical illumination decomposition and its applications
CN114283107A (zh) 口腔检测方法、口腔检测装置以及计算机可读存储介质
JP2015154718A (ja) コロニー数計数装置、コロニー数計数方法、及びコロニー数計数プログラム
JP6248662B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6326841B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6948032B2 (ja) 画像解析装置および検査システム
JP2014135007A (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
JP2018202044A (ja) 毛穴詰まり評価方法及び毛穴詰まり評価装置
JP5099164B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2009258771A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15779929

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016513716

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167027232

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15301967

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15779929

Country of ref document: EP

Kind code of ref document: A1