WO2015060376A1 - 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法 - Google Patents

表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法 Download PDF

Info

Publication number
WO2015060376A1
WO2015060376A1 PCT/JP2014/078183 JP2014078183W WO2015060376A1 WO 2015060376 A1 WO2015060376 A1 WO 2015060376A1 JP 2014078183 W JP2014078183 W JP 2014078183W WO 2015060376 A1 WO2015060376 A1 WO 2015060376A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
skin
coordinate system
data
Prior art date
Application number
PCT/JP2014/078183
Other languages
English (en)
French (fr)
Inventor
弘恵 中島
雅志 吉村
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to CN201480054255.4A priority Critical patent/CN105592792B/zh
Priority to JP2015504807A priority patent/JP5731724B1/ja
Priority to US15/031,765 priority patent/US10098545B2/en
Publication of WO2015060376A1 publication Critical patent/WO2015060376A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention for example, as a surface that may change over time, the surface of the skin, the surfaces of various plants (including vegetables and fruits), the surface of fruits, stems, trunks, roots, etc.
  • Surface state measurement and analysis for sequentially taking images of surfaces that change over time, such as surfaces and surfaces of inorganic materials that deteriorate over time, based on the passage of time, and managing the captured image data and its analysis results in a viewable manner
  • the present invention relates to an information management system and a surface state measurement analysis information management method.
  • skin care equipment care esthetic equipment
  • skin camera is used to magnify the skin and grasp the skin condition. Since then, skin care cosmetics, facial cleansing products, and skin care devices corresponding to the skin condition have been sold.
  • a digital camera for skin is connected as a peripheral device to a portable wireless terminal that can access the Internet via a wireless telephone line such as a mobile phone, a smartphone, a tablet, or other wireless communication line.
  • a portable wireless terminal It is proposed that a user can shoot skin by himself by attaching a lens module equipped with a conversion lens for skin shooting to the built-in digital camera.
  • the skin condition can be obtained without going to a cosmetics store.
  • a mobile wireless terminal to send the captured image data to the server of a supplier who analyzes the skin condition from the skin image data
  • the skin condition can be obtained without going to a cosmetics store.
  • the server that has received the measurement data automatically analyzes the measurement result, or displays the measurement data and causes the operator to input the analysis result.
  • the skin of the face is a curved surface that is greatly bent, it is difficult to shoot a wide range in a uniformly enlarged state, and basically a narrow range is shot. In this case, it is difficult for the user to take a picture of the same place as the place taken before, for example, even if the skin is taken about once or twice a day. When it becomes long, it becomes difficult to photograph the same place. Also, when a plurality of locations are photographed regularly, the location of each location tends to be confusing.
  • displaying the image data as a movie or a slide show may show, for example, how the skin condition improves. . This may attract users' interests and increase the number of users. In addition, the user can be encouraged to photograph skin regularly.
  • the shot position of the shot image is shifted up and down and left and right every time it is shot, and even when the shooting position is relatively aligned, the shake up and down and left and right is large, so it cannot be viewed as a movie
  • Even in the case of a slide show there is a shift in the shooting position every time, so it is difficult to understand the connection before and after the slide, and it is not always possible to confirm changes in the skin condition.
  • the shooting positions are not aligned, there may be no overlap between the previous slide and the subsequent slide.For example, in a state where the rough skin and the good skin are mixed. Displaying it makes it difficult to confirm changes in the skin condition.
  • An object of the present invention is to provide a surface state measurement analysis information management system and a surface state measurement analysis information management method that can be made possible.
  • the surface state measurement analysis information management system of the present invention includes a photographing means for photographing the surface to be measured and generating image data without fixing the photographing position, Image storage means for storing the image data and the shooting date of the image data;
  • the image storage means when the image storage means stores a plurality of the image data in which the imaging positions on the surface to be imaged are shifted by being imaged a plurality of times by the imaging means at intervals.
  • a position determination unit that compares the plurality of image data stored in and determines a relative position of the plurality of image data in one coordinate system; Each image data determined by the relative position of the coordinate system can be arranged and displayed at the relative position of the coordinate system in the order of photographing date.
  • the position determining means may include a plurality of image data in one coordinate system based on the image area when there is an image area that substantially matches the image data to be compared with each other. It is preferable to determine the relative position.
  • the image data sequentially stored in the image storage means are compared to determine whether or not the image regions have the image regions that substantially match each other.
  • the position determining means sets the coordinate system based on one of the image data when there is the image area substantially matching each other, and the position determining means substantially matches the one image data. Determining the position in the coordinate system of the other image data in a state where the image areas are overlapped;
  • the overlap detection unit compares the image data for which the position of the coordinate system has already been determined by the position determination unit with the image data for which the position of the coordinate system has not yet been determined, and substantially matches each other.
  • the position determination means when there is the image data for which the position of the coordinate system having the image region substantially coincides with the image data for which the position of the coordinate system has been determined,
  • the image data when the image data for which the position of the coordinate system has been determined and the image data for which the position of the coordinate system has not been determined are arranged so that the image regions that substantially match each other overlap each other It is preferable to determine the position of the coordinate system of the image data for which the position of the coordinate system is not determined based on the mutual positional relationship between them.
  • the surface state measurement analysis information management method of the present invention is an imaging means for imaging the surface to be measured and generating image data without fixing the imaging position;
  • a surface state measurement analysis information management method performed in a surface state measurement analysis information management system comprising the image data and an image storage means for storing a shooting date of the image data,
  • the position determination step when there is an image area that substantially matches the image data to be compared with each other, based on the image area, in the one coordinate system of the plurality of image data It is preferable to determine the relative position.
  • the image data sequentially stored in the image storage means are compared to determine whether or not the image regions have the image regions that substantially match each other.
  • the position determining step includes setting the coordinate system based on one of the image data when there is the image region that substantially matches each other, and substantially matching the one image data to each other. Determining the position in the coordinate system of the other image data in a state where the image areas are overlapped; In the overlap detection step, the image data for which the position of the coordinate system has already been determined by the position determination step and the image data for which the position of the coordinate system has not yet been determined are compared and substantially coincide with each other.
  • the position determination step when there is the image data in which the position of the coordinate system having the image region that substantially matches the image data in which the position of the coordinate system is determined is not determined,
  • the image data when the image data for which the position of the coordinate system has been determined and the image data for which the position of the coordinate system has not been determined are arranged so that the image regions that substantially match each other overlap each other It is preferable to determine the position of the coordinate system of the image data for which the position of the coordinate system is not determined based on the mutual positional relationship between them.
  • the target surface is other than the surface of the skin, it is possible to shoot the same position as possible consciously without fixing the camera to a tripod, etc. It can be seen whether it is changing or depending on the position, and it becomes possible to easily know the change of the surface state over time.
  • objects other than the skin include, for example, the surfaces of various plants, particularly the surfaces of leaves and fruits, and may also be the surfaces of inorganic substances. The surface condition may change over time due to growth, disease, deterioration, etc. You can target things that change.
  • the image storage means does not have to be a single device, and the temporary image storage means such as a buffer for temporarily storing the photographed image and the image temporarily stored in the image storage means are moved. And image storage means for storing the information.
  • image data before being compared with an image that has been shot and whose position has already been determined may be stored in the temporary image storage means.
  • the temporary image storage means may store image data whose position has not been determined even when compared with image data whose position has been determined.
  • the overlap detection unit may determine whether the image data includes the image regions that are substantially coincident with each other.
  • the arrangement pattern of the feature point for each of the image data is compared, and there is a portion where the arrangement pattern of the feature point substantially matches It is preferable to determine that there are the image regions that substantially match each other.
  • the image data in the overlap detection step, may be captured when it is determined whether or not the image areas substantially coincide with each other.
  • the arrangement pattern of the feature point for each of the image data is compared, and there is a portion where the arrangement pattern of the feature point substantially matches It is preferable to determine that there are the image regions that substantially match each other.
  • the feature points are preferably present on almost any target surface and can be recognized from the image data.
  • the target surface is skin
  • a branch point of a vein can be used as a feature point.
  • the leaves to be photographed can be identified from a plurality of leaves, there is a possibility that the position of the leaf surface can be identified mainly from the branching point of the main veins among the thick main veins and the thin side veins constituting the veins. It is also possible to deal with leaves whose side leaves are difficult to see from the surface with thick leaves. Further, if there is a pattern or unevenness on the actual surface, the feature point can be determined from it. In the case of an inorganic material, for example, a feature point can be determined for a material having a change in color such as marble.
  • the surface to be imaged by the imaging means is the surface of the skin
  • the feature point extracted from the image data by the overlap detection means is a predetermined part of each pore on the skin surface.
  • the surface to be imaged of the imaging unit is a skin surface
  • the feature point extracted from the image data in the overlap detection step is a predetermined part of each pore on the skin surface.
  • the predetermined part is, for example, a set position such as the center position of the pores, the center of gravity position, the right end position on the image, the left end position, the upper end position, the lower end position, or the like.
  • a predetermined position is set as the feature point when there is an area in the portion (pore) including the photographed feature point.
  • the surface to be imaged by the imaging means is the surface of the skin
  • the feature point extracted from the image data by the overlap detection means is a predetermined portion of each spot having a predetermined size or less on the skin surface.
  • the surface to be imaged of the imaging unit is a skin surface
  • the feature point extracted from the image data in the overlap detection step is a predetermined portion of each spot having a predetermined size or less on the skin surface.
  • the stain of a predetermined size or less is a small stain mainly formed in the pore portion, and melanin stays in the pore portion. Therefore, when a pore is a feature point as described above, for example, a method of recognizing a spot of a predetermined size or less as a pore with respect to a method of recognizing a pore from an end on the skin side of the hair as described above. It can be replaced or combined. In the case of combination, for example, it is also possible to compare the arrangement patterns by dividing the feature points into only hair points, only spot points, both hair and spot points, and the like.
  • the image data stored in the image storage means includes image display means for displaying the image data in order of the photographing date,
  • the image display means sets the coordinate system on a display screen, arranges the image data determined by the position of the coordinate system at the position of the coordinate system, and displays them in the order of the photographing dates.
  • the image display means displays the image data in the foreground in the order of the photographing dates, and the forefront of the image data displayed before the image data displayed in the foreground. It is preferable to keep the portion that does not overlap the image data displayed on the screen displayed.
  • the display range for displaying the image data includes a portion where the displayed image data is present, If the image data includes a portion without the image data, and the portion without the image data includes the image data with the shooting date before or after the displayed image data, the image with the shooting date before or after It is preferable that image data interpolated from the data is generated, and the interpolated image data is displayed in a portion without the image data displayed in the display range.
  • the surface condition measurement analysis information management method of the present invention further comprises an image display step for displaying the image data stored in the image storage means in order of the photographing date of the image data,
  • the coordinate system is set on a display screen, and each image data determined by the position of the coordinate system is arranged at the position of the coordinate system and displayed in the order of the photographing dates.
  • the image data is displayed in the foreground in order of the shooting date, and the forefront of the image data displayed before the image data displayed in the foreground. It is preferable to keep the portion that does not overlap the image data displayed on the screen displayed.
  • the display range for displaying the image data includes a portion where the displayed image data is present, If the image data includes a portion without the image data, and the portion without the image data includes the image data with the shooting date before or after the displayed image data, the image with the shooting date before or after It is preferable that image data interpolated from the data is generated, and the interpolated image data is displayed in a portion without the image data displayed in the display range.
  • each image data is displayed as a moving image or a slide show in the order of shooting, the position of each image data is shifted, resulting in a display close to severe camera shake, but each image data is displayed at its coordinate position.
  • a display method if the skin image with the previous shooting order is displayed when at least part of it overlaps with the previous skin image, the overlapping part of the previous skin image is deleted and the shooting order is changed.
  • the later skin image is displayed, it is preferable that the skin image is displayed as it is in a portion where the imaging order of the previous skin image does not overlap.
  • display range restriction means for narrowing down the actually displayed skin range in a state in which a skin range wider than the skin photographing range of the skin image can be displayed may be provided.
  • the display range at this time may be a range narrower than the imaging range of the skin image.
  • the image data of the entire display range (hereinafter referred to as display image data) is composed of, for example, a portion with and without image data. It will be.
  • the portion where the image data is present displays a range where the image data and the display image data overlap, and the portion where the image data does not exist is the image data whose shooting order is earlier than the displayed image data, and the subsequent image data.
  • Interpolated image data to be interpolated from the image data may be created, and the interpolated image data may be arranged in a portion where there is no image data of the display image data.
  • each display image data consists of an interpolated image data portion and a captured image data portion.
  • the immediately preceding display image data can be used as image data for interpolation as image data before the image data to be displayed.
  • the surface condition measurement analysis information management system and the surface condition measurement analysis information management method of the present invention in order to grasp the change with time of the skin condition, the same range of the skin is photographed as regularly as possible and the skin condition When grasping the change in skin, even if there is a positional shift in the captured skin range in each captured skin image, by grasping the relative position of each skin image, the change over time of the same skin position can be further improved. It becomes possible to grasp clearly.
  • the surface condition (skin condition) measurement analysis information management system and the surface condition (skin condition) measurement analysis information management method provide the skin condition measurement device user who is a member of the surface condition measurement analysis information management system with the skin.
  • a service that can obtain the analysis result of your skin condition from the measurement data of the condition measurement device at a low cost (for example, free or relatively inexpensive membership fee), you can let users recognize your skin condition It is.
  • the number of skin condition measuring devices is increased by making the skin condition known at low cost, and the user is encouraged to frequently measure the skin condition, and analysis is performed based on the measurement data. The result is obtained, and measurement data is frequently collected from many users.
  • the sales of skin care products and skin care devices are promoted by using skin care products and skin care devices including cosmetics, and having the user know that the skin condition has improved.
  • the collected data can be used for the development of various skin care products by cosmetic manufacturers and sales companies (cosmetics companies) for a fee.
  • additional data such as skin care products and skin care devices used by the user, and additional data such as the user's approximate age, residential area, annual income and occupation are added to the measurement data.
  • measurement data can be used more effectively. Thereby, not only the user who purchases a skin condition measuring apparatus etc. but a secondary user of data, such as a cosmetics company using the above-mentioned measurement data, can be made profitable.
  • the surface condition measurement analysis information management system of this embodiment is connected via a smartphone 3 as a user client to which the skin condition measuring apparatus 1 can be connected, and the smartphone 3 and the Internet 4 (network).
  • a possible data management server 5 and a computer system of a partner company such as a cosmetics company as the contractor client 6 are provided.
  • the smartphone 3 includes a built-in digital camera, a flash memory as a storage unit (storage device) that stores image data 22 (shown in FIGS. 9 and 10) captured by the digital camera, other data, applications, and the like, an image For example, and a control unit for executing the OS and applications. As will be described later, the display displays the image data 22 captured and stored as a moving image or a slide show.
  • a storage unit storage device
  • the skin condition measuring apparatus 1 may be a skin camera (skin photographing means) connected to a user client such as a smartphone 3 or a PC by USB connection or wireless connection.
  • the skin camera has an optical system including an imaging lens and an illumination LED (not shown), a sensor unit 11 for detecting an image obtained from the optical system, a control unit 12, and a USB (Universal Serial Bus) interface. 13.
  • the illumination LED can emit, for example, two colors of light, and can be switched between skin-colored light (light that is stronger in yellow than white) and white light. When skin color light is irradiated, the skin state can be clearly photographed, and the skin texture (texture) state can be easily analyzed.
  • the blue light is relatively stronger than the above-described skin color light, and image data 22 in which spots are easily recognized can be obtained.
  • photographing can be performed by switching between a texture mode and a stain mode, and a changeover switch for switching the mode is provided.
  • data indicating the texture mode or the stain mode is output to the smartphone 3.
  • the polarizing plate (first polarizing plate) is not used in the flesh-colored LED for photographing the texture using two polarizing plates whose polarization directions are orthogonal to the white light LED side for photographing the stain. It has become.
  • the illumination light is polarized, and the illumination light reflected by the skin is photographed again through the polarizing plate, thereby reducing the reflected light on the skin surface, It can be set as the state by which the reflected light which reflected the inside of a certain skin surface layer is mainly image
  • the skin color analysis may be performed using, for example, a skin color light LED by performing color correction.
  • data communication between the skin camera as the skin condition measuring apparatus 1 and the smartphone 3 is not limited to USB, but other wired serial or parallel communication, wireless Bluetooth (registered trademark), WiFi, NFC, or the like. (Near Field Communication) or the like may be used.
  • the skin condition measuring device 1 may be, for example, a known transpiration meter that measures the transepidermal moisture transpiration amount, or a melanin meter that measures the amount of skin melanin. Good.
  • an apparatus that measures ultraviolet rays (UV) as an environment measurement sensor may be connectable to the smartphone 3.
  • the UV checker can continuously output UV-A involved in melanin production and UV-B causing inflammation as independent numerical data. It is preferable.
  • the skin condition measuring apparatus 1 is a skin camera for photographing skin
  • a digital camera built in the smartphone 3 may be used.
  • a lens module including a conversion lens for photographing the skin using the digital camera of the smartphone 3, the above-described LED and polarizing plate for illumination, and a control unit that controls lighting of the LED is used.
  • the captured image data 22 is stored in the smartphone 3, it is not necessary for the smartphone 3 and the lens module to perform data communication. For example, by communication with the above-described control unit, It is good also as what controls lighting of LED from the smart phone 3 side.
  • FIG. 8 An example of the smartphone 3 provided with such a conversion lens is shown in FIG.
  • a lens module 80 having a conversion lens 81 composed of two lenses 81a and 81b that are attached to the smartphone 72 and the camera 72 of the smartphone 3 to enlarge and close-up the skin, and an LED 82 for shooting illumination.
  • a conversion lens 81 composed of two lenses 81a and 81b that are attached to the smartphone 72 and the camera 72 of the smartphone 3 to enlarge and close-up the skin
  • an LED 82 for shooting illumination.
  • the smartphone 3 controls the camera 72 that captures the subject, the flash memory 74 that stores image data captured by the camera 72 and other data, the camera 72 and the flash memory 74, and various electronic components of the smartphone 3. Part 73.
  • the lens module 80 includes the conversion lens 81 and the LED 82 described above, an LED drive circuit 84 that drives the LED 82, and a housing 80a that accommodates these.
  • the two lenses 81a and 81b of the conversion lens 81 are supported by the barrel 90a, and before the master lens (not shown) of the camera 72, the optical axis of the master lens of the camera 72 and the two lenses It arrange
  • the casing 80a includes a lens casing 90 on the front side (subject side) of the barrel 90a.
  • the lens housing 90 has a front end surface which is a contact portion 90b that comes into contact with the skin when photographing skin as a subject, and shields external light in a state where the contact portion 90b is in contact with the skin. Further, an opening 80c is formed in the contact portion 90b, and a portion facing the skin opening 80c is photographed.
  • the barrel 90a is fixed to the base end side (the side attached to the camera 72) of the lens casing 90 in the casing 80a in a state where the conversion lens 81 including the lens 81a and the lens 81b is supported. Further, in the housing 80a, a circuit board 83 provided with an LED 82 for irradiating photographing illumination light toward the opening 80c of the contact portion 90b of the lens housing 90 and an LED drive circuit 84 for driving the LED 82. Is supported.
  • the circuit board 83 includes, for example, one LED 82.
  • the plurality of LEDs 82 may be provided so as to illuminate the skin from different positions.
  • the lens module 80 includes a power supply circuit 88 including a battery for supplying power to the LED 82, the LED drive circuit 84, and the like, and a power switch (not shown).
  • the said form is an example of the combination of a smart phone and a conversion lens, the form which took in the function of the said conversion lens in the smart phone by the high functionalization of an optical system is also possible.
  • a lens module including a transparent lens barrel and a conversion lens set in the lens barrel is used. It may be a thing. In this case, since there is no configuration of an LED or the like that requires electric power, it is sufficient if there is at least a lens barrel that touches the skin and a lens provided in the lens barrel.
  • the user client is basically the smartphone 3, but is a device equipped with a general-purpose arithmetic processing device (for example, CPU) that performs processing based on a program such as a notebook computer or a tablet (pad type) personal computer. is there.
  • the user client is preferably a portable device that can be connected to the Internet 4 as a network through a wireless telephone line or other wireless communication line.
  • the smartphone 3 as a user client can use, for example, a portable wireless telephone line as wireless communication, and can use a wireless LAN (WiFi), and the Internet 4 as a network using these wireless communications. Can be connected to the wireless mobile terminal (wireless mobile client).
  • WiFi wireless LAN
  • WiFi wireless LAN
  • the smartphone 3 can execute, for example, a downloaded and installed application (hereinafter abbreviated as a dedicated application 5j (illustrated in FIG. 3)).
  • a dedicated application 5j illustrated in FIG. 3
  • the skin condition measurement is performed as the dedicated application 5j.
  • the functions of the dedicated application 5j executed on the smartphone 3 have four functions as shown in FIG. That is, there are four functions of diagnostic beauty treatment, care beauty treatment, living beauty treatment, and makeup beauty treatment.
  • the diagnostic esthetic can perform various measurements using various measuring devices (sensors) connected to the smartphone 3 via the USB interface 13. Each measuring device can be used by connecting to the USB terminal of the smartphone 3 to which the dedicated application 5j is input. In addition, by changing each type of measuring device, it is possible to measure with different sensors, and mainly measure the skin condition. These various measuring devices are the above-described skin condition measuring device 1.
  • the measurement results of various measuring devices can be transmitted to the data management server 5 and stored, and the skin condition can be analyzed from the measurement results.
  • various skin care devices can be connected to the smartphone 3 for use.
  • Living esthetics are mainly intended for the skin of diagnostic esthetics, but are intended for everyday life. Devices that check the amount of ultraviolet rays and bad breath are connected to the USB terminal of the smartphone 3. It can be connected. Makeup beauty salon mainly provides information on makeup and the like.
  • FIG. 7 shows display screens 3a, 3b, and 3c as display means of the smartphone 3.
  • the display screen 3a shows a main menu
  • the display screen 3b is selected from the main menu.
  • the diagnostic esthetic menu is shown
  • the display screen 3c shows the skin diagnostic menu selected from the diagnostic esthetic menu.
  • the BMI in the skin diagnosis menu is an abbreviation of Body / Mass / Index, which is calculated by weight (kg) ⁇ height (m) ⁇ height (m) and indicates the degree of obesity.
  • whitening is determined from the skin image, and skin elasticity, skin moisture, and skin oil content are measured by the skin condition measuring device 1 provided with each sensor for measurement.
  • the dedicated application 5j for skin condition measurement executed by the control unit 32 (arithmetic processing device) of the smartphone 3 is imaged using the digital camera 31 and the lens module of the smartphone 3 as the skin condition measuring device 1 as described above.
  • the image data 22 (skin image data) is stored in the flash memory and is output to the data management server 5 on the Internet 4. Further, it has a function as analysis result display means for receiving analysis result data, for example, obtained as a result of analyzing measurement data transmitted from the data management server 5 and displaying it on the display of the smartphone 3.
  • the dedicated application 5j described above is a member registration or an input of user data (personal information) for becoming a member (user) using the surface state measurement analysis information management system managed by the operator of the data management server 5.
  • a response to a questionnaire which is input of incidental data that does not include predetermined personal information that can identify an individual among user data, is performed.
  • the dedicated application 5j can request that the user data, measurement data, and analysis result data for the measurement data stored in the data management server 5 can be browsed as will be described later.
  • the dedicated application 5j has a function of displaying the requested data on the display when the requested data is received from the data management server 5.
  • the data management server 5 basically includes a user data database 51 for storing the above-described user data and a measurement data database 52 for storing measurement data obtained by the skin condition measuring apparatus 1. And a data analysis database 53 and a contractor database 54 for obtaining analysis results from the measurement data.
  • the data management server 5 includes a control unit 5k having a CPU or the like for functioning as a server, as shown in FIGS.
  • this control unit 5k various processes are performed, and as will be described later, overlap detection is performed by comparing the captured image data 22 and recognizing whether there is an overlapping portion on the skin.
  • the user data database 51 is divided into a plurality of parts.
  • a customer (user) personal information management database 5a As the user data database 51, a customer (user) personal information management database 5a, a used cosmetics history database 5d, and a care chart database 5o are provided. Prepare.
  • the data management server 5 includes a skin history database (skin image storage means) 5b, a photographing point database 5c, and a detailed diagnosis result database 5e as the measurement data database 52.
  • the data management server 5 includes a skin reference value database 5g as the data analysis database 53. Further, the data management server 5 includes a data secondary user access right management database 5 h as the contractor database 54. This data secondary user access right management database 5h is set with the customer ID, user user ID, and user password of the user (contractor, for example, a company that develops skin care days such as a cosmetics company). This makes it possible to authenticate the secondary data user.
  • the billing information is billing data when the data secondary user searches for data or acquires accessible data, and the user is charged for the data usage fee based on the billing information. .
  • the usage fee varies depending on the search level and the accelerator level. The more the searchable keywords (search items) are, the higher the usage fee is. The higher the accelerator level is, the higher the usage fee is.
  • searchable items are limited depending on the search level, and the accessible data are limited depending on the access level. The higher the level, the smaller the limit.
  • the data management server 5 uses the same product serial number so that a plurality of smartphones 3 can be used by reusing one skin condition measuring device 1.
  • the product serial No. Is a character string that can be identified by a predetermined algorithm. Serial No. as this character string
  • the skin condition measuring apparatus 1 is a unique character string.
  • the product serial number of each of the skin condition measuring devices 1 described above is used. Are associated with customer IDs.
  • the serial number authenticated in association with the customer ID corresponding to the smartphone 3 to which each device is connected is registered. Is done.
  • one skin condition measuring apparatus 1 can be used by sharing up to three persons, that is, up to three smartphones 3.
  • the data management server 5 includes a calibration database 5m for calibrating the skin camera (image data 22) and a registered cosmetic database in which various cosmetics on the market are registered. 5p.
  • the brightness rank and the calibration rank of the three colors are obtained from the image data 22 of the test chart as the imaging under a predetermined condition by the skin camera. Registered in association.
  • the registered cosmetics database 5p is registered with data on commercially available cosmetics, and stores cosmetic category, manufacturer name, brand name (product name), capacity, product code (JAN code), etc., which will be described later. , Price, ingredients, recommended usage (ml / time) and other product data published by the manufacturer.
  • the customer personal information management database 5a includes, as data input by the user using the smartphone 3, a customer ID, a personal user ID, a personal password, Name, date of birth, age, gender, address 1 (country), address 2 (prefecture), address 3 (city (district)), address 4 (address (condominium name room number)), email address, billing information ( Credit card information etc.) is stored.
  • the customer ID is an ID given on the data management server 5 side corresponding to the personal user ID, and the personal user ID is set on condition that the user does not overlap with the personal user ID of another user. ID.
  • the personal password is used for user authentication together with the personal user ID.
  • customer ID and personal user ID are used as IDs corresponding to each user on a one-to-one basis, these may be shared by one ID, or as user IDs, Only the customer ID may be used, or the personal user ID may be used as the user ID.
  • each database when data related to a user is stored in each database, all are managed by the customer ID, and each database storing data related to each user is stored as a customer. By searching by ID, all data related to each user can be searched and acquired. Therefore, in the customer personal information management database 5a, data of each user is registered in association with each customer ID. Note that the customer ID may be replaced with the personal user ID as described above.
  • the product serial number input from the skin condition measuring device 1 connected to the smartphone 3 is further displayed. Is to be memorized.
  • the product serial No. Is stored after being authenticated by the data management server 5. Is registered in the customer personal information management database 5a. Do not authenticate.
  • the history data of skin care products is registered for each cosmetic category (type) in association with the customer ID in the used cosmetics history database 5d.
  • the history data is for registering cosmetics purchased by the user, and the product code of cosmetics (cosmetics to be used) purchased by the user via the smartphone 3 is registered.
  • This product code is cosmetic product identification information that can identify cosmetic products.
  • a JAN Japanese Article Number
  • Table 5d1 shows, for example, the case where the cosmetic category is face wash, and 1 is registered as the code number of the product category of the face wash, and the use start date and use end date are associated with the product code and stored. The Note that the end date of use is not registered when in use (when end of use is not entered).
  • the product name (+ maker name, etc.) of the cosmetic corresponding to each cosmetic category is a pull-down menu. It is good also as what selects the cosmetics which are displayed by list etc. and use starts from among them.
  • the product code associated with the cosmetic name in the registered cosmetic database 5p is registered in the used cosmetic history database 5d, and the input date is registered as the use start date.
  • the user may be instructed to input from the dedicated application 5j of the smartphone 3 when there is a finished cosmetic product.
  • a list of data such as product names of cosmetics that have been used in a pull-down menu
  • the user may select a product name of cosmetics that have been used.
  • the product code of the selected cosmetic is input and the input date is registered as the use end date.
  • a barcode may be input, or cosmetic data extracted by searching the registered cosmetic database 5p by keyword search may be input.
  • the end date of use when a new cosmetic product of the same category is registered in the used cosmetic history database 5d, the user is inquired whether or not the registered use of the same category of cosmetic product has been completed. You may make it register the use end date of the said cosmetics.
  • the cosmetic volume (ml) and the recommended usage (ml / time) are registered for each cosmetic in the registered cosmetic database 5p, and the data management server 5 or the smartphone 3 uses the cosmetic on the first day from the use start date.
  • the number of use times multiplied by the recommended amount is added (accumulated) every day, and compared with the cosmetic capacity, if the value added daily exceeds the capacity, or the capacity of 90% of the capacity, etc.
  • the dedicated application 5j notifies the user whether the cosmetics used by the user are exhausted or the remaining amount is low, and asks the user whether or not the use is finished.
  • the end date of use may be registered based on the answer.
  • a message prompting the user to purchase the remaining cosmetic product may be displayed, or the URL of the product page of the cosmetics mail-order shopping site may be displayed in a linked state.
  • the URL of the cosmetics web page of the cosmetic manufacturer or sales company may be displayed in a state where the page is linked.
  • the cosmetic categories are, for example, face wash, makeup remover, lotion, milky lotion, cream, cosmetic liquid, whitening liquid, and the like. Category numbers are associated.
  • the cosmetic category is an example, and different categories may be divided.
  • the care chart database 5o is for registering, for example, cosmetics that a user arbitrarily uses every day in the morning and at night in association with the customer's customer ID.
  • the use start date and use end date of cosmetics are registered.
  • cosmetics used in the morning and night can be registered every day.
  • the data of the used cosmetics is input and transmitted to the data management server 5.
  • the care chart database 5o for example, the above-mentioned product code is registered as customer ID, date or time zone in the morning or night, and used cosmetic data.
  • the care chart database 5o the date and time zone of morning or night and the product code of the used cosmetics are registered.
  • the cosmetics registered in the used cosmetics history database 5d are displayed on the smartphone screen, and the actually used cosmetics can be selected and input from the displayed cosmetics.
  • the skin history database 5b of the measurement data database 52 shown in FIG. In association with, measurement data (input skin image, input transpiration meter data, input melanin meter data) input from each skin condition measuring device 1 is registered. Further, in association with the measurement data, data of each simple diagnosis (analysis) result is registered as the analysis result storage means. For example, when measurement data is input from a plurality of types of skin condition measurement devices 1 within a predetermined time range such as within 30 minutes, a comprehensive simple diagnosis is performed, and data of the result of the comprehensive simple diagnosis is obtained. Is registered.
  • the data of the result of the detailed diagnosis is registered in the detailed diagnosis result database 5e in association with the customer ID and the measurement date and time.
  • the storage address of the write data in the detailed diagnosis result database 5e is registered.
  • the measurement data accumulated in advance and the rank of the skin state as the diagnosis result data are registered in advance in the skin reference value database 5g, and the measurement result is stored in the skin reference value database 5g.
  • the approximate measurement data is selected from the measurement data in the skin reference value database 5g, and the rank associated with the measurement data is output as a simple diagnosis result.
  • This process is performed by the simple diagnosis program 5f of the data management server 5 as the skin condition analyzing means.
  • the image data 22 as the measurement data is binarized and the pattern of the binarized image data 22 recognized by well-known image recognition is used. Based on the analysis of skin condition.
  • a texture diagnosis image photographed with skin light LED illumination and a spot diagnosis image photographed with white light LED illumination are used.
  • the skin image is used, for example, in determination of skin color (color difference due to sunburn, dullness, etc.).
  • the skin color is determined not by simple diagnosis but by detailed diagnosis.
  • Image quality data is registered for each of the three types of skin images, and each smartphone 3 can cope with image quality differences between different cameras. It is also possible to omit the calibration database 5m in which the image quality calibration data is registered by registering the color correction data at the time of each photographing in the image quality data.
  • the image quality data is for correcting a difference in image quality due to a difference in model of each smartphone 3 when the built-in digital camera of the smartphone 3 is used.
  • the image quality data is, for example, resolution.
  • the resolution may be, for example, the effective number of pixels of the image sensor or the number of pixels of the captured image data 22.
  • each image is converted into image quality data of a predetermined diagnosis / analysis item to perform diagnosis / analysis. For example, if the skin image has a low resolution with respect to the image quality data that is the subject of skin diagnosis, high resolution is performed by interpolation or super-resolution technology and diagnostic analysis is performed. Reduce the resolution and perform diagnostic analysis.
  • the image quality is determined in advance for each of the texture diagnosis image, the spot diagnosis image, and the skin image, and when the image is transmitted from the user, the dedicated application 5j of the smartphone 3 or the data management You may make it convert into the image quality defined by the program of the server 5, and may register in the skin log
  • image quality data is not essential as an item of the skin history database 5b.
  • position information measured by the GPS built in the smartphone 3 at the data input date and time is registered as GPS data.
  • weather information metaleorological data
  • the data input date and time is the date and time when each measurement of skin was performed, but may be the date and time when the simple diagnosis result was stored. The data of each item is automatically input by measuring the skin.
  • the measurement condition flag is, for example, predetermined when GPS data is far from a normal measurement point, for example, the measurement was continuously performed in the same prefecture or the same city in a plurality of measurements up to the previous time.
  • a flag (measurement condition flag) is set for the measurement data or simple diagnosis result measured at the measurement point.
  • a flag is added to the measurement data or simple diagnosis result. It may be set.
  • Measurement data and simple diagnosis results with this flag set are excluded when performing statistical processing such as obtaining the average of each data.
  • data with a flag set is included in the population when performing statistical processing. It is not included. In other words, if you are far away from where you are, or if the weather conditions are significantly different, the environmental conditions may be significantly different. In order to prevent an abnormal value from affecting the result, data with a flag set is excluded from the statistical processing population.
  • the score (rank) and the deviation value as simple diagnosis results of texture, stain, and wrinkle obtained as described above are registered.
  • skin types are selected based on the results of diagnosis of these textures, stains and wrinkles, the color of skin images (redness due to dryness or rough skin), the presence or absence of eczema due to atopy, and the texture disorder due to dryness ing. The skin type is also determined by detailed diagnosis.
  • the detailed diagnosis is performed on the measurement data by, for example, a cosmetic company server (cosmetic company A server 61, cosmetic company B server 61) as a partner company, and the cosmetic company server becomes a skin condition analysis means.
  • a cosmetic company server cosmetic company A server 61, cosmetic company B server 61
  • the cosmetic company server becomes a skin condition analysis means.
  • the measurement data that approximates the measurement data obtained by the skin condition measurement device 1 is selected,
  • the analysis result data associated with the measurement data is output.
  • the detailed diagnosis for example, the number of registered measurement data and analysis result data are larger than those in the simple diagnosis, and the detailed diagnosis is more detailedly classified in the database for detailed diagnosis. The result can be obtained.
  • the measurement data registered in the database may be selected by using an algorithm unique to each cosmetic company for detailed diagnosis, and the corresponding analysis result may be obtained.
  • the image data 22 is binarized with a predetermined threshold as a boundary, and the skin state is analyzed based on a white / black area ratio, a white / black pattern, or the like.
  • the cosmetic company server includes a recommended cosmetic determination unit 63 that determines cosmetics recommended to the user based on the above detailed diagnosis result, and a skin care method and a care product effective for skin care based on the detailed diagnosis result.
  • An advice determination unit 64 that determines the content of advice for advising the user is provided.
  • the detailed diagnosis result database 5e registers the result of the above detailed diagnosis in association with the customer ID, and includes the diagnosis date and time (the measurement date and time of the measurement data requested for the detailed diagnosis) that is the date on which the detailed diagnosis is performed. Data) is registered. Also, advice data selected corresponding to the result of the detailed diagnosis and data of recommended cosmetics (skin care products) are registered.
  • the skin condition is temporally taken to obtain the skin image, thereby changing the skin condition over time. It becomes possible to know. As a method for displaying changes over time, it is effective to output captured images as moving images or slide shows.
  • the above-mentioned lens module is attached to the skin camera or the digital camera of the smartphone 3 and the skin is photographed almost regularly, it is necessary to photograph the same range for each photographing. It is difficult.
  • the skin camera When a skin camera is connected to the smartphone 3 via the USB interface 13 or the like, the skin camera can be moved with respect to the smartphone 3 using a USB cable. Although the position can be determined, it is difficult to periodically photograph the same position each time unless there is a clear target feature as described above. As described above, the method of directly attaching the skin lens to the smartphone 3 makes it difficult to capture the same part.
  • the shooting position on the skin is greatly shifted from one shot to another, it will be difficult to understand whether the change in the skin condition is due to the passage of time or the change in position.
  • the relative position of the shot image data 22 is calculated, thereby calculating the position on the image.
  • the image data 22 is displayed as a slide show (movie) in the order of shooting
  • the same skin position is displayed at each location on the screen of each slide (frame). That is, in each slide, the same pore 20 (shown in FIGS. 9 and 10) 20 is displayed at the same position in any slide.
  • the shooting point when shooting a subject periodically, first, when the subject is the skin of the face, the shooting point indicating the center of the shooting range on the skin on the entire face image
  • the shooting point (the circle surrounding the numerical value as the number of shots in the drawing) is set to the entire face. It can be confirmed on the image.
  • the face image may be a real image obtained by photographing an actual user's face, or may be a picture illustrated based on the real image.
  • a plurality of types of face pictures may be stored in advance so that a picture to be used can be selected from a plurality of types of face pictures.
  • the position of each shooting point can be shown in the XY coordinate system or polar coordinate system, with the point at the center of the line segment connecting the two corners of the face image as the origin position of the whole face coordinate system.
  • a polar coordinate system is used, and a line segment connecting the corners of the eyes is used as a reference for the coordinate angle (deflection angle).
  • This whole face coordinate system is for displaying a shooting point on a face image.
  • a polar coordinate system with the center position on the image data 22 as the origin is set, and the position of the pore 20 reflected in the image data 22 is calculated.
  • the origin may be the lower end of the left end of the image.
  • the pores for comparison with the arrangement pattern of the pores 20 of the image data 22 to be photographed by specifying the same photographing point as the coordinate position of each of the above-mentioned pores 20 of the image data 22 photographed first after setting the photographing point.
  • the coordinates of each pore 20 in the polar coordinate system having the center on the image data 22 as the origin are calculated, and a pore coordinate table in which these coordinates are registered is created.
  • the pore data and the pore coordinate table are coordinates of the pores 20 with the center of the respective image data 22 as the origin, but the pore coordinate table is the coordinate of the pore 20 of one image data 22.
  • the coordinates of the pore 20 of the image data 22 whose center position is determined are additionally registered sequentially.
  • the first image data 22 (image centered at 21a) and the next image data 22 (image centered at 21b) captured are: Even if there is a shift indicated by the arrow 24, there is a high possibility that some areas overlap. As a result, a substantially matching portion is generated in the arrangement pattern of the pores 20 of the two image data 22 to be compared. A portion where the arrangement pattern of the pores 20 coincides is a portion where the two image data 22 overlap.
  • the first captured image data 22 is set as a reference image, and a shooting point coordinate system having the origin at the center of the reference image is set. A case where there is no portion in which the arrangement pattern of the pores 20 matches between the image data 22 captured first and the image data 22 captured next will be described later.
  • the coordinates of the pores 20 of the image data 22 that overlap the image data 22 that has become the reference image are converted into the coordinates of the above-described photographing point coordinate system, and the pores that do not overlap with the coordinates of the pores 20 registered in the pore data. Twenty coordinates are added to the pore data. Further, the coordinates of the center position 21b of the image data 22 in the photographing point coordinate system (position coordinates of the image center) are obtained, and the position of the image data 22 is determined. After that, every time the captured image data 22 is input, the pore coordinate table is obtained, compared with the pore data, and if there is a portion where the arrangement pattern of the pores 20 matches, the pore coordinate table is updated as described above. The coordinates of the pore 20 converted into the pore data are additionally registered, and the coordinates of the center position of the image data 22 in the photographing point coordinate system are determined.
  • the external shape of the image in the image data 22 is a circle here, it may be a rectangle.
  • the coordinates of the pores 20 are additionally registered in the pore data.
  • the coordinates of the pores 20 of the image data 22 are coordinate-transformed as described above and additionally registered in the pore data, and the image center of the image data 22 is also registered. Determine the position coordinates.
  • the relative position of the image data 22 taken at the same shooting point and having a portion in which the pore data and the arrangement pattern of the pores 20 coincide with each other is determined. That is, as shown in FIG. 10, if each image data 22 has a portion where the arrangement of the pores 20 in the pore data matches the arrangement of the pores 20, the position in the imaging point coordinate system is determined.
  • the shooting date and time of each image data 22 and the position coordinates of the image center as the relative position of each image data 22 can be known, and when analyzing the skin condition, the skin conditions at clearly different positions are substantially the same position. It is possible to prevent the misunderstanding of the skin condition and determine the skin condition with higher accuracy.
  • each image data The image center 22 can be displayed at the corresponding coordinates in the photographing point coordinate system.
  • the same pore 20 is displayed at substantially the same position even in different image data 22.
  • each slide has a missing part of the image, but the image displayed once is displayed until it is overwritten, so that the previous image data 22 is displayed in the missing part of the image, so that it is easy to see.
  • the screen is displayed.
  • the camera is fixed on a tripod or the like, and after the time-lapse photography is performed, the image is reproduced as if it was quickly rotated.
  • it is good also as what interpolates the missing part of the image of each slide based on the image data 22 before and behind.
  • the maximum number of photographing points that can be registered for each user (maximum number of registered photographing points) is registered in the customer personal information management database 5a when joining.
  • the shooting points that can be registered by the user can be changed depending on the type of member, for example, free members and paid members. For example, a free member can set only one shooting point.
  • the paying member may be able to set three shooting points. Different charges may be generated depending on the number of shooting points.
  • the number of shooting points can be arbitrarily set, and the number of shooting points available to the user may be determined according to various conditions.
  • the image data 22 photographed by determining the photographing point is registered in the input skin image item (Table 5b1) of the skin history database 5b.
  • the image data 22 includes a texture diagnosis image, a stain diagnosis image, and a skin image.
  • any of these types of image data 22 may be used.
  • a skin image is used.
  • the position of one type of image data 22 is determined.
  • the position coordinates of the image center of other types of image data 22 are also determined.
  • the coordinates of the photographing points in the above-mentioned whole face coordinate system are registered corresponding to each image as photographing points (center coordinates) in the input skin image item of the skin history database 5b as shown in Table 5b1 of FIG. It is possible to search for which shooting point each image data 22 has shot. Further, the center position of each image data 22 photographed with each photographing point as a target is obtained from the relevance with other image data 22 (skin image data) of the same photographing point. The center position of 22 is registered in the item of the input skin image (table 5b1) of the skin history database 5b as “position coordinates of the center of the image”. Thereby, the relative position of the image data 22 sequentially photographed at the same photographing point can be known.
  • the coordinate system of “image center position coordinate” is not the whole face coordinate system, but the above-described shooting point coordinate system with the center of the reference image as the origin when the reference image is determined for the shooting point. . If polar coordinates are used, the horizontal of the reference image can be used as an angle reference. Further, when the position of each image data 22 is determined, the position is not always determined in the shooting order. Therefore, the position determination flag is turned on with respect to the image data 22 in which the position coordinates of the image center are determined, and the position determination flag remains off in the image data 22 in which the position coordinates of the image center are not yet determined. It has become. This position determination flag is registered in the item (table 5b1) of the input skin image in the skin history database 5b.
  • the angle of the image data 22 is determined based on a region where the pore data and the arrangement pattern of the pores 20 match.
  • the number of registered shooting points (number of registered shooting points) is stored in the shooting point database 5c in association with the customer ID.
  • the number of shooting points registered is not the above-mentioned maximum value but the number of shooting points already registered by the user within the range of the maximum value, and is any value from 0 to the maximum value.
  • the center coordinates of the shooting point are registered as the coordinates of the entire face coordinate system in association with each registered shooting point in association with the customer ID. Further, in the shooting point database 5c, the number of image data registered (captured) in association with the center coordinates of the shooting point (entire face coordinate system), the date when the shooting point was registered, and the reference image data No. And the above-mentioned pore data is registered.
  • Reference image data No. Is the data No. registered in the skin history database 5b and attached to each image data 22 as each measurement data at the time of measurement of each measurement data. Data No. 2 of the image data 22 that is the reference image. It is.
  • the pore data is a table of coordinates similar to the pore coordinate table, and the coordinates indicating the position of each pore 20 of each image data 22 in the imaging point coordinate system of the imaging point are as shown in Table 5b4 of FIG. It is registered by the radial radius (rn) and declination ( ⁇ n) of polar coordinates. As described above, the coordinates of the pores 20 whose arrangement patterns match between the image data 22 are registered as the same pore 20.
  • the registered shooting point addition / change process is a process performed by the smartphone 3, but the center coordinates of the added or changed shooting point based on the registered shooting point addition / change process in the smartphone 3 are the data management server 5
  • the data management server 5 newly registers the center coordinates of the added or changed shooting point in the shooting point database 5c.
  • the added shooting point is registered in place of the deleted shooting point by adding the shooting point and deleting the shooting point together.
  • the diagnostic esthetic is selected as an option for performing measurement by the skin condition measuring device 1 as an option. It becomes possible.
  • a diagnostic beauty treatment menu is selected and a diagnostic beauty treatment menu shown on the display screen 3b is displayed.
  • skin diagnosis using the skin condition measuring device 1 can be selected.
  • a skin diagnosis menu shown on the display screen 3c is displayed.
  • the shooting type menu shown in the display screen 3d of FIG. 8 is displayed, and the shooting type can be selected.
  • continuous skin shooting There are two types of shooting here, and continuous skin shooting and pinpoint shooting can be selected.
  • continuous skin shooting a shooting point is set on the skin and the set shooting point is periodically shot.
  • pinpoint imaging continuous imaging is not performed, and a simple diagnosis is performed on the captured skin image.
  • the simple diagnosis is also performed for continuous skin imaging.
  • pinpoint photography a part of the skin that is worrisome is taken as a trial and a simple diagnosis is received. It can also be used when a user's acquaintance receives a simple skin diagnosis as a trial.
  • Step S1 it is determined whether or not the continuous skin shooting is selected in the shooting type menu. If the continuous skin shooting is not selected and the pinpoint shooting is selected, the skin is then photographed by the skin camera, and the photographed image data 22 is transmitted to the data management server 5 to obtain the image data 22 Will receive a simple diagnosis.
  • the data of the shooting point database 5c is downloaded from the data management server 5, and when there are shooting points already registered in the shooting point database 5c, the shooting point database 5c is registered. Based on the center coordinates of the shooting point, the number of images shot at the shooting point, and the registration date of the shooting point, as shown in the display screen 3e in FIG. The registered date and the number of shots at the shooting point are displayed, and an add / change button for the registered shooting point is displayed. That is, the display screen 3e is created and displayed (step S2). If no shooting point is registered, a face image without a shooting point is displayed, but the process may proceed to step S5.
  • a polar coordinate system (entire face coordinate system) having the origin at the center point of the line segment connecting the two corners of the eyes is set.
  • the polar coordinates of the whole face coordinate system are stored as points.
  • step S3 It is determined whether or not one of the displayed shooting points is touched (step S3).
  • step S4 it is determined whether or not the registered shooting point addition / change button is touched (step S4). If the displayed shooting point is touched, this process is terminated and the display screen 3g of FIG. 8 is displayed. On the display screen 3g, only the touched shooting point is displayed on the face image, the user is prompted to take a picture of this shooting point, and the process proceeds to the shooting process. If the registered shooting point addition / change button is touched, the display screen 3f of FIG. 8 is displayed (step S5).
  • a display that prompts the user to input a new shooting point is displayed on the basically same image as the display screen 3e.
  • the user As an input of a new shooting point, it is determined whether or not the user has touched the face image on the display screen 3e (step S6). If touched, the position of the coordinate system on the above-described face image (entire face coordinate system) at the touched position is obtained (step S7). Further, it is determined whether or not the current number of registered shooting points is set to an upper limit value, for example, 3 (step S8).
  • step S9 the rewritten shooting point database 5c is transmitted to the data management server 5, and the display screen 3e based on the rewritten shooting point database 5c is created and displayed (step S10), and the process returns to step S3.
  • the data management server 5 updates the photographic point database 5c to be replaced with the received photographic point database 5c.
  • step S11 If the current number of registered shooting points is the set upper limit, the number of shooting points cannot be increased anew, so the user is prompted to enter the shooting point to delete or cancel shooting point input.
  • a screen is displayed (step S11). The user gives an instruction by touching a cancel button displayed on the same display screen as the display screen 3f or touching a shooting point to be deleted.
  • the smartphone 3 determines whether or not the shooting point to be deleted has been touched (step S12). If the shooting point is not touched, it is determined whether or not the cancel button has been touched (step S13). If the cancel button is touched, the original display screen 3e on which no new shooting point is displayed is displayed, and the process returns to step S3.
  • Step S14 the shooting point touched from the shooting point database 5c downloaded from the data management server 5 based on the coordinates of the touched shooting point or, for example, the shooting point numbers 1 to 3 is used.
  • Step S14 the process proceeds to step S9, and the previously touched point is registered as a new shooting point in the shooting point database 5c as described above and transmitted to the data management server 5. .
  • step S3 when a photographing point to be photographed this time is finally touched, the process ends as described above and the process proceeds to a photographing process.
  • the photographed image data 22 is transmitted from the smartphone 3 to the data management server 5. .
  • each image data 22 (texture diagnosis image, spot diagnosis image, skin image) taken from the smartphone 3 to the data management server 5 is recorded together with a customer ID, data input date / time (photographing date / time), GPS data (measurement). Point), image quality data of each image data 22 (for example, resolution of the captured camera), coordinates of the shooting point, and position determination flag (OFF).
  • the data management server 5 that has received these data registers these data in the skin history database 5b in association with the customer ID. At this time, the position coordinates of the center of the image are not determined and are not registered. The position determination flag remains off. Moreover, a simple diagnosis process is performed based on each image data 22, a simple diagnosis result is transmitted to the smart phone 3, and is displayed on the display of the smart phone 3. The simple diagnosis result is registered in the skin image simple diagnosis result of the skin history database 5b.
  • a simple diagnosis result is displayed and a series of processing is completed.
  • the simple diagnosis result is displayed, and other items of the dedicated application 5j are displayed. Or the dedicated application 5j is terminated.
  • the position of the pore 20 is recognized by image recognition using the image data 22 of the skin (texture, stain, color) received from the smartphone 3 and registered in the input skin image item (Table 5b1) of the skin history database 5b.
  • the coordinates of each pore 20 in a polar coordinate system having the center of the image of the image data 22 as the origin are obtained, and a pore coordinate table in which the coordinates of these pores 20 are registered is created (step S21).
  • the captured image data 22 is transmitted from the smartphone 3 to the data management server 5, and the data management server 5 performs simple diagnosis using the received image data 22. Thereafter, the position of the pore 20 on the image data 22 is detected. Detection of the position of the pore 20 is performed by detecting hair on the skin that is easier to recognize than the pore 20 (hair production). The recognized end of the hair is thin on the distal end side and thick on the proximal end side which is the pore 20 side.
  • the recognized end of the thick hair side is recognized as a pore 20.
  • the base end portion of the hair 20 with the hair grown is recognized, and this is used as the pore 20. .
  • the open pores 20 are easier to recognize than the closed pores 20 even if no hair is growing, and the open pores 20 are recognized (only the recognizable pores 20 are recognized), and the pores with the hairs grown are recognized.
  • the position on the coordinates may be determined.
  • the arrangement of the pores 20 on the skin is substantially regular, and when all the pores 20 are recognized and their positions are memorized, there is a possibility that they will be difficult to become feature points on the image.
  • step S22 it is determined whether or not it is the first shooting at the selected shooting point. That is, it is determined whether or not the number of images of the selected shooting point in the shooting point database 5c is one.
  • the pore coordinate table is registered in the pore data of the corresponding photographing point in the photographing point database 5c (step S23). At this time, the position determination flag remains off.
  • the pore data is a coordinate table of the pores 20 used for specifying the position of each image data 22.
  • the coordinates of each pore 20 in the pore data are coordinates in the photographing point coordinate system with the center position of the reference image described above as the origin. However, here, the reference image is not determined, and there is no image data 22 whose position is determined, and the pore 20 of the coordinate system having the center of the image data 22 of the first shooting as the origin is assumed.
  • the pore coordinate table in which the coordinates are registered as pore data is registered in the corresponding photographing point in the photographing point database 5c. In the case of the first photographing, the process ends because there is no pore coordinate table to be compared with the pore data.
  • step S22 If it is determined in step S22 that the selected shooting point is not the first shooting, that is, if the number of images of the selected shooting point in the shooting point database 5c is two or more, the generated pore coordinate table It is determined whether or not there is a portion that matches the arrangement pattern of the pores 20 and the arrangement pattern of the pores 20 in the pore data (step S24). At this time, it is determined by a predetermined image recognition algorithm whether or not there is a portion in which the arrangement pattern of the pores 20 substantially matches in the two image data 22.
  • the arrangement pattern of the pores 20 is similar between the pore data and the pore coordinate table, and these two image data 22 include a portion obtained by photographing the same range on the skin (skin images It is determined that there is an overlapping part (same part).
  • This determination also takes into account changes in pore coordinates due to swelling of the skin surface based on the difference in the pressure applied to the skin of the skin camera, changes in the pores 20 that can be recognized due to differences in the imaging environment, etc. To determine the presence of the same arrangement pattern.
  • step S25 it is determined whether or not there is a region where the arrangement pattern of the pores 20 matches the compared pore data and the pore coordinate table (step S25). If there is no region where the arrangement pattern of the pores 20 matches in the pore data and the pore coordinate table, it is determined whether or not the reference image has already been determined (step S26). At this time, the determination is made by referring to the item of the reference image of the shooting point in the shooting point database 5c. In the image data 22 corresponding to the shooting point, is there image data 22 for which the position determination flag is on? It may be determined whether or not. If the reference image has not been determined, the process proceeds to step S23, and the created pore coordinate table is registered in the photographing point database 5c as pore data. At this time, the previous pore data is deleted and the pore data is updated and stored.
  • the image data 22 is received until a region where the pore pattern matches between the pore data which is the pore coordinate data of the image data 22 photographed first and the pore coordinate data of the image data 22 photographed next is found.
  • the created pore coordinate table is updated and stored as pore data.
  • the corresponding position determination flag remains off and the process is terminated.
  • step S26 If it is determined in step S26 that the reference image has already been determined, the position determination flag of the item of the input skin image in the skin history database 5b corresponding to the image data 22 is kept off (step S27), and step The process jumps to S33 and shifts to an undefined image position determination process.
  • step S28 it is determined whether or not a reference image has already been determined. This determination method is as described above. If the reference image data 22 has not been determined, N-1 in which the pore data is received and received before the Nth image data at the photographing point at which the pore coordinate data has been generated this time. The data No. 22 corresponding to the (N ⁇ 1) -th image at the photographing point is the reference image data 22 as the reference image. Are registered in the item of the reference image of the shooting point in the corresponding shooting point database 5c. (Step S29).
  • the position determination flag of the (N-1) th image data 22 photographed immediately before is turned on, and the origin of the photographing point coordinate system as the coordinate system of the coordinates of the pore 20 used in the pore data is set.
  • the center of the image data 22 determined as the reference image is determined.
  • the pore data stored at this time is the same data as the coordinates of the coordinate system in the pore coordinate table having the origin of the center of the (N-1) th image data 22, and the pore data remains as it is.
  • step S28 If it is determined in step S28 that the reference image has been determined, or if the process of step S29 is performed, this is the current captured image having a region where the pore data and the arrangement pattern of the pores 20 match.
  • the coordinates of the image center of the second image data 22 are converted to the coordinates of the shooting point coordinate system.
  • the coordinates of the image center of the Nth image data 22 in the photographing point coordinate system are registered in the input skin image (table 5b1) of the skin history database 5b. Further, the position determination flag of the input skin image (table 5b1) in the skin history database 5b is turned on (step S30). As a result, the position of the image center of the N-th image data 22 of the texture, the stain, and the skin in the photographing point coordinate system is determined.
  • step S31 the coordinates of each pore 20 of the Nth image data 22 for which the image center has been determined as described above are converted into a coordinate system of the shooting point coordinate diameter (the center of the reference image is the origin) (step S31). . That is, coordinate conversion is performed so that the image center of the image data 22 that is the origin of the coordinate system of the generated pore coordinate table is the coordinate of the image center of the imaging point coordinate system. As a result, the coordinates of each pore 20 on the image data 22 become the coordinates of the same photographing point coordinate system as the coordinates of the pore 20 in the pore data.
  • step S32 the coordinates of the pores 20 of the Nth image data 22 converted to the coordinates of the photographing point coordinate system as described above are additionally registered in the pore data.
  • the coordinates of the pores 20 whose arrangement pattern matches the pores 20 of the pore data are already registered in the pore data. Add coordinates to pore data.
  • an undefined image position determination process (process after step S33) is performed. All the image data 22 in which the position determination flag of the input skin image (table 5b1) in the skin history database 5b is off are selected (step S33). Next, the following processing is performed on each image data for which the selected position determination flag is off. This process is performed as a loop process for each image data for which the position determination flag is off, and the same process is performed for each image data for which the position determination flag is off.
  • a pore coordinate table corresponding to the i-th image data 22 of the selected image data 22 is created and compared with the pore data of the photographing point recorded in the photographing point database 5c (step S35).
  • the coordinate of the pore 20 in the pore data is increased by the additional registration of the pore data described above, and the pore coordinate table of the image data in which there is no region where the pore data and the arrangement pattern of the pore 20 coincide with each other until now.
  • step S36 it is determined whether or not there is a pore coordinate table having a region where the pore data and the arrangement pattern of the pore 20 match (whether or not the pore arrangement pattern partially matches) (step S36). If there is, the coordinates in the photographing point coordinate system of the image center of the image data 22 corresponding to the pore coordinate table are obtained and registered in the skin history database 5b, and the position determination flag of the skin history database 5b is turned on. (Step S37).
  • the pore coordinate table of the i-th image data is converted into the coordinate system of the reference image, that is, the shooting point coordinate system. That is, it is converted into the same coordinate system as the coordinates of the position of each pore in the pore data (step S38).
  • this process is performed not on the smartphone 3 but on the data management server 5 side, it can be executed in the background separately from the process on the smartphone side. Therefore, every time the image data 22 photographed via the user's smartphone 3 is input until two or more image data 22 having overlapping areas are found, all the images that are already stored and whose positions have not been determined.
  • the pore coordinate table corresponding to the image data 22 may be compared with the pore coordinate table of the newly input image data 22.
  • the pores 20 on the image data 22 can be represented by positions on the same coordinate system.
  • the coordinate system the above-described shooting point coordinate system is used, and the position of the image center of each image is determined as a coordinate.
  • the coordinates of the pores 20 are converted into the coordinates of the photographing point coordinate system, unified, and registered in the pore data. This coordinate conversion is performed in consideration of changes in the pore coordinates due to the swelling of the skin surface based on the difference in the pressing force on the skin of the skin camera. Specifically, assuming that the image is enlarged or reduced with reference to the center of the image, for example, in the case of polar coordinates, a process of multiplying the moving radius r by a magnification is performed.
  • the image data 22 to be displayed is displayed on the coordinates of the shooting point coordinate system. That is, the image data 22 is arranged on the shooting point coordinates based on the coordinates of the image center of the image data 22 whose position determination flag is turned on. The image data 22 whose position determination flag is off is not displayed.
  • Each image data 22 is displayed as a slide show in the order of registration, but the displayed image data 22 is a screen display target range (display range 26: of the smartphone 3) set on the shooting point coordinate system as shown in FIG. (Corresponding to the display) is displayed.
  • the position of each pixel in the display range 26 can be represented by the coordinates of the shooting point coordinates, and the shooting point coordinates are set in the display range 26. It will be in the state.
  • the image data 22 arranged in the display range 26 is displayed as a slide show corresponding to the coordinate position of the image center in the registration order.
  • the shooting point at which the image data 22 is displayed, the period of the registration date of the image data 22 to be displayed among all the image data 22, and the slide show are displayed.
  • the display interval of the image data 22 is input (step S41). For example, when there are three shooting points, one shooting point is selected and input.
  • the registration date period of the image data 22 to be displayed is input as from January 1 of last year to January 1 of this year, the year of today, and so on. As a result, the image data 22 registered within the designated period is displayed symmetrically.
  • the slide show display interval is an interval from displaying the previous image data 22 to displaying the next image data 22 when each image data 22 is sequentially displayed. When you go, it will look like a video.
  • a display range 26 as a screen display target range (coordinates) is determined from the image data 22 to be displayed (step S42).
  • the display range 26 is set based on the coordinate position of the image center of the image data 22 whose position is determined as the image data 22 to be displayed.
  • a display range 26 is a range where the image centers are most dense or a range including a portion where the image data 22 overlaps most. Note that the display magnification of each image data 22 in the display range 26 may be set.
  • the image data 22 is overwritten and displayed in the registration order so that the image center of each image data 22 is arranged on the coordinates of the image center on the photographing point coordinates (step S43).
  • the image data 22 is displayed even if the center of the image is not in the display range 26 if a part of the area overlaps the display range 26.
  • This process is performed by the smartphone 3, for example.
  • the input data is sent to the data management server 5, and the data management server 5
  • the created display data may be transmitted to the smartphone 3 and the display data may be displayed on the display by the smartphone 3.
  • the image data 22 is displayed in the photographing order (registration order) based on the relative position on the actual skin that has been photographed. Therefore, the image data 22 at the same coordinate position (relative coordinates) on the skin is basically displayed at the same coordinate position on the display screen, so that, for example, a mole moves up and down and right and left on the screen during display. However, the mole is displayed in a substantially stopped state at substantially the same position on the display screen. Therefore, there is a possibility that an old image may remain and be displayed without corresponding to the passage of time, but a change in the skin condition can be seen quickly.
  • the display screen includes a skin image display area and a date / time and score display area above the display area.
  • the shooting date / time corresponding to the image data overwritten in the skin image display area and the score or the score of the skin image simple diagnosis result are displayed.
  • the image data 22 is displayed as each slide (frame), but the portion other than the image data 22 of each slide is displayed without rewriting the previous slide. That is, the part other than the image data 22 of each slide is treated as a transparent state, and the previous display remains unrewritten in the part without the image data 22 of one slide.
  • each slide consists of the image data 22 and the interpolated image data.
  • step S51 is performed similarly to step S41 described above, and step S52 is performed similar to step S42 described above.
  • screen data as a slide (frame) to be displayed on the display of the smartphone 3 corresponding to each of the image data 22 whose position within the input registration date period is determined, and corresponding image data It is created from the image data interpolated by the preceding and following image data (step S53). The process for creating screen data will be described later.
  • the screen data created at the input display interval described above is displayed in order from the oldest registration date of the image data included in the screen data (step S54). In this case, there is no fear that the old image data will be displayed forever as in the above display process, and there is no portion where there is no image data on each slide displayed on the display screen. Is displayed).
  • the display process is performed by the smartphone 3, but the process of creating screen data is performed by the data management server 5, and the created screen data is transmitted to the smartphone 3.
  • the non-photographing area where the image data 22 of the screen data 41 is not present. Is recognized and determined (step S61).
  • the image data 22 is arranged corresponding to the coordinates of the center position on the slide (screen data 41) in which the photographing point coordinates are set, and an area other than the arranged image data 22 is set as a non-photographing area.
  • the (N-1) th screen data 40 has already been created.
  • the method for creating the (N ⁇ 1) th screen data 40 is the same as the method for creating the Nth screen data, and the screen data 40, 41, 42 are sequentially based on the image data 22 according to the registration order of the image data 22. Will be created.
  • the N-1st screen data 40 that has already been created and the non-image data 22 in the (N + 1) th and subsequent image data 22 are not included.
  • the image data 22b and 22c overlapping the shooting area are used.
  • the image data 22b and 22c are, for example, the (N + 1) th image data 22b and the (N + 2) th image data 22c.
  • the image data 22 is later.
  • the non-photographing is performed by the interpolation process using the N-1st screen data 40 and the Nth screen data 41 from the image data 22b and 22c overlapping the non-photographing area of the (N + 1) th and subsequent image data 22.
  • An image of the area is created (step S62), and the Nth screen data 41 is created by combining the Nth image data 22a and the interpolated image data 22 (step S63).
  • a known algorithm can be used for the interpolation process.
  • step S64 Since the (N + 1) th screen data 42 is created after the Nth screen data 41 is created, the N + 1 board surface is designated as the Nth (step S64), and there is still unprocessed image data 22 ( In step S65 "), the process returns to step S61. Note that when the screen data 40, 41, 42 corresponding to the image data 22 registered in the selected period is created as described above, the screen data 40, 41, 42 is displayed. The process of creating is terminated.
  • the display screen of the smartphone 3 is provided with a skin image display area and a date / time and score display area above it, and the screen data being displayed in the skin image display area.
  • the photographing date and time of the image data corresponding to and the texture score or the score of the skin image simple diagnosis result may be displayed.
  • the coordinate positions of the pores 20 are used as image recognition feature portions where the positions on the skin of the image data 22 overlap.
  • the shape of the pores 20 is image-recognized. It may be used as the above feature.
  • the shape of the pore 20 is characterized by the area of the pore 20 and the diameter of the pore 20, and when looking at the arrangement of the pore 20, for example, the pore 20 is divided into a large pore 20 and a small pore 20.
  • the position with the large pore 20 matches, it may not be recognized that the position matches.
  • the arrangement pattern of the pores 20 is similar, it is possible to reduce the rate of being erroneously recognized as overlapping even though the positions on the skin do not actually overlap.
  • a spot shape may be used as a feature part in image recognition for finding an overlapping area between the image data 22.
  • a threshold value is determined and binarized into a light-colored portion and a dark-colored portion so that the shape of the stain can be easily recognized, that is, the shape of the stain is extracted.
  • the shapes of the light-colored portions or the dark-colored portions are compared in the two image data 22, and if there is a portion whose shape is similar, it is determined that there is a matching region, and the two images The relative position of the data 22 may be determined.
  • the position coordinates of the image center of the image data 22 are obtained by arranging the pores 20 in the skin image.
  • the position coordinates of the center of the image may be applied to a texture image or a spot image captured at the same position as the skin image.
  • the position coordinates of the image center of the image data 22 may be obtained by the arrangement of the pores 20 using a texture image or a stain image.

Abstract

　対象となる表面を継続して定期的に撮影した場合に、撮影された画像データを有効に利用可能とするとともに、動画やスライドショーとして表示可能にできる表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法を提供する。　時間経過に対応して対象となる表面が順次撮影されるとともに、撮影された画像データが順次記憶される場合に、順次記憶される画像同士を比較して、画像同士に、互いに略一致する画像領域が有るか否かを判定する。互いに略一致する画像領域がある画像がある場合に、一方の画像を基準とする座標系を設定し、この一方の画像と互いに略一致する画像領域を重ねた状態の他方の画像の座標系における位置を決定する。位置が決定した画像に対して、それ以後撮影される画像を含めて位置が決定していない画像が重なる場合に、その画像の位置を決定する。

Description

表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法
　本発明は、例えば、経時的に変化する可能性のある表面として、肌の表面、各種植物（野菜、果物を含む）の葉、実、茎、幹、根等の表面、動物の特定部位の表面、経時劣化する無機物の表面等の経時的に状態が変化する表面を時間経過に基づいて順次撮影し、撮影された画像データやその分析結果等を閲覧可能に管理するための表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法に関する。
　一般に、スキンケア用の化粧品や美容器具（スキンケア装置：ケアエステ装置）の販売において、例えば、肌の状態を知るために、肌用カメラを用いて肌を拡大して撮影し、肌の状態を把握してから、肌の状態に対応するスキンケア用の化粧品、洗顔用品等やスキンケア用の器具を販売することが行われている。
　この場合に、肌用カメラが設置され、かつ、撮影された画像データから肌の状態を判定でき、肌の状態からスキンケア方法をアドバイスできる店員がいる店舗に行く必要があった。しかし、店舗まで行くのが煩わしかったり、店舗に行って上述のようなサービスを受けた後に商品の購入を勧められるのが煩わしかったりすることから、定期的に肌の状態を撮影するようなことがし難かった。
　そこで、携帯電話、スマートフォン、タブレット等の無線電話回線やその他の無線通信回線を介してインターネットにアクセス可能な携帯無線端末に、周辺機器として肌用のデジタルカメラを接続したり、例えば、携帯無線端末の内蔵デジタルカメラに、肌撮影用のコンバージョンレンズを備えたレンズモジュールを装着したりして、ユーザーが自分で肌の撮影ができるようにすることが提案されている。
　さらに、携帯無線端末を使って、撮影された画像データを、肌の画像データから肌の状態を分析してくれる業者のサーバーに送信することにより、化粧品販売の店舗に行かなくても肌の状態を分析することができるシステムが提案されている（例えば、特許文献１～５参照）。この場合に、測定データを受け取ったサーバーでは、例えば、測定結果の分析を自動で行ったり、測定データを表示させてオペレータに分析結果を入力させたりすることになる。
　この場合に肌用のデジタルカメラや肌用のレンズモジュールの購入等が必要になるが、このような肌測定用システムを用いることにより、ユーザーに大きな負担をかけることなく、定期的に肌測定を行うことが可能になる。
　また、肌以外であっても、例えば、農作物になる植物の葉や実の表面の状態変化を測定したり記録したりすることや、壁等の構造物の表面の長期的な劣化の状態を測定したり記録したりすることに上述の肌撮影用カメラを応用することが可能である。
　この場合に、例えば、農家で、農作物の表面状態の変化を測定する場合や、一般家庭で、家庭菜園の野菜や、観葉植物の表面状態の変化を撮影して記録する場合に、大きな設備投資を必要とせず、低コストに撮影および記録が可能になる。
特開２００５－１４８７９７号公報 特開２００４－３５４２０７号公報 特開２００５－５６１６５号公報 特開２００２－１５０６８号公報 特開２００２－３６６６５１号公報
　ところで、肌状態の測定を行う場合に、例えば、顔の同じ位置を定期的に撮影して分析することにより、肌状態の変化を記憶して、記憶された結果から肌状態が良くなっているのか、悪くなっているのか、変わらないのかを判断することが可能になる。
　例えば、スキンケア用品等を用いることにより、悪化していた肌の状態が良好な状態になるか否か等の判断が可能になる。また、シミなどが濃くなったり、広くなったりしないか、逆にシミが薄くなったり、狭くなったりしないかを判定可能になる。
　ここで、例えば、顔の肌は、大きく曲がっている曲面なので、広い範囲を一様に拡大した状態に撮影することが難しく、基本的に狭い範囲を撮影することになる。この場合に、ユーザーは、例えば、毎日１回または２回程度肌を撮影するような場合であっても、前に撮影した場所と同じ場所を撮影することが困難であり、さらに、撮影間隔が長くなると、同じ場所を撮影することが困難になる。また、複数箇所を定期的に撮影している場合も、各箇所の位置があやふやになりがちである。
　比較的、明確なシミがある場合は、鏡でシミの位置を確認しながら撮影することが可能であるが、それでも、撮影毎に撮影位置が多少ずれることになる。したがって、定期的に順次撮影された肌画像からシミの色や形状の変化を読み取ることは可能な場合もあると思われるが、それでも、シミが近接して複数存在する場合に、撮影範囲によっては、どのシミの画像か分からない可能性がある。また、肌のキメの状態などは、部分的に悪化した部分があるような場合に、悪化した部分が写っている場合と写っていない場合とで、肌状態の時間経過に伴う変化なのか、撮影位置が異なることによる変化なのかを判断できない。したがって、肌を定期的に撮影しても、時間経過に伴う肌のキメやシミの状態の変化を把握することが難しい。
　また、定期的に撮影された肌の画像データを記憶しておく場合に、この画像データを動画またはスライドショーとして表示することにより、例えば、肌の状態が改善していく様子を見られる可能性ある。これによって、ユーザーの興味を引き付けて、ユーザーの増加を図れる可能性がある。また、ユーザーに定期的に肌を撮影することを促すことができる。
　しかし、撮影された画像は、毎回の撮影毎に撮影位置が上下左右にずれており、比較的に撮影位置が揃っている場合でも、上下左右への振れが大きく、動画として見ることは不可能であり、スライドショーとしても、毎回撮影位置にずれがあることから、スライドの前後の繋がりが分かりづらく、肌の状態の変化が確認できるとは限らない。また、撮影位置が揃っていない場合には、前のスライドと後のスライドとで重なった部分が無い場合があり、例えば、肌の荒れた箇所と、肌の良好の箇所とが混ざった状態で表示されることにより、肌の状態の変化を確認することが困難になる。
　肌ではなく、植物やその他を撮影する場合も、基本的にカメラを三脚等に固定して撮影する場合以外は、上述の肌の撮影の場合と同様の問題が発生することになる。
　本発明は、前記事情に鑑みてなされたものであり、対象となる表面を継続して定期的に撮影した場合に、撮影された画像データを有効に利用可能とするとともに、動画やスライドショーとして表示可能にできる表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法を提供することを目的とする。
　本発明の表面状態測定分析情報管理システムは、撮影位置を固定することなく、測定対象となる表面を撮影して画像データを生成する撮影手段と、
　前記画像データとその画像データの撮影日を記憶する画像記憶手段と、
　期間をあけて前記撮影手段によって複数回撮影されることにより、撮影対象となる前記表面上の撮影位置がずれた複数の前記画像データが前記画像記憶手段に記憶される場合に、前記画像記憶手段に記憶されている複数の前記画像データを比較し、複数の前記画像データの一つの座標系における相対位置を決定する位置決定手段を備え、
　前記座標系の相対位置が決定している各画像データを撮影日順に前記座標系の相対位置に配置して表示可能であることを特徴とする。
　本発明の前記構成において、前記位置決定手段は、互いに比較される前記画像データに略一致する画像領域が有る場合に、前記画像領域に基づいて、複数の前記画像データの一つの前記座標系における相対位置を決定することが好ましい。
　また、本発明の前記構成において、前記画像記憶手段に順次記憶されていく前記画像データ同士を比較して、前記画像データ同士に、互いに略一致する前記画像領域が有るか否かを判定する重なり検知手段を備え
　前記位置決定手段は、互いに略一致する前記画像領域がある場合に、一方の前記画像データを基準とする前記座標系を設定し、この一方の前記画像データと互いに略一致する前記画像領域を重ねた状態の他方の前記画像データの前記座標系における位置を決定し、
　前記重なり検知手段は、前記位置決定手段により既に前記座標系の位置が決定されている前記画像データと、未だ前記座標系の位置が決定されていない前記画像データとを比較して互いに略一致する前記画像領域が有るか否かを判定し、
　前記位置決定手段は、前記座標系の位置が決定している前記画像データに対して、略一致する前記画像領域を有する前記座標系の位置が決定していない前記画像データがある場合に、
　前記座標系の位置が決定している前記画像データと、前記座標系の位置が決定していない前記画像データとを、互いに略一致する前記画像領域が互いに重なるように配置した場合の前記画像データ同士の互いの位置関係に基づいて、前記座標系の位置が決定していない前記画像データの前記座標系の位置を決定することが好ましい。
　本発明の表面状態測定分析情報管理方法は、撮影位置を固定することなく、測定対象となる表面を撮影して画像データを生成する撮影手段と、
　前記画像データとその画像データの撮影日を記憶する画像記憶手段とを備える表面状態測定分析情報管理システムで行われる表面状態測定分析情報管理方法であって、
　期間をあけて前記撮影手段によって複数回撮影されることにより、撮影対象となる前記表面上の撮影位置がずれた複数の前記画像データが前記画像記憶手段に記憶される場合に、前記画像記憶手段に記憶されている複数の前記画像データを比較し、複数の前記画像データの一つの座標系における相対位置を決定する位置決定ステップを備え、
　前記座標系の相対位置が決定している各画像データを撮影日順に前記座標系の相対位置に配置して表示可能であることを特徴とする。
　本発明の前記構成において、前記位置決定ステップでは、互いに比較される前記画像データに略一致する画像領域が有る場合に、前記画像領域に基づいて、複数の前記画像データの一つの前記座標系における相対位置を決定することが好ましい。
　また、本発明の前記構成において、前記画像記憶手段に順次記憶されていく前記画像データ同士を比較して、前記画像データ同士に、互いに略一致する前記画像領域が有るか否かを判定する重なり検知ステップを備え
　前記位置決定ステップでは、互いに略一致する前記画像領域がある場合に、一方の前記画像データを基準とする前記座標系を設定し、この一方の前記画像データと互いに略一致する前記画像領域を重ねた状態の他方の前記画像データの前記座標系における位置を決定し、
　前記重なり検知ステップでは、前記位置決定ステップにより既に前記座標系の位置が決定されている前記画像データと、未だ前記座標系の位置が決定されていない前記画像データとを比較して互いに略一致する前記画像領域が有るか否かを判定し、
　前記位置決定ステップでは、前記座標系の位置が決定している前記画像データに対して、略一致する前記画像領域を有する前記座標系の位置が決定していない前記画像データがある場合に、
　前記座標系の位置が決定している前記画像データと、前記座標系の位置が決定していない前記画像データとを、互いに略一致する前記画像領域が互いに重なるように配置した場合の前記画像データ同士の互いの位置関係に基づいて、前記座標系の位置が決定していない前記画像データの前記座標系の位置を決定することが好ましい。
　このような構成によれば、撮影された画像の重なり状態から撮影された各画像の相対位置を決定することにより、例えば、撮影対象となる表面を肌の表面とした場合に、肌が荒れた部分と荒れていない部分とが別々に取られた画像なのか、時間経過により肌が荒れた部分が荒れてない状態となったのかを判別することが可能になる。
　したがって、定期的に肌を撮影するような場合に、撮影位置が多少ばらついても時間経過による肌状態の変化を判定することが可能になる。すなわち、何かしらの手段により肌の同じ位置を毎回撮影可能にしなくとも、肌が撮影された画像データにそれぞれ位置のずれがあっても、各画像データのうちの位置が決定されたデータにより、これら画像データが配置される範囲内において、肌の状態の分布をある程度把握することが可能であり、肌状態の変化が画像データの撮影範囲の位置の違いによるのか、時間経過によるのかを判別することができる。
　これにより、無理に肌の撮影範囲を同じにするような機構を設けなくとも、例えば、意識してなるべく同じ位置を撮影するようにすることによって、肌の状態の時間経過による変化を容易に知ることが可能になる。
　また、対象となる表面が肌の表面以外であっても、同様にカメラを三脚等に固定しなくとも、意識してなるべく同じ位置を撮影するようにすることによって、表面の状態が時間経過によって変化しているのか、位置によって変化しているのかが分かり、表面の状態の時間経過による変化を容易に知ることが可能になる。なお、肌以外の対象物としては、例えば、各種植物の表面、特に葉や実の表面等があるとともに、無機物の表面であってもよく、成長、病気、劣化等により、表面の状態が経時変化するものを対象とすることができる。
　また、画像記憶手段は、１つの装置である必要はなく、撮影された画像を一時的に保存するバッファのような一時画像記憶手段と、この画像記憶手段に一時的に記憶された画像を移動して記憶する画像記憶手段とから構成されるようなものであってもよい。この場合に、撮影されるとともに既に位置が決定している画像と比較される前の画像データを一時画像記憶手段に記憶するものとしてもよい。さらに、一時画像記憶手段に、位置が決定している画像データと比較しても位置が決定しなかった画像データを記憶するものとしてもよい。
　また、本発明の前記表面状態測定分析情報管理システムにおいて、前記重なり検知手段は、前記画像データ同士に互いに略一致する前記画像領域が有るか否かを判定する際に、前記画像データの前記撮影手段に撮影された対象物の種類に対応する特徴点の位置を抽出し、前記画像データ毎の前記特徴点の配置パターンを比較して、前記特徴点の配置パターンが略一致する部分が有る場合に、互いに略一致する前記画像領域が有ると判定することが好ましい。
　また、本発明の前記表面状態測定分析情報管理方法において、前記重なり検知ステップでは、前記画像データ同士に互いに略一致する前記画像領域が有るか否かを判定する際に、前記画像データの前記撮影手段に撮影された対象物の種類に対応する特徴点の位置を抽出し、前記画像データ毎の前記特徴点の配置パターンを比較して、前記特徴点の配置パターンが略一致する部分が有る場合に、互いに略一致する前記画像領域が有ると判定することが好ましい。
　このような構成によれば、各画像データにおける特徴点の位置を抽出して、特徴点の配置パターンを認識することにより、画像データ同士に重なる部分が有るか否かを容易に認識させることができる。なお、特徴点は、対象となる表面のほぼいずれにも存在し、画像データから認識可能であることが好ましい。例えば、対象となる表面を肌とした場合に、毛穴の中心を特徴点とすることが考えられる。また、植物の葉の場合に、葉脈の分岐点を特徴点とすることが可能である。
　なお、撮影する葉が複数の葉の中から特定可能であれば、葉脈を構成する太い主脈と細い側脈のうちの主に主脈の分岐点から葉の表面の位置を特定できる可能性があり、厚い葉で側脈が表面から見え難いような葉にも対応可能である。また、実の表面に、模様や凹凸があれば、それから特徴点を決めることができる。無機物においても、例えば、大理石等の色に変化があるようなものにおいて、特徴点を決めることが可能である。
　また、本発明の前記表面状態測定分析情報管理システムにおいて、前記撮影手段の撮影対象とされる前記表面が肌の表面とされ、
　前記重なり検知手段により前記画像データから抽出される特徴点が前記肌表面上の各毛穴の所定部位であることが好ましい。
　また、本発明の前記表面状態測定分析情報管理方法において、前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
　前記重なり検知ステップにおける前記画像データから抽出される前記特徴点が前記肌表面上の各毛穴の所定部位であることが好ましい。
　このような構成によれば、画像として比較対象となる特徴部分が乏しい肌画像であっても、毛穴を特徴部分として抽出することにより、各毛穴の配置から２つの肌画像を比較して、互いに略同じ画像となる部分を探すことが可能になり、各画像データの重なりを判定可能になる。なお、所定部位とは、例えば、毛穴の中心位置、重心位置、画像上の右端位置、左端位置、上端位置、下端位置等のいずれか設定された位置である。ここでは、特徴点の位置が例えば座標系の座標で設定されるため、撮影された特徴点を含む部分（毛穴）に面積がある場合に、所定の位置を特徴点とする。
　また、基本的に、例えば、顔の肌を見た場合に、鼻、目、耳、口等を除けばどこを撮影してもあまり特徴がない画像となり、位置をずらして複数の画像を撮影した場合に、各画像のどの部分が重なっているかを判定し辛いが、毛穴の配置により、各画像のどの部分が重なるかを比較的容易に判定することができる。但し、たとえば、場所によって多少の変化があるが、肌に毛穴が略一様に配置されているとともに、健康な毛穴は、毛が無い場合に閉じており、認識が難しい。そこで、肌の毛穴から生えている毛を認識し、毛は先端側が細く毛穴側が太い形状となっていることから、毛の太い方の端部を毛穴と見なして、この毛穴の所定位置を特徴点としてもよい。この場合に、毛が生えて認識される毛穴と、￥毛がなく認識されない毛穴とから肌の場所によって毛穴の配置パターンが異なることになる。
　また、本発明の前記表面状態測定分析情報管理システムにおいて、前記撮影手段の撮影対象とされる前記表面が肌の表面とされ、
　前記重なり検知手段により前記画像データから抽出される特徴点が前記肌表面上の所定サイズ以下の各シミの所定部位であることが好ましい。
　また、本発明の前記表面状態測定分析情報管理方法において、前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
　前記重なり検知ステップにおける前記画像データから抽出される前記特徴点が前記肌表面上の所定サイズ以下の各シミの所定部位であることが好ましい。
　このような構成によれば、画像として比較対象となる特徴部分が乏しい肌画像であっても、特徴点としてのシミの配置パターンから各画像データの重なりを判定可能になる。
　ここで、所定サイズ以下のシミとは、主に毛穴の部分に形成される小さなシミであり、毛穴の部分にメラニンが滞留したものである。したがって、上述のように毛穴を特徴点とした場合に、例えば、上述のように毛の肌側の端部から毛穴を認識する方法に対して、所定サイズ以下のシミを毛穴として認識する方法に代えたり、組み合わせたりすることが可能である。組み合わせる場合には、例えば、特徴点を毛だけの点と、シミだけの点と、毛とシミの両方点等に分けて配置パターンを比較することも可能である。
　また、本発明の前記表面状態測定分析情報管理システムにおいて、前記画像記憶手段に記憶されている前記画像データを、前記画像データの前記撮影日順に表示する画像表示手段を備え、
　前記画像表示手段は、表示画面上に前記座標系が設定され、前記座標系の位置が決定している各画像データを前記座標系の位置に配置して前記撮影日順に表示することが好ましい。
　また、本発明の前記構成において、前記画像表示手段は、前記画像データを前記撮影日順に最前面に表示し、最前面に表示される当該画像データより前に表示された前記画像データの最前面に表示される当該画像データと重ならない部分を表示した状態に保持することが好ましい。
　また、本発明の前記構成において、前記画像表示手段は、前記画像データを前記撮影日順に表示する際に、当該画像データを表示する表示範囲には、表示された当該画像データが有る部分と、当該画像データが無い部分を含み、当該画像データが無い部分に、表示された当該画像データより前記撮影日が前または後の前記画像データがある場合に、前記撮影日が前または後の前記画像データから補間された画像データを生成し、前記表示範囲に表示された前記画像データの無い部分に補間された前記画像データを表示することが好ましい。
　また、本発明の前記表面状態測定分析情報管理方法において、前記画像記憶手段に記憶されている前記画像データを、前記画像データの前記撮影日順に表示する画像表示ステップを備え、
　前記画像表示ステップでは、表示画面上に前記座標系が設定され、前記座標系の位置が決定している各画像データを前記座標系の位置に配置して前記撮影日順に表示することが好ましい。
　また、本発明の前記構成において、前記画像表示ステップでは、前記画像データを前記撮影日順に最前面に表示し、最前面に表示される当該画像データより前に表示された前記画像データの最前面に表示される当該画像データと重ならない部分を表示した状態に保持することが好ましい。
　また、本発明の前記構成において、前記画像表示ステップでは、前記画像データを前記撮影日順に表示する際に、当該画像データを表示する表示範囲には、表示された当該画像データが有る部分と、当該画像データが無い部分を含み、当該画像データが無い部分に、表示された当該画像データより前記撮影日が前または後の前記画像データがある場合に、前記撮影日が前または後の前記画像データから補間された画像データを生成し、前記表示範囲に表示された前記画像データの無い部分に補間された前記画像データを表示することが好ましい。
　このような構成によれば、画像データを撮影順にそのまま動画やスライドショーとして表示した場合に、各画像データの位置がずれることにより、酷い手振れに近い表示となるが、各画像データをその座標位置に配置して順次画像データを表示することにより、酷い手振れ状態の表示とはならず、十分に肌の変化を認識可能な表示とすることができる。なお、表示方法として、撮影順が前の肌画像に少なくとも一部が重なって撮影順が後の肌画像が表示される場合に、撮影順が前の肌画像の重なる部分は消去されて撮影順が後の肌画像が表示されるが、撮影順が前の肌画像の重ならない部分は、そのまま肌画像が表示された状態となることが好ましい。
　この場合に、１つの表示画面中に撮影時期の異なる肌画像が同時に表示された状態となるが、表示される肌画像数が多くなれば、撮影時期が古い肌画像には、多くの新しい肌画像が重なることにより、ほとんど表示される部分がなくなり、表示される肌画像が切り替わることになる。また、順次撮影時期が後になる肌画像が表示されていく際に、その肌画像の周囲には、表示された肌画像より撮影時期が前の肌画像の表示が残っていることになり、新たに表示された肌画像とその周囲の前から表示されている肌画像を比較することで、肌状態の経時変化を認識することが容易になる。
　なお、肌画像の肌の撮影範囲より広い肌の範囲を表示可能とした状態で、実際に表示される肌の範囲を絞り込む表示範囲規制手段を設けてもよい。この場合に、撮影された肌画像が最も多く表示可能な表示範囲を設定することが好ましい。また、この際の表示範囲が、肌画像の撮影範囲より狭い範囲となってもよい。
　また、順次画像データを設定した表示範囲に表示する場合に、各表示範囲全体の画像データ（以下、表示用画像データと称する）は、例えば、画像データの有る部分と無い部分とから構成されることになる。この際に、画像データの有る部分は、その画像データと表示画像データとが重なる範囲を表示し、画像データが無い部分は、表示される画像データより撮影順が前の画像データと、後の画像データとから補間される補間画像データを作成し、表示用画像データの画像データが無い部分にこの補間画像データを配置するものとしてもよい。
　この場合に、各表示用画像データは、補間画像データの部分と撮影された画像データの部分とからなることになる。また、一度表示用画像データが作成された後は、例えば、直前の表示用画像データを、表示する画像データより前の画像データとして補間のための画像データとして利用することができる。この場合に、直前の補間処理部分を含む表示用画像データと表示すべき画像データより後の画像データを用いて補間画像データを作成することが可能になり、補間処理を容易にすることができる。
　本発明の表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法によれば、肌状態の経時的な変化を把握するために、できるだけ肌の同じ範囲をできるだけ定期的に撮影して肌状態の変化を把握する際に、撮影された各肌画像に撮影された肌の範囲に位置ずれがあっても、各肌画像の相対位置を把握することにより、同じ肌の位置の経時変化をより明確に把握することが可能になる。
本発明の実施の形態の表面状態測定分析情報管理システムを示す概略ブロック図である。 コンバージョンレンズの一例を示す概略図である。 前記表面状態測定分析情報管理システムを示すブロック図である。 前記表面状態測定分析情報管理システムのデータ管理サーバーを示すブロック図である。 前記データ管理サーバーのユーザーデータ用データベースを説明するための図である。 前記データ管理サーバーの測定データ用データベースを説明するための図である。 前記表面状態測定分析情報管理システムにおける継続的肌撮影方法を説明するための図である。 前記表面状態測定分析情報管理システムにおける継続的肌撮影方法を説明するための図である。 写っている毛穴の配置パターンから２つの画像データが重なっていることを説明するための図である。 画像データのスライドショーとしての表示方法を説明するための図である。 （ａ）および（ｂ）は、画像データのスライドショーとしての別の表示方法を説明するための図である。 前記表面状態測定分析情報管理システムにおける登録撮影ポイント追加・変更処理を説明するためのフローチャートである。 前記表面状態測定分析情報管理システムにおける画像中心の位置座標決定処理を説明するためのフローチャートである。 前記表面状態測定分析情報管理システムにおける画像中心の位置座標決定処理における未定義画像の位置決定処理を説明するためのフローチャートである。 前記表面状態測定分析情報管理システムにおける画像データの表示処理方法を説明するための図である。 前記表面状態測定分析情報管理システムにおける画像データの別の表示処理方法を説明するための図である。 表示処理において表示される表示用画面データを補間により作成する表示用画面データの作成処理を説明するための図である。 画像データのスライドショー表示を行うスマートフォンの画面構成を説明するための図である。
　以下、図面を参照しながら本発明の実施の形態について説明する。
　この実施の形態の表面状態（肌状態）測定分析情報管理システムおよび表面状態（肌状態）測定分析情報管理方法は、表面状態測定分析情報管理システムの会員である肌状態測定装置のユーザーに、肌状態測定装置の測定データから自分の肌状態の分析結果を得られるサービスを低コスト（例えば無料もしくは比較的安価な会費）で提供することにより、ユーザーに自分の肌の状態を認識してもらうものである。
　この際に、低コストに肌の状態が分かるようにすることにより、肌状態測定装置の販売数を増加させるとともに、ユーザーに頻繁に肌状態の測定を行うことを促し、それらの測定データから分析結果を取得させ、多くのユーザーから頻繁に測定データを収集するものである。この場合に、化粧品を含むスキンケア用品やスキンケア装置を使ってもらい、肌の状態が改善するのをユーザーに把握してもらうことにより、スキンケア用品やスキンケア装置の販売を促進する。
　また、多くの肌状態の測定データを収集した場合には、収集したデータを化粧品のメーカーや販売会社（化粧品会社）に有料で各種スキンケア用品の開発に利用してもらうことが可能になる。この際に測定データだけではなく、ユーザーの使用しているスキンケア用品やスキンケア装置、さらに、ユーザーの大まかな年齢や居住地域や年収や職業などの付帯データをつけることによって、測定データに付加価値をつけて、より有効に測定データを利用してもらうことができる。これにより、肌状態測定装置等を購入してくれるユーザーだけではなく、上述の測定データを利用してくれる化粧品会社等のデータの二次利用者から利益を得られるようにすることができる。
　図１に示すように、この実施の形態の表面状態測定分析情報管理システムは、肌状態測定装置１が接続可能なユーザークライアントとしてのスマートフォン３と、スマートフォン３とインターネット４（ネットワーク）を介して接続可能なデータ管理サーバー５と、契約者クライアント６としての化粧品会社等の提携会社のコンピュータシステムとを備えるものである。
　スマートフォン３は、内蔵デジタルカメラと、デジタルカメラに撮影された画像データ２２（図９、図１０に図示）やその他のデータやアプリケーション等を記憶する記憶手段（ストレージ装置）としてのフラッシュメモリと、画像等を表示するディスプレイと、ＯＳやアプリケーションが実行される制御部とを備える。後述するようにディスプレイは、撮影されて記憶された画像データ２２を動画またはスライドショーとして表示する。
　肌状態測定装置１は、例えば、スマートフォン３あるいはＰＣ等のユーザークライアントにＵＳＢ接続あるいは無線接続される肌用カメラ（肌撮影手段）であってもよい。肌用カメラは、図示しない撮像レンズと照明用ＬＥＤからなる光学系を有し、この光学系から得られる画像を検知するセンサ部１１と、制御部１２と、ＵＳＢ（ユニバーサル・シリアル・バス）インターフェース１３とを備える。照明用ＬＥＤは、例えば、２色の光を出射可能になっており、肌色光（白色より黄色が強い光）と、白色光を切り替えて照射可能になっている。肌色光を照射すると肌の状態が明瞭に撮影可能になり、肌のキメ（肌理）の状態の分析が容易になる。
　また、白色光で照明した場合に、上述の肌色光より相対的に青の光が強くなり、シミが認識し易い画像データ２２を得ることができる。
　この肌用カメラとしての肌状態測定装置１では、キメモードとシミモードを切り替えて撮影が可能になっており、モードを切り替える切換スイッチが設けられている。肌用カメラによる測定データとしての撮像データに関連して、キメモードかシミモードを示すデータをスマートフォン３に出力するようになっている。
　なお、シミの撮影用の白色光のＬＥＤ側には、偏光方向が直交する２枚の偏光板を用い、キメの撮影用の肌色のＬＥＤでは、偏光板（第１偏光板）を用いない構成となっている。２枚の偏光方向が直交する偏光板を用いることにより、照明光を偏光するとともに、肌で反射された照明光を再び偏光板を通して撮影することにより、肌表面の反射光を低減して、シミがある肌表層部内を反射した反射光が主に撮影される状態とすることができる。また、肌色の分析は、色補正することにより、例えば、肌色光のＬＥＤを用いるものとしてもよい。
　なお、肌状態測定装置１としての肌用カメラとスマートフォン３とのデータ通信は、ＵＳＢに限られるものではなく、その他の有線のシリアルまたはパラレル通信や、無線のＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉやＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等を用いてもよい。
　また、肌状態測定装置１としては、上述の肌用カメラ以外に例えば経表皮水分蒸散量を測定する周知の蒸散計であってもよいし、肌のメラニン量を計測するメラニン計であってもよい。
　また、直接肌の状態を測定する装置ではないが、環境測定センサとして紫外線（ＵＶ）を測定する装置（ＵＶチェッカ）をスマートフォン３に接続可能にしてもよい。なお、肌に対する紫外線の影響を見る上では、ＵＶチェッカは、メラニン生成にかかわるＵＶ－Ａと、炎症を引き起こすＵＶ－Ｂを別々に独立した数値データとして、それぞれ連続的に出力可能になっていることが好ましい。
　また、肌状態測定装置１が、肌を撮影するための肌用カメラである場合に、スマートフォン３に内蔵されるデジタルカメラを用いるものとしてもよい。この場合にスマートフォン３のデジタルカメラを用いて肌を撮影するためのコンバージョンレンズと、照明用の上述のＬＥＤおよび偏光板、ＬＥＤの点灯を制御する制御部とを備えたレンズモジュールを用いる。この場合に、撮影された画像データ２２は、スマートフォン３に記憶されることになるので、スマートフォン３とレンズモジュールとがデータ通信を行う必要がないが、例えば、上述の制御部との通信により、ＬＥＤの点灯をスマートフォン３側から制御するものとしてもよい。
　このようなコンバージョンレンズを備えるスマートフォン３の１例を、図２に示す。
　この例では、スマートフォン３と、スマートフォン３のカメラ７２に装着されて肌を拡大して接写するための２枚のレンズ８１ａ，８１ｂからなるコンバージョンレンズ８１および撮影の照明用のＬＥＤ８２を有するレンズモジュール８０とを備える。
　スマートフォン３は、被写体を撮影するカメラ７２、カメラ７２で撮影された画像データや、その他のデータを記憶するフラッシュメモリ７４と、カメラ７２やフラッシュメモリ７４や、スマートフォン３の各種電子部品を制御する制御部７３とを備える。
　レンズモジュール８０は、上述のコンバージョンレンズ８１およびＬＥＤ８２と、ＬＥＤ８２を駆動するＬＥＤ駆動回路８４と、これらを収容する筐体８０ａとを備える。筐体８０ａ内で、コンバージョンレンズ８１の二枚のレンズ８１ａ，８１ｂは、バレル９０ａに支持され、カメラ７２のマスターレンズ（図示略）の前に、カメラ７２のマスターレンズの光軸と二枚のレンズ８１ａ、８１ｂの光軸とを略合わせるように配置される。
　また、筐体８０ａは、バレル９０ａの前側（被写体側）にレンズ筐体９０を備える。レンズ筐体９０は、先端面が被写体としての肌の撮影時に肌に当接する当接部９０ｂとされ、当接部９０ｂが肌に当接した状態で外光を遮るようになっている。また、当接部９０ｂには、開口部８０ｃが形成され、肌の開口部８０ｃに臨む部分が撮影されるようになっている。
　バレル９０ａは、レンズ８１ａおよびレンズ８１ｂからなるコンバージョンレンズ８１を支持した状態で、筐体８０ａ内のレンズ筐体９０の基端側（カメラ７２に装着される側）に固定されている。また、筐体８０ａ内には、レンズ筐体９０の当接部９０ｂの開口部８０ｃに向けて撮影用の照明光を照射するＬＥＤ８２およびこのＬＥＤ８２を駆動するＬＥＤ駆動回路８４を備えた回路基板８３が支持されている。
　また、回路基板８３には、例えば、１つのＬＥＤ８２が備えられるが、例えば、複数のＬＥＤ８２がそれぞれ異なる位置から肌を照明するように設けられていてもよい。また、レンズモジュール８０は、ＬＥＤ８２、ＬＥＤ駆動回路８４等に電力を供給する電池を備えた電源回路８８と、電源スイッチ（図示略）を備える。
　上記形態は、スマートフォンとコンバージョンレンズの組合わせの例であるが、光学系の高機能化によって、前記コンバージョンレンズの機能をスマートフォン内部に取り込んだ形態も可能である。
　また、照明として、専用のＬＥＤを用いるのではなく、太陽光や室内灯等の外光を用いる場合に、例えば、透明な鏡筒とこの鏡筒にセットされるコンバージョンレンズからなるレンズモジュールを用いるものとしてもよい。この場合に電力を必要とするＬＥＤ等の構成がないので、最低限肌に当てる鏡筒と、鏡筒に設けられるレンズとがあればよい。
　前記ユーザークライアントは、基本的にスマートフォン３であるが、例えば、ノートパソコンや、タブレット型（パッド型）パソコンの等のプログラムに基づいて処理を行う汎用演算処理装置（例えばＣＰＵ）を備えた装置である。ユーザークライアントとしては、無線電話回線やその他の無線通信回線により、ネットワークとしてのインターネット４に接続可能で携帯可能な機器が好ましい。
　ユーザークライアントとしてのスマートフォン３は、例えば、無線通信として携帯用の無線電話回線を使用できるとともに、無線ＬＡＮ（ＷｉＦｉ）を使用できるようになっており、これらの無線通信を用いてネットワークとしてのインターネット４に接続可能になっており、無線携帯端末（無線携帯クライアント）となっている。
　また、スマートフォン３では、例えば、ダウンロードしてインストールしたアプリケーション（以下、専用アプリ５ｊ（図３に図示）と略す）を実行可能になっており、この実施の形態では、専用アプリ５ｊとして肌状態測定用アプリをデータ管理サーバー５からスマートフォン３にダウンロードするようになっている。
　スマートフォン３で実行される専用アプリ５ｊの機能は、図７に示すように、４つの機能を有する。すなわち、診断エステ、ケアエステ、生活エステ、メイクエステの４つの機能である。診断エステは、ＵＳＢインターフェース１３を介してスマートフォン３に接続される各種の測定装置（センサ）を用いて各種の測定が可能になっている。各測定装置は、専用アプリ５ｊが入力されたスマートフォン３のＵＳＢ端子に接続することにより利用可能になる。また、各種類の測定装置を付け替えることにより、それぞれの異なるセンサによる測定が可能であり、主に肌の状態を測定することができる。この各種測定装置が、上述の肌状態測定装置１となる。
　また、各種測定装置の測定結果をデータ管理サーバー５に送信して記憶しておくことができるとともに、測定結果から肌の状態を分析してもらうようなことも可能となっている。
　ケアエステでは、各種スキンケア装置をスマートフォン３に接続して使用できるようになっている。スマートフォン３と接続することで、使用履歴を残すことができ、スマートフォン３をデータ管理サーバー５とデータ通信可能な状態とすることにより、各種スキンケア装置の制御も可能になる。
　生活エステは、診断エステが主に肌を対象にしていたのに対して、普段の生活を対象にしており、紫外線量をチェックしたり、口臭をチェックしたりする機器をスマートフォン３のＵＳＢ端子に接続できるようになっている。メイクエステは、主に、メイク等に関する情報提供を行うものである。
　なお、図７は、スマートフォン３の表示手段としての表示画面３ａ、３ｂ、３ｃを示すものであり、後述のように、表示画面３ａはメインメニューを示し、表示画面３ｂはメインメニューから選択された診断エステメニューを示し、表示画面３ｃは、診断エステメニューから選択された肌診断メニューを示すものである。なお、肌診断メニューのＢＭＩとは、Ｂｏｄｙ・Ｍａｓｓ・Ｉｎｄｅｘの略であり、体重（ｋｇ）÷身長（ｍ）÷身長（ｍ）で算出され、肥満の度合いを示すものである。また、美白は、肌画像から判定されるものであり、肌弾力、肌水分、肌油分は、それぞれの測定用センサを備えた肌状態測定装置１で測定されるものである。
　スマートフォン３の制御部３２（演算処理装置）で実行される肌状態測定用の専用アプリ５ｊは、上述のように肌状態測定装置１としてのスマートフォン３のデジタルカメラ３１およびレンズモジュール用いて撮像された画像データ２２（肌画像データ）をフラッシュメモリに記憶し、かつ、インターネット４上のデータ管理サーバー５に出力する。また、データ管理サーバー５から送信される例えば測定データを分析した結果になる分析結果データを受信してスマートフォン３のディスプレイに表示する分析結果表示手段としての機能を有する。
　また、上述の専用アプリ５ｊは、データ管理サーバー５の運営者が管理する表面状態測定分析情報管理システムを利用する会員（ユーザ）となるためのユーザデータ（個人情報）の入力である会員登録や、ユーザーデータのうちの個人を特定可能な所定の個人情報を含まない付帯データの入力であるアンケートへの応答を行うようになっている。
　また、専用アプリ５ｊは、後述のようにデータ管理サーバー５に記憶されている上述の各ユーザーデータ、測定データ、測定データに対する分析結果データを閲覧できるように要求することが可能になっている。
　また、専用アプリ５ｊは、要求したデータがデータ管理サーバー５から受信した場合に、これらデータをディスプレイに表示する機能を有する。
　データ管理サーバー５は、図１に示すように、基本的に上述のユーザーデータを記憶するためのユーザーデータ用データベース５１と、肌状態測定装置１による測定データを記憶するための測定データ用データベース５２と、測定データから分析結果を取得するためのデータ分析用データベース５３と契約者用データベース５４とを備える。
　データ管理サーバー５は、より詳細には図３および図４に示すように、サーバーとして機能するためのＣＰＵ等を有する制御部５ｋを備える。この制御部５ｋでは、各種処理が行われるようになっており、後述するように、撮影された画像データ２２同士を比較して肌上の位置が重なる部分が有るか否かを認識させる重なり検知手段としての機能と、肌上の位置が重なる部分がある画像データ２２それぞれの相対位置を決定する位置決定手段としての機能を有する。
　また、データ管理サーバー５では、ユーザーデータ用データベース５１が複数に分けられており、ユーザーデータ用データベース５１として、顧客（ユーザ）個人情報管理データベース５ａ、使用化粧品履歴データベース５ｄ、お手入れカルテデータベース５ｏを備える。
　また、データ管理サーバー５は、測定データ用データベース５２として、肌履歴データベース（肌画像記憶手段）５ｂ、撮影ポイントデータベース５ｃ、詳細診断結果データベース５ｅを備える。
　また、データ管理サーバー５は、データ分析用データベース５３として肌基準値データベース５ｇを備える。また、また、データ管理サーバー５は、契約者用データベース５４として、データ二次利用者アクセス権管理データベース５ｈを備える。このデータ二次利用者アクセス権管理データベース５ｈは、利用者（契約者、例えば、化粧品会社等のスキンケア用日の開発を行っている会社）の顧客ＩＤ、利用者ユーザーＩＤおよび利用者パスワードが設定されており、これによりデータ二次利用者の認証が可能になる。
　また、データ二次利用者アクセス権管理データベース５ｈには、利用者ＩＤに関連付けて利用者検索レベルおよび利用者アクセスレベルのデータと、課金情報が登録されている。なお、課金情報は、データ二次利用者がデータの検索や、アクセス可能なデータの取得を行った場合の課金のデータであり、課金情報に基づいてデータの利用料金が利用者に請求される。また、利用料金は、検索レベルおよびアクセルレベルによって異なるものとなっており、検索可能なキーワード（検索項目）が多いほど利用料金が高くなり、アクセルレベルが高いほど利用料金が高くなる。なお、検索レベルにより検索可能な項目が制限され、アクセスレベルによりアクセス可能なデータが制限されており、レベルが高くなるほど、制限が少なくなる。
　また、データ管理サーバー５は、上述のデータベース５１～５４以外に、複数のスマートフォン３で、１つの肌状態測定装置１を使いまわして利用できるように、同じ製品シリアルＮｏ．の装置を管理する機器情報データベース５ｉを備える。なお、製品シリアルＮｏ．は、所定のアルゴリズムにより識別可能に生成される文字列である。この文字列としてのシリアルＮｏ．により、この表面状態測定分析情報管理システムで用いることが可能な肌状態測定装置１で有るか否かを判別可能で、かつ、各肌状態測定装置１で異なるユニークな文字列である。
　機器情報データベース５ｉにおいては、上述の各肌状態測定装置１の製品シリアルＮｏ．と、顧客ＩＤとを対応づけたものである。上述のようにシリアルＮｏ，の認証が行われて、各肌状態測定装置１が認証された場合に、各装置が接続されたスマートフォン３に対応する顧客ＩＤに関連付けて認証されたシリアルＮｏが登録される。この場合に、例えば、一つの肌状態測定装置１を３人まで、すなわち、３台のスマートフォン３まで共有して使用可能となっている。
　また、データ管理サーバー５は、上述のデータベース５１～５４以外に、肌用カメラ（画像データ２２）を校正するための校正用データベース５ｍと、市販されている各種化粧品が登録されている登録化粧品データベース５ｐとを備える。
　校正用データベース５ｍには、例えば、表１２に示すように、肌用カメラで、所定条件での撮像として、テストチャートの画像データ２２から、明るさのランク、３色の色合いの校正ランクとが関連付けて登録されている。
　登録化粧品データベース５ｐは、市販されている化粧品のデータが登録されたものであり、後述の化粧品カテゴリー、メーカー名、ブランド名（商品名）、容量、商品コード（ＪＡＮコード）等が記憶されるとともに、価格、成分、推奨使用量（ｍｌ／１回）その他、メーカーにより公開されている製品データが登録されている。
　図５のユーザーデータ用データベース５１の顧客個人情報管理データベース５ａに示すように、顧客個人情報管理データベース５ａは、スマートフォン３を用いてユーザーが入力したデータとして、顧客ＩＤ、個人ユーザーＩＤ、個人パスワード、氏名、生年月日、年齢、性別、住所１（国）、住所２（都道府県）、住所３（市町村（区））、住所４（番地（マンション名部屋番号））、メールアドレス、課金情報（クレジットカード情報等）が記憶される。
　なお、顧客ＩＤは、個人のユーザーＩＤに対応して、データ管理サーバー５側で付されるＩＤであり、個人ユーザーＩＤは、ユーザーが他のユーザーの個人ユーザーＩＤと重ならないことを条件に設定するＩＤである。また、個人パスワードは、個人ユーザーＩＤと合わせてユーザーの認証に用いられる。なお、各ユーザーに１対１で対応するＩＤとして、顧客ＩＤと個人ユーザーＩＤとの２つを使用しているが、これらを１つのＩＤで兼用するものとしてもよいし、ユーザーのＩＤとして、顧客ＩＤだけを用いるものとしてもよいし、ユーザーＩＤとして個人ユーザーＩＤを用いるものとしてもよい。
　但し、この実施の形態では、各データベースでユーザーに関連するデータが記憶されている場合には、全て顧客ＩＤで管理されており、各ユーザーに関連するデータがそれぞれ記憶されている各データベースを顧客ＩＤで検索することで、各ユーザーに関連するデータを全て検索して取得できるようになっている。したがって、顧客個人情報管理データベース５ａにおいても、顧客ＩＤ毎に関連付けて各ユーザーのデータが登録されている。なお、上述のように顧客ＩＤを個人ユーザーＩＤに代えてもよい。
　また、顧客個人情報管理データベース５ａには、図５に示すように、さらに、スマートフォン３に接続された肌状態測定装置１から入力される製品シリアルＮｏ．が記憶されるようになっている。なお、製品シリアルＮｏ．は、データ管理サーバー５で認証された後に記憶されるようになっており、製品シリアルＮｏ．が顧客個人情報管理データベース５ａに登録されている場合には、製品シリアルＮｏ．の認証を行わない。
　図５に示すように、使用化粧品履歴データベース５ｄには、顧客ＩＤに関連付けてスキンケア用品（化粧品）の履歴データが化粧品カテゴリー（種類）毎に登録されている。なお、この履歴のデータは、ユーザーが購入した化粧品を登録するものであり、スマートフォン３を介してユーザーが購入した化粧品（使用する化粧品）の商品コードが登録される。この商品コードが化粧品を特定可能な化粧品特定情報となる。なお、ここでは、商品コードとして、バーコードで用いられていれるＪＡＮ（Ｊａｐａｎｅｓｅ　Ａｒｔｉｃｌｅ　Ｎｕｍｂｅｒ）コードが用いられた例を示している。
　使用化粧品履歴データベース５ｄでは、表５ｄ１に示すように、履歴データにおける各化粧品のカテゴリー（種類）を示す番号と、商品コードと、使用開始日と使用終了日が登録される。
　表５ｄ１は、一例として、化粧品カテゴリーが洗顔料の場合を示すもので、洗顔料の商品カテゴリーのコードナンバーとして１が登録され、商品コードに使用開始日、使用終了日が紐付けされて記憶される。なお、使用中の場合（使用終了を入力していない場合）には、使用終了日は登録されていない。
　この場合に、スマートフォン３の表示では、化粧品の情報が登録される登録化粧品データベース５ｐに登録されたデータに基づいて、各化粧品カテゴリーに対応して化粧品の商品名（＋メーカ名等）がプルダウンメニュー等で一覧表示され、その中から使用開始する化粧品を選択するものとしてもよい。それにより、登録化粧品データベース５ｐの化粧品名に関連付けられた商品コードが、使用化粧品履歴データベース５ｄに登録されるとともに、入力日が使用開始日として登録される。同様にスマートフォン３の専用アプリ５ｊから使用終了した化粧品がある場合にユーザーに入力するように指示するものとしてもよい。
　この場合は、使用開始した化粧品の商品名等のデータをプルダウンメニュー等で一覧表示し、使用終了した化粧品の商品名等をユーザーが選択するものとしてもよい。この場合も選択された化粧品の商品コードが入力されるとともに入力日が使用終了日として登録される。なお、使用化粧品の入力方法としては、バーコードを入力したり、キーワード検索で登録化粧品データベース５ｐを検索して抽出された化粧品のデータを入力したりするものとしてもよい。
　また、使用終了日については、新規に同一カテゴリーの化粧品が使用化粧品履歴データベース５ｄに登録された場合に、ユーザーに登録済みの同一カテゴリーの化粧品を使用終了したか否かを問合せ、その回答に基づき当該化粧品の使用終了日を登録するようにしてもよい。あるいは、登録化粧品データベース５ｐに、化粧品毎に化粧品の容量（ｍｌ）と推奨使用量（ｍｌ／回）とが登録されており、データ管理サーバー５またはスマートフォン３で、使用開始日から１日の化粧品の使用回数に推奨使用量を乗算した値を毎日加算（積算）していくとともに、化粧品の容量と比較し、毎日加算された値が容量を超えた場合や、容量の９０％等の容量の所定割合を超えた場合に、専用アプリ５ｊがユーザーの使用している化粧品がなくなっていないか、もしくは残量が少なくなっていないかを通知し、ユーザーに使用終了したか否かを問合せ、その回答に基づき使用終了日を登録するようにしてもよい。
　また、この際には、残り少なくなった化粧品を買うように促すメッセージを表示したり、化粧品の通販サイトの残り少なくなった商品のページのＵＲＬを、当該ページをリンクした状態に表示したりしてもよい。
　また、今まで使っていた化粧品がなくなるか、残り少なくなったことに対応して、残り少ない化粧品と同じカテゴリーの別の化粧品を紹介する表示を行うものとしてもよい。この際は、当該化粧品のメーカーや販売会社の当該化粧品のウェブページのＵＲＬを、当該ページをリンクした状態に表示してもよい。
　化粧品カテゴリーは、図５の表５ｄ２に示すように、例えば、洗顔料、メイク落とし、化粧水、乳液、クリーム、美容液、美白液、その他等であり、これらの各カテゴリーに対して、上述のカテゴリーナンバが対応づけられている。なお、化粧品カテゴリーは、一例であり、異なるカテゴリーの分け方を行ってもよい。
　お手入れカルテデータベース５ｏは、図５に示すようにユーザーの顧客ＩＤに関連付けて、例えば、ユーザーが任意で毎日、朝と夜に使用した化粧品を登録するものである。上述の使用化粧品履歴データベース５ｄでは、化粧品の使用開始日と使用終了日が登録されるが、お手入れカルテデータベース５ｏでは、毎日、朝と夜に使用した化粧品を登録可能になっている。後述するスケジューラー機能の下で、使用した化粧品のデータが入力され、データ管理サーバー５に送信されるようになっている。
　これにより、お手入れカルテデータベース５ｏには、顧客ＩＤと、日付と時間帯として朝または夜と、使用化粧品データとして、例えば、上述の商品コードが登録される。
　例えば、図５の表５ｏ１に示すように、お手入れカルテデータベース５ｏにおいては、日付と朝または夜という時間帯と、使用した化粧品の商品コードが登録される。この商品コードは、使用化粧品履歴データベース５ｄに登録された化粧品がスマートフォン画面上に表示され、表示された化粧品から実際に使用した化粧品を選択入力することができる。
　図６に示す測定データ用データベース５２の肌履歴データベース５ｂには、顧客ＩＤと、データ入力日時とデータＮｏ．に関連づけて、各肌状態測定装置１から入力される測定データ（入力肌画像、入力蒸散計データ、入力メラニン計データ）が登録される。また、この測定データに関連付けられて、分析結果記憶手段として各簡易診断（分析）結果のデータが登録される。なお、例えば、３０分以内等の所定の時間範囲内で、複数種の肌状態測定装置１から測定データが入力された場合には、総合簡易診断が行われ、この総合簡易診断の結果のデータが登録される。さらに、測定データに対して詳細診断が行われた場合には、詳細診断の結果が通知された後に、詳細診断結果データベース５ｅに顧客ＩＤと測定日時に関連付けて詳細診断の結果のデータが登録され、肌履歴データベース５ｂには、詳細診断結果データベース５ｅへの当該書込データの格納アドレスが登録される。
　なお、本明細書における診断という文言は、医療行為に限定されるものではなく、非医療行為も含み、各種分析等を含む広い意味で用いられている。
　なお、簡易診断は、例えば、予め蓄積された測定データと診断結果データとしての肌状態のランクをあらかじめ対応づけて肌基準値データベース５ｇに登録しておき、肌基準値データベース５ｇに測定結果としての測定データに対して、肌基準値データベース５ｇの測定データから近似する測定データを選択し、当該測定データに関連付けられたランクを簡易診断結果として出力するようになっている。この処理は、肌状態分析手段としてのデータ管理サーバー５の簡易診断プログラム５ｆにより行われる。また、肌用カメラのように、測定データが画像データ２２の場合には、測定データとしての画像データ２２を２値化し、周知の画像認識により認識された２値化された画像データ２２のパターンに基づいて、肌の状態を分析する。
　なお、肌用カメラを用いた場合には、入力肌画像としては、表５ｂ１に示すように、肌色光のＬＥＤ照明で撮影したキメ診断用画像と、白色光のＬＥＤ照明で撮影したシミ診断用画像と、自然光に近いＬＥＤ照明を用いて撮像した肌画像または上述の白色光または肌色光のＬＥＤで撮影する際にホワイトバランス（例えばオートホワイトバランス）により色を再現した肌画像がある。肌画像は、例えば、肌の色（日焼けやくすみ等による色の違い）の判定で用いられる。なお、この実施の形態では、肌の色の判定は、簡易診断では行われず、詳細診断で行われる。前記３種類の肌画像に対しては、それぞれ画質データが登録されるようになっており、各スマートフォン３に異なるカメラの画質相違に対応できるようになっている。
　なお、この画質データに各撮影時の色補正用のデータも登録することにより、画質の校正用データが登録される校正用データベース５ｍを省略することも可能である。
　画質データは、スマートフォン３の内蔵デジタルカメラを用いた場合の各スマートフォン３の機種の違いよる画質の違いを補正するためのものである。例えば、キメ診断用画像、シミ診断用画像、肌画像等の撮影に、スマートフォン３に内蔵されたデジタルカメラ３１を用いた場合に、スマートフォン３の機種によって画質が異なるものとなるので、各スマートフォン３の機種毎の画質データを専用アプリ５ｊが肌履歴データベース５ｂに送信するようになっている。ここで、画質データは、例えば、解像度である。解像度としては、例えば、撮像素子の有効画素数であってもよいし、撮影された画像データ２２の画素数であってもよい。
　また、デジタルカメラの撮像素子のサイズと画素数であってもよい。診断・分析時には、各画像を予め定められた診断・分析項目の画質データに変換して診断・分析を行う。たとえば、肌診断の対象とする画質データに対して肌画像が低解像度の場合は補間や超解像技術により高解像化を行い診断分析し、逆に高い場合には画素を間引きするなどして低解像化して、診断分析を行う。
　また、肌履歴データベース５ｂへの登録画像について、キメ診断用画像、シミ診断用画像、肌画像ごとに予め画質を決定しておき、ユーザーからの画像送出時に、スマートフォン３の専用アプリ５ｊあるいはデータ管理サーバー５のプログラムで定められた画質に変換して肌履歴データベース５ｂに登録するようにしてもよい。この場合は、肌履歴データベース５ｂの項目として画質データは必須ではなくなる。
　また、肌履歴データベース５ｂには、データ入力日時におけるスマートフォン３に内蔵されたＧＰＳにより測定された位置情報（測定地点）がＧＰＳデータとして登録されるようになっている。また、上述のＧＰＳの測定地点における天気情報（気象データ）を天気情報サイトから取得して登録するようになっている。なお、データ入力日時は、肌の各測定を行った日時であるが、簡易診断結果が記憶された日時でもよい。各項目のデータは、肌の測定を行うことにより、自動的に入力される。
　測定条件フラグは、例えば、ＧＰＳデータが通常の測定地点から遠い場合、例えば、前回までの複数回の測定において、同じ県や同じ市で測定が連続して行われていたのに対して、所定距離以上離れた測定地点から肌の測定データが入力された場合に、当該測定地点で測定された測定データや簡易診断結果に対してフラグ（測定条件フラグ）を設定するようになっている。なお、測定地点の他に天気情報における気温や湿度が所定範囲または入力日時における測定地点での平均気温や平均湿度との差が所定範囲を超えるような場合に測定データや簡易診断結果にフラグを設定してもよい。
　このフラグが設定された測定データや簡易診断結果は、各データの平均を求めるなどの統計処理を行う場合に除外され、例えば、フラグが設定されたデータは、統計処理を行う
際の母集団に含まれないようになっている。すなわち、いつもいる場所とは遠く離れた場所にいる場合や、気象条件が大幅に異なる場合には、環境条件が大幅に異なる場合があることから測定結果が異常値になる可能性があり、統計結果に異常値が影響してしまうのを防止するために、統計処理の母集団からフラグが設定されたデータを除外するようになっている。
　肌画像簡易診断結果（表５ｂ２）には、上述のように求められるキメ、シミ、シワの簡易診断結果としての点数（ランク）や偏差値が登録される。また、これらキメ、シミ、シワの診断結果や、肌画像における色（乾燥や肌荒れによる赤さなど）や、アトピーによる湿疹の有無や、乾燥によるキメの乱れから肌タイプが選択されるようになっている。なお、肌タイプは、詳細診断でも決定されるようになっている。
　また、詳細診断は、測定データを例えば提携企業としての化粧品会社サーバー（化粧品会社Ａサーバー６１、化粧品会社Ｂサーバー６１）で行われるものであり、化粧品会社サーバーが肌状態分析手段になる。基本的には、簡易診断と同様に、測定データと分析結果データを関連付けた詳細診断システム６２に含まれるデータベースから、肌状態測定装置１で得られた測定データに近似する測定データを選択し、当該測定データに関連付けられた分析結果データを出力するものである。ただし、詳細診断では、例えば、登録されている測定データ数および分析結果データが簡易診断の場合より多く、詳細診断用のデータベースにさらに細かく分類された状態となっており、簡易診断より詳細な分析結果を得られるようになっている。また、詳細診断用に各化粧品会社独自のアルゴリズムで、データベースに登録された測定データを選択して、それに対応する分析結果を得られるようになっていてもよい。なお、肌の色を除く画像データ２２の分析に際しては、例えば、所定の閾値を境に２値化し、白と黒の面積比や白や黒のパターン等により肌状態を分析する。
　化粧品会社サーバーは、上述の詳細診断結果に基づいて、ユーザーに推奨する化粧品を決定する推奨化粧品決定部６３と、詳細診断結果に基づいて、肌のケア方法や、肌のケアに有効なケア用品等をアドバイスするためのアドバイスの内容を決定するアドバイス決定部６４を備える。
　詳細診断結果データベース５ｅは、上述の詳細診断の結果を顧客ＩＤに関連づけて登録するものであり、詳細診断が行われた日である診断日時（詳細診断を頼んだ測定データの測定日時を含んでもよい）と詳細診断結果のデータが登録される。また、詳細診断の結果に対応して選択されるアドバイスのデータや、推奨化粧品（スキンケア用品）のデータが登録されている。
　ところで、この表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法では、肌画像を用いた分析においては、定期的に撮影を行って肌画像を取得することにより、肌状態の経時変化を知ることが可能になる。経時変化の表示方法としては、撮影画像を動画やスライドショーとして出力するのが効果的である。しかし、これを実現するには、肌用カメラや、スマートフォン３のデジタルカメラに上述のレンズモジュールを取り付けて肌を略定期的に撮影する場合に、撮影毎に同じ範囲を撮影することが必要であるが困難である。
　例えば、スマートフォン３の内蔵デジタルカメラにコンバージョンレンズを取り付けて撮影する場合には、撮影時に自分でスマートフォン３のディスプレイを見ることが困難であり、例えば、鏡を使ってスマートフォン３のディスプレイを見ることにより、肌状の位置を特定することが難しい。
　すなわち、肌には、肌上の位置の基準となるような特徴的な部分がなく、たとえ、肌の撮影位置が良く見える状態でも、前回撮影した場所と同じ場所を撮影しているか否かの判断ができない可能性が高い。但し、シミを撮影する場合には、シミを基準として、毎回略同じ位置を撮影できる可能性が高くなるが、それでも、毎回同じ位置を撮影することは難しい。
　また、スマートフォン３にＵＳＢインターフェース１３等で肌用カメラを接続する場合には、ＵＳＢケーブルを用いてスマートフォン３に対して肌用カメラを動かせることから、スマートフォン３のディスプレイを直接見ながら肌上の撮影位置を決めることができるが、上述のように明確な目標となる特徴部分がないと、毎回同じ位置を定期的に撮影することが難しい。上述のようにスマートフォン３に肌レンズを直接取り付ける方式では、より同一部分の撮影が困難である。
　また、撮影毎に肌上の撮影位置が大きくずれると、肌の状態の変化が時間の経過による変化なのか、位置の違いによる変化なのかが分かり難くなる。この実施の形態では、このような問題を解決する方法として、撮影ポイントを設定し、当該撮影ポイントを順次撮影した場合に、撮影された画像データ２２の相対位置を算出することにより、画像上の肌の状態違いが時間経過によるものか、位置の違いによるものかを把握することを可能として、肌状態の分析の精度を高めるとともに、画像データ２２を撮影順でスライドショー（動画）として表示する場合に、各画像データ２２の相対位置に基づいて表示することにより、各スライド（フレーム）の画面上の各箇所に同じ肌の位置が表示されようにしている。すなわち、各スライドにおいて、同じ毛穴（図９、図１０に図示）２０は、どのスライドにおいても同じ位置に表示されるようにしている。
　上述の撮影対象となる肌の撮影ポイントが決められるとともに、当該撮影ポイントで複数の画像が順次撮影される場合に、撮影された各画像データ２２の相対位置を算出する処理と、この相対位置に基づいて画像データ２２の表示を行う処理の概要を以下に説明する。
　この表面状態測定分析情報管理システムにおいては、定期的に被写体を撮影する際に、まず、被写体を顔の肌とした場合に、顔全体の画像上で肌上の撮影範囲の中心を示す撮影ポイントを設定し、撮影時等において、例えば、図８のスマートフォン３の表示画面３ｅ，３ｆ，３ｇに示すように、撮影ポイント（図面上においえ撮影枚数としての数値を囲む丸）を顔全体の画像上で確認できるようにしている。なお、顔の画像は、実際のユーザーの顔を撮影した実画像であってもよいし、実画像に基づきイラスト化した絵であってもよい。あるいは、顔の画像が絵の場合は、顔の絵を予め複数種類記憶しておき、複数種の顔の絵から使用する絵を選択できるようにしてもよい。
　撮影ポイントは、顔の画像の例えば２つの目尻を結ぶ線分の中央となる点を顔全体座標系の原点位置として、ＸＹ座標系や極座標系で各撮影ポイントの位置を示せるようになっている。ここでは、例えば、極座標系を用い、目尻を結ぶ線分を座標の角度（偏角）の基準としている。なお、この顔全体座標系は、顔の画像上に撮影ポイントを表示するためのものである。
　ユーザーが上述の顔画像上で撮影ポイントをタッチ等により設定すると、顔全体座標系上の座標が算出されて記憶される。ユーザーが決められた撮影ポイントを撮影する際には、顔画像上に上述の座標に基づいて表示された顔全体座標系上の撮影ポイントを指定して撮影する。
　したがって、ユーザーは撮影時に撮影ポイントを顔画像上で確認することになり、撮影時に撮影箇所が撮影ポイントとかけ離れた位置となるのを抑制することができる。
　撮影された画像データ２２においては、画像データ２２上の中心位置を原点とする極座標系を設定し、画像データ２２に写っている毛穴２０の位置を算出する。なお、直交座標系を用いるとともに画像データ２２の画像の形状が矩形の場合には、原点を画像の左端の下端としてもよい。
　撮影ポイントを設定した後に最初に撮影した画像データ２２の上述の各毛穴２０の座標位置を次に同じ撮影ポイントを指定して撮影される画像データ２２の毛穴２０の配置パターンとの比較用の毛穴データとして記憶する。次に撮影された画像データ２２が入力されると、同様に画像データ２２上の中心を原点とする極座標系における各毛穴２０の座標が算出され、これら座標が登録された毛穴座標テーブルが作成される。
　なお、この段階では、毛穴データと、毛穴座標テーブルは、それぞれの画像データ２２の中心を原点とする毛穴２０の座標のテーブルであるが、毛穴座標テーブルが１つの画像データ２２の毛穴２０の座標であるのに対して、毛穴データは、中心位置が決定した画像データ２２の毛穴２０の座標が順次追加登録されるようになっている。
　基本的には、図９に示すように最初に撮影された画像データ２２（符号２１ａを中心とする画像）と、次に撮影された画像データ２２（符号２１ｂを中心とする画像）とは、矢印２４に示すずれがあっても、一部の領域が重なる可能性が高い。これにより、比較する２つの画像データ２２の毛穴２０の配置パターンには、略一致する部分が生じる。この毛穴２０の配置パターンが一致する部分が２つの画像データ２２で重なる部分である。この場合に、最初に撮影された画像データ２２を基準画像とし、この基準画像の中心を原点とする撮影ポイント座標系を設定する。なお、最初に撮影された画像データ２２と次に撮影された画像データ２２とで毛穴２０の配置パターンが一致する部分がない場合については、後述する。
　このように基準画像となった画像データ２２に重なった画像データ２２の毛穴２０の座標は、上述の撮影ポイント座標系の座標に変換され、毛穴データに登録された毛穴２０の座標と重ならない毛穴２０の座標が毛穴データに追加される。また、撮影ポイント座標系における画像データ２２の中心位置２１ｂの座標（画像中心の位置座標）が求められ、画像データ２２の位置が決定される。それ以降は、撮影された画像データ２２が入力される度に、毛穴座標テーブルを求め、毛穴データと比較し、毛穴２０の配置パターンが一致する部分があれば、上述のように毛穴座標テーブルの座標を変換するとともに毛穴データに変換された毛穴２０の座標を追加登録するとともに、画像データ２２の中心位置の撮影ポイント座標系における座標を決定する。
　なお、ここでは、画像データ２２における画像の外形を円としたが矩形としてもよい。また、一度、毛穴座標テーブルに毛穴データと毛穴２０の配置パターンが一致する部分がないと判定された画像データ２２であっても、毛穴データに毛穴２０の座標が追加登録されることにより、追加登録された毛穴データに基づいて毛穴２０の配置パターンが一致する部分が生じる可能性がある、したがって、毛穴データに毛穴２０の座標が追加登録される度に、毛穴データにおける毛穴２０の配置パターンと一致する毛穴２０の配置パターンが無かった画像データ２２の毛穴座標テーブルと毛穴データとを比較する。この際に、毛穴２０の配置パターンが一致する部分があれば、その画像データ２２の毛穴２０の座標を上述のように座標変換して毛穴データに追加登録するとともに、その画像データ２２の画像中心の位置座標を決定する。
　このようにすれば、同じ撮影ポイントで撮影された画像データ２２で、毛穴データと毛穴２０の配置パターンが一致する部分がある画像データ２２は、相対位置が決定されることになる。すなわち、図１０に示すように、各画像データ２２は、毛穴データにおける毛穴２０の配置と、毛穴２０の配置が一致する部分があれば、撮影ポイント座標系における位置が決まることになる。これにより、各画像データ２２の撮影日時と、各画像データ２２の相対位置としての画像中心の位置座標が分かることになり、肌状態の分析に際して、明らかに異なる位置の肌状態を略同じ位置の肌状態と勘違いするようなことを防止して、肌状態をより精度高く判定することができる。
　スライドショーの表示に際しては、例えば、符号２６で示される矩形の範囲を、画像データ２２を表示する表示画面の位置とした場合に、この表示画面に上述の撮影ポイント座標系を設定し、各画像データ２２をその画像中心が撮影ポイント座標系の対応する座標に表示させることができる。この場合に、同じ毛穴２０は、異なる画像データ２２においても、略同じ位置に表示されることになる。この場合に各スライドに画像の欠けた部分があるが、１度表示された画像は、上書きされるまで残すようにすることにより、画像の欠けた部分に前の画像データ２２が表示され、見やすい画面表示になる。
　この場合に、例えば、カメラを三脚等に固定し、微速度撮影を行った後に、早回し再生したような画像になる。なお、各スライドの画像の欠けた部分を前後の画像データ２２に基づいて補間するものとしてもよい。
　次に、上述のような同じ撮影ポイントで複数の画像を撮影するとともに再生する処理に用いられる各データと各データベースとの関係を説明する。まず、ユーザーごとに登録可能な最大の撮影ポイントの数（最大登録撮影ポイント数）は、図５に示すように、顧客個人情報管理データベース５ａに入会の際に登録される。なお、ユーザーが登録可能な撮影ポイントは、例えば、無料会員と有料会員等のように、会員の種類によって、変更できる設定となっており、例えば、無料会員は、撮影ポイントを１つだけ設定でき、有料会員は、撮影ポイントを３つ設定できるようにしてもよい。また、撮影ポイントの数によって、それぞれ異なる課金が発生するようにしてもよい。撮影ポイントの数は、任意に設定可能であり、各種条件によって、ユーザーが利用可能な撮影ポイントの数を決定するものとしてもよい。
　撮影ポイントを決めて撮影された画像データ２２は、図６に示すように、肌履歴データベース５ｂの入力肌画像の項目（表５ｂ１）に登録される。なお、画像データ２２には、キメ診断用画像、シミ診断用画像、肌画像があり、画像データ２２の位置を求める際には、これら画像データ２２の種類のいずれを用いるものとしてもよいが、例えば、肌画像を用いるものとする。なお、１つの撮影ポイントでの撮影時に、上述のキメ、シミ、肌の３種類の画像データ２２が撮影されるので、１つの種類の画像データ２２の位置（画像中心の位置座標）が決まれば他の種類の画像データ２２の画像中心の位置座標も決まることになる。
　上述の顔全体座標系における撮影ポイントの座標は、図６の表５ｂ１に示すように肌履歴データベース５ｂの入力肌画像の項目に撮影ポイント（中心座標）として、各画像に対応して登録され、各画像データ２２がどの撮影ポイントを撮影したか検索可能になっている。
　また、各撮影ポイントを目標として撮影された各画像データ２２の中心位置を同一の撮影ポイントの他の画像データ２２（肌画像データ）との関連性から求めるようになっており、この各画像データ２２の中心位置が「画像中心の位置座標」として、肌履歴データベース５ｂの入力肌画像の項目（表５ｂ１）に登録されるようになっている。これにより同じ撮影ポイントで順次撮影された画像データ２２の相対位置が分かることになる。
　ここで、「画像中心の位置座標」の座標系は顔全体座標系ではなく、当該撮影ポイントについて基準画像が決定した際に基準画像の中心を原点とした上述の撮影ポイント座標系となっている。極座標を利用するのであれば、基準画像の水平を角度の基準とすることができる。また、各画像データ２２の位置を決定する場合に、必ずしも、撮影順に位置が決定するとは限らないものとなっている。そこで、画像中心の位置座標が決定した画像データ２２に対して位置決定フラグをオンとするようになっており、未だ画像中心の位置座標の決まらない画像データ２２では位置決定フラグがオフのままになっている。この位置決定フラグは、肌履歴データベース５ｂの入力肌画像の項目（表５ｂ１）に登録される。なお、同じ撮影ポイントを撮影した画像データ２２には、上下左右の位置ずれの他に回転方向の位置ずれもあるので、基本的に基準画像における水平が座標の角度（偏角）の基準となり、その他の画像データ２２は、毛穴データと毛穴２０の配置パターンが一致する領域に基づいて画像データ２２の角度が決まる。
　撮影ポイントデータベース５ｃには、顧客ＩＤに関連づけて、撮影ポイントの登録数（登録撮影ポイント数）が記憶される。この撮影ポイントの登録数は、上述の最大値ではなく、最大値の範囲内でユーザーが既に登録した撮影ポイントの数であり、０から最大値までのいずれかの値である。
　撮影ポイントデータベース５ｃでは、顧客ＩＤに関連付けられて、登録された各撮影ポイントに対応して、撮影ポイントの中心座標が、顔全体座標系の座標として登録される。
また、撮影ポイントデータベース５ｃでは、撮影ポイントの中心座標（顔全体座標系）に関連付けられて、登録（撮影）された画像データの枚数と、撮影ポイントを登録した日付と、基準画像のデータＮｏ．と、上述の毛穴データが登録されている。基準画像のデータＮｏ．とは、各測定データの測定時に各測定データとしての画像データ２２毎に付けられて肌履歴データベース５ｂに登録されているデータＮｏ．のうちの基準画像となった画像データ２２のデータＮｏ．である。
　毛穴データは、毛穴座標テーブルと同様の座標のテーブルであり、当該撮影ポイントの撮影ポイント座標系における各画像データ２２の各毛穴２０の位置を示す座標が、図６の表５ｂ４に示すように、極座標の動径（ｒｎ）と偏角（θｎ）で登録される。なお、上述のように画像データ２２同士で配置パターンが一致する毛穴２０は同じ毛穴２０として座標が登録される。
　次に、撮影ポイントの登録に係わる登録撮影ポイントの追加・変更処理を、図７および図８と図１２のフローチャートを参照して説明する。登録撮影ポイントの追加・変更処理はスマートフォン３で行われる処理であるが、スマートフォン３における登録撮影ポイントの追加・変更処理に基づいて、追加または変更された撮影ポイントの中心座標は、データ管理サーバー５に送信され、データ管理サーバー５が、追加または変更された撮影ポイントの中心座標が撮影ポイントデータベース５ｃに新に登録される。なお、撮影ポイントの変更では、撮影ポイントの追加と撮影ポイントの消去を合わせ行うことにより、消去された撮影ポイントに代えて追加された撮影ポイントが登録される。
　図７に示すように、スマートフォン３において、専用アプリ５ｊを起動させて、表示画面３ａに示すメインメニューを表示させると、選択肢に肌状態測定装置１による測定を行うための選択肢として診断エステが選択可能になる。診断エステを選択して、表示画面３ｂに示す診断エステメニューを表示させる。診断エステメニューでは、肌状態測定装置１を使用する肌診断が選択可能であり、肌診断を選択すると、表示画面３ｃに示す肌診断メニューが表示され、肌状態測定装置１として、肌診断カメラ（肌用カメラ）が選択可能になり、肌診断用カメラを選択すると、図８の表示画面３ｄに示す撮影の種類メニューが表示され、撮影の種類が選択可能になる。
　撮影の種類には，ここでは、２種類あり、継続肌撮影と、ピンポイント撮影とを選択可能となっている。継続肌撮影は、肌上に撮影ポイントを設定して、設定された撮影ポイントを定期的に撮影するものである。また、ピンポイント撮影では、継続的な撮影は行われず、撮影された肌画像について簡易診断を受けるためのものである。なお、簡易診断は、継続肌撮影の場合も行われる。ピンポイント撮影では、肌の気になる部分を試しに撮影して、簡易診断を受けるものである。また、ユーザーの知り合いに試しに肌の簡易診断を受けてもらうような場合にも利用可能である。
　スマートフォン３においては、撮影の種類のメニューにおいて継続肌撮影が選択されたか否かが判定される。（ステップＳ１）。
　継続肌撮影が選択されず、ピンポイント撮影を選んだ場合には、次に、肌用カメラで肌を撮影して、撮影された画像データ２２をデータ管理サーバー５に送信して、画像データ２２による簡易診断を受けることになる。
　継続肌撮影が選択された場合には、撮影ポイントデータベース５ｃのデータをデータ管理サーバー５からダウンロードし、撮影ポイントデータベース５ｃに既に登録された撮影ポイントがある場合に、撮影ポイントデータベース５ｃの登録された撮影ポイントの中心座標と、その撮影ポイントで撮影された画像枚数と、その撮影ポイントの登録日に基づいて、図８の表示画面３ｅに示すように、顔の画像上に撮影ポイントと、撮影ポイントの登録日と、撮影ポイントでの撮影枚数を表示し、かつ、登録撮影ポイントの追加・変更ボタンを表示する。すなわち、表示画面３ｅを作成して表示する（ステップＳ２）。なお、撮影ポイントが登録されていない場合には、撮影ポイントなしの顔の画像が表示されるが、ステップＳ５に移行するものとしてもよい。
　なお、上述のように顔の画像上には、２つの目尻を結ぶ線分の中央の点を原点とする極座標系（顔全体座標系）が設定されており、撮影ポイントデータベース５ｃには、撮影ポイントとして顔全体座標系の極座標が記憶されている。
　表示された撮影ポイントの１つがタッチされたか否かを判定する（ステップＳ３）。
　表示された撮影ポイントがタッチされない場合に、登録撮影ポイントの追加・変更ボタンがタッチされたか否かを判定する（ステップＳ４）。
　表示された撮影ポイントがタッチされた場合には、この処理を終了し、図８の表示画面３ｇを表示する。表示画面３ｇでは、顔の画像上にタッチされた撮影ポイントだけが表示され、この撮影ポイントを撮影するように促され、撮影処理に移行する。登録撮影ポイントの追加・変更ボタンがタッチされた場合には、図８の表示画面３ｆを表示する（ステップＳ５）。
　表示画面３ｆは、基本的に表示画面３ｅと同じ画像に、新規撮影ポイントの入力を促す表示が表示される。新規撮影ポイントの入力として、ユーザーが表示画面３ｅ上の顔の画像上をタッチしたか否かが判定される（ステップＳ６）。
　タッチされた場合には、タッチされた位置の上述の顔の画像上の座標系の位置（顔全体座標系）を求める（ステップＳ７）。
　また、現状の撮影ポイントの登録数が設定された上限値、例えば、３つか否かを判定し（ステップＳ８）、３つより少ない場合、すなわち、新たに撮影ポイントを登録可能な場合には、ダウンロードした撮影ポイントデータベース５ｃにおいて、新たな撮影ポイントの項目を設定し、当該撮影ポイントの項目に、撮影ポイントの中心座標と、今日の日付を登録日として登録し、撮影された肌画像の枚数を０とする（ステップＳ９）。
　また、書き換えられた撮影ポイントデータベース５ｃをデータ管理サーバー５に送信するとともに、書き換えられた撮影ポイントデータベース５ｃに基づく表示画面３ｅを作成して表示し（ステップＳ１０）、ステップＳ３に戻る。なお、データ管理サーバー５では、撮影ポイントデータベース５ｃを受信した撮影ポイントデータベース５ｃに置き換えるように更新する。
　現状の撮影ポイントの登録数が設定された上限値の場合には、新たに撮影ポイントを増加できないので、削除する撮影ポイントを指示するか、撮影ポイントの入力をキャンセルするのかをユーザーに入力させる表示画面を表示する（ステップＳ１１）。
　ユーザーは、表示画面３ｆと同様の表示画面に表示されたキャンセルボタンをタッチするか、削除する撮影ポインとをタッチして指示する。
　スマートフォン３では、削除する撮影ポイントがタッチされたか否かを判定する（ステップＳ１２）。
　撮影ポイントがタッチされない場合には、キャンセルボタンがタッチされたか否かを判定する（ステップＳ１３）。
　キャンセルボタンがタッチされた場合は、新たな撮影ポイントが表示されていない元の表示画面３ｅを表示してステップＳ３に戻る。
　撮影ポイントがタッチされた場合には、タッチされた撮影ポイントの座標や、例えば、１～３の撮影ポイントの番号に基づいて、データ管理サーバー５からダウンロードした撮影ポイントデータベース５ｃからタッチされた撮影ポイントの項目のデータを削除し（ステップＳ１４）、ステップＳ９に移行し、先にタッチされたポイントを新たな撮影ポイントとして、上述のように撮影ポイントデータベース５ｃに登録し、データ管理サーバー５に送信する。
　この処理では、ステップＳ３で、最終的に今回撮影する撮影ポイントがタッチされた場合に上述のように処理を終了して撮影処理に移行する。
　撮影処理では、例えば、上述の肌のキメの撮影と、肌のシミの撮影と、肌の色の撮影が行われ、撮影された画像データ２２は、スマートフォン３からデータ管理サーバー５に送信される。
　この際には、スマートフォン３からデータ管理サーバー５に、撮影された各画像データ２２（キメ診断画像、シミ診断画像、肌画像）とともに、顧客ＩＤ、データ入力日時（撮影日時）、ＧＰＳデータ（測定地点）、各画像データ２２の画質データ（例えば、撮影したカメラの解像度）と、撮影ポイントの座標、位置決定フラグ（オフ）が送信される。
　これらのデータを受信したデータ管理サーバー５では、これらのデータを顧客ＩＤに関連付けて肌履歴データベース５ｂに登録する。なお、この際には、画像中心の位置座標は決定されておらず、登録されない。位置決定フラグはオフのままとなっている。また、各画像データ２２に基づいて簡易診断処理を行い、簡易診断結果をスマートフォン３に送信し、スマートフォン３のディスプレイに表示させる。また、簡易診断結果は、肌履歴データベース５ｂの肌画像簡易診断結果に登録される。
　スマートフォン３においては、肌の撮影後、簡易診断結果が表示されて一連の処理を終了した状態となり、例えば、専用アプリ５ｊで、簡易診断結果が表示された状態で、専用アプリ５ｊの他の項目の表示画面に移行するか、専用アプリ５ｊを終了することになる。
　一方、データ管理サーバー５では、継続肌撮影に基づく画像データ２２が登録された際には、上述の簡易診断結果のスマートフォン３への送信が終了した後に、画像中心の位置座標決定処理が行われる。
　以下に、図１３および図１４に示すフローチャートを参照して、データ管理サーバー５で行われる画像中心の位置座標決定処理を説明する。
　上述のようにスマートフォン３から受信して肌履歴データベース５ｂの入力肌画像の項目（表５ｂ１）に登録され肌（キメ、シミ、色）の画像データ２２を用い、画像認識により毛穴２０の位置を分析し、例えば、画像データ２２の画像の中心を原点とする極座標系における各毛穴２０の座標を求め、これらの毛穴２０の座標が登録された毛穴座標テーブルを作成する（ステップＳ２１）。
　例えば、撮影された画像データ２２は、スマートフォン３からデータ管理サーバー５に送信され、データ管理サーバー５において、受信した画像データ２２を用いて、簡易診断が行われる。その後に画像データ２２上の毛穴２０の位置が検出される。毛穴２０の位置の検出は、毛穴２０より認識が容易な肌上の毛（産毛）を検出することにより行われる。認識された毛の端部は、先端側が細く、毛穴２０側である基端側で太くなる。
　そこで、認識された毛の太い側の端部を毛穴２０として認識するようになっている。なお、毛が生えていない状態で正常な閉じた状態の毛穴２０は、認識が難しくなるので、ここでは、毛が生えた毛穴２０の毛の基端部を認識し、これを毛穴２０としている。
　なお、毛が生えていなくとも開いた状態の毛穴２０は閉じた毛穴２０に比較して認識し易く、開いた毛穴２０を認識（認識できる毛穴２０だけを認識）して、毛の生えた毛穴２０と同様に座標上の位置を決定するものとしてもよい。なお、肌上の毛穴２０の配列は、略規則的であり、全ての毛穴２０を認識させて位置を記憶させた場合に、画像上の特徴点と成り難くなる虞もあり、毛の生えた毛穴２０や開いた毛穴２０だけを認識させることにより、毛穴２０の配置パターンに違いが生じ易く、毛穴２０のパターンから各肌画像が重なる部分を特定し易くなる。所定の径以下の大きさで部分的に色素が沈着している部分（周囲の色に対して色が濃くなっている部分）の中心を毛穴２０と認識するようにしてもよい。また、毛穴２０部分にメラニンが滞留して小さなシミが生じる場合があり、所定サイズ以下のシミを毛穴２０と認識するものとしてもよい。
　次に、選択された撮影ポイントにおける一度目の撮影か否かが判定される（ステップＳ２２）。すなわち、撮影ポイントデータベース５ｃおける選択された撮影ポイントの画像枚数が１か否かが判定される。
　一度目の撮影の場合には、毛穴座標テーフルを撮影ポイントデータベース５ｃの対応する撮影ポイントの毛穴データに登録する（ステップＳ２３）。この際に、位置決定フラグはオフのままとする。毛穴データは、各画像データ２２の位置を特定するために使用される毛穴２０の座標テーブルである。毛穴データにおける各毛穴２０の座標は、上述の基準画像の中心位置を原点とする撮影ポイント座標系の座標である。但し、ここでは、基準画像が決定されておらず、かつ、位置が決定された画像データ２２が無い状態であり、仮に一度目の撮影の画像データ２２の中心を原点とする座標系の毛穴２０の座標が登録された毛穴座標テーブルを毛穴データとして、撮影ポイントデータベース５ｃの対応する撮影ポイントに登録する。一度目の撮影の場合には、毛穴データと比較する毛穴座標テーブルがないので処理を終了する。
　ステップＳ２２において、選択された撮影ポイントにおける一度目の撮影ではないと判定された場合、すなわち、撮影ポイントデータベース５ｃおける選択された撮影ポイントの画像枚数が２以上の場合に、作成された毛穴座標テーブルの毛穴２０の配置パターンと、毛穴データの毛穴２０の配置パターンに一致する部分が有るか否かが判定される（ステップＳ２４）。この際には、所定の画像認識アルゴリズムにより、２つの画像データ２２中に毛穴２０の配置パターンが略一致する部分が有るか否かが判定される。
　例えば、毛穴データと、毛穴座標テーブルとで、毛穴２０の配置パターンが類似する部分があるか判定し、これら２つの画像データ２２には、肌上の同じ範囲を撮影した部分（肌画像同士が重なる部分（同じとなる部分））があると判断する。この判定には、肌カメラの皮膚への押圧力の相違に基づく皮膚表面の膨れによる毛穴座標の変化、撮影環境の相違による認識できる毛穴２０の変化なども考慮して、許容値以上の一致率で同一配置パターンの存在を判断する。
　次に、比較された毛穴データと、毛穴座標テーブルに毛穴２０の配置パターンが一致する領域が有ったか否かを判定する（ステップＳ２５）。毛穴データと、毛穴座標テーブルに毛穴２０の配置パターンが一致する領域が無い場合に、既に基準画像が決定しているか否かを判定する（ステップＳ２６）。この際には、撮影ポイントデータベース５ｃの撮影ポイントの基準画像の項目を参照して判断するが、撮影ポイントに対応する画像データ２２において、位置決定フラグがオンとなっている画像データ２２が有るか否かを判定してもよい。基準画像が決定していない場合には、ステップＳ２３に移行し、作成された毛穴座標テーブルを毛穴データとして撮影ポイントデータベース５ｃに登録する。この際には、前の毛穴データを消して、毛穴データを更新記憶する。
　すなわち、先に撮影された画像データ２２の毛穴座標データである毛穴データと、次に撮影された画像データ２２の毛穴座標データとで毛穴パターンが一致する領域が見つかるまで、画像データ２２を受信するたびに、作成された毛穴座標デーブルを毛穴データとして更新記憶する。この際には、未だ画像データ２２の相対位置が決まっていないので、対応する位置決定フラグはオフのままとして処理を終了する。
　ステップＳ２６で既に基準画像が決定していると判定された場合に、この画像データ２２に対応する肌履歴データベース５ｂの入力肌画像の項目の位置決定フラグをオフのままとして（ステップＳ２７）、ステップＳ３３へジャンプし、未定義画像の位置決定処理へ移行する。
　ステップＳ２５で、比較された毛穴データと、毛穴座標テーブルに毛穴２０の配置パターンが一致する領域が有った場合には、既に基準画像が決定しているか否かを判定する（ステップＳ２８）。この判定方法は前述の通りである。基準画像データ２２が決定していない場合には、今回受信されて毛穴座標データが作成された当該撮影ポイントでのＮ番目の画像データの前に受信して毛穴データが登録されているＮ―１番目の画像データ２２を基準画像とし、当該撮影ポイントでのＮ－１枚目の画像に対応するデータＮｏ．を対応する撮影ポイントデータベース５ｃの撮影ポイントの基準画像の項目に登録する。（ステップＳ２９）。この際には、一つ前に撮影したＮ－１番目の画像データ２２の位置決定フラグをオンとするとともに、毛穴データで用いられる毛穴２０の座標の座標系としての撮影ポイント座標系の原点を基準画像に決定された画像データ２２の画像中心に決定する。
　なお、この際に記憶されている毛穴データは、Ｎ－１番目の画像データ２２の中心を原点とする毛穴座標テーブルにおける座標系の座標と同じデータであり、毛穴データはそのままの状態となる。
　ステップＳ２８で基準画像が決定していると判定された場合、または、ステップＳ２９の処理が行われた場合に、毛穴データと毛穴２０の配置パターンが一致する領域を有する今回の撮影画像であるＮ番目の画像データ２２の画像中心の座標を撮影ポイント座標系の座標に変換する。撮影ポイント座標系におけるこのＮ番目の画像データ２２の画像中心の座標を肌履歴データベース５ｂの入力肌画像（表５ｂ１）に登録する。さらに、肌履歴データベース５ｂの入力肌画像（表５ｂ１）の位置決定フラグをオンとする（ステップＳ３０）。これによりキメ、シミ、肌のＮ番目の画像データ２２の画像中心の撮影ポイント座標系における位置が決定されたことになる。
　次に、上述のように画像中心が決定されたＮ番目の画像データ２２の各毛穴２０の座標を撮影ポイント座標径の座標系（基準画像の中心を原点とする）に変換する（ステップＳ３１）。すなわち、作成された毛穴座標テーブルの座標の座標系の原点である画像データ２２の画像中心を、撮影ポイント座標系の画像中心の座標とするように座標変換を行う。これにより、画像データ２２上の各毛穴２０の座標が毛穴データにおける毛穴２０の座標と同じ撮影ポイント座標系の座標になる。
　次に、上述のように撮影ポイント座標系の座標に変換されたＮ番目の画像データ２２の毛穴２０の座標を毛穴データに追加登録する（ステップＳ３２）。この際には、上述のように毛穴データの毛穴２０と配置パターンが一致した毛穴２０の座標は、既に、毛穴データに登録されていることになるので、配置パターンが一致しなかった毛穴２０の座標を毛穴データに追加登録する。
　次に、未定義画像の位置決定処理（ステップＳ３３以降の処理）を行う。肌履歴データベース５ｂの入力肌画像（表５ｂ１）の位置決定フラグがオフとなっている画像データ２２を全て選択する（ステップＳ３３）。次に選択された位置決定フラグがオフとなっている各画像データに以下の処理を行う。この処理は、位置決定フラグがオフとなっている画像データ毎にループ処理として行われ、位置決定フラグがオフとなっている画像データ１つずつに同じ処理が行われる。
　ここでは、位置決定フラグがオフの画像データの数をｎとし、１~ｎ番目までの画像データにそれぞれ処理をする。また、ｉ＝１~ｎとし、ｉ番目の画像データを順次処理するループ処理を開始する（ステップＳ３４）。なお、位置決定フラグがオフの画像データがない場合には処理を終了する。
　これらの選択された画像データ２２のうちのｉ番目の画像データ２２に対応する毛穴座標テーブルを作成し、撮影ポイントデータベース５ｃに記録されている当該撮影ポイントの毛穴データと比較する（ステップＳ３５）。ここでは、上述の毛穴データの追加登録により、毛穴データにおける毛穴２０の座標が増えており、今まで毛穴データと毛穴２０の配置パターンが一致する領域がなかった画像データの毛穴座標テーブルであっても、毛穴データと毛穴２０の配置パターンが一致する領域がある可能性が生じることになる。
　比較の結果、毛穴データと、毛穴２０の配置パターンが一致する領域がある毛穴座標テーブルが有るか否か（毛穴の配置パターンが部分的に一致するか否か）を判定し（ステップＳ３６）、有った場合に、この毛穴座標テーブルに対応する画像データ２２の画像中心の撮影ポイント座標系における座標を求め、肌履歴データベース５ｂに登録するとともに、肌履歴データベース５ｂの位置決定フラグをオンとする（ステップＳ３７）。
　次いで、ｉ番目の画像データの毛穴の座標テーブルを、基準画像の座標系、すなわち、撮影ポイント座標系に変換する。すなわち、毛穴データにおける各毛穴の位置の座標と同じ座標系に変換する（ステップＳ３８）。変換されたｉ番目の画像データ２２の毛穴座標テーブルの座標を撮影ポイントデータベース５ｃの対応する撮影ポイントの項目の毛穴データに追加登録する（ステップＳ３９）。ｉに１加算してステップＳ３４からのループ処理を繰り返す（ステップＳ４０）。但し、ｉ＝ｎとなってから、ステップＳ３５からステップＳ３９までの処理が行われた場合に、処理を終了する。
　なお、この処理は、スマートフォン３ではなく、データ管理サーバー５側で行われるため、スマートフォン側の処理とは別にバックグラウンドで実行可能である。従って、互いに重なる領域がある２つ以上の画像データ２２が見つかるまで、ユーザーのスマートフォン３を介して撮影された画像データ２２が入力するたび、既に記憶されているとともに位置が決定していない全ての画像データ２２に対応する毛穴座標テーブルと、新たに入力された画像データ２２の毛穴座標テーブルを比較するものとしてもよい。
　このように、毛穴データに基づいて、互いに重なる部分を有する画像データ２２が見つかった場合に、これらの画像データ２２上の毛穴２０を同じ座標系上の位置で表すことが可能になる。座標系としては、上述の撮影ポイント座標系が用いられ、各画像の画像中心の位置が座標として決定される。また、毛穴２０の座標は、撮影ポイント座標系の座標に変換されて統一されて、毛穴データに登録される。この座標変換は、肌カメラの皮膚への押圧力の相違に基づく皮膚表面の膨れによる毛穴座標の変化を考慮して変換する。具体的には、画像の中心を基準に画像が拡大・縮小しているものとして、例えば、極座標であれば動径ｒに倍率を乗算する処理を行う。
　このように互いの相対位置が特定された画像データ２２においては、位置の違いによる肌状態の違いを把握することができる。例えば、位置の情報がない画像データ２２の場合に、部分的な肌荒れが写っている画像データ２２と、位置ずれにより肌荒れが写っていない画像データ２２が発生する虞がある。
　この場合に、肌荒れが急に発生したように見えたり、肌荒れが急に治ったりしたように見える可能性があり、肌状態の経時的な変化が極めて分かり辛い状態になる。
　それに対して、この実施の形態では、各画像データ２２が示す肌の位置の違いを把握できるので、例えば、一部の画像データ２２にしか肌荒れが写っていない場合に、肌荒れが写っている画像データ２２だけから、肌荒れの経時的な変化を観察することが可能になる。したがって、肌荒れが写っていない画像データ２２を見て、肌荒れが良好になったと判断するようなミスを減らすことが可能になる。すなわち、肌状態の経時変化をより精度高く判定することが可能になる。
　この場合に契約者クライアント６としての化粧品会社等の提携会社のコンピュータシステムにデータを提供する場合に、提携会社で使用し易いデータが提供されることになり、提携会社が欲しがるデータを提供することが可能になる。これにより、提携会社としての契約を増やしたり、有料となるデータの使用量が拡大されたりする可能性がある。
　また、画像データ２２を詳細診断する場合に、肌荒れが消えたり発生したりを繰り返すような表示とならず、肌の状態をある程度長い期間で観察した結果を詳細に分析することが可能になり、より詳細な肌診断を可能にする。
　また、これらの履歴として登録された画像データ２２をスマートフォン３のディスプレイに表示することが可能になるが、この場合も、表示画面上に撮影ポイン用座標系を設定し、この座標系上で、各画像データ２２の画像中心の座標位置が肌履歴データベース５ｂに登録された画像中心の座標位置となるように表示される。
　次に、上述の画像データ２２をスマートフォン３の表示画面に表示させるための肌画像の表示処理を図１５のフローチャートと、図１０を参照して説明する。
　図１０では、表示すべき画像データ２２が撮影ポイント座標系の座標上に表示されている。すなわち、位置決定フラグがオンとなった画像データ２２の画像中心の座標に基づいて、撮影ポイント座標上に各画像データ２２を配置した状態である。位置決定フラグがオフの画像データ２２は、表示されない。各画像データ２２は、登録順にスライドショーとして表示されるが、表示される画像データ２２は、図１０に示すように撮影ポイント座標系上に設定された画面表示対象範囲（表示範囲２６：スマートフォン３のディスプレイに対応）の部分が表示される。
　言い換えれば、撮影ポイント座標上に表示範囲２６が設定されることにより、表示範囲２６における各画素の位置は、撮影ポイント座標の座標で表すことが可能になり、表示範囲２６に撮影ポイント座標が設定されている状態となる。
　この表示範囲２６内に配置される画像データ２２が登録順に画像中心の座標位置に対応してスライドショーとして表示される。
　この際には、図１５のフローチャートに示すように、画像データ２２を表示させる撮影ポイントと、全ての画像データ２２のうちの表示せせる画像データ２２の登録日の期間と、スライドショーとして表示させる際の画像データ２２の表示間隔を入力する（ステップＳ４１）。例えば、撮影ポイントが３つある場合に、そのうちの１つの撮影ポイントを選択して入力する。また、表示する画像データ２２の登録日の期間を、去年の１月１日から今年の１月１日等や、今日までの一年分等のように入力する。これにより、指定された期間内に登録された画像データ２２が表示の対称となる。
　また、スライドショーの表示間隔は、各画像データ２２を順次表示する際に、前の画像データ２２を表示してから、次の画像データ２２を表示するまでの間隔であり、この間隔を短くしていくと、動画のような表示となる。
　表示対象となる画像データ２２から画面表示対象範囲（座標）としての表示範囲２６を決定する（ステップＳ４２）。例えば、表示対象となる画像データ２２として位置が決定している画像データ２２の画像中心の座標位置に基づいて表示範囲２６を設定する。この場合に画像中心が最も密集している範囲や、画像データ２２が最も多く重なっている部分を含む範囲を表示範囲２６とする。なお、表示範囲２６内における各画像データ２２の表示倍率を設定できるようにしてもよい。
　次に、撮影ポイント座標上において、各画像データ２２の画像中心が、その画像中心の座標上に配置されるように、登録順に画像データ２２を上書きして表示していく（ステップＳ４３）。
　なお、画像データ２２は、その一部の領域が表示範囲２６と重なっていれば、画像中心が表示範囲２６に入っていなくとも表示される。なお、この処理は、例えば、スマートフォン３で行われるが、スマートフォン３でステップＳ４１の入力処理を行った後に、入力されたデータをデータ管理サーバー５に送り、データ管理サーバー５において表示範囲２６内の表示用のデータを作成した後に、作成された表示用のデータをスマートフォン３に送信して、スマートフォン３で表示用データをディスプレイに表示するものとしてもよい。
　この場合に、撮影された実際の肌上の相対位置に基づいて、撮影順（登録順）に画像データ２２が表示されていくことになる。したがって、表示画面の同じ座標位置には、基本的に肌上の同じ座標位置（相対座標）の画像データ２２が表示されることになるので、表示中に例えばホクロが画面上を上下左右に動き回るような状態とはならず、ホクロは表示画面上の略同じ位置に略停止した状態で表示されることになる。したがって、一部時間経過に対応せずに、古い画像が残って表示される虞があるが、肌状態の変化が早回しで見られることになる。
　図１８は、前記図１５のフローチャートに基づきスマートフォン３の表示画面に肌画像を時系列で表示している途中のスマートフォン３の表示画面を示す。図１８において、表示画面には、肌画像の表示領域とその上方に日時と点数の表示領域が存在する。日時と点数の表示領域には、肌画像の表示領域に上書きしている画像データに対応する撮影日時と肌画像簡易診断結果のキメ点数あるいはシミ点数が表示される。
　次に、図１６および図１７のフローチャートと、図１１を参照して、別の画像データ２２の表示処理方法を説明する。上述の表示処理方法では、各スライド（フレーム）として画像データ２２が表示されるが、各スライドの画像データ２２以外の部分は、前のスライドを書き換えることなく表示させる。すなわち、各スライドの画像データ２２以外の部分は、透明になった状態として扱われ、１つのスライドの画像データ２２がない部分には、前の表示が書き換えられずに表示されたままとなる。
　それに対して、この表示方法では、各スライドに、画像データ２２の有る領域は、画像データ２２が配置され、画像データ２２が無い領域は、前後の画像データ２２から画像データ２２を補間により作成して配置される。したがって、この場合には、各スライドは、画像データ２２と補間された画像データとからなる。
　表示処理においては、ステップＳ５１が上述のステップＳ４１と同様に行われ、ステップＳ５２が上述のステップＳ４２と同様に行われる。次に、入力された登録日の期間内にある位置が決定している画像データ２２それぞれに対応してスマートフォン３のディスプレイに表示させるスライド（フレーム）としての画面データを該当する画像データと、その前後の画像データにより補間された画像データとから作成する（ステップＳ５３）。なお、画面データを作成する処理は、後述する。
　次に、上述の入力された表示間隔で作成された画面データを当該画面データに含まれる画像データの登録日の古い順に表示していく（ステップＳ５４）。この場合には、上述の表示処理のように古い画像データがいつまでも表示されるような虞はなく、表示画面上に表示される各スライドに画像データがない部分がないので、より見やすいスライドショー（動画の表示）となる。なお、表示処理は、スマートフォン３で行われるが、画面データを作成する処理は、データ管理サーバー５で行われ、作成された画面データがスマートフォン３に送信される。
　図１７のフローチャートと図１１（ａ），（ｂ）に示すように、Ｎ番目の画像データ２２を含むＮ番目の画面データ４１を作成する際に画面データ４１の画像データ２２がない非撮影領域を認識して決定する（ステップＳ６１）。実際には、撮影ポイント座標が設定されたスライド（画面データ４１）上に中心位置の座標に対応して画像データ２２を配置し、配置された画像データ２２以外の領域を非撮影領域とする。なお、ここでは、Ｎ－１番目の画面データ４０は、既に作成されているものとする。なお、Ｎ－１番目の画面データ４０の作成方法は、Ｎ番目の画面データの作成方法と同様であり、画像データ２２の登録順に従って、順次画像データ２２に基づいて画面データ４０，４１，４２が作成されることになる。
　次に、画面データ４１のうちのＮ番目の画像データ２２ａが無い非撮影領域の補間に際しては、既に作成されたＮ―１番目の画面データ４０と、Ｎ＋１番目以降の画像データ２２のうちの非撮影領域と重なる画像データ２２ｂ，２２ｃを用いる。なお、ここで、画像データ２２ｂ，２２ｃは、例えば、Ｎ＋１番目の画像データ２２ｂと、Ｎ＋２番目の画像データ２２ｃであるが、それより後の画像データ２２となる可能性もある。すなわち、Ｎ―１番目の画面データ４０と、Ｎ＋１番目以降の画像データ２２のうちの非撮影領域と重なる画像データ２２ｂ，２２ｃとからＮ番目の画面データ４１とを用いた補間処理により、非撮影領域の画像を作成し（ステップＳ６２）、Ｎ番目の画面データ４１をＮ番目の画像データ２２ａと補間された画像データ２２とを合成して作成する（ステップＳ６３）。なお、補間処理には、周知のアルゴリズムを用いることができる。
　Ｎ番目の画面データ４１が作成された後には、Ｎ＋１番目の画面データ４２を作成することになるので、Ｎ＋１盤面をＮ番目とし（ステップＳ６４）、未だ未処理の画像データ２２がある場合に（ステップＳ６５「）、ステップＳ６１に戻る。なお、上述のように選択された期間に登録された画像データ２２に対応する画面データ４０，４１，４２を作成した場合に、画面データ４０，４１，４２を作成する処理を終了する。
　この表示処理方法においても、図１８に示すように、スマートフォン３の表示画面には肌画像の表示領域とその上方に日時と点数の表示領域を設け、肌画像の表示領域に表示中の画面データに対応する画像データの撮影日時と肌画像簡易診断結果のキメ点数あるいはシミ点数が表示されるようにしてもよい。
　なお、この実施の形態では、画像データ２２の肌上の位置が重なる部分の画像認識上の特徴部分として、毛穴２０の座標位置を用いたが、これに加えて、毛穴２０の形状を画像認識上の特徴として用いるものとしてもよい。例えば、毛穴２０の形状として、毛穴２０の面積や、毛穴２０の径を特徴部分とし、毛穴２０の配置を見る際に例えば、大きい毛穴２０と、小さい毛穴２０とに分けて、小さい毛穴２０と大きい毛穴２０との位置が一致した場合には、位置が一致したと認めないものとしてもよい。これにより、毛穴２０の配置パターンが似通っているために、実際には肌上の位置が重なっていないのに、重なっていると誤認識される割合を減らすことが可能になる。
　また、画像データ２２同士の重なる領域を見つけるための画像認識上の特徴部分として、シミの形状を用いるものとしてもよい。この場合には、例えば、シミの画像データ２２において、閾値を決めて、色の薄い部分と色の濃い部分とに２値化してシミの形状が容易に認識できる状態、すなわちシミの形状を抽出した状態とし、２つの画像データ２２において、色の薄い部分同士または色の濃い部分同士の形状を比較し、形状が近似する部分がある場合に、一致する領域があると判定し、２つの画像データ２２の相対位置を決定するものとしてもよい。
　また、肌カメラを肌上の同じ位置に配置した状態で、シミ画像、キメ画像、肌画像の撮影を行う場合に、肌画像で毛穴２０の配置により画像データ２２の画像中心の位置座標を求めた場合に、この画像中心の位置座標を肌画像と同じ位置で撮影されたキメ画像やシミ画像に適用するものとしてもよい。また、キメ画像やシミ画像を用いて、毛穴２０の配置により画像データ２２の画像中心の位置座標を求めてもよい。また、同様にシミの形状を画像認識の特徴部分として、シミ画像の画像中心の位置座標を求めた場合に、この画像中心の位置座標をシミ画像と同じ位置で撮影されたキメ画像や肌画像に適用してもよい。この明細書では、簡易診断・詳細診断の文言が用いられているがこれらの文言は、医者による診断に限らず、広い意味での判定をも含む概念である。
１　　肌状態測定装置（肌用カメラ、スマートフォン＋レンズモジュール：肌撮影手段）
３　　スマートフォン（肌画像表示手段）
５　　データ管理サーバー
５ｂ　　肌履歴データベース（肌画像記憶手段）
５ｋ　　制御部（重なり検知手段、位置決定手段）
２０　　毛穴
２２　　画像データ

Claims (18)

  1. 　撮影位置を固定することなく、測定対象となる表面を撮影して画像データを生成する撮影手段と、
    　前記画像データとその画像データの撮影日を記憶する画像記憶手段と、
    　期間をあけて前記撮影手段によって複数回撮影されることにより、撮影対象となる前記表面上の撮影位置がずれた複数の前記画像データが前記画像記憶手段に記憶される場合に、前記画像記憶手段に記憶されている複数の前記画像データを比較し、複数の前記画像データの一つの座標系における相対位置を決定する位置決定手段を備え、
    　前記座標系の相対位置が決定している各画像データを撮影日順に前記座標系の相対位置に配置して表示可能であることを特徴とする表面状態測定分析情報管理システム。
  2. 　前記画像記憶手段に記憶されている前記画像データを、前記画像データの前記撮影日順に表示する画像表示手段を備え、
    　前記画像表示手段は、表示画面上に前記座標系が設定され、前記座標系の位置が決定している各画像データを前記座標系の位置に配置して前記撮影日順に表示することを特徴とする請求項１に記載の表面状態測定分析情報管理システム。
  3. 　前記画像表示手段は、前記画像データを前記撮影日順に最前面に表示し、最前面に表示される当該画像データより前に表示された前記画像データの最前面に表示される当該画像データと重ならない部分を表示した状態に保持することを特徴とする請求項２に記載の表面状態測定分析情報管理システム。
  4. 　前記画像表示手段は、前記画像データを前記撮影日順に表示する際に、当該画像データを表示する表示範囲には、表示された当該画像データが有る部分と、当該画像データが無い部分を含み、当該画像データが無い部分に、表示された当該画像データより前記撮影日が前または後の前記画像データがある場合に、前記撮影日が前または後の前記画像データから補間された画像データを生成し、前記表示範囲に表示された前記画像データの無い部分に補間された前記画像データを表示することを特徴とする請求項２に記載の表面状態測定分析情報管理システム。
  5. 　前記位置決定手段は、互いに比較される前記画像データに略一致する画像領域が有る場合に、前記画像領域に基づいて、複数の前記画像データの一つの前記座標系における相対位置を決定することを特徴とする請求項１に記載の表面状態測定分析情報管理システム。
  6. 　前記画像記憶手段に順次記憶されていく前記画像データ同士を比較して、前記画像データ同士に、互いに略一致する前記画像領域が有るか否かを判定する重なり検知手段を備え
    　前記位置決定手段は、互いに略一致する前記画像領域がある場合に、一方の前記画像データを基準とする前記座標系を設定し、この一方の前記画像データと互いに略一致する前記画像領域を重ねた状態の他方の前記画像データの前記座標系における位置を決定し、
    　前記重なり検知手段は、前記位置決定手段により既に前記座標系の位置が決定されている前記画像データと、未だ前記座標系の位置が決定されていない前記画像データとを比較して互いに略一致する前記画像領域が有るか否かを判定し、
    　前記位置決定手段は、前記座標系の位置が決定している前記画像データに対して、略一致する前記画像領域を有する前記座標系の位置が決定していない前記画像データがある場合に、
    　前記座標系の位置が決定している前記画像データと、前記座標系の位置が決定していない前記画像データとを、互いに略一致する前記画像領域が互いに重なるように配置した場合の前記画像データ同士の互いの位置関係に基づいて、前記座標系の位置が決定していない前記画像データの前記座標系の位置を決定することを特徴とする請求項５に記載の表面状態測定分析情報管理システム。
  7. 　前記重なり検知手段は、前記画像データ同士に互いに略一致する前記画像領域が有るか否かを判定する際に、前記画像データの前記撮影手段に撮影された対象物の種類に対応する特徴点の位置を抽出し、前記画像データ毎の前記特徴点の配置パターンを比較して、前記特徴点の配置パターンが略一致する部分が有る場合に、互いに略一致する前記画像領域が有ると判定することを特徴とする請求項６に記載の表面状態測定分析情報管理システム。
  8. 　前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
    　前記重なり検知手段により前記画像データから抽出される前記特徴点が前記肌表面上の各毛穴の所定部位であることを特徴とする請求項７に記載の表面状態測定分析情報管理システム。
  9. 　前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
    　前記重なり検知手段により前記画像データから抽出される前記特徴点が前記肌表面上の所定サイズ以下の各シミの所定部位であることを特徴とする請求項７に記載の表面状態測定分析情報管理システム。
  10. 　撮影位置を固定することなく、測定対象となる表面を撮影して画像データを生成する撮影手段と、
    　前記画像データとその画像データの撮影日を記憶する画像記憶手段とを備える表面状態測定分析情報管理システムで行われる表面状態測定分析情報管理方法であって、
    　期間をあけて前記撮影手段によって複数回撮影されることにより、撮影対象となる前記表面上の撮影位置がずれた複数の前記画像データが前記画像記憶手段に記憶される場合に、前記画像記憶手段に記憶されている複数の前記画像データを比較し、複数の前記画像データの一つの座標系における相対位置を決定する位置決定ステップを備え、
    　前記座標系の相対位置が決定している各画像データを撮影日順に前記座標系の相対位置に配置して表示可能であることを特徴とする表面状態測定分析情報管理方法。
  11. 　前記画像記憶手段に記憶されている前記画像データを、前記画像データの前記撮影日順に表示する画像表示ステップを備え、
    　前記画像表示ステップでは、表示画面上に前記座標系が設定され、前記座標系の位置が決定している各画像データを前記座標系の位置に配置して前記撮影日順に表示することを特徴とする請求項１０に記載の表面状態測定分析情報管理方法。
  12. 　前記画像表示ステップでは、前記画像データを前記撮影日順に最前面に表示し、最前面に表示される当該画像データより前に表示された前記画像データの最前面に表示される当該画像データと重ならない部分を表示した状態に保持することを特徴とする請求項１１に記載の表面状態測定分析情報管理方法。
  13. 　前記画像表示ステップでは、前記画像データを前記撮影日順に表示する際に、当該画像データを表示する表示範囲には、表示された当該画像データが有る部分と、当該画像データが無い部分を含み、当該画像データが無い部分に、表示された当該画像データより前記撮影日が前または後の前記画像データがある場合に、前記撮影日が前または後の前記画像データから補間された画像データを生成し、前記表示範囲に表示された前記画像データの無い部分に補間された前記画像データを表示することを特徴とする請求項１１に記載の表面状態測定分析情報管理方法。
  14. 　前記位置決定ステップでは、互いに比較される前記画像データに略一致する画像領域が有る場合に、前記画像領域に基づいて、複数の前記画像データの一つの前記座標系における相対位置を決定することを特徴とする請求項１０に記載の表面状態測定分析情報管理方法。
  15. 　前記画像記憶手段に順次記憶されていく前記画像データ同士を比較して、前記画像データ同士に、互いに略一致する前記画像領域が有るか否かを判定する重なり検知ステップを備え
    　前記位置決定ステップでは、互いに略一致する前記画像領域がある場合に、一方の前記画像データを基準とする前記座標系を設定し、この一方の前記画像データと互いに略一致する前記画像領域を重ねた状態の他方の前記画像データの前記座標系における位置を決定し、
    　前記重なり検知ステップでは、前記位置決定ステップにより既に前記座標系の位置が決定されている前記画像データと、未だ前記座標系の位置が決定されていない前記画像データとを比較して互いに略一致する前記画像領域が有るか否かを判定し、
    　前記位置決定ステップでは、前記座標系の位置が決定している前記画像データに対して、略一致する前記画像領域を有する前記座標系の位置が決定していない前記画像データがある場合に、
    　前記座標系の位置が決定している前記画像データと、前記座標系の位置が決定していない前記画像データとを、互いに略一致する前記画像領域が互いに重なるように配置した場合の前記画像データ同士の互いの位置関係に基づいて、前記座標系の位置が決定していない前記画像データの前記座標系の位置を決定することを特徴とする請求項１４に記載の表面状態測定分析情報管理方法。
  16. 　前記重なり検知ステップでは、前記画像データ同士に互いに略一致する前記画像領域が有るか否かを判定する際に、前記画像データの前記撮影手段に撮影された対象物の種類に対応する特徴点の位置を抽出し、前記画像データ毎の前記特徴点の配置パターンを比較して、前記特徴点の配置パターンが略一致する部分が有る場合に、互いに略一致する前記画像領域が有ると判定することを特徴とする請求項１５に記載の表面状態測定分析情報管理方法。
  17. 　前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
    　前記重なり検知ステップにおける前記画像データから抽出される前記特徴点が前記肌表面上の各毛穴の所定部位であることを特徴とする請求項１６に記載の表面状態測定分析情報管理方法。
  18. 　前記撮影手段の前記撮影対象とされる前記表面が肌の表面とされ、
    　前記重なり検知ステップにおける前記画像データから抽出される前記特徴点が前記肌表面上の所定サイズ以下の各シミの所定部位であることを特徴とする請求項１６に記載の表面状態測定分析情報管理方法。
PCT/JP2014/078183 2013-10-23 2014-10-23 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法 WO2015060376A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480054255.4A CN105592792B (zh) 2013-10-23 2014-10-23 表面状态测定分析信息管理系统及表面状态测定分析信息管理方法
JP2015504807A JP5731724B1 (ja) 2013-10-23 2014-10-23 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法
US15/031,765 US10098545B2 (en) 2013-10-23 2014-10-23 Lens information management system for surface condition measurement and analysis and information management method for surface condition measurement and analysis

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-220389 2013-10-23
JP2013220389 2013-10-23

Publications (1)

Publication Number Publication Date
WO2015060376A1 true WO2015060376A1 (ja) 2015-04-30

Family

ID=52992965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/078183 WO2015060376A1 (ja) 2013-10-23 2014-10-23 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法

Country Status (5)

Country Link
US (1) US10098545B2 (ja)
JP (3) JP5731724B1 (ja)
CN (1) CN105592792B (ja)
TW (1) TWI622011B (ja)
WO (1) WO2015060376A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017137070A1 (en) * 2016-02-09 2017-08-17 Borsetti Andrea Marco System and method for diagnosing skin and hair conditions
WO2018078868A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム
WO2018078867A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、動物の診断方法及びプログラム
WO2018078866A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
WO2018179220A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム コンピュータシステム、植物診断方法及びプログラム
WO2018179221A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム コンピュータシステム、物体診断方法及びプログラム
JPWO2018179219A1 (ja) * 2017-03-30 2019-04-04 株式会社オプティム コンピュータシステム、動物診断方法及びプログラム
US10298906B2 (en) 2016-08-18 2019-05-21 Verily Life Sciences Llc Dermal camera attachment
JP2019141321A (ja) * 2018-02-21 2019-08-29 ヤーマン株式会社 撮像システム、撮像方法、カメラアダプタ及びプログラム
WO2021186703A1 (ja) * 2020-03-19 2021-09-23 日本電気株式会社 光測定方法、光測定装置、及び非一時的なコンピュータ可読媒体

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750930B2 (en) * 2014-11-06 2020-08-25 Sony Corporation Endoscope apparatus and method for operating endoscope apparatus
TWI669103B (zh) * 2014-11-14 2019-08-21 日商新力股份有限公司 資訊處理裝置、資訊處理方法及程式
TWI701018B (zh) * 2015-01-29 2020-08-11 日商新力股份有限公司 資訊處理裝置、資訊處理方法、及程式
JP6566240B2 (ja) * 2015-04-16 2019-08-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
GB2540390A (en) * 2015-07-15 2017-01-18 Michelson Diagnostics Ltd Processing optical coherency tomography scans
US11122206B2 (en) 2016-11-08 2021-09-14 Preh Holding, Llc Personal care device with camera
US10511777B2 (en) 2016-11-08 2019-12-17 Thomas Nichols Personal care device with camera
US10799009B2 (en) * 2016-12-20 2020-10-13 Shiseido Company, Ltd. Application control device, application device, application control method and storage medium
EP3536224A1 (en) * 2018-03-07 2019-09-11 Koninklijke Philips N.V. System for measuring skin pores
US20210259174A1 (en) 2018-06-27 2021-08-26 Yokogawa Electric Corporation Living marine resource production method and living marine resource production device
JP2020081323A (ja) * 2018-11-22 2020-06-04 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
KR102078330B1 (ko) * 2019-02-27 2020-02-19 주식회사 코코즈 피부진단을 통한 맞춤형 피부 미용액 도포기
USD1000624S1 (en) 2019-12-27 2023-10-03 Thomas Nichols Personal care device with camera
EP4147199A1 (en) 2020-05-08 2023-03-15 The Procter & Gamble Company Methods for identifying dendritic pores
US11636591B2 (en) 2020-06-18 2023-04-25 Alibaba Group Holding Limited Surface imaging using high incident angle of light rays
JP2022138384A (ja) * 2021-03-10 2022-09-26 マクセル株式会社 肌状態測定システム
WO2022202236A1 (ja) * 2021-03-25 2022-09-29 パナソニックＩｐマネジメント株式会社 肌の状態を評価する方法、および装置
KR102422772B1 (ko) * 2022-01-05 2022-07-22 주식회사 룰루랩 사용자를 위한 케어 기기를 추천하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876741A (ja) * 1994-09-02 1996-03-22 Konica Corp 画像表示装置
JP2005084012A (ja) * 2003-09-11 2005-03-31 Kao Corp 肌形状計測方法及び肌形状計測装置
JP2010284239A (ja) * 2009-06-10 2010-12-24 Nikon Corp 肌診断装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982953A (en) * 1994-09-02 1999-11-09 Konica Corporation Image displaying apparatus of a processed image from temporally sequential images
JP3316445B2 (ja) * 1998-01-19 2002-08-19 三菱重工業株式会社 画像合成装置
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
JP2002015068A (ja) 2000-06-29 2002-01-18 Matsushita Electric Works Ltd 通信ネットワークを用いた、ヘルスケア機器による測定、診断システム、および通信ネットワークを用いた、ヘルスケア機器による測定、診断方法
US6850872B1 (en) * 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US20020181752A1 (en) * 2001-03-14 2002-12-05 Warren Wallo Method for measuring changes in portions of a human body
JP2002366651A (ja) 2001-06-11 2002-12-20 Toshiba Corp 素肌診断システム
AU2003246268A1 (en) * 2002-08-09 2004-02-25 Sharp Kabushiki Kaisha Image combination device, image combination method, image combination program, and recording medium containing the image combination program
JP2004113530A (ja) * 2002-09-27 2004-04-15 Topcon Corp 眼底カメラ
US20040125996A1 (en) * 2002-12-27 2004-07-01 Unilever Home & Personal Care Usa, Division Of Conopco, Inc. Skin diagnostic imaging method and apparatus
ITRM20030184A1 (it) * 2003-04-22 2004-10-23 Provincia Italiana Della Congregazi One Dei Figli Metodo per il rilevamento e la segnalazione automatizzata
JP3989405B2 (ja) 2003-05-29 2007-10-10 泰尊 中田 肌分析システムおよび頭皮頭髪分析システム
WO2004110264A1 (ja) * 2003-06-11 2004-12-23 Kose Corporation 肌の評価方法および画像のシミュレーション方法
JP2005056165A (ja) 2003-08-05 2005-03-03 Nec Corp 肌の診断システム，業務委託先サーバ，肌の診断方法およびプログラム
JP2005148797A (ja) 2003-11-11 2005-06-09 Sharp Corp 調合化粧品のアドバイス提供装置、調合化粧品のアドバイス提供方法、調合化粧品のアドバイス提供システム、化粧品サンプル提供管理装置、化粧品サンプル提供管理方法、化粧品サンプル提供管理システム、調合化粧品のアドバイス提供プログラム及び記録媒体、化粧品サンプル提供管理プログラム及び記録媒体
EP1757087A4 (en) * 2004-04-16 2009-08-19 James A Aman AUTOMATIC VIDEO RECORDING OF EVENTS, PURSUIT AND CONTENT PRODUCTION SYSTEM
AU2006206334C1 (en) * 2005-01-19 2011-05-19 Dermaspect Llc Devices and methods for identifying and monitoring changes of a suspect area on a patient
ES2432515T3 (es) * 2005-04-28 2013-12-04 Shiseido Company, Limited Método de análisis del estado de la piel, aparato de análisis del estado de la piel y medio legible por ordenador que almacena un programa de análisis del estado de la piel
US7689016B2 (en) * 2005-05-27 2010-03-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
US8131029B2 (en) * 2005-09-20 2012-03-06 Brightex Bio-Photonics Llc Systems and methods for automatic skin-based identification of people using digital images
US20070276309A1 (en) * 2006-05-12 2007-11-29 Kci Licensing, Inc. Systems and methods for wound area management
US8331725B2 (en) * 2007-01-12 2012-12-11 Qualcomm Incorporated Panoramic imaging techniques
US8290257B2 (en) * 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
US7894651B2 (en) * 2007-03-02 2011-02-22 Mela Sciences, Inc. Quantitative analysis of skin characteristics
JP4921222B2 (ja) * 2007-03-29 2012-04-25 株式会社 資生堂 化粧料付着状態解析方法、化粧料付着状態解析装置、化粧料付着状態解析プログラム、及び該プログラムが記録された記録媒体
JP2009000494A (ja) * 2007-05-23 2009-01-08 Noritsu Koki Co Ltd ポルフィリン検出方法、ポルフィリンの表示方法、およびポルフィリン検出装置
JP5080944B2 (ja) * 2007-11-08 2012-11-21 興和株式会社 パノラマ眼底画像合成装置及び方法
JP5528692B2 (ja) * 2008-11-17 2014-06-25 株式会社 資生堂 シワ評価方法、シワ評価装置、シワ評価プログラム、及び該プログラムが記録された記録媒体
JP4983962B2 (ja) * 2009-07-23 2012-07-25 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2011115393A (ja) * 2009-12-03 2011-06-16 Utsunomiya Univ 肌特徴判別システム、肌特徴判別方法及び肌特徴判別プログラム
JP5735790B2 (ja) * 2010-12-02 2015-06-17 株式会社ニデック 眼科撮影装置
EP2715664A1 (en) * 2011-05-24 2014-04-09 Koninklijke Philips N.V. Apparatus and method for generating an attenuation correction map

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876741A (ja) * 1994-09-02 1996-03-22 Konica Corp 画像表示装置
JP2005084012A (ja) * 2003-09-11 2005-03-31 Kao Corp 肌形状計測方法及び肌形状計測装置
JP2010284239A (ja) * 2009-06-10 2010-12-24 Nikon Corp 肌診断装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017137070A1 (en) * 2016-02-09 2017-08-17 Borsetti Andrea Marco System and method for diagnosing skin and hair conditions
US10298906B2 (en) 2016-08-18 2019-05-21 Verily Life Sciences Llc Dermal camera attachment
JPWO2018078867A1 (ja) * 2016-10-31 2019-09-05 株式会社オプティム コンピュータシステム、動物の診断方法及びプログラム
WO2018078868A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム
WO2018078867A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、動物の診断方法及びプログラム
WO2018078866A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
US11100642B2 (en) 2016-10-31 2021-08-24 Optim Corporation Computer system, and method and program for diagnosing animals
JPWO2018078868A1 (ja) * 2016-10-31 2018-10-25 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム
US10685231B2 (en) 2016-10-31 2020-06-16 Optim Corporation Computer system, and method and program for diagnosing plants
US10643328B2 (en) 2016-10-31 2020-05-05 Optim Corporation Computer system, and method and program for diagnosing objects
JPWO2018078866A1 (ja) * 2016-10-31 2019-10-10 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
WO2018179220A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム コンピュータシステム、植物診断方法及びプログラム
JPWO2018179220A1 (ja) * 2017-03-30 2019-04-11 株式会社オプティム コンピュータシステム、植物診断方法及びプログラム
JPWO2018179221A1 (ja) * 2017-03-30 2019-04-11 株式会社オプティム コンピュータシステム、物体診断方法及びプログラム
JPWO2018179219A1 (ja) * 2017-03-30 2019-04-04 株式会社オプティム コンピュータシステム、動物診断方法及びプログラム
WO2018179221A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム コンピュータシステム、物体診断方法及びプログラム
JP2019141321A (ja) * 2018-02-21 2019-08-29 ヤーマン株式会社 撮像システム、撮像方法、カメラアダプタ及びプログラム
WO2021186703A1 (ja) * 2020-03-19 2021-09-23 日本電気株式会社 光測定方法、光測定装置、及び非一時的なコンピュータ可読媒体
JP7468617B2 (ja) 2020-03-19 2024-04-16 日本電気株式会社 光測定方法、光測定装置、及びプログラム

Also Published As

Publication number Publication date
JPWO2015060376A1 (ja) 2017-03-09
JP6450871B2 (ja) 2019-01-09
TWI622011B (zh) 2018-04-21
JP2015144902A (ja) 2015-08-13
TW201531992A (zh) 2015-08-16
JP6295229B2 (ja) 2018-03-14
JP5731724B1 (ja) 2015-06-10
US20160262624A1 (en) 2016-09-15
CN105592792B (zh) 2018-08-17
JP2018122104A (ja) 2018-08-09
US10098545B2 (en) 2018-10-16
CN105592792A (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
JP6450871B2 (ja) 表面状態撮影表示システム
JP7270666B2 (ja) 肌状態測定分析情報管理システムおよび肌状態測定分析情報管理方法
CN111031846B (zh) 用于调整定制外用剂的系统和方法
JP6289837B2 (ja) 肌状態測定分析情報管理システムおよび肌状態測定分析情報管理方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015504807

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14856664

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15031765

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14856664

Country of ref document: EP

Kind code of ref document: A1