WO2022191269A1 - 肌状態測定システム - Google Patents

肌状態測定システム Download PDF

Info

Publication number
WO2022191269A1
WO2022191269A1 PCT/JP2022/010477 JP2022010477W WO2022191269A1 WO 2022191269 A1 WO2022191269 A1 WO 2022191269A1 JP 2022010477 W JP2022010477 W JP 2022010477W WO 2022191269 A1 WO2022191269 A1 WO 2022191269A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin
imaging
predetermined
user
image data
Prior art date
Application number
PCT/JP2022/010477
Other languages
English (en)
French (fr)
Inventor
章 赤松
裕史 助田
健吾 三浦
和明 青山
邦裕 田端
健介 河原
龍也 今津
達彦 熱田
智美 古畑
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Publication of WO2022191269A1 publication Critical patent/WO2022191269A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons

Definitions

  • the present invention relates to a skin condition measurement system that can provide users with information related to their skin conditions.
  • the customer's skin condition is measured, the measurement data is analyzed, the analysis results are obtained, and skin care cosmetics that correspond to the skin condition indicated by the analysis results.
  • the service of recommending and selling beauty equipment to customers has been in existence for some time.
  • a system for diagnosing a conventional skin condition or the like has the configuration shown in the above-mentioned patent document.
  • the detection range of the sensor is small with respect to the skin area for which the skin condition is to be grasped, and the skin to be detected by the sensor is limited to a part of the entire area.
  • the problem is that it is difficult to ensure the accuracy of diagnosis because it is necessary to detect only a part of the skin area that is desired to be understood, and the diagnosis based on the detection results does not reflect the skin condition of the entire skin area.
  • the present invention has been made in order to solve the above-mentioned problems, and acquires data related to the user's skin condition by each imaging with a plurality of imaging means, and presents the user's skin image data to the user based on a plurality of types of skin image data. It is an object of the present invention to provide a skin condition measuring system capable of improving the quality of information on skin conditions.
  • a skin condition measuring system includes first imaging means capable of imaging a predetermined range of skin of a user's body, and second imaging capable of imaging a predetermined portion of the user's skin narrower than the predetermined range of the body. means, skin condition related based on the skin image data of the predetermined range of the body obtained by imaging by the first imaging means and the skin image data of the predetermined part obtained by imaging by the second imaging means and a control unit that acquires information.
  • the first imaging means images a predetermined range of the user's body
  • the second imaging means images a predetermined part of the user's skin, and the body obtained respectively
  • the control unit acquires information about the user's skin condition, analyzes the skin image data, and derives the information about the skin condition.
  • the quality of information on the user's skin condition can be improved based on image data obtained from multiple types of imaging, processing such as skin condition display and analysis can be performed with high accuracy, and skin condition diagnosis can be performed appropriately and effectively. Proceeding efficiently, the user can grasp the skin condition more accurately.
  • the second imaging means images a predetermined part of the skin that overlaps with the predetermined range of the body, if necessary.
  • a predetermined area of the user's skin imaged by the second imaging means overlaps a predetermined area of the user's body imaged by the first imaging means.
  • the second imaging means images a predetermined part of the skin that does not overlap with the predetermined body area, if necessary.
  • the predetermined region of the user's skin imaged by the second imaging means does not overlap the predetermined range of the user's body imaged by the first imaging means.
  • the imaging of the predetermined range of the body by the first imaging means and the imaging of the predetermined part of the skin by the second imaging means are performed. , are executed at different times.
  • the imaging of a predetermined range of the user's body by the first imaging means and the imaging of a predetermined region of the user's skin by the second imaging means are executed at different timings.
  • the need for the devices forming each imaging means to simultaneously exist around the user and perform imaging respectively the need for arranging the imaging means individually as devices for simultaneous imaging is eliminated, for example
  • it is possible to reuse the devices for example, by sequentially imaging each imaging target with an imaging device provided collectively with imaging means, and by minimizing the number of imaging devices, the cost of the device can be suppressed.
  • the first imaging means and the second imaging means are arranged in one predetermined terminal device as required.
  • the first imaging means is provided in one terminal device together with the second imaging means, and the first imaging means and the second imaging means are respectively provided in one terminal device. Therefore, one terminal device can handle the imaging of the skin in the predetermined range of the user's body and the imaging of the predetermined part of the skin, and the cost related to imaging can be reduced by using only one imaging device. .
  • the first imaging means can switch between imaging the skin in the predetermined range of the body and imaging the predetermined site, as necessary. and serves also as the second imaging means.
  • the first imaging means capable of switching between the state of imaging the predetermined range of the body and the state of imaging the predetermined region
  • the imaging means is also used as an imaging means, and imaging is performed with a minimum necessary configuration by imaging the predetermined body area and the predetermined part of the body with one imaging means in one terminal device and acquiring each image data. Therefore, it is possible to obtain information on the skin condition at low cost.
  • the first imaging means is a part of the user's terminal device or connected to the user's terminal device, if necessary, and the user's at least A predetermined imaging device that captures an image of the predetermined range of the body, and is capable of transmitting image data obtained by imaging to a terminal device of another person, and communication is performed between the terminal device of the user and the terminal device of the other person.
  • an image of the user including the predetermined range of the body is displayed on the terminal device of the other person, while the control unit causes the image obtained by the first imaging means to Based on the skin image data of the predetermined range of the body and the skin image data of the predetermined part obtained by imaging by the second imaging means, information about the skin condition is acquired.
  • a part of the user's terminal device or the first imaging means forming the imaging device connected to this terminal device captures the image data of the user from the terminal of another person.
  • the control unit acquires information about the skin condition based on the skin image data of the predetermined body area and the predetermined part, and the terminal device of the user.
  • While communicating with the user for example, while performing a video call, etc., it is possible to refer to information about the user's skin condition, display the user's image on the terminal device of another person, and communicate with the user by communication. can be utilized.
  • the first imaging means may be a part of another person's terminal device or connected to another person's terminal device, if necessary, so that the user and the image data of the user obtained by the first imaging means is used for a main purpose other than obtaining information on the skin condition of the user by a terminal device of another person.
  • the control unit is used for the skin image data of the predetermined range of the body obtained by imaging by the first imaging means, and the predetermined part obtained by imaging by the second imaging means Information about the skin condition is acquired based on the skin image data.
  • the image of the user is picked up by the first image pickup means forming the image pickup device which is part of the terminal device of the other person or connected to this terminal device, and the image of the user is picked up.
  • the control unit converts the skin image data of the predetermined range of the body from the first imaging means and the skin image data of the predetermined part from the second imaging means.
  • the image data captured and acquired for the purpose of personal authentication for example, with an imaging device used with the terminal device of another person Since the information can be used for skin diagnosis, there is no need to prepare a new first imaging means, and information on the skin condition based on each image data can be acquired efficiently at low cost.
  • the first imaging means is a part of the user's terminal device or connected to the user's terminal device, if necessary, and the user's at least A predetermined imaging device for capturing an image of the predetermined range of the body, wherein the second imaging means is capable of imaging by user's operation, and the control section controls the imaging obtained by the first imaging means.
  • the second imaging means is capable of imaging by user's operation, and the control section controls the imaging obtained by the first imaging means.
  • control unit obtains skin image data of the predetermined part along with imaging of the predetermined part of the skin by the second imaging means, and then the predetermined body Based on the skin image data of the range and the skin image data of the predetermined portion, information about the skin condition is acquired again.
  • the image of the user is captured by the first image capturing means that constitutes a part of the user's terminal device or the image capturing device connected to this terminal device, and the obtained user
  • the control unit once acquires information about the skin condition, further based on this information, sets a predetermined part of the skin to be imaged by the second imaging means, and this predetermined
  • the user is notified of the information of the site from the user's terminal device, and the user is allowed to image the predetermined site of the skin with the second imaging means, and the skin of the predetermined site is imaged by the second imaging means.
  • the control unit acquires the information on the skin condition again, and by making the information on the skin condition available, the second imaging is performed according to the skin condition of the predetermined range of the user's body.
  • a predetermined part of the skin to be imaged by the means is set, and a part that requires more detailed information on the skin condition is first extracted, such as finding a problem with the skin condition such as spots or a sign of a problem.
  • the obtained skin image data can be used to acquire more detailed information about the skin condition, focusing on the problem part. The user can properly grasp the state.
  • the control unit if necessary, based on the skin image data of the predetermined part obtained by imaging by the second imaging means, the predetermined skin condition measurement system After acquiring the information on the skin condition of the part, information on the relative skin condition of each part of the predetermined body area based on the information on the skin condition of the specified part is acquired as the information on the skin condition.
  • the second imaging means images a predetermined part of the skin that does not overlap with the predetermined range of the body, and based on the obtained skin image data of the predetermined part
  • the control unit Acquiring information about the skin condition of the predetermined part of the skin, and further, by the control unit, obtaining information about the skin condition based on the skin image data of the predetermined range of the body based on the information about the skin condition of the predetermined part,
  • the skin condition of the user's body in the predetermined area can be determined relative to the skin condition of the predetermined part.
  • the skin condition of each part of the predetermined range of the body can be indicated as the degree of deterioration from the reference part, and the skin condition can be expressed in a form that is easy for the user to understand, so that the user can grasp the skin condition more accurately.
  • the first image capturing means captures a mirror image of the predetermined range of the body reflected on a mirror surface located in front of the user, if necessary
  • the second The imaging means captures an image of a predetermined part of the user's skin at the same time as the imaging by the first imaging means
  • the control unit captures a skin image of the predetermined range of the body obtained by imaging a mirror image by the first imaging means.
  • Information about the skin condition is acquired based on the data and the skin image data of the predetermined part obtained by imaging by the second imaging means.
  • the mirror image reflected on the mirror surface in front of the user is captured by the first imaging means, the skin image data of the predetermined range of the body is acquired, and at the same time, the second imaging is performed.
  • the skin image data of the predetermined range of the body and the skin image data of the predetermined part can be acquired at once, the time from imaging to obtaining information on the skin condition can be shortened, and the burden on the user related to imaging can be reduced.
  • the user can be encouraged to continue activities such as imaging to obtain information about the skin condition, and the information about the skin condition can be obtained without taking much time, so that the user's skin condition can be quickly grasped.
  • the first imaging means is disposed on one surface of a predetermined terminal device, and the second imaging means is disposed on the terminal device, if necessary. It is arranged in a device, and is capable of imaging the predetermined part of the user in a state in which the first imaging means in the terminal device is directed to the mirror surface.
  • the first imaging means is arranged on one surface of a predetermined terminal device, and the first imaging means is directed to a mirror surface.
  • a second image capturing means is arranged in the same terminal device so that a predetermined part can be imaged, and a single device can be used to capture images of the user's predetermined body area and the predetermined part, so that each image capturing means of the terminal device can be used.
  • the skin image data of the predetermined range of the body and the skin image data of the predetermined part can be acquired collectively by imaging, and the user only needs to handle the terminal device provided with each imaging means for imaging, greatly reducing the user's burden related to imaging. This allows the user to continue activities to obtain information about skin conditions without difficulty.
  • the control unit records information of a predetermined part of the skin to be imaged by the set second imaging means, and newly When setting the predetermined part of the skin to be imaged by the second imaging means, the information about the skin condition once acquired based on the skin image data of the predetermined range of the body is used, and the recorded information of the predetermined part is used.
  • the predetermined part is set from among the parts of the body predetermined range that are not recorded as the predetermined part.
  • the control unit once acquires information on the skin condition based on the skin image data of the predetermined range of the user's body obtained by imaging by the first imaging means, and acquires the information.
  • the information of the set predetermined part is recorded for each setting, and the information of the set predetermined part is referred to later.
  • the information on the skin condition once acquired based on the skin image data of the predetermined range of the body is obtained at a new imaging opportunity by the first imaging means.
  • the predetermined part of the skin to be imaged by the second imaging means is set from among the parts of the body predetermined range that are not recorded as the predetermined part. Then, a part of the user's body that has not yet been imaged by the second imaging means is always imaged as a predetermined part of the skin that should be imaged by the second imaging means.
  • the obtained skin image data can be used to acquire detailed information about the skin condition centering on the new predetermined part, and the user can appropriately determine the skin condition. I can grasp it.
  • the control unit performs second imaging of the predetermined region together with information of the predetermined region of the skin to be imaged by the second imaging means, if necessary.
  • the skin image data obtained by imaging by means is recorded so that the date and time when the skin image data was obtained can be determined, and the control unit uses the first imaging means at a new imaging opportunity to perform the second imaging.
  • the recorded information of the predetermined part and the skin image data are referred to, and the data acquisition date and time corresponds to the turnover cycle of the user's skin in the past.
  • the recorded skin image data of the predetermined part included in the predetermined period of, and the skin image data of the predetermined part obtained by imaging the predetermined part of the skin set as the part to be imaged by the second imaging means , and the skin image data of the predetermined range of the body, information about the skin condition is acquired.
  • information of a predetermined part of the skin to be imaged by the second imaging means set by the control unit is recorded, and the set predetermined part is imaged by the second imaging means.
  • the recorded predetermined part Information and skin image data are referred to, and the skin image data of the predetermined part included in the past predetermined period corresponding to the turnover cycle of the user's skin is imaged at the same timing as the new imaging.
  • the skin image data of the predetermined part obtained by the latest imaging, and the skin image data of the predetermined range of the body
  • skin image data of the predetermined portion is sequentially recorded every time the second imaging means repeats imaging of the predetermined portion of the skin within a predetermined period corresponding to the turnover cycle of the skin.
  • the skin condition information acquired based on these and the skin image data of the predetermined body area reflects the user's skin condition in detail and with high accuracy. As a result, the user can appropriately grasp the skin condition.
  • control unit optionally includes information on a predetermined part of the skin to be imaged by the second imaging means and information on the second imaging means of the part. While recording the skin image data of the predetermined part obtained by imaging by, for each new imaging opportunity, the recorded skin acquired earlier than the past predetermined period corresponding to the turnover cycle of the user's skin The image data and the recorded information of the predetermined portion corresponding to the skin image data are deleted.
  • the skin image data before a predetermined period corresponding to the turnover cycle of the skin from the time when a new image is to be captured is deleted. Therefore, information on the skin condition can be accurately derived by using only the skin image data obtained by imaging with the second imaging means and the skin image data for the period considered to be in the same skin condition, and the recording amount is limited. Therefore, the load related to recording can be reduced.
  • FIG. 1 is a schematic configuration diagram of a terminal device in a skin condition measurement system according to a first embodiment of the present invention
  • FIG. 1 is a block configuration diagram of a skin condition measuring system according to a first embodiment of the present invention
  • FIG. 4 is an explanatory diagram of a state of attachment of a conversion lens to a second imaging section in the skin condition measurement system according to the first embodiment of the present invention
  • FIG. 4 is an explanatory diagram of a terminal device display screen immediately before imaging by a first imaging unit in the skin condition measurement system according to the first embodiment of the present invention
  • FIG. 4 is an explanatory diagram of a terminal device display screen immediately before imaging by a second imaging unit in the skin condition measurement system according to the first embodiment of the present invention
  • FIG. 4 is an explanatory diagram of an imaging state by a second imaging unit in the skin condition measurement system according to the first embodiment of the present invention
  • FIG. 4 is an explanatory diagram of a diagnostic information display state of a skin condition based on imaging by each imaging unit in the skin condition measuring system according to the first embodiment of the present invention
  • FIG. 5 is an explanatory diagram of a terminal device display screen immediately before imaging by a second imaging unit at a new imaging opportunity in the skin condition measurement system according to the first embodiment of the present invention
  • FIG. 4 is an explanatory diagram of an imaging state by another terminal device in the skin condition measurement system according to the first embodiment of the present invention
  • FIG. 2 is a schematic configuration diagram of a skin condition measurement system according to a second embodiment of the present invention
  • FIG. 9 is an explanatory diagram of information transmission/reception states between a terminal device and a server in the skin condition measuring system according to the second embodiment of the present invention
  • FIG. 11 is an explanatory diagram of information transmission/reception states between each terminal device of a user and others and a server in the first alternative example of the skin condition measuring system according to the second embodiment of the present invention
  • FIG. 11 is an explanatory diagram of an imaging state of another person's terminal device having the first imaging unit in the second alternative example of the skin condition measurement system according to the second embodiment of the present invention
  • FIG. 10 is an explanatory diagram of information transmission/reception states between each terminal device and a server in a second alternative example of the skin condition measurement system according to the second embodiment of the present invention
  • FIG. 11 is an explanatory diagram of an image pickup state by a second image pickup unit in the skin condition measurement system according to the third embodiment of the present invention
  • FIG. 11 is an explanatory diagram of a terminal device display screen immediately before imaging by each imaging unit in another example of the skin condition measurement system according to the third embodiment of the present invention
  • FIG. 11 is a diagram for explaining a usage state of a terminal device in a skin condition measuring system according to a fourth embodiment of the present invention
  • FIG. 11 is a block configuration diagram of a skin condition measuring system according to a fourth embodiment of the present invention
  • FIG. 11 is an explanatory diagram of an image pickup state by each image pickup unit in the skin condition measurement system according to the fourth embodiment of the present invention
  • FIG. 11 is an explanatory diagram of an imaging state by another terminal device in the skin condition measuring system according to the fourth embodiment of the present invention
  • the skin condition measurement system 1 includes a first imaging unit 11 as the first imaging means capable of imaging the skin of the user's body predetermined range, and the user's skin narrower than the body predetermined range.
  • the second imaging unit 12 as the second imaging means capable of imaging a predetermined part of the skin, the skin image data of the predetermined range of the body obtained by imaging the first imaging unit 11, and the second imaging unit 12 and a control unit 13 that acquires information about the skin condition based on the skin image data of the predetermined part obtained by imaging the first imaging unit 11, the second imaging unit 12, and the control unit 13 are installed in one terminal device 10 .
  • the user who is the subject of skin condition measurement has a business operator (hereinafter referred to as a provider) that provides a skin condition diagnosis service using the skin condition measurement system 1.
  • a provider a business operator that provides a skin condition diagnosis service using the skin condition measurement system 1.
  • I have a contract to receive a skin condition diagnosis service.
  • the user can undergo a skin condition diagnosis using the skin condition measuring system 1, obtain the skin condition diagnosis result by the skin condition measuring system 1, and, if necessary, provide advice information according to the diagnosis result.
  • the provider can acquire data on the user's skin condition, and provide the user with skin care products or skin care services provided by a specified provider (for example, the sponsor of the provider) through advertisements, etc. By recommending, the user can enjoy the merit of achieving sales promotion effects for these skin care products and skin care services.
  • Skin care products are products used for skin care, such as lotions, beauty essences, supplements, facial cleansers, and facial cleansers.
  • a skin care service is a service for skin care, such as an esthetic service.
  • the first imaging unit 11 is provided in the terminal device 10 as the first imaging means, and is capable of imaging a predetermined area of the user's body, such as the face, to measure the user's skin condition. be.
  • the second imaging unit 12 is arranged in the same terminal device 10 as the first imaging unit 11 as the second imaging means, and measures the user's skin condition at a site narrower than the predetermined range of the user's body. Therefore, it is possible to image a predetermined part of the user's skin, such as a part of the cheek or the forehead, which overlaps with the predetermined body area.
  • a conversion lens 19 is attached to the second imaging unit 12 so that image data having a higher resolution per unit area of the object to be imaged than the first imaging unit 11 can be obtained.
  • the first image capturing unit 11 and the second image capturing unit 12 are capable of capturing images by user's operation through the terminal device 10 .
  • the imaging of the predetermined range of the body by the first imaging unit 11 and the imaging of the predetermined region of the skin by the second imaging unit 12 must be performed at different timings and with different relative positional relationships between the imaging unit and the imaging target. are executed respectively.
  • first imaging unit 11 and the second imaging unit 12 are part of the user's terminal device 10, respectively. However, it may be an independent imaging device that is connected to the user's terminal device, performs imaging, and obtains skin image data.
  • the second imaging unit 12 is one of a plurality of camera units in the terminal device 10 such as a smartphone capable of imaging the user's skin, and is used by attaching a conversion lens 19 suitable for imaging the skin.
  • the present invention is not limited to this configuration, and a configuration that does not require a conversion lens can be used as a camera unit in a terminal device such as a smart phone that can directly image a predetermined portion of the skin.
  • the terminal device 10 is provided with the first imaging unit 11 forming the first imaging means and the second imaging unit 12 forming the second imaging means.
  • the terminal device 10 is provided with the first imaging unit 11 forming the first imaging means and the second imaging unit 12 forming the second imaging means.
  • one imaging unit capable of switching between the state of imaging the skin in the predetermined range of the body and the state of imaging the predetermined part, that is, the first imaging capable of imaging the skin in the predetermined range of the user's body
  • the imaging unit which is the means, can also be configured to be capable of imaging the predetermined part as necessary, so that it also serves as the second imaging means.
  • the second imaging section 12 forming the second imaging means is provided in the same terminal device 10 as the first imaging section 11 forming the first imaging means. is provided separately from the first imaging means, for example, a configuration in which a terminal device having a camera section serving as the first imaging means is used together with another device having a camera section serving as the second imaging means I don't mind.
  • the second imaging section 12 forming the second imaging means is provided on a different surface of the terminal device 10 from the first imaging section 11 forming the first imaging means.
  • the unit 12 and the first imaging unit 11 are provided on the same surface of the terminal device 10, in other words, one of the plurality of imaging units provided on the same surface of the terminal device is the first imaging unit, and the other is the second imaging unit. It may be used as a means.
  • the second imaging unit 12 forming the second imaging means can take an image at a position closer to the user than the first imaging unit 11 forming the first imaging means. 12 is brought close to the user together with the terminal device 10, or when the user approaches the second imaging unit 12 and the distance between the second imaging unit 12 and the predetermined part of the skin reaches a predetermined value, the second imaging unit 12 moves the skin. It is also possible to configure such that the imaging of the predetermined portion of is automatically executed.
  • one or a plurality of illumination means for irradiating light in conjunction with each of the first imaging unit 11 and the second imaging unit 12 are provided, and illumination corresponding to the imaging of a predetermined range of the body by the first imaging unit 11, It is also possible to adopt a configuration in which lighting corresponding to the imaging of the predetermined site by the second imaging unit 12 is executed respectively. Further, the lighting means corresponding to the second imaging unit 12 irradiates non-polarized light as illumination for detecting the texture of the user's skin when imaging the predetermined part of the user, while also irradiating unpolarized light to detect spots on the user's skin. It is also possible to employ a configuration in which linearly polarized light is irradiated as illumination for detection.
  • a configuration may be employed in which circularly polarized light is irradiated as illumination. Specifically, right-handed circularly polarized light is used to detect skin texture, and left-handed circularly polarized light is used to detect skin blemishes. Corresponding lighting can be provided. In addition, the color (wavelength) of light emitted as illumination may correspond to skin texture detection and blemish detection, respectively. It is also possible to adopt a configuration in which a light source that can irradiate can be interlocked with the second imaging unit 12 .
  • the terminal device 10 has the first imaging unit 11 and the second imaging unit 12, and is a device that can acquire skin image data by imaging a predetermined range of the user's body and the predetermined site. , and the control unit 13 .
  • This terminal device 10 is a known portable terminal device such as a mobile phone, a so-called smart phone, or a tablet device having wireless communication means 14 for connecting to and communicating with an IP communication network. and has a display unit 16 capable of displaying various information.
  • the terminal device 10 is provided with two camera units, which are configured to function as the first imaging unit 11 and the second imaging unit 12 .
  • the display unit 16 of the terminal device 10 can display an image representing at least the predetermined body area of the user.
  • the display unit 16 is a touch panel type display device and is configured to also serve as an input device.
  • the terminal device 10 is an information processing device that realizes the functions and processes of the control unit 13 by executing a program stored in advance, and includes the first imaging unit 11 and the second imaging unit 12.
  • the device is not limited to a portable device, and may be a notebook type computer with a camera, a desktop type computer, or the like.
  • the control unit 13 of the terminal device 10 can acquire diagnostic information by analyzing skin image data obtained by imaging using an application program for skin condition diagnosis. can refer to.
  • the control unit 13 of the terminal device 10 executes the application program to display the acquired diagnostic information as content on the display unit 16 so that it can be referred to.
  • the control unit 13 controls the skin image data obtained by imaging, that is, the skin image data of the predetermined range of the body obtained by imaging by the first imaging unit 11 and the predetermined part obtained by imaging by the second imaging unit 12. information on the skin condition is acquired based on the skin image data.
  • the control unit 13 analyzes the skin image data of the predetermined range of the body and the skin image data of the predetermined region, and obtains diagnostic information of the skin condition of the predetermined range of the user's body as information related to the skin condition. to obtain.
  • the function of the control unit 13 analyzing each skin image data and acquiring the diagnostic information of the user's skin condition is realized by the control unit 13 executing processing according to the application program.
  • the control unit 13 evaluates the user's skin based on the skin image data and obtains an index value indicating the user's skin condition. For example, the control unit 13 sets, as skin conditions, skin age, fineness of skin texture, degree of whiteness of skin, degree of open pores of skin, amount of spots on skin, amount of water contained in skin (degree of moisturizing) ), at least one of the items such as the amount of oil contained in the skin is evaluated, and an index value indicating the skin condition is obtained from the evaluation result.
  • control unit 13 performs predetermined image processing on the images captured by the first imaging unit 11 and the second imaging unit 12 to obtain an index value indicating the user's skin condition. For example, the control unit 13 performs edge detection on the photographed image, detects the sulcus cutis in the image, identifies the area of the crustus dermis surrounded by the detected sulcus dermis, and determines the size of the identified ridges cutis area. An index value indicating the fineness of the skin texture (an index value indicating the skin condition) is obtained such that the smaller the uniformity is, the larger the value becomes.
  • the control unit 13 determines, as diagnostic information, information indicating that the diagnostic result has been obtained as an index value indicating the user's skin condition. Then, the control unit 13 performs control so that the acquired diagnostic information can be displayed appropriately on the display unit 16 as display content of the display unit 16 .
  • the control unit 13 can create a graph of some index values indicating the user's skin condition among the diagnosis results, and display the graph on the display unit 16 as display content.
  • control unit 13 accepts data including information such as skin condition, skin care action information, skin image, and time when the skin was imaged on the terminal device 10, and an index indicating the accepted skin condition.
  • values, information on skin care actions, skin images, and information on the time when the skin was imaged are associated with each other and temporarily recorded in the recording unit 17 for recording, and the recorded index values of the skin condition and the image of the skin are recorded. It is also possible to diagnose the user's skin condition based on the time information when the test was performed.
  • control unit 13 identifies the temporal transition of the skin condition index value based on the skin condition index value recorded in the recording unit 17 and information on the timing of the skin condition measurement, Diagnose whether or not the skin condition has improved based on the specified mode of transition. For example, the control unit 13 specifies the temporal transition of the index value of the skin condition in the period of the user's skin metabolism (turnover) immediately before the process (for example, about 28 days ⁇ 1 day to 7 days), Diagnose skin condition.
  • control unit 13 specifies a period different from the period required for user turnover immediately before processing (for example, a period of a predetermined length immediately before processing (for example, one week, ten days, one month, etc.).
  • the skin condition may be diagnosed by specifying the temporal transition of the index value of the skin condition during a period of time, etc.).
  • the control unit 13 When the index value of the skin condition changes over time in the direction indicating the improvement of the skin condition, the control unit 13 provides a diagnostic result that the user's skin condition has improved. On the other hand, if the index value of the skin condition does not change over time in the direction of improving the skin condition (changes in the direction of deterioration, or shows no change), the control unit 13 Gives a diagnosis that the condition is not improving.
  • control unit 13 may perform diagnosis processing that takes into account attributes such as the user's age as the skin condition diagnosis processing.
  • control unit 13 uses the second imaging unit 12 to set diagnostic criteria for part or all of the diagnostic information based on the analysis of the skin image data of the predetermined region obtained by imaging the second imaging unit 12. You may make it change by the place to image.
  • the control unit 13 performs control so that images including graphs and texts indicating diagnostic information are appropriately displayed on the display unit 16 of the terminal device 10 .
  • the control unit 13 includes a transition graph showing changes in skin condition, an image group that is a skin image, an action information group showing information on skin care actions corresponding to the skin image, and a predetermined skin care product or skin care service. Control may be performed to appropriately display an image containing an advertisement (with a link) on the display unit 16 .
  • control unit 13 may create content indicating the diagnosis result as part of the diagnostic information and display it on the display unit 16 so that it can be referenced from the terminal device 10 .
  • the control unit 13 creates content including bar objects indicating skin condition index values for each of the degree of moisturization, the degree of pore opening, the degree of whitening, and skin age (aging), and causes the display unit 16 to display the content. You may do so.
  • control unit 13 provides, as other information related to the skin condition, an image for display of the predetermined range of the user's body based on the skin image data of the predetermined range of the body obtained by imaging by the first imaging unit 11; A display image of the predetermined portion of the user is obtained based on the skin image data of the predetermined portion of the skin obtained by imaging by the second imaging section 12 .
  • the control unit 13 calculates the image of the user's body based on the skin image data of the predetermined body area and the predetermined part obtained by the image pickup. A display image of a predetermined range or the predetermined portion is acquired, and the display image is displayed on the display unit 16 .
  • control unit 13 associates the display image of the predetermined region with a part of the information corresponding to the predetermined region of the skin in the display image of the body predetermined region, and displays the predetermined body region on the display unit 16. It is also possible to display the display image of the predetermined portion concurrently with the display of part or all of the display image of the range.
  • control unit 13 controls part or all of the display image of the predetermined region of the body derived from the image data of the predetermined region of the body, based on the display image of the predetermined region derived from the image data of the predetermined region.
  • image correction processing eg, color calibration
  • control unit 13 causes the display image of the predetermined body range derived from the image data of the predetermined body range to be captured by the second imaging unit 12 at a predetermined position on the image, which is a second It is also possible to perform a process of synthesizing a predetermined guide design portion indicating the position to be imaged by the imaging unit 12 and display the processed image on the display unit 16 .
  • the guide design portion is displayed as a part of the display image of the predetermined body area displayed on the display unit 16, and the user indicates the position to be imaged by the second imaging unit 12 in the predetermined body area. It becomes visible and understandable.
  • control unit 13 temporarily acquires diagnostic information on the skin condition of the predetermined body area of the user as information related to the skin condition, based on the skin image data of the predetermined body area obtained by imaging by the first imaging unit 11. At the same time, using this diagnostic information, a predetermined part of the skin to be imaged by the second imaging unit 12 included in the predetermined body area is set. The control unit 13 can notify the user of the set information of the predetermined part through the user's terminal device 10 .
  • the control unit 13 based on the skin image data of the predetermined range of the body and the skin image data of the predetermined site, diagnostic information of the skin condition of the predetermined range of the body is acquired again.
  • the current whole face as understood from the diagnostic information of the skin condition once acquired based on the skin image data of the face as the predetermined range of the body.
  • AI may be used to suggest a predetermined part of the skin to be imaged.
  • necessary information can be obtained as appropriate by user information input, information input based on cooperation with other IOT devices, or access to so-called big data on the network. .
  • past and present wrinkles in users the formation of blemishes and trends in their formation, future predictions of the occurrence of wrinkles and blemishes, as well as obtaining statistical data on the places where blemishes and wrinkles occur in Japanese people and their ages.
  • statistical data based on where the user lives e.g. Okinawa, Hokkaido, etc.
  • GPS-based weather-related information e.g. amount of ultraviolet rays, temperature, humidity, weather, etc.
  • information about the user information on whether the number of users is greater outdoors or indoors based on GPS (percentage), user's lifestyle information (e.g.
  • biometrics Information blood pressure, body temperature, blood flow, electrocardiogram, etc.
  • eating habits of users preferring fried foods, disliking vegetables, etc.
  • information such as cosmetics and skin care devices used by users, genetics related to users Information (e.g., age spots and wrinkles on grandparents and parents, etc.), user's skin color, skin temperature, etc. (including temporary changes due to UV exposure, etc.), information related to improving the user's facial impression (e.g., , physiognomy, facial muscles, smile, etc.) may be obtained and used.
  • AI-based proposals for specific areas of the skin are based on a variety of information, in particular, suggesting to the user areas where spots or wrinkles may occur in the future (including hidden spots) and suggesting improvements through care, etc. Suggesting areas where the impression of the face can be improved by making improvements, and suggesting areas where favorable results can be expected if improvements are started from the present so that the user will be in a beautiful state several years or decades into the future. be able to.
  • control unit 13 Based on the skin image data of the face as the predetermined range of the body obtained by the imaging of the first imaging unit 11, the control unit 13 generates blemishes and wrinkles on the entire face as diagnosis information of the skin condition of the user's face. , dark circles, freckles, etc., we propose an effective plan for skin care and makeup using AI. Since it cannot be improved immediately, it may be suggested to cover it with foundation for the time being.
  • control unit 13 sets a predetermined part of the skin to be imaged by the second imaging unit 12 using diagnostic information of the skin condition of the predetermined body range once acquired based on the skin image data of the body predetermined range.
  • the recording unit 17 obtains the skin image data obtained by imaging the predetermined portion by the second imaging unit 12 in addition to the information of the predetermined portion of the skin to be imaged by the second imaging unit 12. It records the date and time when it was received as identifiable.
  • the control unit 13 uses diagnostic information of the skin condition once obtained based on the skin image data of the predetermined range of the body previously obtained. is used, and when the information on the predetermined part previously set is recorded in the recording unit 17, the information on the predetermined part already recorded in the recording unit 17 is also referred to, and the predetermined part in the predetermined range of the body is selected.
  • the predetermined portion is set from the unrecorded portions.
  • each imaging by the second imaging unit 12 When imaging is performed a plurality of times by the second imaging unit 12 for each imaging by the first imaging unit 11, and skin image data is obtained for a plurality of predetermined parts, each imaging by the second imaging unit 12 Then, the setting of the predetermined part of the skin to be imaged is repeated so as not to overlap each other. In addition, for each imaging by the second imaging unit 12, the information of the set predetermined part is notified to the user through the terminal device 10, and is recorded in the recording unit 17 so as to be reflected in the next setting. becomes.
  • control unit 13 sets a predetermined area recorded in the recording unit 17. It has a mechanism of referring to the information of the part and the skin image data of this predetermined part.
  • the control unit 13 regards the skin image data whose data acquisition date and time are included in the past predetermined period corresponding to the turnover cycle of the user's skin as new imaging. It is assumed that the images are taken at the same timing.
  • control unit 13 combines the recorded skin image data obtained during the predetermined period with the predetermined skin image data obtained by imaging the predetermined site of the skin set at the new imaging opportunity by the second imaging unit 12. Based on the skin image data of the part and the skin image data of the predetermined body range, diagnostic information (information on the skin state) of the skin condition of the predetermined body range is acquired.
  • the control unit 13 determines the turnover cycle of the user's skin for which the data acquisition date and time are not included in the predetermined period, among the information of the predetermined portion recorded in the recording unit 17 and the skin image data of the predetermined portion.
  • Old time points exceeding the above are those at a time when skin turnover does not overlap with the user's skin at the new imaging opportunity in the first imaging unit 11, and are imaged at the same timing as the new imaging.
  • the information of the predetermined portion and the skin image data of the predetermined portion may be deleted from the recording section 17, assuming that the skin image data of the predetermined portion cannot be regarded as the original.
  • the terminal device 10 is a smartphone, and a camera section (so-called in-camera) provided on the side where the display section 16 is provided is used as the first imaging section 11.
  • the camera unit (so-called out-camera) provided by the camera is used as the second image capturing unit 12, and each image can be captured.
  • a conversion lens 19 is attached in front of the second imaging unit 12 in the terminal device 10, and the imaging range of the second imaging unit 12 is narrower than that of the first imaging unit 11, while the imaging range is higher than that of the first imaging unit 11.
  • An image of the skin in a very narrow range of the face is imaged as the predetermined part.
  • the user attaches the conversion lens 19 to the terminal device 10 .
  • an application program that provides a user interface for using each imaging unit which is pre-existing in the terminal device, is activated on the terminal device 10 by the user's operation, the user takes an image of each imaging unit through the terminal device 10. can be used for
  • the first imaging unit 11 of the terminal device 10 When the user performs an imaging start operation on the user interface displayed on the terminal device 10, the first imaging unit 11 of the terminal device 10 will perform imaging of the user's face as a predetermined body area.
  • the imaging unit 11 starts imaging the user's face, and the control unit 13 of the terminal device 10 continuously acquires image data.
  • the control unit 13 of the terminal device 10 causes the user to maintain a state of supporting the terminal device 10 so that the face is displayed in a predetermined orientation and size by means of a predetermined guide display or the like on the display unit 16.
  • the control unit 13 causes the display unit 16 to display an image of a frame that contains the outline of the face on the screen of the display unit 16 in a state where the face is correctly imaged, superimposed on the captured image of the first imaging unit 11 .
  • the user is prompted to adjust the relative positional relationship between the first imaging unit 11 and the face so that the face fits within the image of the frame while looking at the display unit 16 .
  • the control unit 13 causes the display unit 16 to display the face image based on the image data obtained by the imaging.
  • the control unit 13 causes the user to maintain a state of supporting the terminal device 10 so that the face is displayed in a predetermined orientation and size by means of a predetermined guidance display or the like on the display unit 16 .
  • the display unit 16 displays an image of the user's face based on the image data obtained by the imaging.
  • the user refers to the image display of the face on the display unit 16, and performs a predetermined operation on the user interface of the terminal device 10 at the timing at which the first imaging unit 11 seems to appropriately capture the face as the predetermined range of the body. to determine the still image of the face.
  • the data of the still image of the face at the determined moment is handled by the control section 13 as the skin image data of the predetermined range of the body obtained by the imaging of the first imaging section 11 .
  • the control unit 13 may automatically determine the face image at the timing when the first imaging unit 11 appropriately captures the face as the predetermined range of the body regardless of the user's operation.
  • the second imaging unit 12 shifts to a state suitable for imaging the predetermined part of the skin.
  • the control unit 13 acquires an image for display of the face based on the skin image data obtained by the imaging of the first imaging unit 11, and displays it on the display unit 16 while analyzing the skin image data to obtain the user's face. acquire diagnostic information on the skin condition of
  • control unit 13 refers to the information recorded in the recording unit 17 to refer to the information of the predetermined part set at the time of the previous imaging, that is, the diagnostic information of the skin condition of the face once acquired in the same manner as described above. is used to determine whether or not there is information on the set predetermined site that is recorded when the control unit 13 sets the predetermined site of the skin to be imaged by the second imaging unit 12 .
  • the control unit 13 determines the diagnostic information for each part of the predetermined body area other than the part previously set as the predetermined part. , for example, because a sign of the presence of a stain or the like on a part of the skin is found, it is necessary to confirm the presence or absence of a stain, etc.
  • the details captured by the second imaging unit 12 are captured. Determine the site that needs to be imaged.
  • the control unit 13 For the entire predetermined range of the body, using the diagnosis information of the skin condition of the face that has been acquired in advance, a part that needs to acquire a detailed image by imaging with the second imaging unit 12 is selected for further appropriate diagnosis of the skin condition as described above. index.
  • the control unit 13 sets the determined site as a predetermined site to be imaged by the second imaging unit 12 and records information on the set predetermined site in the recording unit 17 . Then, the control unit 13 generates, for example, a predetermined guidance design portion (mark) indicating a predetermined region on the face to be imaged by the second imaging unit 12, and this guidance design unit is combined with a display image of the face based on the skin image data of the face, and the combined image is displayed on the display unit 16 (see FIG. 5).
  • the user recognizes the predetermined site to be imaged by the second imaging section 12 by looking at the display section 16, and adjusts the position of the terminal device 10 having the second imaging section 12 so that this can be imaged.
  • the guide design unit indicates the imaging target position of the second imaging unit 12
  • the user can easily understand the predetermined part of the face, which is the predetermined range of the body, to be imaged by the second imaging unit 12, and the user can adjust the position. It becomes possible to appropriately perform imaging using the second imaging unit 12 of the terminal device 10 .
  • control unit 13 sets a predetermined region to be imaged by the second imaging unit 12, and instead of displaying an image showing the predetermined region by synthesizing it with the image of the face, the control unit 13 sets the predetermined body region of the user. It is also possible to execute guidance display, voice guidance, etc. from the terminal device 10 to the user so that the user can take an image with the second imaging unit 12 of the part of the face that the user is concerned about. Alternatively, a place where the skin condition is generally often measured is selected in advance and registered as an initial measurement position, and a predetermined guide design part indicating one or more parts of the skin that is the initial setting position is placed on the face. , and the synthesized image may be displayed on the display unit 16 .
  • the user recognizes an arbitrary part of the face of concern, or after confirming the initial measurement position on the face indicated by the guide design section displayed on the display section 16, confirms these points.
  • the position of the terminal device 10 having the second imaging unit 12 is adjusted so that the image can be captured (see FIG. 6).
  • the user When the user adjusts the position of the terminal device 10 held in his/her hand and determines that the second imaging unit 12 is facing the predetermined part of the face, the user operates the user interface such as the shutter button of the terminal device 10. A predetermined operation is performed to cause the second imaging unit 12 to perform imaging.
  • the user brings the second imaging unit 12 together with the terminal device 10 closer to the predetermined site, or brings the predetermined site closer to the second imaging unit 12, so that the second imaging unit 12 and the predetermined site of the skin
  • the second image capturing unit 12 automatically captures an image of the predetermined portion of the skin, or the terminal device 10 notifies that the timing is optimal for capturing an image.
  • the user's operation of the terminal device 10 may be prompted.
  • the second imaging unit 12 performs imaging of the predetermined part of the skin under a predetermined lighting condition by an external light source (for example, the built-in light source of the conversion lens) or the built-in light source of the terminal device 10. , to output skin image data.
  • the control unit 13 acquires this skin image data.
  • the conversion lens 19 attached to the terminal device 10 has a built-in light source that can adjust the light emitted as illumination. After being optimized through image verification, etc., imaging is performed by the second imaging unit 12, and an image for texture diagnosis obtained by imaging the skin under illumination with non-polarized light irradiation and a texture diagnosis image with linearly polarized light irradiation.
  • the control unit 13 can acquire each image data of the blemish diagnostic image obtained by imaging the skin under illumination.
  • the control unit 13 records the acquired skin image data of the predetermined part in the recording unit 17 together with the previously recorded information of the predetermined part in a state in which the date and time when the skin image data was obtained can be determined.
  • the control unit 13 performs imaging based on the information recorded in the recording unit 17 for each imaging by the second imaging unit 12.
  • the predetermined part of the skin to be imaged is set so as not to overlap with the previous one, and the execution of imaging by the second imaging unit 12 by the user's operation is repeated according to the information of the predetermined part notified to the user through the terminal device 10.
  • the control unit 13 sets the predetermined site of the skin to be imaged by the second imaging unit 12, and the predetermined site is the second image.
  • the recording unit 17 is referred to, and the skin image data of the predetermined part included in the past predetermined period corresponding to the turnover cycle of the user's skin. It is assumed that the image is taken at the same timing as the new image pickup by the second image pickup unit 12 .
  • the control unit 13 acquires the skin image data and the skin image data acquired during the predetermined period, which is regarded as being imaged at the same timing.
  • the skin condition of the face as the predetermined body area of the user is determined. Get diagnostic information.
  • control unit 13 acquires the skin image data of the predetermined part of the skin from the second imaging unit 12, and The image data and the facial skin image data obtained by the first imaging unit 11 are analyzed to obtain official diagnostic information about the skin condition of the user's face.
  • the control unit 13 causes the display unit 16 to display the facial skin condition diagnostic information concurrently with the facial image or in place of the facial image (see FIG. 7).
  • the display of diagnostic information on the skin condition of the face on the display unit 16 is not limited to text-based information display. Information can also be provided. For example, the position and size of hidden spots derived as diagnostic information analyzed from fine image data obtained by the second imaging unit 12 can be indicated by a mark of a predetermined color superimposed on the corresponding part on the face image. It can be used as reference information when performing skin care such as anti-blemish measures.
  • the first image pickup unit 11 and the second image pickup unit 12 complete one-time imaging as skin condition measurement.
  • the user takes an image of the face as the predetermined range of the body by the first imaging unit 11 and the image of the predetermined part by the second imaging unit 12 at predetermined intervals in the same manner as described above. Imaging is repeated, and skin condition diagnosis information based on each skin image data obtained by the control unit 13 is obtained for each imaging, and is displayed on the display unit 16 .
  • the information of the predetermined site set by the control unit 13 is recorded in the recording unit 17, and the recorded information is referenced at the time of the next imaging to select a new predetermined site that does not overlap with the previous one.
  • the face region as the predetermined body range is gradually filled with the part where detailed skin image data is obtained by imaging with the second imaging unit 12 for each imaging, A plurality of high-precision skin image data can be connected in the form of a map, the skin condition can be analyzed with higher accuracy based on the skin image data, and accurate and highly reliable diagnostic information can be derived.
  • the second imaging unit 12 when the second imaging unit 12 performs imaging multiple times per imaging performed by the first imaging unit 11, the detailed skin image data covers each part of the face for a short period of time (for example, for a short period of time).
  • the imaging may be distributed to reduce the user's burden.
  • imaging by the first imaging unit 11 and imaging by the second imaging unit 12 are performed once in a week, the cheek is imaged as the predetermined part in one week, and the forehead is imaged as the predetermined part in the next week. It is also possible to repeat imaging every week by taking an image so that the whole face is imaged by the second imaging unit 12 in about one month.
  • the control unit 13 acquires the information of the predetermined region and the skin image data obtained by imaging the predetermined region with the second imaging unit 12.
  • the data acquisition date and time correspond to the turnover cycle of the user's skin. For those older than this, it is judged that the skin turnover does not overlap with the user's skin in this new imaging opportunity, so this old information and skin image data are deleted and new recording is impossible. You can also make it repeatable without
  • the control unit 13 refers to the information recorded in the recording unit 17 so that the second imaging unit 12 can take an image of a new predetermined part that does not overlap with the previous one.
  • the same predetermined region is captured by the second imaging unit 12. It is also possible to adopt a configuration in which images are repeatedly captured many times, and detailed skin in a specific portion can be obtained from diagnostic information and a display image of the skin condition obtained based on skin image data focused on the same portion of the skin by the control unit 13. It is possible to grasp the transition of the state and easily confirm the degree of improvement due to skin care.
  • control unit 13 records in the recording unit 17 the image of the face and the predetermined part for display on the display unit 16 based on the skin image data obtained by repeated imaging for each imaging, and if necessary, It is also possible to arrange the images in chronological order and display them as a list, or to sequentially switch and display them in chronological order.
  • the skin image data of the face obtained by the imaging of the first imaging unit 11, which is the basis of the display image of the face as the predetermined range of the body and the diagnostic information of the skin condition is obtained by the second imaging unit 12.
  • a face image for display is generated based on the corrected face skin image data, may be displayed on the display unit 16, or the skin image data of the face after correction may be analyzed together with the skin image data of the predetermined portion to acquire diagnostic information of the skin condition of the face.
  • image correction processing is performed on the image data of the predetermined range of the body based on the image data of the predetermined region based on the imaging of the second imaging unit 12, which is easy to adjust the imaging conditions due to the limited imaging range. Since the color of the skin in the predetermined range of the body indicated by the image data is matched with that of the skin in the image data of the predetermined region, the image can be obtained regardless of the imaging conditions of the first imaging unit 11. In addition, the image data of the predetermined range of the body can be easily displayed and analyzed for diagnosing the skin condition, and the user can be encouraged to correctly grasp the skin condition.
  • the first imaging unit 11 images the face as a predetermined range of the user's body
  • the second imaging unit 12 images a predetermined portion of the user's face.
  • the control unit 13 acquires information about the skin condition of the user.
  • the first imaging unit 11 and the second imaging unit 12 are provided in the terminal device 10 and the single terminal device 10 can perform imaging using the first imaging unit 11 and the second imaging unit 12, the user can 1, a single terminal device 10 can handle imaging of the face as the predetermined range of the body and imaging of the predetermined portion of the face, and only one device can be used for imaging, thereby reducing costs related to imaging.
  • the control unit 13 assumes that the second imaging unit 12 correctly images the location indicated by the terminal device 10 as the predetermined portion of the skin to be imaged. , the image captured by the second imaging unit 12 is recognized as the image of the set predetermined part. In the image of the range, parts having features common to the features appearing in the image captured by the second imaging unit (for example, the shape of characteristic parts such as skin texture and spots) are extracted, and such parts are selected as the predetermined In addition to the region, the image captured by the second imaging unit can also be recognized as the image of the predetermined region. Information about the skin condition based on the image data can be made accurate. Then, when the control unit does not particularly set the predetermined part of the skin to be imaged by the second imaging unit in this way, the imaging by the second imaging unit is performed even after the imaging by the first imaging unit. It doesn't matter if it's ahead.
  • the first imaging unit 11, the second imaging unit 12, and the control unit 13 are configured to be provided in the portable terminal device 10 such as a smartphone.
  • the portable terminal device 10 such as a smartphone.
  • it is an information processing device that realizes the functions and processing as the control unit 13, and is equipped with the first imaging unit 11 and the second imaging unit 12 to measure the skin condition.
  • the terminal device is not limited to a portable device, and may be a notebook type computer with a camera, a desktop type computer, or the like, as long as the terminal device can perform
  • the terminal device is another information processing device specialized for a specific application such as beauty, for example, a mirror part (half mirror) of a dressing table or a tabletop mirror for makeup and beauty.
  • an electronic device that can display the user's image captured by a camera, an image that has been processed, or information obtained by analyzing the user's image on the mirror surface as needed. , but it doesn't matter.
  • the terminal device 50 having such a mirror unit 55, as shown in FIG.
  • the camera section can also be provided above the mirror section 55 so as to face the user.
  • a light source 53 for illumination during imaging may be provided together with the first imaging unit 51 and the second imaging unit 52.
  • a light source unit capable of switching between a state of irradiating unpolarized light for detecting the texture of the user's skin and a state of irradiating linearly polarized light for detecting blemishes on the user's skin; If a light source unit is provided that can switch between a state of irradiating clockwise circularly polarized light for detecting skin texture and a state of irradiating counterclockwise circularly polarized light for detecting skin blemishes.
  • non-polarized light and linearly polarized light, or right-handed circularly polarized light and left-handed circularly polarized light are separately used for imaging with the second imaging unit 52, thereby detecting skin texture and blemishes. It is preferable because the detection can be performed properly.
  • a hood 54 for covering the first imaging unit and the second imaging unit and blocking unnecessary light from entering from the surroundings is provided above the mirror unit including the first imaging unit 51 and the second imaging unit 52.
  • a hood 54 can also be used as a reflecting plate for propagating illumination light toward the user when the light source 53 for illumination during imaging is provided in the vicinity of the first imaging section 51 or the second imaging section 52 .
  • the size of the hood is set so that when a part of the user's face (for example, the forehead) touches the tip of the hood, the user's face, which is the predetermined body area, is projected onto the first imaging unit 51.
  • the positional relationship is set to be suitable for imaging by this, or when the user's skin at or near the predetermined site touches the tip of the hood, the predetermined site of the user is directed to the second imaging unit 52 for imaging with these. It can also be set so as to have a suitable positional relationship.
  • a narrower range is captured in detail than in the case of imaging by the first imaging unit 51. is usually shorter than in the case of the first imaging unit 51 , the user needs to bring the predetermined part to be imaged by the second imaging unit 52 closer to the terminal device 50 .
  • the distance between the terminal device 50 and the user is measured by a predetermined measuring means of the terminal device 50, and the user brings the predetermined part closer to the terminal device 50 to obtain a second image.
  • the second imaging unit 52 is configured to perform imaging, or when the distance between the terminal device 50 and the user is too far or too close during imaging.
  • the first imaging unit 51 and the second imaging unit 51 and the second imaging unit 52 are arranged so that the user does not need to move his or her body to change the distance between the user and the terminal device 50 for each imaging of the first imaging unit 51 and the second imaging unit 52 .
  • the distance between the terminal device 50 and the part to be imaged of the user may be set to be the same in each in-focus state 52.
  • the first imaging unit 51 and the second imaging unit 52 can perform imaging at the same time. , the user's burden related to imaging can be reduced.
  • the skin condition measurement system 2 includes a first imaging unit 21, a second imaging unit 22, and a control unit 93, as in the first embodiment. While the first imaging unit 21 and the second imaging unit 22 are arranged in the terminal device 20, the control unit 93 is arranged in the server 90 provided so as to be capable of data communication with the terminal device 20 through the network 100. have.
  • the user who is the subject of the skin condition measurement signs a contract with the provider of the skin condition measurement system 2 to receive the skin condition diagnosis service, as in the first embodiment. Since the skin condition measuring system 2 is available and the skin condition measuring system 2 can be used, the skin condition diagnostic information can be obtained from the skin condition measuring system 2 .
  • the first imaging section 21 is provided in the terminal device 20 as the first imaging means, and is capable of imaging a predetermined range of the user's body.
  • the second imaging unit 22 is arranged in the same terminal device 20 as the first imaging unit 21 as the second imaging means in the same manner as in the first embodiment, and is capable of imaging a predetermined part of the user's skin. It is said that
  • the first imaging unit 21 and the second imaging unit 22 are camera units of the terminal device 20 capable of imaging the user's skin, and each forms a part of the user's terminal device 20. has the same configuration as that shown in the embodiment, detailed description thereof will be omitted.
  • the terminal device 20 has the first imaging unit 21 and the second imaging unit 22, and is a device capable of capturing an image of a predetermined body area and the predetermined part of the user and acquiring skin image data. is.
  • this terminal device 20 is a known portable terminal device such as a mobile phone, a so-called smart phone, or a tablet device having wireless communication means 24 for connecting to and communicating with an IP communication network. Of these, it has a display section 26 capable of executing an application program on the apparatus and displaying various information.
  • the terminal device 20 is provided with two camera units, which are configured to function as the first imaging unit 21 and the second imaging unit 22 .
  • the display unit 26 of the terminal device 20 can display an image representing at least the predetermined range of the user's body.
  • the display unit 26 is a touch panel type display device and is configured to also serve as an input device. More specifically, the display unit 26 displays the display image of the predetermined range of the body and the display image of the predetermined part acquired by the control unit 93 of the server 90, and also displays the display image acquired by the control unit 93. Diagnosis information of the skin condition of a predetermined range of the body is displayed.
  • the terminal device 20 is an information processing device that implements various functions and processes by executing a program stored in advance, is capable of communication via the network 100, and is capable of communicating with the first imaging unit 21 and As in the first embodiment, the device is not limited to a portable device as long as it has the second imaging unit 22 and can measure the skin condition. Other information processing devices specialized for specific applications may also be used.
  • This terminal device 20 activates an application program for skin condition measurement, images the face as the predetermined body range of the user with the first imaging unit 21, obtains the skin image data of the face, and the second imaging unit At 22 , the predetermined portion of the skin is imaged to obtain skin image data of the predetermined portion, and the skin image data is transmitted to the control section 93 of the server 90 .
  • the terminal device 20 performs communication requesting that the diagnostic information acquired by the server 90 can be referred to from the terminal device 20 by executing the application program, and acquires the diagnostic information as content from the server 90 that responds. Displayed on the display unit 26 .
  • the terminal device 20 can receive diagnostic information data transmission from the server 90 side and display it, or download diagnostic information data and display it. .
  • the terminal device 20 receives from the server 90 the display image of the predetermined range of the body and the display image of the predetermined part acquired by the control unit 93 of the server 90, and causes the display unit 26 to display them.
  • the server 90 is arranged for data communication with the terminal device 20 through the network 100, and receives the skin image data of the predetermined range of the body and the skin image data of the predetermined part acquired by the terminal device 20, As a control unit, the skin image data is analyzed to acquire diagnostic information on the user's skin condition, an image for display is acquired based on each skin image data, and the diagnostic information and the image for display are transmitted to the terminal device 20. Then, the display unit 26 of the terminal device 20 is caused to display the diagnosis information and the skin image.
  • This server 90 is a computer equipped with a CPU and the like that functions as a server.
  • the function of the server is realized by executing the processing according to the program recorded by the computer.
  • the server 90 in this embodiment is not necessarily limited to a single physical computer, and a plurality of computer devices are network-connected and cooperate to provide one or more requested services as a whole. or a group of devices that provide services, or that have the function of providing one or more requested services as if they were a single device, even though it is only a part of the functions of a computer device.
  • a virtual device that can be handled as a single device is also included.
  • the server 90 displays skin condition diagnostic information as information on the skin condition and on the terminal device based on skin image data obtained by imaging with the first imaging unit 21 and the second imaging unit 22 of the terminal device 20.
  • the configuration includes a control unit 93 that acquires image information for use and a recording unit 97 that records the information.
  • the server 90 implements the functions of the control section 93 and the recording section 97 by the computer that constitutes the server 90 executing processing according to a program.
  • the control unit 93 in the server 90 acquires information about the skin condition based on the image data of the skin obtained by imaging.
  • the control unit 93 can acquire information about the skin condition of the predetermined range of the body based on the skin image data of the predetermined range of the body obtained by the imaging of the first imaging unit 21 received from the terminal device 20.
  • the control unit 93 based on the skin image data of the predetermined portion obtained by the imaging of the second imaging unit 22 received from the terminal device 20, it is possible to acquire information about the skin condition of the predetermined portion.
  • control unit 93 acquires diagnostic information on the skin condition of the predetermined range of the body by analyzing the skin image data of the predetermined range of the body and the skin image data of the predetermined part as the information about the skin condition. be.
  • the function of the control unit 93 to analyze each image data and acquire the diagnosis information of the user's skin condition is the same as that of the first embodiment, except that the server 90 executes the processing according to the application program. It is based on the same mechanism, and detailed description is omitted.
  • control unit 93 can transmit diagnostic information on the skin condition of the predetermined range of the body to the terminal device 20 .
  • the terminal device 20 can cause the display 26 to display diagnostic information on the skin condition of the predetermined range of the body.
  • control unit 93 acquires the display image of the predetermined range of the body derived from the skin image data of the predetermined range of the body as other information related to the skin condition, and obtains the display image of the predetermined range of the body derived from the skin image data of the predetermined region. A display image of a predetermined portion is acquired.
  • the control unit 93 can transmit such display image information to the terminal device 20 .
  • the terminal device 20 causes the display unit 26 to display an image of the predetermined range of the body, specifically, the face.
  • An image of the predetermined part with a larger magnification than the image of the predetermined range of the body, while the image is replaced in the same area as the display area, or simultaneously and in parallel with the display of the face image in a different area from the display area. can be displayed.
  • control unit 93 controls part or all of the display image of the predetermined region of the body derived from the skin image data of the predetermined region of the body.
  • Image correction processing eg, color calibration
  • control unit 93 causes the display image of the predetermined body range derived from the skin image data of the body predetermined range to be positioned on the image corresponding to the predetermined site to be imaged by the second imaging unit 22. , performs a process of synthesizing a predetermined guidance design part indicating that it is an imaging target position of the second imaging part 22, transmits the processed display image to the terminal device 20, and displays the display part of the terminal device 20 26 can also be displayed.
  • the guide design portion is displayed as a part of the display image of the predetermined body area displayed on the display unit 26 of the terminal device 20, and the user takes an image of the predetermined body area with the second imaging unit 22. It becomes possible to visually recognize and understand the predetermined portion to be corrected.
  • the control section 93 determines the skin condition of the predetermined range of the body as information related to the skin condition. Diagnosis information is once acquired, a predetermined part of the skin to be imaged by the second imaging unit 22 is set based on the diagnosis information, information related to the predetermined part of the skin is transmitted to the terminal device 20, and displayed on the terminal device 20. By indicating this to the user through the unit 26 or the like, it is possible to enable execution of imaging by the second imaging unit 22 with respect to a predetermined part of the skin.
  • the control unit 93 acquires the diagnostic information of the skin condition of the predetermined range of the body again based on the newly acquired skin image data of the predetermined region and the skin image data of the predetermined range of the body.
  • the recording unit 97 uses the diagnostic information of the skin condition of the predetermined range of the body once acquired by the control unit 93 based on the skin image data of the predetermined range of the body, and uses the second imaging unit 12 set by the control unit 93. It records information of a predetermined part of the skin to be imaged.
  • This recording unit 97 stores the skin image data obtained by imaging the predetermined portion with the second imaging unit 22, in addition to the information of the predetermined portion of the skin to be imaged by the second imaging unit 22. The obtained date and time will be recorded as identifiable.
  • the entire face of the user is assumed to be the predetermined body area to be imaged by the first imaging unit 21, and the predetermined region to be imaged by the second imaging unit 22 is included in this range. , which is an important part of facial skin.
  • the terminal device 20 is a smartphone, and the camera unit on the display unit 26 side is used as the first imaging unit 21, while the camera unit on the opposite side of the display unit 26 is used as the second imaging unit 22 to capture images. It can be executed and can communicate with the server 90 through the network 100 . .
  • a conversion lens 29 is attached in front of the second imaging unit 22 in the terminal device 20, and the imaging range of the second imaging unit 22 is narrower than that of the first imaging unit 21, while the imaging range is higher than that of the first imaging unit 21.
  • An image of the skin in a very narrow range of the face is imaged as the predetermined part.
  • a conversion lens (not shown) is attached to the terminal device 20 by the user in order to take an image using each imaging unit of the terminal device 20 .
  • the user operates the terminal device 20 to access a predetermined web page prepared by a service providing server for skin condition measurement (for example, the server 90).
  • An online service such as a provided web application can be used on the terminal device 20, an application program that provides a user interface for using each imaging unit is started in the terminal device 20, and a user can operate each imaging unit through the terminal device 20. can be used for imaging as skin condition measurement.
  • an application program that provides a user interface for using each imaging unit, which is recorded in advance in the terminal device, is started on the terminal device 20 by the user's operation on the terminal device 20, and the terminal device 20 You may make it the state which a user can use each imaging part for imaging of skin through.
  • the terminal device 20 executes imaging of the user's face as a predetermined body area.
  • the user interface is displayed on the display unit 26 by executing the skin condition measurement application program.
  • the first imaging unit 21 as the first imaging means in the terminal device 20 starts imaging the user's face, and the terminal device 20 continuously captures skin image data. , and transmitted to the server 90 .
  • control unit 93 of the server 90 causes the display unit 26 of the terminal device 20 to display the image of the face based on the image data obtained by imaging.
  • control unit 93 allows the user to maintain a state of supporting the terminal device 20 so that the face is displayed in a predetermined orientation and size by means of predetermined guidance display or the like on the display unit 26 of the terminal device 20 .
  • the user refers to the image display of the face on the display unit 26, and performs a predetermined operation on the user interface of the terminal device 20 at the timing at which the first imaging unit 21 seems to appropriately capture the face as the predetermined range of the body. to determine the still image of the face.
  • the data of the still image of the face at the determined moment is transmitted to the server 90 and handled by the control section 93 as the skin image data of the predetermined range of the body obtained by the imaging of the first imaging section 21 .
  • the control unit 93 acquires an image for display of the face based on the skin image data obtained by imaging by the first imaging unit 21, transmits this to the terminal device 20, and causes the display unit 26 to display the skin image. Analyze the data and temporarily acquire diagnostic information on the skin condition of the user's face.
  • control unit 93 refers to the information recorded in the recording unit 97 to refer to the information of the predetermined part set at the time of the previous imaging, that is, the diagnosis information of the skin condition of the face once acquired in the same manner as described above. is used to determine whether or not there is information on the set predetermined site that is recorded when the control unit 13 sets the predetermined site of the skin to be imaged by the second imaging unit 12 .
  • the control unit 93 determines the diagnostic information for each part of the predetermined body area other than the part previously set as the predetermined part. , for example, because a sign of the presence of a stain or the like on a part of the skin was found, it is necessary to confirm the presence or absence of a stain, etc. For further appropriate diagnosis of the skin condition, the details captured by the second imaging unit 22 are captured. Determine the site that needs to be imaged.
  • the control unit 93 For the entire predetermined range of the body, the diagnostic information is used to determine, in the same manner as described above, a site that requires acquisition of a detailed image by imaging with the second imaging unit 22 for more appropriate diagnosis of the skin condition.
  • the control unit 93 sets the determined site as a predetermined site to be imaged by the second imaging unit 22 and records information on the set predetermined site in the recording unit 97 . Then, the control unit 93 performs a process of generating a predetermined guide design portion indicating this predetermined portion, and synthesizing this guide design portion with the display image of the face based on the skin image data of the face. , the synthesized image is transmitted to the terminal device 20 and displayed on the display unit 26 of the terminal device 20 . The user recognizes the predetermined part to be imaged by the second imaging part 22 by looking at the display part 26, and adjusts the position of the terminal device 20 having the second imaging part 22 so that this can be imaged.
  • the control unit 93 sets a predetermined region to be imaged by the second imaging unit 22, and displays an image such as a guide design unit showing the predetermined region on the face.
  • an instruction to guide the user from the terminal device 20 to the terminal device 20 is transmitted to the terminal device 20 so that the user can take an image with the second imaging unit 22, and the terminal device 20 can be caused to perform guidance display to the user, voice guidance, and the like.
  • the combined image may be transmitted to the terminal device 20 and displayed on the display unit 26 .
  • the user When the user adjusts the position of the terminal device 20 held in his/her hand and determines that the second imaging unit 22 is facing the predetermined part of the face, the user operates the user interface such as the shutter button of the terminal device 20. A predetermined operation is performed to cause the second imaging unit 22 to perform imaging.
  • the second imaging unit 22 performs imaging of the predetermined part of the skin under predetermined lighting conditions by an external light source (for example, the built-in light source of the conversion lens) or the built-in light source of the terminal device 20. , to output skin image data.
  • the skin image data of this predetermined part is transmitted from the terminal device 20 to the server 90 and acquired by the control section 93 .
  • the conversion lens attached to the terminal device 20 has a built-in light source that can adjust the light emitted as illumination. After being optimized through the verification, etc., imaging is executed, and an image for texture diagnosis that captures the skin under illumination with non-polarized light and a blemish that captures the skin under illumination with linearly polarized light.
  • the diagnostic image and each skin image data are transmitted from the terminal device 20 to the server 90 and acquired by the control unit 93 .
  • the control unit 93 records the obtained skin image data of the predetermined portion in the recording unit 97 by making it possible to determine the date and time when the skin image data was obtained, in addition to the previously recorded information of the predetermined portion.
  • the control unit 93 refers to the recording unit 97 and refers to the data acquisition date and time corresponding to the turnover cycle of the user's skin. It is assumed that the skin image data of the predetermined part included in the predetermined period was captured at the same timing as the new image capturing by the second imaging unit 22 .
  • the control unit 93 acquires the skin image data and the skin image data acquired during the predetermined period, which is assumed to be imaged at the same timing.
  • the formal skin of the face as the user's body predetermined range is analyzed. Get diagnostic information for a state.
  • control unit 93 acquires the skin image data of the predetermined portion of the skin from the second imaging unit 22, and The image data and the facial skin image data obtained by the first imaging unit 21 are analyzed to obtain official diagnostic information about the skin condition of the user's face.
  • control unit 93 transmits diagnostic information on the skin condition of the face to the terminal device 20 (see FIG. 11), and transmits the diagnostic information to the terminal device 20 in parallel with the facial image or in place of the facial image. 20 is displayed on the display unit 26 .
  • control unit 93 generates a display image of the predetermined portion based on the image data of the predetermined portion of the skin, transmits information of the display image of the predetermined portion to the terminal device 20,
  • the image of the body part can be displayed in any area on the screen of the display unit 26 of the terminal device 20 as required.
  • the display of diagnostic information on the skin condition of the face on the display unit 26 of the terminal device 20 is not limited to text-based information display, as in the case of the first embodiment. Based on information display control, it is also possible to provide information in a format in which areas of the skin that require attention and symptoms are specifically indicated by marking images or the like on the face image. For example, an image in which the positions and sizes of hidden spots derived as diagnostic information analyzed from fine image data obtained by the second imaging unit 22 are indicated by marks of a predetermined color superimposed on the corresponding parts on the face image. Information can also be displayed and provided, and can be used as reference information when performing skin care such as measures against blemishes. By displaying the diagnostic information in this way, the first image pickup unit 21 and the second image pickup unit 22 complete one-time imaging as skin condition measurement.
  • the user performs the same operation of the first imaging unit 21 at predetermined intervals. and the imaging of the predetermined part by the second imaging unit 22 are repeated, and the control unit 93 of the server 90 that acquires each skin image data diagnoses the skin condition based on each skin image data.
  • Information is acquired for each imaging and displayed on the display unit 26 of the terminal device 20 .
  • the information of the predetermined site set by the control unit 93 is recorded in the recording unit 97, and the recorded information is referenced at the time of the next imaging to determine a new predetermined site that does not overlap with the previous one.
  • the face area as the predetermined body area is gradually filled with the parts from which detailed skin image data is obtained by imaging with the second imaging unit 22 for each imaging.
  • a plurality of high-precision skin image data can be connected in the form of a map, and the skin condition can be analyzed with higher precision based on the skin image data, leading to accurate and highly reliable diagnostic information.
  • the control unit 93 acquires the information of the predetermined region and the skin image data obtained by imaging the predetermined region with the second imaging unit 22. While recording, at the time of a new imaging opportunity, among the information of the predetermined part and the skin image data recorded in the recording unit 97, the data acquisition date and time correspond to the turnover cycle of the user's skin. For old information that exceeds the period, it is judged that the skin turnover does not overlap with the user's skin in this new imaging opportunity, and such old information and skin image data are deleted and new records are created. can be repeated without difficulty.
  • the skin image data of the face obtained by imaging by the first imaging unit 21, which is the basis of the display image of the face as the predetermined range of the body and the diagnostic information of the skin condition obtained by the server 90 Although it is skin image data obtained by imaging by the first imaging unit 21 before imaging by the second imaging unit 22, instead of this, the control unit 93 of the server 90 transmits the second imaging unit from the terminal device 20 After obtaining the skin image data of the predetermined portion imaged in 22, the facial skin image data is subjected to image correction processing based on the skin image data of the predetermined portion, and the corrected facial skin is obtained.
  • a display image of the face is generated based on the image data, and the display image of the face is transmitted to the terminal device 20 to be displayed on the display unit 26 of the terminal device 20, or the skin image data of the face after correction is displayed. It is also possible to obtain diagnostic information on the skin condition of the face by analyzing it together with the skin image data of the predetermined portion.
  • image correction processing is performed on the image data of the predetermined range of the body based on the image data of the predetermined region based on the imaging of the second imaging unit 22, which is easy to adjust the imaging conditions due to the limited imaging range. Since the color tone of the skin image of the predetermined range of the body indicated by the image data is matched to that of the skin image in the image data of the predetermined part, the image can be captured regardless of the imaging conditions of the first imaging unit 21. The obtained image data of the predetermined range of the body can be easily displayed and analyzed for diagnosing the skin condition, and the user can be encouraged to correctly grasp the skin condition.
  • the first imaging unit 21 images the face as a predetermined range of the user's body
  • the second imaging unit 22 images a predetermined portion of the user's face.
  • the server 90 acquires skin condition diagnostic information and display images as information related to the user's skin condition.
  • the quality of information on the user's skin condition such as diagnostic information on the skin condition
  • the processing in the server 90 related to the display and analysis of the condition can be performed with high accuracy, the diagnosis of the skin condition can be performed appropriately and efficiently, the reliability of the obtained information can be improved, and the user can be informed of the skin condition more accurately. be grasped.
  • the skin image data of the face obtained by imaging by the first imaging unit 21 as the first imaging means is transmitted only from the terminal device 20 to the server 90.
  • the skin condition information such as diagnosis information in the control unit 93 is acquired.
  • Data is transmitted to the terminal device 60 of the other person together with the server 90, and in parallel with acquiring information about the skin condition based on the skin image data by the control unit 93 of the server 90, the terminal device 60 of the other person: It can also be configured to display a user's image including the face based on the transmitted skin image data.
  • an image based on an image captured by each terminal device is continuously displayed on the other terminal device during communication between the user's terminal device 20 and another person's terminal device 60.
  • Applicable to video calls, etc. the user takes an image of the face with the first imaging unit 21 of his/her own terminal device 20, and browses the diagnostic information finally acquired by the server 90, while The image of the user displayed on the other terminal device 60 is based on the skin image data of the face captured by the first imaging unit 21 .
  • the user while the user is receiving skin counseling via a video call with a counselor through the terminal device, the user operates the terminal device 20 while receiving support from the counselor over the phone call to operate the predetermined body area.
  • the face and the predetermined part are imaged by the first imaging unit 21 and the second imaging unit 22 of the terminal device 20, and the skin image data obtained by imaging is transmitted from the terminal device 20 to the server 90, and the server 90 controls It is also possible for the unit 93 to acquire diagnostic information on the skin condition.
  • the diagnostic information on the skin condition acquired by the control unit 93 of the server 90 is transmitted to the counselor, that is, the terminal device 60 of another person other than the user, and the user and the counselor share the diagnostic information to determine the skin condition of the user. It is also possible to enable the counselor to provide detailed counseling about the user's skin based on the diagnostic information.
  • the skin condition diagnostic information may not be transmitted from the server 90 to the user's terminal device 20, but may be viewable only on the counselor's terminal device 60, so that the user is not prejudiced by the diagnostic information, and the counselor's It is possible to obtain a state in which the user can smoothly accept the advice.
  • the second imaging unit as the second imaging means is arranged on the side of the user's terminal device on which the first imaging unit is located in the same direction as this, or is also used by the first imaging unit of the terminal device.
  • it is an imaging device independent of the user's terminal device, when the user takes an image of the predetermined part of the face with the second imaging unit, the image of the user is captured through the display screen of the terminal device.
  • the user adjusts the distance between the second imaging unit and the predetermined part of the user, or appropriately directs the second imaging unit to the predetermined part, while receiving support for imaging by calling a counselor who can confirm the situation.
  • the imaging can be performed on the above, which is preferable.
  • the first imaging unit 21 as the first imaging means is arranged in the user's terminal device 20, and the user's image in the first imaging unit 21 is captured by the user's operation.
  • the user's image in the first imaging unit 21 is captured by the user's operation.
  • it is configured to image the face as the predetermined range of the body, it is not limited to this.
  • the server 90 receives the skin image data of the predetermined range of the user's body obtained by imaging by the first imaging means, and the control unit 93 of the server 90 controls the predetermined body
  • Information related to the user's skin condition such as diagnostic information, may also be acquired based on the skin image data of the range and the skin image data of the predetermined region obtained by imaging by the second imaging means.
  • the main purpose is personal authentication processing for identifying the user from the image data obtained by capturing an image of the user with the image capturing unit of the terminal device 61 of another person.
  • the server 90 obtains the data of the image obtained by imaging with the other person's terminal device 61 as the skin image data of the predetermined range of the user's body, and the control unit 93 It is possible to adopt a configuration in which skin condition diagnostic information is acquired by analyzing together with the skin image data of the predetermined region separately obtained from the second imaging means.
  • the image data of the user acquired by the imaging unit of the terminal device 61 of the other person can be used for skin diagnosis, so that the first imaging means for imaging the predetermined range of the user's body is newly prepared. Therefore, it is possible to efficiently acquire information on skin condition such as diagnostic information based on each image data at low cost.
  • the second imaging unit 12 as the second imaging means is configured to capture a predetermined portion of the face (for example, cheeks and forehead) that overlaps the face as the predetermined body area of the user. etc.), but in addition, as a third embodiment, the second imaging means images a predetermined part of the skin that does not overlap with the predetermined body range of the user. can also be configured.
  • control unit acquires information about the skin condition of the predetermined portion of the skin based on the skin image data of the predetermined portion obtained by imaging by the second imaging means, and then obtains the skin of the predetermined range of the body.
  • condition information relative skin condition information of each portion of the predetermined range of the body based on the information of the skin condition of the predetermined portion is acquired.
  • a second imaging section 32 as second imaging means provided in the terminal device 30 takes an image of a portion such as the bottom surface that is not exposed to sunlight and is not much affected by ultraviolet rays (see FIG. 15). The imaging by the second imaging section 32 may be performed after or before the imaging by the first imaging section 31 .
  • the control unit Based on the skin image data of the predetermined portion obtained by the second imaging unit 32, the control unit (not shown) acquires information about the skin condition of the predetermined portion of the skin. Furthermore, based on the skin image data of the face as the predetermined range of the body obtained by imaging by the first imaging unit 31, when the control unit acquires information about the skin condition of the face, Information on the skin condition of the face is acquired as information on the relative skin condition of each part of the face with reference to the information on the skin condition.
  • the skin condition of the user's face can be evaluated relative to the skin condition of the predetermined part, which is suitable for the criteria of skin evaluation because it is less affected by ultraviolet rays and the degree of deterioration of the skin is small.
  • the degree of deterioration of the skin condition of each part of the face as the predetermined body range can be expressed in a form that is easy for the user to understand, and the skin condition of the face can be expressed as a difference from the skin condition that the user should originally have. It is possible to grasp the skin condition of the predetermined part as a reference, and to encourage the user to take appropriate care of the facial skin.
  • an external AI may be used to perform more detailed analysis based on various information related to the skin condition in addition to the diagnostic information, leading to more effective skin care proposals.
  • the first imaging section 31 as the first imaging means and the second imaging section 32 as the second imaging means are arranged in one terminal device 30, and the imaging by each imaging section is performed.
  • the imaging is performed at different timings so that the terminal device 30 can easily perform the imaging.
  • the terminal device 35 having the camera section serving as the imaging means may also be configured to use another imaging device 36 having the camera section serving as the second imaging means.
  • imaging can be performed simultaneously by the first imaging means and the second imaging means (see FIG. 16), shortening the time from imaging to obtaining information on the skin condition, and reducing the user's burden related to imaging. This makes it easier for the user to continue activities such as imaging for obtaining information about the skin condition.
  • the skin condition measurement system 4 includes a first imaging unit 41, a second imaging unit 42, and a control unit 43, as in the first embodiment.
  • the terminal device 40 provided with the first imaging unit 41, the second imaging unit 42, and the control unit 43 can simultaneously perform imaging by the first imaging unit 41 and imaging by the second imaging unit 42.
  • the imaging unit 41 is configured to capture a mirror image of the user reflected on the mirror surface 80 in front of the user.
  • the user who is the subject of the skin condition measurement signs a contract with the provider of the skin condition measurement system 4 to receive the skin condition diagnosis service, as in the first embodiment. Since the skin condition measuring system 4 is available and the skin condition measuring system 4 can be used, the skin condition diagnostic information can be obtained from the skin condition measuring system 4 .
  • the first imaging section 41 is provided in the terminal device 40 as the first imaging means, and is capable of imaging a predetermined area of the user's body, such as the face, for measuring the user's skin condition. be. However, the first image capturing unit 41 captures a mirror image of the predetermined range of the user's body reflected on the mirror surface 80 located in front of the user.
  • the second imaging unit 42 is provided as the second imaging means in the same terminal device 40 as the first imaging unit 41, and measures the user's skin condition at a site narrower than the predetermined range of the user's body. Therefore, it is possible to image a predetermined part of the user's skin, such as a part of the cheek or the forehead, which overlaps with the predetermined body area.
  • the second imaging unit 42 is arranged on the opposite side of the surface of the terminal device 40 on which the first imaging unit 41 is arranged.
  • the predetermined part of the user can be imaged while facing the front mirror surface 80 .
  • the second imaging unit 42 can acquire image data with a higher resolution per unit area of the object to be imaged than the first imaging unit 41 .
  • the first imaging unit 41 and the second imaging unit 42 can perform imaging by user operation through the terminal device 40, and the first imaging unit 41 images the predetermined range of the body, and the second imaging unit 42 images the skin. is performed at the same timing as the imaging of the predetermined site.
  • the terminal device 40 has the first imaging unit 41 and the second imaging unit 42, and is a device that can acquire skin image data by imaging a predetermined range of the user's body and the predetermined site. , and the control unit 43 .
  • This terminal device 40 is a hand-held device capable of executing an application program, and has a display section 46 capable of displaying various information.
  • the display unit 46 of the terminal device 40 is capable of displaying a user's image.
  • the display unit 46 is a touch panel type display device and is configured to also serve as an input device.
  • the terminal device 40 is an information processing device that implements the functions and processes of the control unit 43 by executing a program stored in advance. As long as the first imaging unit 41 and the second imaging unit 42 can capture images at the same time, the device is not limited to a hand-held device, and may be a fixed device. In addition, considering the possibility that the mirror surface 80 of the terminal device 40 is a mirror that is often provided in wet places such as a bathroom, a washstand, and a dressing table, the terminal device 40 is used in the same space, so it is necessary to have a waterproof structure. preferably.
  • the control unit 43 of the terminal device 40 can acquire diagnostic information by analyzing skin image data obtained by imaging using an application program for skin condition diagnosis. can refer to.
  • the control unit 43 of the terminal device 40 executes the application program to display the acquired diagnostic information as content on the display unit 46 so that it can be referred to.
  • the control unit 43 controls the skin image data obtained by imaging, that is, the skin image data of the predetermined range of the body obtained by imaging by the first imaging unit 41 and the predetermined part obtained by imaging by the second imaging unit 42 information on the skin condition is acquired based on the skin image data.
  • the control unit 43 analyzes the skin image data of the predetermined range of the body and the skin image data of the predetermined region, and provides diagnosis information of the skin condition of the predetermined range of the user's body as information related to the skin condition. to obtain.
  • the function of the control unit 43 to analyze each skin image data and acquire diagnostic information on the user's skin condition is realized by the control unit 43 executing processing according to the application program. It is based on the same mechanism as the form, and detailed description is omitted.
  • control unit 43 acquires the display image of the predetermined range of the body based on the skin image data of the predetermined range of the body as other information related to the skin condition, and acquires the display image of the predetermined range of the body based on the skin image data of the predetermined site. A display image of a predetermined portion is acquired.
  • control unit 43 causes the display unit 46 of the terminal device 40 to display the display image of the predetermined body area, specifically, the face, while the display area on the screen of the display unit 46 where the image is displayed is displayed. or simultaneously and in parallel with the display of the display image of the face in a region different from the display region, the predetermined region having a larger magnification than the display image of the predetermined body region. can be displayed.
  • control unit 43 uses diagnostic information on the skin condition of the user's predetermined body range as information on the skin condition acquired last time to determine the skin to be imaged by the second imaging unit 42 included in the predetermined body range. can be set, and the user can be notified of the information on the predetermined site through the terminal device 40.
  • the control unit 43 can acquire diagnostic information of the skin condition of the predetermined area of the body based on the skin image data of the predetermined site and the skin image data of the predetermined area of the body obtained by simultaneous imaging.
  • control unit 43 transmits the information of the set predetermined part. It has a recording unit 47 for recording.
  • the recording unit 47 obtains the skin image data obtained by imaging the predetermined portion by the second imaging unit 42 in addition to the information of the predetermined portion of the skin to be imaged by the second imaging unit 42.
  • the date and time of the event are recorded as identifiable.
  • the control unit 43 uses the first image capturing unit 41 to take a new image capturing opportunity to acquire diagnostic information of the skin condition of the predetermined range of the body previously acquired.
  • the information of the predetermined part recorded in the recording unit 47 is referred to, and the skin to be newly imaged by the second imaging unit 42 is selected from the parts not recorded as the predetermined part in the predetermined range of the body. Set a predetermined part.
  • control unit 43 controls the predetermined area recorded in the recording unit 47 . It has a mechanism for referring to the information of the part, the skin image data of this predetermined part, and the data acquisition date and time.
  • the control unit 43 regards the skin image data whose data acquisition date and time is included in the past predetermined period corresponding to the turnover cycle of the user's skin as new imaging. It is assumed that the images are taken at the same timing.
  • control unit 43 controls the recorded skin image data obtained during the predetermined period and the predetermined skin image data obtained by imaging the predetermined site of the skin set at the new imaging opportunity by the second imaging unit 42. Based on the skin image data of the part and the skin image data of the predetermined body range, diagnostic information (information on the skin state) of the skin condition of the predetermined body range is acquired.
  • the control unit 43 determines the turnover cycle of the user's skin for which the data acquisition date and time are not included in the predetermined period, among the information on the predetermined site recorded in the recording unit 47 and the skin image data on the predetermined site.
  • Old time points exceeding the above are those at a time when skin turnover does not overlap with the user's skin at a new imaging opportunity in the first imaging unit 41, and are imaged at the same timing as the new imaging.
  • the information of the predetermined portion and the skin image data of the predetermined portion may be erased from the recording unit 47 assuming that the skin image data of the predetermined portion cannot be regarded as the original.
  • the entire face of the user is assumed to be the predetermined body area to be imaged by the first imaging unit 41, and the predetermined region to be imaged by the second imaging unit 42 included in this is , which is an important part of facial skin. It is also assumed that the first imaging unit 41 and the second imaging unit 42 of the terminal device 40 are each capable of imaging.
  • the user directs the terminal device 40 toward the mirror image of the face, which is the user's predetermined body range, where the first imaging unit 41 as the first imaging means is reflected on the mirror surface 80 located in front of the user, and , the second imaging section 42 as the second imaging means is held so as to face a part of the user's face.
  • the first imaging unit 41 captures a mirror image of the face as the predetermined range of the body, which is reflected on the mirror surface 80 positioned in front of the user
  • the second imaging unit 42 captures an image of a part of the user's face
  • the control unit 43 continuously acquires image data obtained by each imaging unit.
  • the control unit 43 supports the terminal device 40 so that the first image capturing unit 41 captures at least a mirror image of the face in a predetermined direction and size by using a predetermined guide display or the like on the display unit 46.
  • the user is allowed to maintain the state and the distance between the user and the mirror surface 80, and the control unit 43 acquires an image for display of the face based on the skin image data of the face obtained by the imaging of the first imaging unit 41. is properly displayed on the display unit 46.
  • control unit 43 displays a guide from the terminal device 40 to the user so that the user can take an image with the second imaging unit 42 for a part of the user's face as the predetermined body area that the user is concerned about. and voice guidance.
  • a place where the skin condition is generally often measured is selected in advance and registered as an initial measurement position, and a predetermined guide design part indicating one or more parts of the skin that is the initial setting position is placed on the face.
  • the synthesized image is displayed on the display unit 46 .
  • the user recognizes any part of the face that is of interest, and after confirming the initial measurement position on the face indicated by the guide design section displayed on the display section 46, The position and orientation of the terminal device 40 having the second imaging unit 42 are finely adjusted so that these images can be captured.
  • the user directs the first imaging unit 41 and the second imaging unit 42 toward each object to be imaged, and refers to the mirror image of the face and the image display of a predetermined part of the face on the display unit 46, so that each object to be imaged corresponds.
  • a user interface such as a shutter button of the terminal device 40 is operated at a timing that is considered to be appropriately captured by each imaging unit, and a mirror image of the face and a still image of a predetermined part are determined.
  • the mirror image of the face at the determined moment and the data of the still image of the predetermined part are handled by the control unit 43 as the skin image data of the predetermined range of the body and the skin image data of the predetermined part.
  • the second imaging unit 42 can also take an image of the predetermined part of the skin under a predetermined lighting condition by an external light source or a built-in light source of the terminal device 40.
  • the built-in light source that can adjust the light emitted as illumination is used to verify the illumination state of light on a predetermined part of the face to be imaged, and to verify the skin image obtained by the trial imaging of the second imaging unit 42.
  • imaging is performed under illumination, and images for texture diagnosis are obtained by imaging the skin under illumination with non-polarized light irradiation, and imaging the skin under illumination with linearly polarized light irradiation.
  • the control unit 43 can acquire each image data of the blemish diagnosis image.
  • the control unit 43 acquires the display image of the face and the predetermined part based on each skin image data obtained by the imaging by the first imaging unit 41 and the second imaging unit 42, and displays it on the display unit 46. , each skin image data is analyzed to acquire diagnostic information on the skin condition of the user's face.
  • control unit 43 causes the display unit 46 to display the facial skin condition diagnostic information concurrently with the facial image or in place of the facial image. Further, the control unit 43 records the information on the position of the predetermined portion on the face and the skin image data of the predetermined portion in the recording unit 47 in a state in which the date and time when the skin image data was obtained can be determined.
  • the display of diagnostic information on the skin condition of the face on the display unit 46 is not limited to text-based information display. can also be provided.
  • the position and size of hidden spots derived as diagnostic information analyzed from fine image data obtained by the second imaging unit 42 can be indicated by a mark of a predetermined color superimposed on the corresponding part on the face image. It can be used as reference information when performing skin care such as anti-blemish measures.
  • the user takes an image of the face as the predetermined range of the body by the first imaging unit 41 and the image of the predetermined part by the second imaging unit 42 at predetermined intervals in the same manner as described above. Imaging is repeated, and skin condition diagnosis information based on each skin image data obtained by the control unit 43 is obtained for each imaging, and is displayed on the display unit 46 .
  • control unit 43 refers to the recorded information in the recording unit 47, and the control unit 43 uses the information of the predetermined part of the face set at the time of the previous imaging, that is, the diagnosis information of the skin condition, etc. It is determined whether or not there is information about the set predetermined part of the skin that is recorded when the predetermined part of the skin to be imaged by the second imaging unit 42 is set.
  • the control unit 43 controls the previous diagnosis for each part of the predetermined body area other than the parts previously set as the predetermined parts, based on the recorded information. Using the information, for example, it is necessary to confirm the presence or absence of blemishes because a sign of the presence of blemishes on a part of the skin is found. A site that needs to acquire a detailed image is determined.
  • the control unit 43 detects the previous skin condition for the entire predetermined range of the body. Using the diagnostic information, as in the case described above, a site that requires acquisition of a detailed image by imaging with the second imaging unit 42 is determined for more appropriate diagnosis of the skin condition.
  • the control unit 43 sets the site determined as described above as a predetermined site to be imaged by the second imaging unit 42 and records information on the set predetermined site in the recording unit 47 . Then, the control unit 43 generates, for example, a predetermined guidance design portion (mark) indicating a predetermined region on the face to be imaged by the second imaging unit 42, and this guidance design unit is synthesized with a display image of the face based on the skin image data of the face, and the synthesized image is displayed on the display unit 46 . By looking at the display unit 46, the user recognizes the predetermined part to be imaged by the second imaging unit 42, and finely adjusts the position and orientation of the terminal device 40 so that the second imaging unit 42 can image this. becomes.
  • a predetermined guidance design portion mark
  • the information of the predetermined site set by the control unit 43 is recorded in the recording unit 47, and the recorded information is referenced at the time of the next imaging to determine a new predetermined site that does not overlap with the previous one.
  • the facial region as the predetermined range of the body is gradually filled with the parts for which detailed skin image data is obtained by imaging the second imaging unit 42 for each imaging, and a plurality of high-precision
  • the skin image data can be made continuous in the form of a map, the skin condition can be analyzed with higher precision based on the skin image data, and accurate and highly reliable diagnostic information can be derived.
  • the control unit 43 controls the information of the predetermined region and the skin image data obtained by imaging the predetermined region with the second imaging unit 42.
  • the data acquisition date and time corresponds to the turnover cycle of the user's skin A predetermined period in the past
  • the control unit 43 refers to the information recorded in the recording unit 47 so that the second imaging unit 42 can take an image of a new predetermined part that does not overlap with the previous one.
  • the same predetermined region is captured by the second imaging unit 42. It is also possible to adopt a configuration in which images are repeatedly captured many times, and detailed skin information at a specific site can be obtained from the skin condition diagnosis information and the display image obtained based on the skin image data focused on the same site of the skin by the control unit 43. It is possible to grasp the transition of the state and easily confirm the degree of improvement due to skin care.
  • the skin condition measurement system captures a mirror image reflected on the mirror surface 80 in front of the user by the first imaging unit 41, acquires the skin image data of the predetermined range of the body, and simultaneously acquires the skin image data.
  • the skin image data of the predetermined part is acquired by imaging by the second imaging unit 42
  • the information on the skin condition is acquired by the control unit 43 from each skin image data
  • the information on the skin condition is made available. Therefore, the skin image data of the predetermined range of the body and the skin image data of the predetermined part can be acquired at the same time by simultaneous imaging in each imaging unit, and the time from imaging to obtaining information about the skin condition can be shortened.
  • the user's burden can be reduced, and information about the skin condition can be obtained without taking much time, so that the user's skin condition can be quickly grasped.
  • the first imaging unit 41 is arranged on one surface of the terminal device 40, and the predetermined part of the user can be imaged with the first imaging unit 41 facing the mirror surface 80.
  • the imaging unit 42 is arranged in the same terminal device 40, and one device can handle the imaging of the predetermined body area and the predetermined part of the user.
  • the skin image data and the skin image data of the predetermined part can be acquired collectively, and the user only needs to handle the terminal device 40 provided with each imaging unit for imaging, which greatly reduces the user's burden related to imaging and improves the skin condition. The user can reasonably continue the activity for obtaining information about.
  • the terminal device 40 in which the first imaging unit 41 as the first imaging means and the second imaging unit 42 as the second imaging means are arranged is exclusively used.
  • it is configured as a device that acquires skin condition diagnostic information by performing imaging with the first imaging unit 41 and the second imaging unit 42, it is not limited to this, and smartphones that can be used for various purposes.
  • smartphones that can be used for a device that is a communication terminal device and has a plurality of camera units, if the plurality of camera units are capable of simultaneously capturing images for each camera unit and obtaining image data individually, then this is the case.
  • the second imaging section 42 as the second imaging means is arranged on the opposite side of the terminal device 40 on which the first imaging section 41 as the first imaging means is arranged.
  • the configuration is not limited to this, and the state in which the second image capturing means disposed in the terminal device is directed to the mirror surface 80 in front of the user and the first image capturing means in the terminal device reflects the user Then, the second imaging means may be arranged at any position of the terminal device as long as it is capable of imaging the predetermined part of the user.
  • the second imaging means may be arranged on the surface of the terminal device on which the first imaging means is arranged.
  • the second imaging section 42 as the second imaging means is not limited to the configuration provided in the same terminal device 40 as the first imaging section 41 as the first imaging means.
  • a configuration provided separately from the first imaging means for example, a configuration in which a terminal device having a camera section serving as the first imaging means is used in combination with another device having a camera section serving as the second imaging means. I don't mind.
  • the second imaging unit 42 as the second imaging means is configured to detect a predetermined portion of the face (eg, cheeks, forehead, etc.) that overlaps the face as the predetermined body area of the user. part of the face) can be imaged, while the imaging range is a part hidden in the terminal device 40 in the mirror image of the face reflected on the mirror surface 80 in front of the user, and the first imaging means for imaging the mirror image of the face
  • the second imaging unit 49 in the terminal device 45 can image the predetermined part of the user even from a position slightly away, and the first imaging unit 48 can capture a mirror image of the face reflected on the mirror surface 80 in front of the user.
  • the imaging range of the first imaging unit 48 and the imaging range of the second imaging unit 49 capable of imaging a predetermined part of the face overlap, and the part imaged in common by the first imaging unit 48 and the second imaging unit 49 is It can also be an existing configuration.
  • each skin image data can be grasped from the common predetermined parts in each skin image data obtained by two different imaging units, and the detailed skin of each part of the face as a predetermined body range other than overlapping parts can be obtained.
  • the skin condition can also be analogized, and detailed information on the skin condition can be obtained by analysis using each skin image data in the control unit. It is possible to further encourage appropriate care and other responses.
  • the first imaging unit 41 as the first imaging means in the terminal device is directed to the mirror surface 80 reflecting the user in front of the user, and the user's body reflected on the mirror surface 80
  • a mirror image of the face as a predetermined range is captured to obtain facial skin image data
  • the skin image data is analyzed by the control unit 43 to obtain information about the skin condition.
  • the face image is displayed on the display unit 46, it is configured to be displayed as it is picked up.
  • the skin image data of the face as the predetermined range of the body obtained by imaging by the first imaging unit 41 as the first imaging means, and the facial skin image data as the second imaging means The control unit 43 analyzes both the skin image data of the predetermined part obtained by the imaging of the second imaging unit 42 and acquires diagnostic information on the skin condition.
  • the predetermined it is also possible to use only the skin image data of the predetermined part obtained by imaging by the second imaging means for image analysis focusing on the skin by the control unit.

Abstract

ユーザーの肌状態に係るデータを複数の撮像手段での各撮像により取得し、複数通りの肌画像データに基づいてユーザーに示されるユーザーの肌状態に関する情報の質を向上させられる肌状態測定システムである。第一撮像部11でユーザーの身体所定範囲を撮像すると共に、第二撮像部12でユーザーの肌の所定部位を撮像して、それぞれ得られた前記身体所定範囲の肌画像データと、前記所定部位の肌画像データとに基づいて、制御部がユーザーの肌状態に関する情報を取得することで、肌についての画像データを分析して肌状態に関する情報を導くにあたり、複数通りの撮像で得られた画像データに基づく、ユーザーの肌状態に関する情報の質を向上させられ、肌状態の表示や分析等の処理を高い精度で行え、肌状態の診断を適切且つ効率よく進めて、ユーザーに肌状態をより正確に把握させられる。

Description

肌状態測定システム
 本発明は、ユーザーの肌状態に係る情報をユーザーに対し提供可能とする、肌状態測定システムに関する。
 肌状態の測定装置や分析用機器が設置された店舗で、顧客の肌状態を測定し、測定データを分析してその分析結果を取得し、分析結果で示される肌状態に対応するスキンケア用化粧品や美容器具を顧客に薦め、販売するサービスは、以前から行われていた。
 これに対し、近年、ユーザーの個人使用可能な小型で安価な装置を用いて、ユーザーの肌状態をセンサで検出し、得られたデータに基づいて、肌の状態を診断し、その診断結果を表示等で出力したり、診断結果に基づいて電子的なトリートメントを設定し実行するシステムが提案されている。
 こうした従来の肌状態の診断等を行うシステムの例として、特開2004-141259号公報に開示されるものがある。
特開2004-141259号公報
 従来の肌状態の診断等を行うシステムは、前記特許文献に示される構成とされており、ユーザーの肌にセンサを接触させて、このセンサの接触した範囲の肌について、センサで検出された肌の状態を診断し、診断結果を出力することで、ユーザーが自身の肌の状態に応じて、適切なトリートメントの種類やその実行時間を選択できるとされるものであった。
 しかしながら、前記従来のシステムにおいては、肌状態を把握したい肌の領域に対して、センサの検出範囲が小さく、センサの検出対象となる肌が領域全体の一部にとどまるため、通常は肌状態を把握したい肌の領域の一部についてのみ検出を行わざるを得ず、検出結果に基づく診断は肌の領域全体の肌状態を反映したものとはならないことで、診断の正確性確保が難しいという課題を有していた。
 本発明は前記課題を解消するためになされたもので、ユーザーの肌状態に係るデータを複数の撮像手段での各撮像により取得し、複数通りの肌画像データに基づいてユーザーに示されるユーザーの肌状態に関する情報の質を向上させられる肌状態測定システムを提供することを目的とする。
 本発明の開示に係る肌状態測定システムは、ユーザーの身体所定範囲の肌を撮像可能な第一の撮像手段と、前記身体所定範囲より狭いユーザーの肌の所定部位を撮像可能な第二の撮像手段と、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得する制御部とを備えるものである。
 このように本発明の開示によれば、第一の撮像手段でユーザーの身体所定範囲を撮像すると共に、第二の撮像手段でユーザーの肌の所定部位を撮像して、それぞれ得られた前記身体所定範囲の肌画像データと、前記所定部位の肌画像データとに基づいて、制御部がユーザーの肌状態に関する情報を取得することにより、肌についての画像データを分析して肌状態に関する情報を導くにあたり、複数通りの撮像で得られた画像データに基づく、ユーザーの肌状態に関する情報の質を向上させられ、肌状態の表示や分析等の処理を高い精度で行え、肌状態の診断を適切且つ効率よく進めて、ユーザーに肌状態をより正確に把握させられる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第二の撮像手段が、前記身体所定範囲と重なる肌の所定部位を撮像するものである。
 このように本発明の開示によれば、第二の撮像手段で撮像するユーザーの肌の所定部位が、第一の撮像手段で撮像するユーザーの身体所定範囲に重なるようにして、ユーザーの身体所定範囲における同じ所定部位について二通りの肌画像データを得ることにより、異なる撮像手段で得られた各画像データにおける共通する所定部位から、各画像データ同士の関係性を把握でき、重なる部位以外の身体所定範囲各部の詳細な肌状態も類推できるなど、各画像データを用いた解析で肌状態に関する情報を詳細に取得でき、こうした肌状態に関する情報からユーザーにその肌状態を正しく把握させられ、肌に関するユーザーの適切なケア等の対応をより一層促せる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第二の撮像手段が、前記身体所定範囲とは重ならない肌の所定部位を撮像するものである。
 このように本発明の開示によれば、第二の撮像手段で撮像するユーザーの肌の所定部位が、第一の撮像手段で撮像するユーザーの身体所定範囲には重ならず、ユーザーの身体所定範囲とこの範囲から外れた肌の所定部位との二つの肌画像データを得ることにより、この二つの肌画像データの比較対照で肌状態に関する情報を導くことができ、例えば、より狭い方の肌の所定部位の肌画像データに基づく肌状態を基準として、身体所定範囲の肌画像データに基づく身体所定範囲各部の肌状態との比較を行うようにすれば、相対的な肌状態を判定できるなど、二つの肌画像データを用いての解析で肌状態に関する情報を容易に取得でき、ユーザーにその肌状態を確実に把握させて、前記身体所定範囲の肌に関するユーザーの適切なケア等の対応をより一層促せる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段による前記身体所定範囲の撮像と、前記第二の撮像手段による肌の前記所定部位の撮像とが、異なるタイミングで実行されるものである。
 このように本発明の開示によれば、第一の撮像手段によるユーザーの身体所定範囲の撮像と、第二の撮像手段によるユーザーの肌の所定部位の撮像とを、それぞれ異なるタイミングで実行するようにして、各撮像手段をなす装置が同時にユーザーの周囲に存在して撮像を各々実行する必要性をなくすことにより、同時撮像のために撮像手段を装置として個別に配置する必要性をなくし、例えば、撮像手段をまとめて設けた撮像装置で各撮像対象を順次撮像するなど、装置の使い回しが可能となり、撮像装置の数を必要最小限にして装置コストを抑えられる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段と前記第二の撮像手段が、所定の一の端末装置に配設されるものである。
 このように本発明の開示によれば、第一の撮像手段を、第二の撮像手段と共に一の端末装置に設けて、一つの端末装置で第一の撮像手段と第二の撮像手段をそれぞれ用いて撮像を実行できることにより、ユーザーにおける前記身体所定範囲の肌の撮像と、肌の前記所定部位の撮像を一つの端末装置で対応でき、撮像装置を一つのみとして撮像に係るコストを抑えられる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、前記身体所定範囲の肌を撮像する状態と、前記所定部位を撮像する状態とを切替可能とされて、前記第二の撮像手段を兼ねるものである。
 このように本発明の開示によれば、前記身体所定範囲を撮像する状態と前記所定部位を撮像する状態とを切替えられる第一の撮像手段を用いて、この第一の撮像手段で第二の撮像手段を兼ねるようにし、一つの端末装置における一つの撮像手段で前記身体所定範囲と前記所定部位の各撮像を行って各々の画像データを取得することにより、撮像を必要最小限の構成で行うことができ、肌状態に係る情報の取得を低コストで行える。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、ユーザーの端末装置の一部として、又は、ユーザーの端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であり、撮像で得られる画像データを他者の端末装置に送信可能とされ、前記ユーザーの端末装置と前記他者の端末装置間で通信が行われて、送信されたユーザーの画像データに基づいて他者の端末装置で前記身体所定範囲を含むユーザーの画像が表示される一方で、前記制御部が、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得するものである。
 このように本発明の開示によれば、ユーザーの端末装置の一部、又はこの端末装置に接続されるものである撮像装置をなす第一の撮像手段から、ユーザーの画像データを他者の端末装置に送信し、他者の端末装置でユーザーの画像を表示しつつ、制御部で前記身体所定範囲及び前記所定部位の各肌画像データに基づいて肌状態に関する情報を取得し、ユーザーの端末装置と他者の端末装置との通信で、場合によってはユーザーの画像だけでなく、肌状態に関する情報を取り扱い可能とすることにより、ユーザーの端末装置と他者の端末装置との間で、画像表示を伴う通信、例えばビデオ通話等を行いながら、ユーザーの肌状態に関する情報を参照可能として、他者の端末装置でユーザーの画像表示を行い、ユーザーと通信によるコミュニケーションを行いながら、肌状態に関する情報を活用できる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、他者の端末装置の一部として、又は、他者の端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であり、前記第一の撮像手段で得られたユーザーの画像データが、他者の端末装置でユーザーの肌状態に関する情報の取得以外の主目的のために使用される中、前記制御部が、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得するものである。
 このように本発明の開示によれば、他者の端末装置の一部、又はこの端末装置に接続されるものである撮像装置をなす第一の撮像手段でユーザーを撮像して、ユーザーの画像データを他者の端末装置で所定の目的に使用しつつ、制御部で第一の撮像手段からの前記身体所定範囲の肌画像データ及び第二の撮像手段からの前記所定部位の肌画像データに基づいて肌状態に関する情報を取得し、この肌状態に関する情報を利用可能とすることにより、他者の端末装置と共に用いられる撮像装置で、例えば個人認証等の目的で撮像され取得された画像データを肌診断に流用する形となり、第一の撮像手段を新たに用意する必要がなく、各画像データに基づいた肌状態に関する情報を低コストで効率よく取得できる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、ユーザーの端末装置の一部として、又は、ユーザーの端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であり、前記第二の撮像手段が、ユーザーの操作により撮像を実行可能とされ、前記制御部が、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データに基づいて、肌状態に関する情報を一旦取得すると共に、当該情報を用いて、前記第二の撮像手段で撮像すべき肌の所定部位を設定し、設定した当該所定部位の情報をユーザーの端末装置を通じてユーザーに報知し、前記制御部が、前記第二の撮像手段による肌の前記所定部位の撮像に伴って前記所定部位の肌画像データを得てから、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データに基づいて、あらためて肌状態に関する情報を取得するものである。
 このように本発明の開示によれば、ユーザーの端末装置の一部、又はこの端末装置に接続されるものである撮像装置をなす第一の撮像手段でユーザーを撮像して、得られたユーザーの前記身体所定範囲の肌画像データに基づいて、制御部が肌状態に関する情報を一旦取得し、さらにこの情報に基づいて第二の撮像手段で撮像すべき肌の所定部位を設定し、この所定部位の情報をユーザーの端末装置からユーザーに報知して、第二の撮像手段での肌の所定部位の撮像をユーザーに行わせるようにし、この第二の撮像手段の撮像で前記所定部位の肌画像データが得られたら、制御部があらためて肌状態に関する情報を取得して、この肌状態に関する情報を利用可能とすることにより、ユーザーの前記身体所定範囲の肌状態に応じて、第二の撮像手段で撮像しようとする肌の所定部位が設定されることとなり、シミ等の肌状態に問題があることや問題の予兆が見つかるなど、肌状態のより詳細な情報が必要な箇所をまず抽出して、該当の箇所を肌の前記所定部位として第二の撮像手段で撮像すると、得られた肌画像データを用いて、問題の箇所に着目した、より詳細な肌状態に関する情報を取得でき、肌状態をユーザーが適切に把握できる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記制御部が、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌の前記所定部位の肌状態に関する情報を取得した上で、肌状態に関する情報として、前記所定部位の肌状態に関する情報を基準とした前記身体所定範囲各部の相対的肌状態の情報を取得するものである。
 このように本発明の開示によれば、前記身体所定範囲と重ならない肌の所定部位を第二の撮像手段が撮像して、得られた前記所定部位の肌画像データに基づいて、制御部で肌の前記所定部位の肌状態に関する情報を取得し、さらに、制御部で、前記身体所定範囲の肌画像データに基づいた肌状態に関する情報を、前記所定部位の肌状態に関する情報を基準とした、前記身体所定範囲各部の相対的肌状態の情報として取得して、肌状態に関する情報を利用可能とすることにより、ユーザーの前記身体所定範囲の肌状態を、前記所定部位の肌状態を基準として相対的に示せることとなり、肌の所定部位を評価の基準に適した箇所、例えば、紫外線の影響をあまり受けず劣化度合いの小さい、腕の胴体寄りの面や顎の下面などの日光から隠れる部位とすれば、前記身体所定範囲各部の肌状態を基準の部位からの劣化度合いとして示すことができ、肌状態をユーザーが理解しやすい形であらわして、肌状態をユーザーがより的確に把握できる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、ユーザーの前方に位置する鏡面に映った前記身体所定範囲の鏡像を撮像し、前記第二の撮像手段が、ユーザーの肌の所定部位を前記第一の撮像手段による撮像と同時に撮像し、前記制御部が、前記第一の撮像手段による鏡像の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得するものである。
 このように本発明の開示によれば、第一の撮像手段でユーザー前方の鏡面に映った鏡像を撮像して、前記身体所定範囲の肌画像データを取得し、これと同時に、第二の撮像手段による撮像で前記所定部位の肌画像データを取得して、各肌画像データから制御部で肌状態に関する情報を取得して、この肌状態に関する情報を利用可能とすることにより、各撮像手段での同時撮像で前記身体所定範囲の肌画像データと前記所定部位の肌画像データを一度に取得でき、撮像から肌状態に関する情報を得るまでの時間を短縮でき、撮像に係るユーザーの負担を軽減でき、肌状態に関する情報を得るための撮像等の活動の継続をユーザーに促せると共に、肌状態に関する情報が時間をかけずに得られ、ユーザーの肌状態を速やかに把握可能となる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、所定の端末装置における一の面に配設され、前記第二の撮像手段が、前記端末装置に配設され、端末装置における前記第一の撮像手段が前記鏡面に向けられた状態で、ユーザーの前記所定部位を撮像可能とされるものである。
 このように本発明の開示によれば、所定の端末装置における一の面に第一の撮像手段が配設されると共に、この第一の撮像手段が鏡面に向けられた状態で、ユーザーの前記所定部位を撮像可能として、第二の撮像手段が同じ端末装置に配設され、一つの装置でユーザーの前記身体所定範囲と前記所定部位の撮像に対応できることにより、端末装置の各撮像手段での撮像で前記身体所定範囲の肌画像データと前記所定部位の肌画像データをまとめて取得でき、撮像にあたってユーザーは各撮像手段を設けた端末装置のみを取り扱えばよく、撮像に係るユーザーの負担を大幅に軽減でき、肌状態に関する情報を得るための活動をユーザーが無理なく継続可能となる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記制御部が、設定した前記第二の撮像手段で撮像すべき肌の所定部位の情報を記録して、新たに前記第二の撮像手段で撮像すべき肌の所定部位を設定する際には、前記身体所定範囲の肌画像データに基づいて一旦取得した肌状態に関する情報を用いると共に、記録済みの所定部位の情報を参照して、前記身体所定範囲のうち所定部位として記録されていない箇所の中から、前記所定部位を設定するものである。
 このように本発明の開示によれば、第一の撮像手段の撮像で得られたユーザーの前記身体所定範囲の肌画像データに基づいて、制御部が肌状態に関する情報を一旦取得し、取得された情報に基づいて第二の撮像手段で撮像すべき肌の所定部位を設定するにあたり、こうした設定ごとに、設定された所定部位の情報を記録し、設定された所定部位の情報を後から参照可能として、記録済みの所定部位の情報が存在する場合には、前記第一の撮像手段での新たな撮像機会で、前記身体所定範囲の肌画像データに基づいて一旦取得した肌状態に関する情報に加えて、記録済みの所定部位の情報に基づいて、前記身体所定範囲のうち所定部位として記録されていない箇所の中から、前記第二の撮像手段で撮像すべき肌の所定部位を設定するようにして、ユーザーの前記身体所定範囲のうち未だ第二の撮像手段で撮像されていない箇所を、常に第二の撮像手段で撮像すべき肌の所定部位として撮像を行わせることにより、設定された肌の前記所定部位を第二の撮像手段で撮像すると、得られた肌画像データを用いて、新たな所定部位を中心とした詳細な肌状態に関する情報を取得でき、肌状態をユーザーが適切に把握できる。また、第一の撮像手段での撮像一回ごとに第二の撮像手段での撮像を複数回行う場合は、第二の撮像手段での撮像ごとに重複せず異なる部位の肌画像データを得て、肌画像データに基づく肌状態に関する情報をより詳細で且つ精度の高いものとすることができる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記制御部が、前記第二の撮像手段で撮像すべき肌の所定部位の情報と共に、当該所定部位の第二の撮像手段による撮像で得られた肌画像データを、当該肌画像データを得た日時を判別可能として記録し、前記制御部が、前記第一の撮像手段での新たな撮像機会で、前記第二の撮像手段で撮像すべき肌の所定部位を設定するのと並行して、記録済みの所定部位の情報及び肌画像データを参照して、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる記録済みの前記所定部位の肌画像データと、撮像すべき部位に設定された肌の所定部位の第二の撮像手段による撮像で得られた前記所定部位の肌画像データと、前記身体所定範囲の肌画像データとに基づいて、肌状態に関する情報を取得するものである。
 このように本発明の開示によれば、制御部で設定した第二の撮像手段で撮像すべき肌の所定部位の情報を記録すると共に、その設定された所定部位の第二の撮像手段による撮像で得た肌画像データを記録して、新たに設定された肌の所定部位を第二の撮像手段で撮像して前記所定部位の肌画像データが得られた際に、記録済みの所定部位の情報、及び肌画像データを参照して、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる前記所定部位の肌画像データを、新規の撮像と同じタイミングで撮像されたものと見なして、前記所定期間に取得された記録済みの前記肌画像データと、最新の撮像で得られた前記所定部位の肌画像データと、前記身体所定範囲の肌画像データとに基づいて、肌状態に関する情報を取得することにより、肌のターンオーバー周期に対応する所定期間内に第二の撮像手段での肌の所定部位の撮像を繰り返すごとに、所定部位の肌画像データが順次記録されて身体所定範囲の各部を広くカバーする状態が得られ、これらと前記身体所定範囲の肌画像データに基づいて取得された肌状態に関する情報は、ユーザーの肌状態を詳細且つ精度良く反映したものとなり、肌状態をユーザーが適切に把握できる。
 また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記制御部が、前記第二の撮像手段で撮像すべき肌の所定部位の情報、及び当該部位の第二の撮像手段による撮像で得られた前記所定部位の肌画像データを記録する中、新たな撮像機会ごとに、ユーザーの肌のターンオーバー周期に対応する前記過去の所定期間より以前に取得された記録済みの肌画像データ、及び、当該肌画像データに対応する記録済みの前記所定部位の情報を、削除するものである。
 このように本発明の開示によれば、制御部が記録した肌画像データのうち、新たな撮像を行おうとする時点から肌のターンオーバー周期に対応する所定期間以前の肌画像データを削除することにより、第二の撮像手段での撮像で得られた肌画像データと共に、同じ肌状態にあると考えられる期間の肌画像データのみを用いて正確に肌状態に関する情報を導けると共に、記録量を制限して記録に係る負荷を抑えられる。
本発明の第1の実施形態に係る肌状態測定システムにおける端末装置の概略構成図である。 本発明の第1の実施形態に係る肌状態測定システムのブロック構成図である。 本発明の第1の実施形態に係る肌状態測定システムにおける第二撮像部へのコンバージョンレンズ取付状態説明図である。 本発明の第1の実施形態に係る肌状態測定システムにおける第一撮像部の撮像直前の端末装置表示画面説明図である。 本発明の第1の実施形態に係る肌状態測定システムにおける第二撮像部の撮像直前の端末装置表示画面説明図である。 本発明の第1の実施形態に係る肌状態測定システムにおける第二撮像部による撮像状態説明図である。 本発明の第1の実施形態に係る肌状態測定システムにおける各撮像部での撮像に基づく肌状態の診断情報表示状態説明図である。 本発明の第1の実施形態に係る肌状態測定システムにおける新たな撮像機会での第二撮像部の撮像直前の端末装置表示画面説明図である。 本発明の第1の実施形態に係る肌状態測定システムにおける他の端末装置による撮像状態説明図である。 本発明の第2の実施形態に係る肌状態測定システムの概略構成図である。 本発明の第2の実施形態に係る肌状態測定システムにおける端末装置とサーバ間での情報送受信状態説明図である。 本発明の第2の実施形態に係る肌状態測定システムの第一の他例におけるユーザー及び他者の各端末装置とサーバ間での情報送受信状態説明図である。 本発明の第2の実施形態に係る肌状態測定システムの第二の他例における第一撮像部を有する他者の端末装置の撮像状態説明図である。 本発明の第2の実施形態に係る肌状態測定システムの第二の他例における各端末装置とサーバ間での情報送受信状態説明図である。 本発明の第3の実施形態に係る肌状態測定システムにおける第二撮像部による撮像状態説明図である。 本発明の第3の実施形態に係る肌状態測定システムの他例における各撮像部による撮像直前の端末装置表示画面説明図である。 本発明の第4の実施形態に係る肌状態測定システムにおける端末装置の使用状態説明図である。 本発明の第4の実施形態に係る肌状態測定システムのブロック構成図である。 本発明の第4の実施形態に係る肌状態測定システムにおける各撮像部による撮像状態説明図である。 本発明の第4の実施形態に係る肌状態測定システムにおける他の端末装置による撮像状態説明図である。
(本発明の第1の実施形態)
 以下、本発明の第1の実施形態に係る肌状態測定システムを前記図1ないし図9に基づいて説明する。
 前記各図において本実施形態に係る肌状態測定システム1は、ユーザーの身体所定範囲の肌を撮像可能な前記第一の撮像手段としての第一撮像部11と、前記身体所定範囲より狭いユーザーの肌の所定部位を撮像可能な前記第二の撮像手段としての第二撮像部12と、第一撮像部11の撮像で得られる前記身体所定範囲の肌画像データ、及び、第二の撮像部12の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得する制御部13とを備えるものであり、これら第一撮像部11、第二撮像部12、及び制御部13が一の端末装置10に配設される構成である。
 本実施形態においては、肌状態測定の対象者であるユーザーは、肌状態測定システム1を利用した肌状態診断のサービスを提供する事業者(以下では、提供事業者とする)との間で、肌状態診断のサービスを受ける契約を交わしている。
 これにより、ユーザーは、肌状態測定システム1を利用した肌状態診断を受けることができ、肌状態測定システム1による肌状態の診断結果を得られ、また必要に応じて診断結果に応じたアドバイス情報を得られるというメリットを享受できる。また、提供事業者は、ユーザーの肌状態に関するデータを取得でき、定められた提供者(例えば、提供事業者のスポンサー)が提供する肌ケア用品、又は、肌ケアサービスを、広告等を通じてユーザーに推奨することで、これらの肌ケア用品や肌ケアサービスについての販売促進効果を実現できるというメリットを享受できる。肌ケア用品とは、肌のケアに用いられる用品であり、例えば、化粧水、美容液、サプリメント、美顔器、洗顔器等である。肌ケアサービスとは、肌のケアを行うサービスであり、例えば、エステティックサービス等である。
 前記第一撮像部11は、前記第一の撮像手段として、端末装置10に配設され、ユーザーの肌状態の測定として、ユーザーの身体所定範囲、例えば、顔、を撮像可能とされるものである。
 前記第二撮像部12は、前記第二の撮像手段として、第一撮像部11と同じ端末装置10に配設され、ユーザーの肌状態の測定として、ユーザーの前記身体所定範囲より狭い部位であって、この身体所定範囲と重なる、ユーザーの肌の所定部位、例えば、頬や額等の一部を、撮像可能とされるものである。
 この第二撮像部12は、コンバージョンレンズ19を取り付けられることで、第一撮像部11より撮像対象の単位面積あたりの解像度が高い画像データを取得可能とされる。
 第一撮像部11と第二撮像部12は、端末装置10を通じたユーザーの操作により撮像を実行可能とされるものである。そして、第一撮像部11による前記身体所定範囲の撮像と、第二撮像部12による肌の前記所定部位の撮像とは、異なるタイミングで、且つ、撮像部と撮像対象との相対位置関係を異ならせて、それぞれ実行される。
 なお、第一撮像部11及び第二撮像部12はそれぞれユーザーの端末装置10の一部としているが、これに限らず、第一の撮像手段と第二の撮像手段のいずれか一方、又は両方が、ユーザーの端末装置に接続されて、撮像を実行し、肌画像データを得る独立した撮像装置であってもかまわない。
 また、第二撮像部12は、ユーザーの肌を撮像可能な、スマートフォン等の端末装置10における複数のカメラ部のうちの一つとされ、肌の撮像に適したコンバージョンレンズ19を装着して用いられる構成に限られるものではなく、スマートフォン等の端末装置における、直接肌の所定部位を撮像可能なカメラ部とされて、コンバージョンレンズを要しない構成とすることもできる。
 また、端末装置10に、前記第一の撮像手段をなす第一撮像部11と前記第二の撮像手段をなす第二撮像部12をそれぞれ設ける構成としているが、この他、端末装置に、ユーザーの前記身体所定範囲の肌を撮像する状態と、前記所定部位を撮像する状態とを切替可能な撮像部を一つ設ける、すなわち、ユーザーの身体所定範囲の肌を撮像可能な前記第一の撮像手段である撮像部が、必要に応じ前記所定部位も撮像可能とされて、前記第二の撮像手段を兼ねる構成とすることもできる。
 また、前記第二の撮像手段をなす第二撮像部12を、前記第一の撮像手段をなす第一撮像部11と同じ端末装置10に設ける構成としているが、この他、第二の撮像手段を第一の撮像手段とは別に設ける構成、例えば、第一の撮像手段をなすカメラ部のある端末装置に対し、第二の撮像手段をなすカメラ部を有する他の装置を併用する構成としてもかまわない。
 また、前記第二の撮像手段をなす第二撮像部12が、前記第一の撮像手段をなす第一撮像部11に対し、端末装置10の異なる面に設けられる構成としているが、第二撮像部12と第一撮像部11を端末装置10の同じ面に設ける、言い替えると、端末装置の同じ面に設けられる複数の撮像部のいずれかを第一の撮像手段とし、他を第二の撮像手段とするようにしてもよい。
 また、前記第二の撮像手段をなす第二撮像部12が、前記第一の撮像手段をなす第一撮像部11での撮像の場合よりユーザーに近い位置で撮像可能とされ、第二撮像部12を端末装置10ごとユーザーに近付けるか、ユーザーが第二撮像部12に近付いて、第二撮像部12と肌の前記所定部位との間隔が所定値に達すると、第二撮像部12が肌の前記所定部位の撮像を自動実行する構成とすることもできる。
 この他、第一撮像部11と第二撮像部12のそれぞれに連動して光を照射する一又は複数の照明手段を設け、第一撮像部11による身体所定範囲の撮像時に対応した照明と、第二撮像部12による所定部位の撮像時に対応した照明をそれぞれ実行する構成とすることもできる。さらに、第二撮像部12に対応した照明手段では、ユーザーの前記所定部位の撮像時に、ユーザーの肌のキメを検出するための照明として無偏光の光照射を行う一方、ユーザーの肌のシミを検出するための照明として直線偏光の光照射を行う構成とすることもできる。
 こうして第二撮像部12の照明として無偏光と直線偏光の各光照射を使い分けて撮像を行うことで、肌のキメ検出とシミ検出を適切に行える。この他、照明として円偏光の光照射を行う構成としてもよく、具体的には、右回りの円偏光の場合を肌のキメ検出に、左回りの円偏光の場合を肌のシミ検出にそれぞれ対応した照明とすることができる。この他、照明として照射する光の色(波長)を肌のキメ検出とシミ検出にそれぞれ対応させるようにしてもよく、例えば、キメ検出用に肌色光、シミ検出用に白色光をそれぞれ照明として照射可能な光源を第二撮像部12と連動可能として備える構成とすることもできる。
 前記端末装置10は、前記第一撮像部11及び第二撮像部12を有して、ユーザーの身体所定範囲、及び、前記所定部位を撮像し、肌画像データを取得可能な装置とされると共に、前記制御部13を有するものである。
 この端末装置10は、IP通信網と接続して通信するための無線通信手段14を有する携帯電話やいわゆるスマートフォン、タブレット装置などの公知の携帯型端末装置であり、このうち、装置上でアプリケーションプログラムを実行可能であり、且つ、各種情報を表示可能な表示部16を有するものである。そして、端末装置10は、二つのカメラ部を備えて、これらを前記第一撮像部11や第二撮像部12として機能させられる仕組みである。
 端末装置10の表示部16は、ユーザーの少なくとも前記身体所定範囲を表す画像を表示可能とされるものである。この表示部16は、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。
 なお、端末装置10は、あらかじめ格納したプログラムを実行することで、制御部13としての機能や処理を実現する情報処理装置であって、前記第一撮像部11や第二撮像部12を備えて肌状態の測定を行えるものであれば、携帯型の装置に限られるものではなく、カメラ付きのノートタイプやデスクトップタイプ等のコンピュータであってもよい。
 この端末装置10の制御部13は、肌状態診断用のアプリケーションプログラムを用いて、撮像により得られた肌画像データを解析して診断情報を取得可能とされており、得られた診断情報をユーザーが参照できる。この場合、端末装置10の制御部13は、アプリケーションプログラムの実行により、取得した診断情報をコンテンツとして表示部16に表示することで参照可能としている。
 前記制御部13は、撮像により得られる肌の画像データ、すなわち、第一撮像部11の撮像で得られる前記身体所定範囲の肌画像データと、第二撮像部12の撮像で得られる前記所定部位の肌画像データとに基づいて、肌状態に関する情報を取得するものである。
 この制御部13は、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データ、を解析して、肌状態に関する情報としての、ユーザーの前記身体所定範囲の肌状態の診断情報を取得するものである。こうして制御部13が各肌画像データを解析してユーザーの肌状態の診断情報を取得する機能は、制御部13が、アプリケーションプログラムにしたがって処理を実行することで実現するものである。
 制御部13は、上記の処理として、ユーザーの肌を肌画像データに基づき評価して、ユーザーの肌状態を示す指標値を求める。例えば、制御部13は、肌状態として、肌年齢、肌のキメの細かさ、肌の色白さの度合い、肌の毛穴の開き度合、肌のシミの量、肌の含有水分量(保湿の度合)、肌の含有油量等の項目の内の少なくとも1つを評価し、評価結果から肌状態を示す指標値を求める。
 本実施形態では、制御部13は、第一撮像部11及び第二撮像部12で撮影した画像に対して所定の画像処理を行うことで、ユーザーの肌状態を示す指標値を求める。
 例えば、制御部13は、撮影した画像に対するエッジ検出を行い、画像中の皮溝を検出し、検出した皮溝で囲まれた皮丘の領域を特定し、特定した皮丘の領域の大きさが小さく、均一さが一定に近いほど大きい値となるような指標値を、肌のキメの細かさを示す指標値(肌状態を示す指標値)として求める。
 本実施形態では、制御部13は、診断結果がユーザーの肌状態を示す指標値として得られたことを示す情報を診断情報として決定する。そして、制御部13は、取得された診断情報を、表示部16の表示コンテンツとして、表示部16で適切に表示できるようにする制御を行う。例えば、制御部13は、診断結果のうちユーザーの肌状態を示す一部指標値についてグラフを作成し、これを表示コンテンツとして表示部16に表示させることができる。
 また、制御部13は、端末装置10上で、肌状態、肌ケア行為の情報、肌の画像、肌の撮像が行われた時期等の情報を含むデータを受け付け、受け付けた肌状態を示す指標値、肌ケア行為の情報、肌の画像、肌の撮像が行われた時期情報を対応付け、記録用の記録部17に一旦記録し、この記録された肌状態の指標値と肌の撮像が行われた時期情報とに基づいて、ユーザーの肌状態を診断することもできる。
 具体的には、制御部13は、記録部17に記録された肌状態の指標値、肌状態測定が行われた時期情報に基づいて、肌状態の指標値の経時的な推移を特定し、特定した推移の態様に基づいて肌状態が改善したか否かを診断する。例えば、制御部13は、処理直前のユーザーの肌の新陳代謝(ターンオーバー)にかかる期間(例えば、約28日±1日~7日)における肌状態の指標値の経時的な推移を特定し、肌状態を診断する。
 また、制御部13は、処理直前のユーザーのターンオーバーにかかる期間と異なる期間(例えば、処理直前の定められた長さの期間(例えば、1週間、10日間、1カ月間等)、指定された期間等)における肌状態の指標値の経時的な推移を特定し、肌状態を診断してもよい。
 制御部13は、肌状態の指標値が経時的に肌状態の改善を示す方向に推移している場合、ユーザーの肌状態が改善したとの診断結果を与える。一方、制御部13は、肌状態の指標値が経時的に肌状態の改善を示す方向に推移していない場合(劣化を示す方向に推移、変化しないような推移を示す場合)、ユーザーの肌状態が改善していないとの診断結果を与える。
 また、制御部13は、肌状態の診断処理として、ユーザーの年齢等の属性を加味した診断処理を行うこととしてもよい。この他、制御部13は、第二撮像部12の撮像で得られた前記所定部位の肌画像データの解析に基づく診断情報の一部又は全部について、その診断の基準を第二撮像部12で撮像する場所によって変更するようにしてもかまわない。
 制御部13は、診断情報を示すグラフやテキストを含む画像を、端末装置10の表示部16に適切に表示されるようにする制御を行う。この他、制御部13は、肌状態の推移を示す推移グラフ、肌画像である画像群、肌画像に対応する肌ケア行為の情報を示す行為情報群、所定の肌ケア用品又は肌ケアサービスの広告(リンク付き)を示す広告を含む画像を、表示部16に適切に表示されるようにする制御を行うようにしてもよい。
 また、制御部13は、診断情報の一部として、診断結果を示すコンテンツを作成し、それを端末装置10から参照可能とするように、表示部16に表示させるようにしてもよい。例えば、制御部13は、保湿の度合、毛穴の開き度合、美白の度合、肌年齢(エイジング)それぞれについて肌状態の指標値を示すバーオブジェクトとを含むコンテンツを作成し、表示部16に表示させるようにしてもよい。
 この他、制御部13は、肌状態に関する他の情報として、第一撮像部11の撮像で得られる前記身体所定範囲の肌画像データに基づいた、ユーザーの前記身体所定範囲の表示用画像と、第二撮像部12の撮像で得られる肌の前記所定部位の肌画像データに基づいた、ユーザーの前記所定部位の表示用画像を取得するものである。
 制御部13は、第一撮像部11及び第二撮像部12による新たな撮像がなされるごとに、撮像で得られる前記身体所定範囲や前記所定部位の肌画像データに基づいて、ユーザーの前記身体所定範囲や前記所定部位の表示用画像を取得し、この表示用画像を表示部16に表示させることとなる。
 また、制御部13は、前記身体所定範囲の表示用画像における肌の前記所定部位に対応する一部の情報に対し、前記所定部位の表示用画像を関連付けて、表示部16での前記身体所定範囲の表示用画像の一部又は全部の表示と同時並行に、前記所定部位の表示用画像の表示を行わせることもできる。
 また、制御部13は、前記身体所定範囲の画像データから導かれる身体所定範囲の表示用画像の一部又は全部に対し、前記所定部位の画像データから導かれる前記所定部位の表示用画像に基づいて、画像補正処理(例えば、色較正)を行うこともできる。
 さらに、制御部13は、前記身体所定範囲の画像データから導かれる前記身体所定範囲の表示用画像に対し、この画像上における、第二撮像部12による撮像の対象となる所定位置に、第二撮像部12の撮像対象位置であることを示す所定の案内用図案部を合成する処理を実行し、処理後の画像を表示部16に表示させることもできる。これにより、表示部16に表示される前記身体所定範囲の表示用画像の一部として、前記案内用図案部が表示され、ユーザーがその身体所定範囲における第二撮像部12で撮像すべき位置を視認して理解可能となる。
 また、制御部13は、第一撮像部11の撮像で得られる前記身体所定範囲の肌画像データに基づいて、肌状態に関する情報としてのユーザーの前記身体所定範囲の肌状態の診断情報を一旦取得すると共に、この診断情報を用いて、前記身体所定範囲に含まれる第二撮像部12で撮像すべき肌の所定部位を設定するものである。制御部13は、設定したこの所定部位の情報をユーザーの端末装置10を通じてユーザーに報知することができる。
 そして、この所定部位の情報を参照したユーザーの操作に基づいた、第二撮像部12による肌の前記所定部位の撮像に伴って、前記所定部位の肌画像データが得られると、制御部13は、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データに基づいて、あらためて前記身体所定範囲の肌状態の診断情報を取得する仕組みである。
 制御部13による第二撮像部12で撮像すべき肌の所定部位の設定では、前記身体所定範囲としての顔の肌画像データに基づいて一旦取得した肌状態の診断情報からわかる、現状の顔全体像より、AIを用いて撮像すべき肌の所定部位の提案を行わせるようにしてもよい。その場合、診断情報の他に、ユーザーの情報入力や、他のIOT機器との連携に基づく情報入力、あるいは、ネットワーク上のいわゆるビックデータへのアクセスにより、必要な情報を適宜入手することもできる。例えば、ユーザーにおける過去と現在のシワ、シミのでき方やそのでき方の傾向、シワ、シミの発生についての未来予測の他、日本人にシミ、シワができる箇所とその年齢の統計データを入手して用いることができる。また、ユーザーが住んでいる場所による統計データ(例えば、沖縄、北海道など)や、GPSに基づくユーザーが住んでいる地域の気象関連情報(例えば紫外線量、気温、湿度、天候等)を入手してもよい。さらに、ユーザーに関する情報として、GPSに基づいたユーザーが屋外と屋内のどちらでより多くいるか(割合)の情報や、ユーザーの生活習慣情報(例えば、睡眠、運動、入浴、ストレス等)、ユーザーの生体情報(血圧、体温、血流、心電等)、ユーザーの食生活の傾向(揚げ物を好む、野菜が嫌い等)、ユーザーが使用している化粧品やスキンケア装置等の情報、ユーザーに関連する遺伝情報(例えば、祖父母や両親のシミ、シワのできかた等)、ユーザーの肌の色、肌の温度など(紫外線曝露による一時的変化等も含む)、ユーザーの顔印象改善に係る情報(例えば、人相学、表情筋、笑顔など)、といった各種情報を入手して用いるようにしてもよい。
 AIを用いた肌の所定部位の提案では、特に、様々な情報に基づいて、ユーザーに将来シミやシワが発生する可能性のある箇所(隠れシミを含む)を提案したり、ケア等で改善を図ると顔の印象が良くなる箇所を提案したり、ユーザーが数年後、数十年後の未来を美しい状態でいるために、現時点から改善を開始すると好ましい結果が期待できる箇所を提案することができる。
 この他、制御部13は、第一撮像部11の撮像で得られる前記身体所定範囲としての顔の肌画像データに基づいて、ユーザーの顔の肌状態の診断情報として、顔全体のシミ、シワ、クマ、ソバカス等を概略的に把握した段階で、AIを用いてスキンケアやメイクアップの効果的な計画を提案する、例えば、ある部位のシミは化粧品でケアをする、他の部位のシミは直ぐには改善できないので当面はファンデーションで隠す、などの提案を行うようにしてもよい。
 制御部13は、前記身体所定範囲の肌画像データに基づいて一旦取得した前記身体所定範囲の肌状態の診断情報を用いて、第二撮像部12で撮像すべき肌の所定部位を設定した場合に、設定したこの所定部位の情報を記録する記録部17を有する。
 記録部17は、第二撮像部12で撮像すべき肌の所定部位の情報に加えて、この所定部位の第二撮像部12による撮像で得られた肌画像データを、この肌画像データが得られた日時を判別可能として記録するものである。
 制御部13は、新たに第二撮像部12で撮像すべき肌の所定部位を設定する際には、先に得た前記身体所定範囲の肌画像データに基づいて一旦取得した肌状態の診断情報を用いると共に、記録部17に以前設定した所定部位の情報が記録されている場合には、この記録部17に記録済みの所定部位の情報も参照して、前記身体所定範囲のうち所定部位として記録されていない箇所の中から、前記所定部位を設定する。
 第一撮像部11での撮像一回あたりに、第二撮像部12での撮像を複数回行い、複数の所定部位について肌画像データを得る場合には、第二撮像部12での各撮像ごとに、撮像すべき肌の所定部位の設定が互いに重複しないようにして繰り返される。また、第二撮像部12での各撮像ごとに、設定された所定部位の情報が、端末装置10を通じユーザーに報知されると共に、次の設定に反映させるために記録部17に記録されることとなる。
 また、制御部13は、第一撮像部11での新たな撮像機会で、第二撮像部12で撮像すべき肌の所定部位を設定するのと並行して、記録部17に記録済みの所定部位の情報、及び、この所定部位の肌画像データを参照する仕組みを有している。
 そして、制御部13は、記録された前記所定部位の肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる肌画像データを、新規の撮像と同じタイミングで撮像されたものと見なすようにしている。
 この場合、制御部13は、前記所定期間に取得された記録済みの肌画像データと、この新たな撮像機会で設定された肌の所定部位の第二撮像部12による撮像で得られた前記所定部位の肌画像データと、前記身体所定範囲の肌画像データとに基づいて、前記身体所定範囲の肌状態の診断情報(肌状態に関する情報)を取得することとなる。
 一方、制御部13は、記録部17に記録済みの所定部位の情報、及びこの所定部位の肌画像データのうち、データ取得日時が前記所定期間に含まれない、ユーザーの肌のターンオーバー周期を超えるような古い時点のものについては、第一撮像部11での新たな撮像機会でのユーザーの肌とは肌のターンオーバーが重ならない時期のものであり、新規の撮像と同じタイミングで撮像されたものと見なせないとして、該当する前記所定部位の情報、及び所定部位の肌画像データを記録部17から削除するようにしてもよい。
 次に、本実施形態に係る肌状態測定システムの使用状態について説明する。前提として、ユーザーの顔全体が第一撮像部11で撮像される身体所定範囲とされ、これに含まれて第二撮像部12により撮像される所定部位が、顔の肌の要部(頬、目元、口元など)である。そして、端末装置10はスマートフォンであり、表示部16のある側に設けられたカメラ部(いわゆるインカメラ)を第一撮像部11として用いる一方、端末装置10の表示部16とは反対側に設けられたカメラ部(いわゆるアウトカメラ)を第二撮像部12として用いて、それぞれ撮像を実行可能としている。所定部位を撮像する際には、端末装置10における第二撮像部12の前方にコンバージョンレンズ19を取り付け、第二撮像部12の撮像範囲を第一撮像部11より狭くする一方、より高解像度で撮像を行えるようにして、前記所定部位として顔の極狭い範囲の肌を撮像する。
 端末装置10の各撮像部を使用して撮像を行うために、まず、ユーザーによりコンバージョンレンズ19が端末装置10に取り付けられる。
 ユーザーの操作で、あらかじめ端末装置に存在している、各撮像部を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置10上で起動させると、端末装置10を通じてユーザーが各撮像部を撮像に使用できる状態となる。
 ユーザーが、端末装置10上に表示されたユーザーインターフェイスに対し撮像開始の操作を行うと、端末装置10の第一撮像部11がユーザーの身体所定範囲としての顔の撮像を実行することとなる。
 詳細には、端末装置10における、肌状態測定用のアプリケーションプログラムの実行により、表示部16に表示されたユーザーインターフェイスに対し、ユーザーが操作を行うことで、まず、第一の撮像手段としての第一撮像部11によるユーザーの顔の撮像が開始され、端末装置10の制御部13で画像データが継続的に取得される。この場合、端末装置10の制御部13は表示部16による所定の案内表示等により、顔があらかじめ定められた向きと大きさで表示されるように端末装置10を支持する状態をユーザーに維持させる。例えば、制御部13は、顔が正しく撮像された状態で表示部16の画面上において顔の輪郭を収めるような枠の画像を、第一撮像部11の撮像画像と重ねて表示部16に表示して、ユーザーが表示部16を見ながら枠の画像を目安として、これに顔が収まるように第一撮像部11と顔との相対位置関係の調整を行うよう促せる。
 第一撮像部11でユーザーの顔が撮像されると、撮像で得られた画像データに基づいて、制御部13が表示部16に顔の画像を表示させる。制御部13は表示部16による所定の案内表示等により、顔があらかじめ定められた向きと大きさで表示されるように端末装置10を支持する状態をユーザーに維持させる。
 また、端末装置10の第一撮像部11でユーザーの顔が撮像されるのに伴い、撮像で得られた画像データに基づいて、表示部16に顔の画像が表示される。
 ユーザーは表示部16における顔の画像表示等を参考にして、身体所定範囲としての顔が第一撮像部11によって適切に捉えられたと思われるタイミングで、端末装置10のユーザーインターフェイスに対し所定の操作を行い、顔の静止画像を決定する。この決定した瞬間の顔の静止画像のデータが、第一撮像部11の撮像で得られる前記身体所定範囲の肌画像データとして制御部13で取り扱われることとなる。なお、ユーザーの操作によらず、身体所定範囲としての顔が第一撮像部11によって適切に捉えられたタイミングに制御部13で顔画像を自動決定するようにしてもよい。
 こうして第一撮像部11による前記身体所定範囲としての顔の撮像に基づく肌画像データが確定状態になると、第二撮像部12が肌の前記所定部位を撮像するのに適した状態に移行するようにしてもよい。
 制御部13は、第一撮像部11の撮像で得られた肌画像データに基づく顔の表示用画像を取得し、これを表示部16に表示させつつ、肌画像データを解析し、ユーザーの顔の肌状態の診断情報を一旦取得する。
 また、制御部13は、記録部17における記録済みの情報を参照して、以前の撮像時において設定した前記所定部位の情報、すなわち、前記同様に一旦取得された顔の肌状態の診断情報等を用いて制御部13が第二撮像部12で撮像すべき肌の所定部位の設定を行った際に記録される、この設定された所定部位の情報が存在するか否かを判定する。
 以前に設定された所定部位の情報が記録されている場合、制御部13は、記録された情報に基づいて、以前に所定部位として設定された箇所以外の前記身体所定範囲各部について、前記診断情報を用いて、例えば、肌の一部にシミ等が存在する兆候を見出したために、シミの有無の確認を要するなど、肌状態のさらなる適切な診断のために第二撮像部12の撮像による詳細画像の取得が必要な部位を割出す。
 一方、ユーザーの肌の撮像の初回実行時など、以前に設定された第二撮像部12で撮像すべき所定部位の情報が記録部17に記録されていない場合には、制御部13は、前記身体所定範囲全体について、先だって取得した顔の肌状態の診断情報を用いて、前記同様、肌状態のさらなる適切な診断のために第二撮像部12の撮像による詳細画像の取得が必要な部位を割出す。
 制御部13は、こうして割出した部位を、第二撮像部12で撮像すべき所定部位に設定すると共に、設定したこの所定部位の情報を記録部17に記録する。そして、制御部13は、この所定部位について、例えば、第二撮像部12の撮像対象となる顔上の所定部位を示す所定の案内用図案部(マーク)、を生成し、この案内用図案部を、顔の肌画像データに基づく顔の表示用画像に合成する処理を行い、合成済みの画像を表示部16に表示させる(図5参照)。
 この表示部16を見てユーザーが第二撮像部12で撮像すべき所定部位を認識し、これを撮像可能となるよう第二撮像部12のある端末装置10の位置調整を行うこととなる。
 案内用図案部で第二撮像部12の撮像対象位置を示す場合、前記身体所定範囲としての顔における第二撮像部12で撮像すべき所定部位がユーザーに容易に理解可能となり、ユーザーが位置調整した端末装置10の第二撮像部12を用いて適切に撮像を実行可能となる。
 なお、制御部13は、第二撮像部12で撮像すべき所定部位を設定し、この所定部位を示す画像を顔の画像に合成して表示するのに代えて、ユーザーの前記身体所定範囲としての顔のうち、ユーザーが気になる部位を対象として、ユーザーが第二撮像部12による撮像を行うよう、ユーザーに端末装置10から案内表示や音声ガイド等を実行することもできる。あるいは、一般的に肌状態を測定されることの多い箇所をあらかじめ選定して初期測定位置として登録し、この初期設定位置である肌の一又は複数部位を示す所定の案内用図案部を、顔の表示用画像に合成する処理を行い、合成済みの画像を表示部16に表示させるようにしてもよい。
 この場合も、ユーザーが顔の気になる任意の部位を認識したり、表示部16に表示された前記案内用図案部で示される顔上の初期測定位置を見て確認した上で、これらを撮像可能となるよう第二撮像部12のある端末装置10の位置調整を行うこととなる(図6参照)。
 ユーザーは、手に持った端末装置10を位置調整して、顔の前記所定部位等に第二撮像部12が向いていると判断した際に、端末装置10のシャッターボタン等のユーザーインターフェイスに対し所定の操作を行い、第二撮像部12での撮像を行わせる。
 この他、ユーザーが第二撮像部12を端末装置10ごと前記所定部位に近付けるか、前記所定部位を第二撮像部12に近付けるようにして、第二撮像部12と肌の前記所定部位との間隔が所定値に達した際に、第二撮像部12が肌の前記所定部位の撮像を自動的に行うようにしたり、撮像の最適なタイミングであることを端末装置10から報知して、撮像に係るユーザーの端末装置10の操作を促すようにしてもよい。
 こうして撮像を行う段階で、第二撮像部12は、外部の光源(例えば、コンバージョンレンズの内蔵光源)又は端末装置10の内蔵光源による所定の照明状況の下で肌の前記所定部位の撮像を行い、肌画像データを出力する。この肌画像データを、制御部13が取得する。
 例えば、端末装置10に取り付けられるコンバージョンレンズ19の、照明として照射する光を調整可能な内蔵光源が、撮像対象の部位に対する光の照射状態を、第二撮像部12の試行撮像で得られた肌画像の検証等を経て最適化された上で、第二撮像部12での撮像が実行され、無偏光の光照射による照明下で肌を撮像したキメ診断用画像と、直線偏光の光照射による照明下で肌を撮像したシミ診断用画像の各画像データを、制御部13で取得することができる。
 制御部13は、取得した前記所定部位の肌画像データを、この肌画像データを得た日時を判別可能な状態で、先に記録した前記所定部位の情報と共に記録部17に記録する。
 ここで、第二撮像部12での撮像をまとめて複数回行う場合には、第二撮像部12での各撮像ごとに、記録部17に記録された情報に基づいて、制御部13で撮像すべき肌の所定部位が前回とは重複しないように設定され、端末装置10を通じユーザーに報知される所定部位の情報に従った、ユーザーの操作による第二撮像部12での撮像の実行が繰り返されることとなる。
 また、制御部13は、以前に設定された所定部位の情報が記録部17に記録されている場合、第二撮像部12で撮像すべき肌の所定部位を設定し、この所定部位が第二撮像部12で撮像されるのと並行して、記録部17を参照し、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる所定部位の肌画像データを、第二撮像部12による新規の撮像と同じタイミングで撮像されたものと見なす。
 そして、制御部13は、第二撮像部12から肌の前記所定部位の肌画像データを取得後、この肌画像データと、これと同じタイミングで撮像されたと見なした、前記所定期間に取得された記録済みの所定部位の肌画像データと、先に取得した第一撮像部11の撮像で得られた顔の画像データとを解析して、ユーザーの前記身体所定範囲としての顔の肌状態の診断情報を取得する。
 なお、以前に設定された所定部位の情報が記録部17に記録されていない場合には、制御部13は、第二撮像部12から肌の前記所定部位の肌画像データを取得後、この肌画像データと、先に取得した第一撮像部11の撮像で得られた顔の肌画像データとを解析して、ユーザーの顔の肌状態について正式な診断情報を取得する。
 そして、制御部13は、顔の肌状態の診断情報を、顔の画像と同時並行に、又は顔の画像と置き換えて、表示部16に表示させる(図7参照)。
 こうした表示部16における顔の肌状態の診断情報の表示は、テキストベースの情報表示に限られるものではなく、肌の注意すべき部位や症状を顔画像上でマーキング画像等で具体的に示して情報提供することもできる。例えば、第二撮像部12で得た精細な画像データから解析された診断情報として導かれた隠れジミの位置や大きさを、顔画像上の対応部位に重ねた所定色のマークで示すことができ、シミ対策など肌のケアを実行する際に参考情報として活用可能となる。
 このような診断情報の表示により、第一撮像部11と第二撮像部12による一回の肌状態測定としての撮像が完了となる。
 これ以降は、肌状態の推移を把握するために、ユーザーが所定間隔で前記同様の、第一撮像部11による前記身体所定範囲としての顔の撮像と、第二撮像部12による前記所定部位の撮像を繰り返し、制御部13が得られた各肌画像データに基づく肌状態の診断情報を撮像ごとに取得し、表示部16に表示させることとなる。
 こうした撮像等を繰り返す中、特に、制御部13が設定した所定部位の情報を記録部17に記録し、次回の撮像の際に記録済みの情報を参照して以前と重ならない新たな所定部位を設定する(図8参照)ことで、前記身体所定範囲としての顔の領域を、撮像ごとに第二撮像部12の撮像で詳細な肌画像データを得た部位で徐々に埋めていく状態として、複数の高精度の肌画像データをマップ状に連続させられ、肌画像データに基づく肌状態の解析をより高い精度で行え、正確で信頼性の高い診断情報を導ける。ここで、第一撮像部11での撮像一回あたりに、第二撮像部12での撮像を複数回行う場合は、詳細な肌画像データで顔各部を網羅する状態が短期間(例えば、一週間程度)で得られることとなるが、そうした撮像行動がユーザーにとって負担となるようであれば、撮像を分散してユーザーの負担を軽減するようにしてもよい。例えば、一週間で第一撮像部11での撮像と第二撮像部12での撮像を一回行い、ある週では前記所定部位として頬を撮像し、その次の週では前記所定部位として額を撮像するなどして、撮像を毎週繰り返し、一ヶ月程度で第二撮像部12での撮像が顔全体に及ぶようにすることもできる。
 なお、制御部13は、第二撮像部12で前記所定部位の撮像が行われるごとに、その所定部位の情報、及びこの所定部位の第二撮像部12による撮像で得られた肌画像データを記録していく中、新たな撮像機会の時点で、記録部17に記録されている各情報や肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間を超える古いものについては、この新たな撮像機会におけるユーザーの肌とは肌のターンオーバーが時期的に重ならないものと判断して、こうした古い情報や肌画像データを削除して、新たな記録が無理なく繰り返し行えるようにすることもできる。
 また、制御部13で、第二撮像部12による新たな撮像の際に、記録部17に記録した情報を参照して、以前とは重ならない新たな所定部位を第二撮像部12で撮像できるようにしているが、これに限らず、第一撮像部11による前記身体所定範囲の撮像と、第二撮像部12による前記所定部位の撮像を繰り返す中、第二撮像部12で同じ所定部位を何度も繰り返し撮像する構成とすることもでき、制御部13で肌の同じ部位に着目した肌画像データに基づいて得られた肌状態の診断情報や表示用画像から、特定部位における詳細な肌状態の推移を把握することができ、肌のケアによる改善度合い等を容易に確認可能となる。
 この場合、制御部13は、繰り返される撮像で得られた肌画像データに基づく表示部16への表示用の顔や前記所定部位の画像を、記録部17に撮像ごとに記録し、必要に応じて画像を時系列で並べて一覧表示、又は時系列順に順次切替表示する構成とすることもでき、肌の変化をユーザーが容易に把握でき、好ましい。
 この他、前記身体所定範囲としての顔についての表示用の画像や肌状態の診断情報の基となる、第一撮像部11の撮像で得られた顔の肌画像データは、第二撮像部12で撮像を行う前の第一撮像部11による撮像で得られた肌画像データであるが、これに代えて、制御部13が第二撮像部12から前記所定部位の肌画像データを取得後、この前記所定部位の肌画像データに基づいて、顔の肌画像データの画像補正処理を行った上で、この補正後の顔の肌画像データに基づく表示用の顔の画像を生成して、顔の画像を表示部16に表示させるようにしたり、補正後の顔の肌画像データを前記所定部位の肌画像データと共に解析して、顔の肌状態の診断情報を取得するようにしてもかまわない。
 この場合、撮像範囲が限定されることで撮像の条件を整えやすい、第二撮像部12の撮像に基づいた前記所定部位の画像データを基準として、前記身体所定範囲の画像データについて画像補正処理を行い、この画像データで示される身体所定範囲の肌の色味を、前記所定部位の画像データにおける肌のそれに合わせられることから、第一撮像部11での撮像条件によらず、撮像で得られた前記身体所定範囲の画像データを、画像表示や肌状態の診断に係る解析を行いやすい状態にでき、ユーザーによる肌状態の正しい把握を促せることとなる。
 このように、本実施形態に係る肌状態測定システムは、第一撮像部11でユーザーの身体所定範囲としての顔を撮像すると共に、第二撮像部12でユーザーの顔における所定部位を撮像して、それぞれ得られた顔の肌画像データと、前記所定部位の肌画像データとに基づいて、制御部13がユーザーの肌状態に関する情報を取得することから、肌画像データを分析して肌状態に関する情報を導くにあたり、複数通りの撮像で得られた肌画像データに基づく、肌状態の診断情報などのユーザーの肌状態に関する情報の質を向上させられ、肌状態の表示や分析等の処理を高い精度で行え、肌状態の診断を適切且つ効率よく進められると共に、得られる情報の信頼性も高められ、ユーザーに肌状態をより正確に把握させられる。
 また、第一撮像部11を、第二撮像部12と共に端末装置10に設けて、一つの端末装置10で第一撮像部11と第二撮像部12をそれぞれ用いて撮像を実行できることから、ユーザーにおける前記身体所定範囲としての顔の撮像と、顔の前記所定部位の撮像とを一つの端末装置10で対応でき、撮像に用いる装置を一つのみとして撮像に係るコストを抑えられる。
 なお、前記実施形態に係る肌状態測定システムにおいて、制御部13では、撮像すべき肌の所定部位として端末装置10から示された箇所をユーザーが第二撮像部12で正しく撮像することを前提として、この第二撮像部12で撮像された画像を、設定された所定部位の画像と認定するようにしているが、この他、制御部で、第一撮像部の撮像で得られた前記身体所定範囲の画像において、第二撮像部で撮像された画像にあらわれる特徴(例えば、肌のキメやシミ等の特徴的部分の形状)と共通する特徴を有する部位を抽出して、そうした部位を前記所定部位とすると共に、第二撮像部で撮像された画像を前記所定部位の画像と認定することもでき、第二撮像部で撮像された画像について、前記身体所定範囲における位置を正しく特定して、画像データに基づく肌状態に関する情報を正確なものとすることができる。そして、このように制御部が第二撮像部で撮像すべき肌の所定部位の設定を特に行わない場合には、第二撮像部での撮像は、第一撮像部での撮像に対し後でも先でもかまわない。
 また、前記実施形態に係る肌状態測定システムにおいては、第一撮像部11、第二撮像部12、及び制御部13を、スマートフォン等の携帯型の端末装置10に設ける構成としているが、これに限らず、あらかじめ格納したプログラムを実行することで、制御部13としての機能や処理を実現する情報処理装置であって、前記第一撮像部11や第二撮像部12を備えて肌状態の測定を行えるものであれば、端末装置は、携帯型の装置に限られるものではなく、カメラ付きのノートタイプやデスクトップタイプ等のコンピュータであってもよい。また、端末装置は、美容等の特定用途に特化した他の情報処理装置、例えば、鏡台や化粧、美容用の卓上鏡におけるミラー部(ハーフミラー)に、カメラやディスプレイを組み込んで、通常の鏡としての使用の他に、カメラで撮像したユーザーの画像やこれに処理を加えた画像、ユーザーの画像を分析して得た情報等を必要に応じて鏡面上に表示可能とされる電子機器、でもかまわない。
 こうしたミラー部55を有する端末装置50の場合、図9に示すように、第一撮像部51や第二撮像部52をなす複数のカメラ部、又は、第一撮像部と第二撮像部を兼ねるカメラ部を、いずれもユーザーに正対する向きとして、ミラー部55の上部に設けることもできる。また、第一撮像部51や第二撮像部52と共に、撮像時の照明用光源53を設けるようにしてもよく、特に、第二撮像部52の近傍には、前記所定部位の撮像時に、ユーザーの肌のキメを検出するための照明として無偏光の光照射を行う状態と、ユーザーの肌のシミを検出するための照明として直線偏光の光照射を行う状態とを切替可能な光源部や、肌のキメ検出用に右回りの円偏光の光照射を行う状態と、肌のシミ検出用に左回りの円偏光の光照射を行う状態とを切替可能な光源部を、設ける構成とすれば、照明として、無偏光と直線偏光、又は、右回りの円偏光と左回りの円偏光の、各光照射を使い分けて第二撮像部52での撮像を行うことで、肌のキメ検出とシミ検出を適切に行え、好ましい。
 そして、第一撮像部51や第二撮像部52のあるミラー部の上部には、第一撮像部や第二撮像部を覆って周囲からの不要な光の入射を遮断するフード54を設けるようにしてもよい。こうしたフード54は、第一撮像部51や第二撮像部52の近傍に撮像時の照明用光源53が設けられる場合に、照明光をユーザー側に進行させる反射板として利用することもできる。
 また、フード54を設ける場合、フードの大きさを、ユーザーの顔の一部(例えば、額など)がフード先端に触れると、ユーザーの前記身体所定範囲としての顔が第一撮像部51に対しこれによる撮像に適した位置関係となるよう設定したり、ユーザーの前記所定部位又はその近傍の肌がフード先端に触れると、ユーザーの前記所定部位が第二撮像部52に対しこれらでの撮像に適した位置関係となるよう設定することもできる。
 こうした端末装置50において、第二撮像部52で撮像を実行する場合、第一撮像部51での撮像の場合より狭い範囲を精細に撮像する関係上、合焦状態となる撮像部と撮像対象との距離が通常は第一撮像部51の場合より短くなることから、ユーザーは端末装置50に第二撮像部52での撮像対象となる前記所定部位を近付けることが必要となる。第二撮像部52での撮像を容易にするために、端末装置50とユーザーとの間隔を端末装置50の所定の測定手段で測定し、ユーザーが端末装置50に前記所定部位を近付けて第二撮像部52に対し撮像に適した間隔となった際に、第二撮像部52による撮像を実行する構成としたり、撮像に際して端末装置50とユーザーとの間隔が遠すぎたり近すぎたりした場合には、ユーザーに対し端末装置50の報知手段を通じて、端末装置50に対して近付く側や離れる側に移動して適正な間隔をとるよう促す報知を行う構成とすることもできる。また、ユーザーが第一撮像部51と第二撮像部52の各撮像ごとにユーザーと端末装置50との間隔を変えるよう身体を動かさずに済むように、第一撮像部51と第二撮像部52の各合焦状態における端末装置50とユーザーの撮像対象部分との間隔が同じになるよう設定する構成としてもよく、この場合第一撮像部51と第二撮像部52で同時に撮像を実行でき、撮像に係るユーザーの負担を減らせる。
(本発明の第2の実施形態)
 本発明の第2の実施形態に係る肌状態測定システムを前記図10及び図11に基づいて説明する。
 前記各図において本実施形態に係る肌状態測定システム2は、前記第1の実施形態同様、第一撮像部21と、第二撮像部22と、制御部93とを備える一方、異なる点として、第一撮像部21及び第二撮像部22が端末装置20に配設される一方、この端末装置20とネットワーク100を通じてデータ通信可能として設けられるサーバ90に、制御部93が配設される構成を有するものである。
 本実施形態においても、肌状態測定の対象者であるユーザーは、前記第1の実施形態同様、肌状態測定システム2の提供事業者との間で、肌状態診断のサービスを受ける契約を交わしており、且つ、肌状態測定システム2を使用可能となっていることで、肌状態測定システム2により肌状態の診断情報を得ることができる。
 前記第一撮像部21は、前記第1の実施形態と同様に、前記第一の撮像手段として、端末装置20に配設され、ユーザーの身体所定範囲を撮像可能とされるものである。
 前記第二撮像部22は、前記第1の実施形態と同様に、前記第二の撮像手段として、第一撮像部21と同じ端末装置20に配設され、ユーザーの肌の所定部位を撮像可能とされるものである。
 これら第一撮像部21及び第二撮像部22は、ユーザーの肌を撮像可能とされる端末装置20のカメラ部として、それぞれユーザーの端末装置20の一部をなす点をはじめとして、前記第1の実施形態で示されるものと同様の構成を有しており、詳細な説明を省略する。
 前記端末装置20は、前記第一撮像部21及び第二撮像部22を有して、ユーザーの身体所定範囲、及び、前記所定部位を撮像し、肌画像データを取得可能な装置とされるものである。
 この端末装置20は、前記第1の実施形態同様、IP通信網と接続して通信するための無線通信手段24を有する携帯電話やいわゆるスマートフォン、タブレット装置などの公知の携帯型端末装置であり、このうち、装置上でアプリケーションプログラムを実行可能であり、且つ、各種情報を表示可能な表示部26を有するものである。そして、端末装置20は、二つのカメラ部を備えて、これらを前記第一撮像部21や第二撮像部22として機能させられる仕組みである。
 端末装置20の表示部26は、ユーザーの少なくとも前記身体所定範囲を表す画像を表示可能とされるものである。この表示部26は、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。表示部26は、より詳細には、サーバ90の制御部93で取得された前記身体所定範囲の表示用画像や前記所定部位の表示用画像を表示する他、同じく制御部93で取得された前記身体所定範囲の肌状態の診断情報を表示することとなる。
 なお、端末装置20は、あらかじめ格納したプログラムを実行することで、各種の機能や処理を実現する情報処理装置であって、ネットワーク100を介して通信可能であり、且つ前記第一撮像部21や第二撮像部22を備えて肌状態の測定を行えるものであれば、前記第1の実施形態と同様、携帯型の装置に限られるものではなく、ノートタイプやデスクトップタイプ等のコンピュータ、あるいは特定用途に特化した他の情報処理装置でもかまわない。
 この端末装置20は、肌状態測定用のアプリケーションプログラムを起動させて、第一撮像部21でユーザーの前記身体所定範囲としての顔を撮像し、顔の肌画像データを得ると共に、第二撮像部22で肌の前記所定部位を撮像し、前記所定部位の肌画像データを得て、これら肌画像データをサーバ90の制御部93に送信する。
 また、端末装置20は、アプリケーションプログラムの実行により、サーバ90で取得された診断情報を端末装置20から参照可能となるよう要求する通信を行い、応答したサーバ90から診断情報をコンテンツとして取得して表示部26に表示する。この他、端末装置20は、診断情報を参照可能とするために、サーバ90側から、診断情報のデータ送信を受けて表示を行ったり、診断情報のデータをダウンロードして表示を行うこともできる。また、端末装置20は、サーバ90の制御部93で取得された前記身体所定範囲の表示用画像や前記所定部位の表示用画像をサーバ90から受け取り、表示部26にそれらの表示を実行させる。
 前記サーバ90は、端末装置20とネットワーク100を通じてデータ通信可能として配設され、端末装置20で取得された前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データ、を受信し、制御部としてこれら肌画像データを解析してユーザーの肌状態の診断情報を取得すると共に、各肌画像データに基づいて表示用画像を取得し、これら診断情報と表示用画像を端末装置20に送信して、端末装置20の表示部26に診断情報の表示及び肌画像表示をそれぞれ行わせるものである。
 このサーバ90は、サーバとして機能する、CPU等を備えたコンピュータである。コンピュータが記録されたプログラムにしたがって処理を実行することで、サーバの機能が実現される。
 なお、本実施形態におけるサーバ90は、必ずしも単独の実体のあるコンピュータに限られるものでなく、複数のコンピュータ装置がネットワーク接続されて協動して、要求される一又は複数のサービスを一体として提供する装置群である場合や、コンピュータ装置の一部機能に過ぎないものの、要求される一又は複数のサービスをあたかも一つの装置のように提供する機能を有して、サービスを提供される側からは一つの装置として取り扱える仮想装置である場合も含まれる。
 サーバ90は、端末装置20の第一撮像部21及び第二撮像部22での撮像により得られる肌画像データに基づいて、肌状態に関する情報としての、肌状態の診断情報及び端末装置への表示用の画像の情報を取得する制御部93と、記録する記録部97とを備える構成である。言い替えると、サーバ90は、このサーバ90をなすコンピュータがプログラムにしたがって処理を実行することで、前記制御部93及び記録部97の機能を実現するものである。
 サーバ90における制御部93は、撮像により得られる肌の画像データに基づいて、肌状態に関する情報を取得するものである。
 この制御部93は、端末装置20から受け取った第一撮像部21の撮像で得られる前記身体所定範囲の肌画像データに基づいて、前記身体所定範囲の肌状態に関する情報を取得可能とされると共に、同じく端末装置20から受け取った第二撮像部22の撮像で得られる前記所定部位の肌画像データに基づいて、前記所定部位の肌状態に関する情報を取得可能とされる。
 詳細には、制御部93は、肌状態に関する情報として、前記身体所定範囲の肌画像データと前記所定部位の肌画像データとの解析による前記身体所定範囲の肌状態の診断情報を取得するものである。こうして制御部93が各画像データを解析してユーザーの肌状態の診断情報を取得する機能は、アプリケーションプログラムにしたがって処理を実行する主体がサーバ90である点以外は、前記第1の実施形態と同様の仕組みに基づくものであり、詳細な説明を省略する。
 そして、制御部93は、前記身体所定範囲の肌状態の診断情報を端末装置20に送信することができる。端末装置20は、この制御部93の制御に基づいて、表示部26において、前記身体所定範囲の肌状態の診断情報を表示させることができる。
 また、制御部93は、肌状態に関する他の情報として、前記身体所定範囲の肌画像データから導かれる前記身体所定範囲の表示用画像を取得すると共に、前記所定部位の肌画像データから導かれる前記所定部位の表示用画像を取得するものである。
 そして、制御部93は、こうした表示用画像の情報を端末装置20に送信することができる。端末装置20は、こうした制御部93の制御に基づいて、表示部26において、前記身体所定範囲、具体的には、顔、の画像を表示させる一方、これが表示される表示部26の画面上の表示領域と同じ領域に画像を置き換える状態で、又は、前記表示領域とは別の領域に顔の画像の表示と同時且つ並行に、前記身体所定範囲の画像より拡大率の大きい前記所定部位の画像を表示させることができる。
 また、制御部93は、前記身体所定範囲の肌画像データから導かれる身体所定範囲の表示用画像の一部又は全部に対し、前記所定部位の肌画像データから導かれる前記所定部位の表示用画像に基づいて、画像補正処理(例えば、色較正)を行うこともできる。
 さらに、制御部93は、前記身体所定範囲の肌画像データから導かれる前記身体所定範囲の表示用画像に対し、この画像上における、第二撮像部22で撮像すべき所定部位に対応する位置に、第二撮像部22の撮像対象位置であることを示す所定の案内用図案部を合成する処理を実行し、処理後の表示用画像を端末装置20に送信して、端末装置20の表示部26に表示させることもできる。これにより、端末装置20の表示部26に表示される前記身体所定範囲の表示用画像の一部として、前記案内用図案部が表示され、ユーザーがその身体所定範囲における第二撮像部22で撮像すべき所定部位を視認して理解可能となる。
 この他、制御部93は、端末装置20から受け取った第一撮像部21の撮像で得られる前記身体所定範囲の肌画像データに基づいて、肌状態に関する情報としての前記身体所定範囲の肌状態の診断情報を一旦取得し、この診断情報から、第二撮像部22で撮像すべき肌の所定部位を設定し、この肌の所定部位に係る情報を端末装置20に送信し、端末装置20の表示部26等によりユーザーに示すことで、肌の所定部位に対する第二撮像部22による撮像を実行可能とすることができる。
 そして、この所定部位の情報を参照したユーザーの操作に基づいた、第二撮像部22による肌の前記所定部位の撮像に伴って、前記所定部位の肌画像データがサーバ90に送信されると、制御部93は、こうして新たに取得した前記所定部位の肌画像データ、及び、前記身体所定範囲の肌画像データに基づいて、あらためて前記身体所定範囲の肌状態の診断情報を取得する仕組みである。
 前記記録部97は、前記身体所定範囲の肌画像データに基づいて制御部93で一旦取得した前記身体所定範囲の肌状態の診断情報を用いて、制御部93が設定した第二撮像部12で撮像すべき肌の所定部位の情報を記録するものである。
 この記録部97は、第二撮像部22で撮像すべき肌の所定部位の情報に加えて、この所定部位の第二撮像部22による撮像で得られた肌画像データを、この肌画像データを得た日時を判別可能として記録することとなる。
 次に、本実施形態に係る肌状態測定システムの使用状態について説明する。前提として、前記第1の実施形態と同様に、ユーザーの顔全体が第一撮像部21で撮像される身体所定範囲とされ、これに含まれて第二撮像部22により撮像される所定部位が、顔の肌の要部である。そして、端末装置20はスマートフォンであり、表示部26側のカメラ部を第一撮像部21として用いる一方、表示部26とは反対側のカメラ部を第二撮像部22として用いて、それぞれ撮像を実行可能とされると共に、ネットワーク100を通じてサーバ90と通信可能とされる。。所定部位を撮像する際には、端末装置20における第二撮像部22の前方にコンバージョンレンズ29を取り付け、第二撮像部22の撮像範囲を第一撮像部21より狭くする一方、より高解像度で撮像を行えるようにして、前記所定部位として顔の極狭い範囲の肌を撮像する。
 前記第1の実施形態同様、端末装置20の各撮像部を使用して撮像を行うために、まず、ユーザーによりコンバージョンレンズ(図示を省略)が端末装置20に取り付けられる。
 続いて、端末装置20へのユーザーの操作で、肌状態測定のサービス提供サーバ(例えば、サーバ90)が用意した所定のウェブページへの端末装置20のアクセスが行われ、このアクセスにより、サーバで提供されるウェブアプリケーション等のオンラインサービスを端末装置20で使用可能となり、端末装置20では各撮像部を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムが起動し、端末装置20を通じてユーザーが各撮像部を肌状態測定としての撮像に使用できる状態となる。
 この他、端末装置20へのユーザーの操作で、あらかじめ端末装置に記録されている、各撮像部をを使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置20上で起動させ、端末装置20を通じてユーザーが各撮像部を肌の撮像に使用できる状態とするようにしてもよい。
 ユーザーが、端末装置20の表示部26に表示されたユーザーインターフェイスに対し測定開始の操作を行うと、端末装置20がユーザーの身体所定範囲としての顔の撮像を実行することとなる。
 詳細には、端末装置20においては、肌状態測定用のアプリケーションプログラムの実行により、表示部26にユーザーインターフェイスが表示された状態となっている。このユーザーインターフェイスに対し、ユーザーが操作を行うことで、端末装置20における第一の撮像手段としての第一撮像部21によるユーザーの顔の撮像が開始され、端末装置20で肌画像データが継続的に取得され、サーバ90に送信される。
 そして、サーバ90の制御部93は、撮像で得られた画像データに基づいて、端末装置20の表示部26に顔の画像を表示させる。また、制御部93は端末装置20の表示部26による所定の案内表示等により、顔があらかじめ定められた向きと大きさで表示されるように端末装置20を支持する状態をユーザーに維持させる。
 ユーザーは表示部26における顔の画像表示等を参考にして、身体所定範囲としての顔が第一撮像部21によって適切に捉えられたと思われるタイミングで、端末装置20のユーザーインターフェイスに対し所定の操作を行い、顔の静止画像を決定する。この決定した瞬間の顔の静止画像のデータがサーバ90に送信され、第一撮像部21の撮像で得られる前記身体所定範囲の肌画像データとして制御部93で取り扱われることとなる。
 制御部93は、第一撮像部21の撮像で得られた肌画像データに基づく顔の表示用画像を取得し、これを端末装置20に送信して、表示部26に表示させつつ、肌画像データを解析し、ユーザーの顔の肌状態の診断情報を一旦取得する。
 また、制御部93は、記録部97における記録済みの情報を参照して、以前の撮像時において設定した前記所定部位の情報、すなわち、前記同様に一旦取得された顔の肌状態の診断情報等を用いて制御部13が第二撮像部12で撮像すべき肌の所定部位の設定を行った際に記録される、この設定された所定部位の情報が存在するか否かを判定する。
 以前に設定された所定部位の情報が記録されている場合、制御部93は、記録された情報に基づいて、以前に所定部位として設定された箇所以外の前記身体所定範囲各部について、前記診断情報を用いて、例えば、肌の一部にシミ等が存在する兆候を見出したために、シミの有無の確認を要するなど、肌状態のさらなる適切な診断のために第二撮像部22の撮像による詳細画像の取得が必要な部位を割出す。
 一方、ユーザーの肌の撮像の初回実行時など、以前に設定された第二撮像部22で撮像すべき所定部位の情報が記録部97に記録されていない場合には、制御部93は、前記身体所定範囲全体について、前記診断情報を用いて、前記同様、肌状態のさらなる適切な診断のために第二撮像部22の撮像による詳細画像の取得が必要な部位を割出す。
 制御部93は、こうして割出した部位を、第二撮像部22で撮像すべき所定部位に設定すると共に、設定したこの所定部位の情報を記録部97に記録する。そして、制御部93は、この所定部位について、これを示す所定の案内用図案部を生成し、この案内用図案部を、顔の肌画像データに基づく顔の表示用画像に合成する処理を行い、合成済みの画像を端末装置20に送信し、端末装置20の表示部26に表示させる。
 この表示部26を見てユーザーが第二撮像部22で撮像すべき所定部位を認識し、これを撮像可能となるよう第二撮像部22のある端末装置20の位置調整を行うこととなる。
 なお、制御部93は、前記第1の実施形態の場合と同様に、第二撮像部22で撮像すべき所定部位を設定し、この所定部位を示す案内用図案部等の画像を顔の表示用画像に合成して表示するのに代えて、ユーザーの前記身体所定範囲としての顔のうち、ユーザーが表示部26による顔の表示を見た上で肌状態について気になる部位を対象として、ユーザーが第二撮像部22による撮像を行うよう、ユーザーに端末装置20から案内する指示を端末装置20に送信して、端末装置20にユーザーへの案内表示や音声ガイド等を実行させることもできる。あるいは、一般的に肌状態を測定されることの多い箇所をあらかじめ選定して初期測定位置として登録し、この初期設定位置である肌の一又は複数部位を示す所定の案内用図案部を、顔の表示用画像に合成する処理を行い、合成済みの画像を端末装置20に送信し、表示部26に表示させるようにしてもよい。
 ユーザーは、手に持った端末装置20を位置調整して、顔の前記所定部位等に第二撮像部22が向いていると判断した際に、端末装置20のシャッターボタン等のユーザーインターフェイスに対し所定の操作を行い、第二撮像部22での撮像を行わせる。
 こうして撮像を行う段階で、第二撮像部22は、外部の光源(例えば、コンバージョンレンズの内蔵光源)又は端末装置20の内蔵光源による所定の照明状況の下で肌の前記所定部位の撮像を行い、肌画像データを出力する。この所定部位の肌画像データを、端末装置20からサーバ90に向けて送信し、制御部93で取得する。
 例えば、端末装置20に取り付けられるコンバージョンレンズの、照明として照射する光を調整可能な内蔵光源が、撮像対象の部位に対する光の照射状態を、第二撮像部22の試行撮像で得られた肌画像の検証等を経て最適化された上で、撮像が実行され、無偏光の光照射による照明下で肌を撮像したキメ診断用画像と、直線偏光の光照射による照明下で肌を撮像したシミ診断用画像との各肌画像データが、端末装置20からサーバ90に送信され、制御部93に取得される。
 制御部93は、取得した前記所定部位の肌画像データを、この肌画像データを得た日時を判別可能として、先に記録した前記所定部位の情報に追加して記録部97に記録する。
 また、制御部93は、以前に設定された所定部位の情報が記録部97に記録されている場合、記録部97を参照し、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる所定部位の肌画像データを、第二撮像部22による新規の撮像と同じタイミングで撮像されたものと見なす。
 そして、制御部93は、第二撮像部22から肌の前記所定部位の肌画像データを取得後、この肌画像データと、これと同じタイミングで撮像されたと見なした、前記所定期間に取得された記録済みの所定部位の肌画像データと、先に取得した第一撮像部21の撮像で得られた顔の画像データとを解析して、ユーザーの前記身体所定範囲としての顔の正式な肌状態の診断情報を取得する。
 なお、以前に設定された所定部位の情報が記録部97に記録されていない場合には、制御部93は、第二撮像部22から肌の前記所定部位の肌画像データを取得後、この肌画像データと、先に取得した第一撮像部21の撮像で得られた顔の肌画像データとを解析して、ユーザーの顔の肌状態について正式な診断情報を取得する。
 そして、制御部93は、顔の肌状態の診断情報を、端末装置20に送信して(図11参照)、診断情報を顔の画像と同時並行に、又は顔の画像と置き換えて、端末装置20の表示部26に表示させる。
 この他、制御部93は、肌の前記所定部位の画像データに基づく前記所定部位の表示用画像を生成し、この前記所定部位の表示用画像の情報を、端末装置20に送信し、前記所定部位の画像を、端末装置20の表示部26の画面上におけるいずれかの領域に必要に応じて表示させることもできる。
 こうした端末装置20の表示部26における顔の肌状態の診断情報の表示は、前記第1の実施形態の場合と同様に、テキストベースの情報表示に限られるものではなく、制御部93での診断情報の表示制御に基づいて、肌の注意すべき部位や症状を顔画像上でマーキング画像等で具体的に示す形式で情報提供させることもできる。例えば、第二撮像部22で得た精細な画像データから解析された診断情報として導かれた隠れジミの位置や大きさを、顔画像上の対応部位に重ねた所定色のマークで示した画像情報を表示提供させることもでき、シミ対策など肌のケアを実行する際に参考情報として活用可能となる。
 このような診断情報の表示により、第一撮像部21と第二撮像部22による一回の肌状態測定としての撮像が完了となる。
 これ以降は、より詳細な肌状態、例えば、顔の各部ごとの肌状態や、ケアに伴う肌状態の推移、などを把握するために、ユーザーが所定間隔で前記同様の、第一撮像部21による前記身体所定範囲としての顔の撮像と、第二撮像部22による前記所定部位の撮像を繰り返し、各肌画像データを取得したサーバ90の制御部93が各肌画像データに基づく肌状態の診断情報を撮像ごとに取得し、端末装置20の表示部26に表示させることとなる。
 こうした撮像等を繰り返す中、特に、制御部93が設定した所定部位の情報を記録部97に記録し、次回の撮像の際に記録済みの情報を参照して以前と重ならない新たな所定部位を設定することで、前記第1の実施形態同様、前記身体所定範囲としての顔の領域を、撮像ごとに第二撮像部22の撮像で詳細な肌画像データを得た部位で徐々に埋めていく状態として、複数の高精度の肌画像データをマップ状に連続させられ、肌画像データに基づく肌状態の解析をより高い精度で行え、正確で信頼性の高い診断情報を導ける。
 なお、制御部93は、第二撮像部22で前記所定部位の撮像が行われるごとに、その所定部位の情報、及びこの所定部位の第二撮像部22による撮像で得られた肌画像データを記録していく中、新たな撮像機会の時点で、記録部97に記録されている所定部位の情報や肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間を超える古いものについては、この新たな撮像機会におけるユーザーの肌とは肌のターンオーバーが時期的に重ならないものと判断して、こうした古い情報や肌画像データを消去して、新たな記録が無理なく繰り返し行えるようにすることもできる。
 また、サーバ90で取得される、前記身体所定範囲としての顔についての表示用画像や肌状態の診断情報の基となる、第一撮像部21の撮像で得られた顔の肌画像データは、第二撮像部22で撮像を行う前の第一撮像部21による撮像で得られた肌画像データであるが、これに代えて、サーバ90の制御部93が、端末装置20から第二撮像部22で撮像された前記所定部位の肌画像データを取得後、この前記所定部位の肌画像データに基づいて、顔の肌画像データの画像補正処理を行った上で、この補正後の顔の肌画像データに基づく顔の表示用画像を生成し、この顔の表示用画像を端末装置20に送信して端末装置20の表示部26に表示させるようにしたり、補正後の顔の肌画像データを前記所定部位の肌画像データと共に解析して、顔の肌状態の診断情報を取得するようにしてもかまわない。
 この場合、撮像範囲が限定されることで撮像の条件を整えやすい、第二撮像部22の撮像に基づいた前記所定部位の画像データを基準として、前記身体所定範囲の画像データについて画像補正処理を行い、この画像データで示される身体所定範囲の肌画像の色味を、前記所定部位の画像データにおける肌画像のそれに合わせられることから、第一撮像部21での撮像条件によらず、撮像で得られた前記身体所定範囲の画像データを、画像表示や肌状態の診断に係る解析を行いやすい状態にでき、ユーザーによる肌状態の正しい把握を促せることとなる。
 このように、本実施形態に係る肌状態測定システムは、第一撮像部21でユーザーの身体所定範囲としての顔を撮像すると共に、第二撮像部22でユーザーの顔における所定部位を撮像して、それぞれ得られた顔の肌画像データと、前記所定部位の肌画像データとに基づいて、サーバ90でユーザーの肌状態に関する情報としての肌状態の診断情報や表示用画像を取得することから、肌画像データを分析して肌状態に関する情報を導くにあたり、複数通りの撮像で得られた肌画像データに基づく、肌状態の診断情報などのユーザーの肌状態に関する情報の質を向上させられ、肌状態の表示や分析等に係るサーバ90での処理を高い精度で行え、肌状態の診断を適切且つ効率よく進められると共に、得られる情報の信頼性も高められ、ユーザーに肌状態をより正確に把握させられる。
 なお、前記実施形態に係る肌状態測定システムにおいては、第一の撮像手段としての第一撮像部21の撮像で得られた顔の肌画像データを、端末装置20からサーバ90にのみ送信して、制御部93での診断情報等の肌状態に関する情報を取得する処理に供する構成としているが、これに限られるものではなく、図12に示すように、前記身体所定範囲としての顔の肌画像データを、サーバ90と共に他者の端末装置60に送信し、サーバ90の制御部93で肌画像データに基づいて肌状態に関する情報を取得するのと並行して、他者の端末装置60で、送信された肌画像データに基づいて顔を含むユーザーの画像を表示する構成とすることもできる。
 これは、ユーザーの端末装置20と他者の端末装置60間で通信を行う中での、各端末装置での撮像に基づく画像を相手側の端末装置に継続的に表示する使用状況、例えば、ビデオ通話など、に適用できる。具体例としては、ユーザーが診断情報を得るために自身の端末装置20の第一撮像部21で顔を撮像し、最終的にサーバ90で取得された診断情報を閲覧する一方で、所定の相手と端末装置を通じたビデオ通話を行うことができ、相手側の端末装置60で表示されるユーザーの画像は、第一撮像部21の撮像で得られた顔の肌画像データに基づくものとなる。
 また、この応用例として、ユーザーが肌についてのカウンセリングを、端末装置を通じてのカウンセラーとのビデオ通話により受ける中、通話によるカウンセラーのサポートを得ながら、ユーザーが端末装置20を操作して前記身体所定範囲としての顔や前記所定部位を端末装置20の第一撮像部21及び第二撮像部22で撮像し、撮像により得られた肌画像データが端末装置20からサーバ90に送信され、サーバ90の制御部93が肌状態の診断情報を取得する構成とすることもできる。
 この場合、サーバ90の制御部93で取得した肌状態の診断情報を、カウンセラー、すなわちユーザーではない他者の端末装置60に送信して、ユーザーとカウンセラーが診断情報を共有してユーザーの肌状態への認識を一つにした上で、カウンセラーが診断情報に基づいてユーザーの肌についての詳細なカウンセリングを行えるようにすることもできる。また、肌状態の診断情報を、サーバ90からユーザーの端末装置20には送信せず、カウンセラーの端末装置60でのみ閲覧可能としてもよく、ユーザーに診断情報による先入観を与えることがなく、カウンセラーのアドバイスをユーザーがスムーズに受け入れやすい状態を得ることができる。さらに、第二の撮像手段としての第二撮像部が、ユーザーの端末装置における第一撮像部のある側にこれと同じ向きで配設されていたり、端末装置の第一撮像部により兼用されるものであったり、あるいは、ユーザーの端末装置とは独立した撮像装置であれば、ユーザーが第二撮像部で顔における前記所定部位の撮像を行う際に、端末装置の表示画面を通じてユーザーの撮像の様子を確認可能なカウンセラーの通話による撮像のサポートを受けながら、ユーザーが第二撮像部とユーザーの前記所定部位との間隔を調整したり、第二撮像部を適切に前記所定部位に向けるなどした上で、撮像を行うことができ、好ましい。
 また、前記実施形態に係る肌状態測定システムにおいて、第一の撮像手段としての第一撮像部21はユーザーの端末装置20に配設されて、ユーザーの操作により第一撮像部21でのユーザーの前記身体所定範囲としての顔の撮像を行う構成としているが、これに限られるものではなく、第一の撮像手段が、他者の端末装置の一部として、又は、他者の端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であって、こうした第一の撮像手段で得られたユーザーの画像データを、他者の端末装置でユーザーの肌状態に関する情報の取得以外の主目的のために使用する中、サーバ90が第一の撮像手段の撮像で得られるユーザーの前記身体所定範囲の肌画像データを受信し、サーバ90の制御部93が、前記身体所定範囲の肌画像データ、及び、第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、診断情報等のユーザーの肌状態に関する情報を取得する構成とすることもできる。
 具体例としては、図13及び図14に示すように、他者の端末装置61の撮像部でユーザーを撮像し、得られた画像データからユーザーの識別のための個人認証処理を主な目的として行う中での、他者の端末装置61での撮像で得られた画像のデータを、ユーザーの前記身体所定範囲の肌画像データとして流用する形でサーバ90が入手し、これを制御部93で別途第二の撮像手段から得られた前記所定部位の肌画像データと共に解析して、肌状態の診断情報を取得する構成とすることができる。
 この場合、他者の端末装置61の撮像部での撮像により取得されたユーザーの画像データを肌診断に流用できることで、ユーザーの前記身体所定範囲を撮像する第一の撮像手段を新たに用意する必要がなく、各画像データに基づいた診断情報等の肌状態に関する情報を低コストで効率よく取得できる。
(本発明の第3の実施形態)
 前記第1の実施形態に係る肌状態測定システムにおいて、第二の撮像手段としての第二撮像部12は、ユーザーの前記身体所定範囲としての顔と重なる、顔の所定部位(例えば、頬や額等の一部)を撮像可能とされる構成としているが、この他、第3の実施形態として、第二の撮像手段が、ユーザーの前記身体所定範囲とは重ならない肌の所定部位を撮像する構成とすることもできる。
 この場合、制御部は、第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌の前記所定部位の肌状態に関する情報を取得した上で、前記身体所定範囲の肌状態に関する情報として、前記所定部位の肌状態に関する情報を基準とした前記身体所定範囲各部の相対的肌状態の情報を取得することとなる。
 具体例として、第一の撮像手段としての第一撮像部31で撮像するユーザーの前記身体所定範囲としての顔に対し、これと重ならない肌の所定部位、例えば、腕の胴体寄りの面や顎の下面など、日光が当たりにくく紫外線の影響をあまり受けない箇所を、端末装置30に設けた第二の撮像手段としての第二撮像部32で撮像する(図15参照)。なお、この第二撮像部32での撮像は、第一撮像部31での撮像に対し後でも先でもかまわない。
 この第二撮像部32の撮像で得られた前記所定部位の肌画像データに基づいて、制御部(図示を省略)で肌の前記所定部位の肌状態に関する情報を取得する。さらに、第一撮像部31の撮像で得られた前記身体所定範囲としての顔の肌画像データに基づいて、制御部で顔の肌状態に関する情報を取得するにあたり、先に取得した前記所定部位の肌状態に関する情報を基準とした、顔各部の相対的肌状態の情報として、顔の肌状態に関する情報を取得する。
 これにより、ユーザーの顔の肌状態を、紫外線の影響をあまり受けず肌の劣化度合いが小さいことで、肌の評価の基準に適した箇所である、前記所定部位の肌状態を基準として相対的に示すようにして、前記身体所定範囲としての顔各部の肌状態の劣化度合いを、ユーザーが理解しやすい形であらわすことができ、顔の肌状態をユーザーが本来あるべき肌状態との差異として捉えられるなど、より的確に把握可能となり、基準とした前記所定部位の肌状態を目標の状態として、顔の肌に関するユーザーの適切なケア等の対応を促せる。
 なお、制御部で取得した、前記所定部位の肌状態に関する情報を基準とした、肌状態の相対的な診断情報等、顔の肌状態に関する情報に基づいて、端末装置からユーザーに対し、顔の肌状態を目標となる前記所定部位の肌状態に近付けるスキンケアを提案する構成とすることもできる。その際、外部のAIを用いて、診断情報の他に肌状態に係る各種情報も踏まえてより詳細な分析を行い、より効果的なスキンケアの提案に繋げるようにしてもよい。
 また、前記実施形態において、一つの端末装置30に第一の撮像手段としての第一撮像部31と第二の撮像手段としての第二撮像部32を配設して、各撮像部による撮像を異なるタイミングで行うようにして、端末装置30一台で簡易に撮像が行えるようにしているが、この他、第二の撮像手段を第一の撮像手段とは別に設ける構成、例えば、第一の撮像手段をなすカメラ部のある端末装置35に対し、第二の撮像手段をなすカメラ部を有する他の撮像装置36を併用する構成としてもかまわない。この場合、第一の撮像手段と第二の撮像手段で同時に撮像を行うことができ(図16参照)、撮像から肌状態に関する情報を得るまでの時間を短縮して、撮像に係るユーザーの負担を軽減でき、肌状態に関する情報を得るための撮像等の活動を、ユーザーにとって継続しやすいものにできる。
(本発明の第4の実施形態)
 本発明の第4の実施形態に係る肌状態測定システムを前記図17ないし図19に基づいて説明する。
 前記各図において本実施形態に係る肌状態測定システム4は、前記第1の実施形態同様、第一撮像部41と、第二撮像部42と、制御部43とを備える一方、異なる点として、第一撮像部41、第二撮像部42、及び制御部43を配設される端末装置40が、第一撮像部41による撮像と第二撮像部42による撮像とを同時に行えるようにし、第一撮像部41がユーザー前方の鏡面80に映ったユーザーの鏡像を撮像する構成を有するものである。
 本実施形態においても、肌状態測定の対象者であるユーザーは、前記第1の実施形態同様、肌状態測定システム4の提供事業者との間で、肌状態診断のサービスを受ける契約を交わしており、且つ、肌状態測定システム4を使用可能となっていることで、肌状態測定システム4により肌状態の診断情報を得ることができる。
 前記第一撮像部41は、前記第一の撮像手段として、端末装置40に配設され、ユーザーの肌状態の測定として、ユーザーの身体所定範囲、例えば、顔、を撮像可能とされるものである。ただし、この第一撮像部41は、ユーザーの前方に位置する鏡面80に映った、ユーザーの前記身体所定範囲の鏡像を撮像するものである。
 前記第二撮像部42は、前記第二の撮像手段として、第一撮像部41と同じ端末装置40に配設され、ユーザーの肌状態の測定として、ユーザーの前記身体所定範囲より狭い部位であって、この身体所定範囲と重なる、ユーザーの肌の所定部位、例えば、頬や額等の一部を、撮像可能とされるものである。
 この第二撮像部42は、端末装置40における第一撮像部41の配設される面に対し、その反対側となる他の面に配設され、端末装置40における第一撮像部41がユーザー前方の鏡面80に向けられた状態で、ユーザーの前記所定部位を撮像可能とされるものである。
 また、第二撮像部42は、第一撮像部41より撮像対象の単位面積あたりの解像度が高い画像データを取得可能とされる。
 第一撮像部41と第二撮像部42は、端末装置40を通じたユーザーの操作により撮像を実行可能とされ、第一撮像部41による前記身体所定範囲の撮像と、第二撮像部42による肌の前記所定部位の撮像とは、同じタイミングで実行される。
 前記端末装置40は、前記第一撮像部41及び第二撮像部42を有して、ユーザーの身体所定範囲、及び、前記所定部位を撮像し、肌画像データを取得可能な装置とされると共に、前記制御部43を有するものである。
 この端末装置40は、アプリケーションプログラムを実行可能な手持ちタイプの装置であり、且つ、各種情報を表示可能な表示部46を有するものである。
 端末装置40の表示部46は、ユーザーの画像を表示可能とされるものである。この表示部46は、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。
 なお、端末装置40は、あらかじめ格納したプログラムを実行することで、制御部43としての機能や処理を実現する情報処理装置であって、ユーザーとその前方の鏡面80との間に位置して、第一撮像部41及び第二撮像部42で同時に撮像を行えるものであれば、手持ちタイプの装置に限られるものではなく、固定式の装置であってもよい。また、端末装置40は、鏡面80が浴室や洗面台、化粧台など、水気のある箇所に多く設けられる鏡のものである可能性を考慮して、同じ空間で使用する関係上、防水構造とするのが好ましい。
 この端末装置40の制御部43は、肌状態診断用のアプリケーションプログラムを用いて、撮像により得られた肌画像データを解析して診断情報を取得可能とされており、得られた診断情報をユーザーが参照できる。この場合、端末装置40の制御部43は、アプリケーションプログラムの実行により、取得した診断情報をコンテンツとして表示部46に表示することで参照可能としている。
 前記制御部43は、撮像により得られる肌の画像データ、すなわち、第一撮像部41の撮像で得られる前記身体所定範囲の肌画像データと、第二撮像部42の撮像で得られる前記所定部位の肌画像データとに基づいて、肌状態に関する情報を取得するものである。
 この制御部43は、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データ、を解析して、肌状態に関する情報としての、ユーザーの前記身体所定範囲の肌状態の診断情報を取得するものである。こうして制御部43が各肌画像データを解析してユーザーの肌状態の診断情報を取得する機能は、制御部43が、アプリケーションプログラムにしたがって処理を実行することで実現される、前記第1の実施形態と同様の仕組みに基づくものであり、詳細な説明を省略する。
 また、制御部43は、肌状態に関する他の情報として、前記身体所定範囲の肌画像データに基づいて前記身体所定範囲の表示用画像を取得すると共に、前記所定部位の肌画像データに基づいて前記所定部位の表示用画像を取得するものである。
 そして、制御部43は、端末装置40の表示部46において、前記身体所定範囲、具体的には、顔、の表示用画像を表示させる一方、これが表示される表示部46の画面上の表示領域と同じ領域に画像を置き換える状態で、又は、前記表示領域とは別の領域に顔の表示用画像の表示と同時且つ並行に、前記身体所定範囲の表示用画像より拡大率の大きい前記所定部位の表示用画像を表示させることができる。
 この他、制御部43は、前回取得した肌状態に関する情報としてのユーザーの前記身体所定範囲の肌状態の診断情報を用いて、前記身体所定範囲に含まれる第二撮像部42で撮像すべき肌の所定部位を設定し、この所定部位の情報を端末装置40を通じてユーザーに報知することもできる。
 この場合、この所定部位の情報を参照したユーザーの操作に基づいた、第二撮像部42による肌の前記所定部位の撮像に伴って、前記所定部位の肌画像データが得られると、制御部43は、この前記所定部位の肌画像データと、同時の撮像で得られた前記身体所定範囲の肌画像データに基づいて、前記身体所定範囲の肌状態の診断情報を取得することができる。
 また、制御部43は、取得した前記身体所定範囲の肌状態の診断情報を用いて、第二撮像部42で撮像すべき肌の所定部位を設定した場合に、設定したこの所定部位の情報を記録する記録部47を有する。
 記録部47は、第二撮像部42で撮像すべき肌の所定部位の情報に加えて、この所定部位の第二撮像部42による撮像で得られた肌画像データを、この肌画像データを得た日時を判別可能として記録するものである。
 制御部43は、記録部47に以前設定した所定部位の情報が記録されている場合、第一撮像部41での新たな撮像機会で、前回取得した前記身体所定範囲の肌状態の診断情報を用いると共に、記録部47に記録済みの所定部位の情報を参照して、前記身体所定範囲のうち所定部位として記録されていない箇所の中から、新たに第二撮像部42で撮像すべき肌の所定部位を設定する。
 また、制御部43は、第一撮像部41での新たな撮像機会で、第二撮像部42で撮像すべき肌の所定部位を設定するのと並行して、記録部47に記録済みの所定部位の情報、この所定部位の肌画像データ、及びそのデータ取得日時を参照する仕組みを有している。
 そして、制御部43は、記録された前記所定部位の肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる肌画像データを、新規の撮像と同じタイミングで撮像されたものと見なすようにしている。
 この場合、制御部43は、前記所定期間に取得された記録済みの肌画像データと、この新たな撮像機会で設定された肌の所定部位の第二撮像部42による撮像で得られた前記所定部位の肌画像データと、前記身体所定範囲の肌画像データとに基づいて、前記身体所定範囲の肌状態の診断情報(肌状態に関する情報)を取得することとなる。
 一方、制御部43は、記録部47に記録済みの所定部位の情報、及びこの所定部位の肌画像データのうち、データ取得日時が前記所定期間に含まれない、ユーザーの肌のターンオーバー周期を超えるような古い時点のものについては、第一撮像部41での新たな撮像機会でのユーザーの肌とは肌のターンオーバーが重ならない時期のものであり、新規の撮像と同じタイミングで撮像されたものと見なせないとして、該当する前記所定部位の情報、及び所定部位の肌画像データを記録部47から消去するようにしてもよい。
 次に、本実施形態に係る肌状態測定システムの使用状態について説明する。前提として、前記第1の実施形態と同様に、ユーザーの顔全体が第一撮像部41で撮像される身体所定範囲とされ、これに含まれて第二撮像部42により撮像される所定部位が、顔の肌の要部である。そして、端末装置40の第一撮像部41及び第二撮像部42は、それぞれ撮像を実行可能とされているものとする。
 まず、ユーザーの操作で、あらかじめ端末装置に存在している、各撮像部を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置40上で起動させると、端末装置40を通じてユーザーが各撮像部を撮像に使用できる状態となる。
 そして、ユーザーは、端末装置40を、第一の撮像手段としての第一撮像部41がユーザーの前方に位置する鏡面80に映っている、ユーザーの身体所定範囲としての顔の鏡像に向かい、且つ、第二の撮像手段としての第二撮像部42がユーザーの顔の一部に向かうように保持する。
 こうした端末装置40を保持した状態では、第一撮像部41が、ユーザーの前方に位置する鏡面80に映っている、前記身体所定範囲としての顔の鏡像の撮像を実行すると共に、第二撮像部42が、ユーザーの顔の一部の撮像を実行し、制御部43で各撮像部で得られた画像データが継続的に取得される。
 また、第一撮像部41と第二撮像部42で撮像が行われるのに伴い、撮像で得られた画像データに基づいて、端末装置40の表示部46に各撮像部で撮像されたものが表示される。
 この場合、制御部43は表示部46による所定の案内表示等により、第一撮像部41で少なくとも顔の鏡像があらかじめ定められた向きと大きさで撮像されるように、端末装置40を支持する状態や、ユーザーと鏡面80との間隔をユーザーに維持させ、制御部43で第一撮像部41の撮像で得られた顔の肌画像データに基づいて顔の表示用画像を取得し、この顔の表示用画像が表示部46に適切に表示されるようにする。
 そして、制御部43は、ユーザーの前記身体所定範囲としての顔のうち、ユーザーが気になる部位を対象として、ユーザーが第二撮像部42による撮像を行うよう、ユーザーに端末装置40から案内表示や音声ガイド等を実行する。あるいは、一般的に肌状態を測定されることの多い箇所をあらかじめ選定して初期測定位置として登録し、この初期設定位置である肌の一又は複数部位を示す所定の案内用図案部を、顔の表示用画像に合成する処理を行い、合成済みの画像を表示部46に表示させるようにする。
 これを受けて、ユーザーは、顔の気になる任意の部位を認識したり、表示部46に表示された前記案内用図案部で示される顔上の初期測定位置を見て確認した上で、これらを撮像可能となるよう第二撮像部42のある端末装置40の位置や向きの微調整を行うこととなる。
 ユーザーは、第一撮像部41及び第二撮像部42を各撮像対象に向けた状態とし、表示部46における顔の鏡像や顔の所定部位の画像表示等を参考にして、各撮像対象が対応する各撮像部によって適切に捉えられたと思われるタイミングで、端末装置40のシャッターボタン等のユーザーインターフェイスに対し所定の操作を行い、顔の鏡像及び所定部位の静止画像を決定する。この決定した瞬間の顔の鏡像や前記所定部位の静止画像のデータが、前記身体所定範囲の肌画像データ及び前記所定部位の肌画像データとして制御部43で取り扱われることとなる。
 こうして画像を決定する段階で、第二撮像部42については、外部の光源又は端末装置40の内蔵光源による所定の照明状況の下で肌の前記所定部位の撮像を行うようにすることもできる。例えば、端末装置40において、照明として照射する光を調整可能な内蔵光源が、撮像対象の顔の所定部位に対する光の照射状態を、第二撮像部42の試行撮像で得られた肌画像の検証等を経て最適化された上で、照明下での撮像が実行され、無偏光の光照射による照明下で肌を撮像したキメ診断用画像と、直線偏光の光照射による照明下で肌を撮像したシミ診断用画像の各画像データを、制御部43で取得することができる。
 制御部43は、第一撮像部41及び第二撮像部42の撮像で得られた各肌画像データに基づく顔や前記所定部位の表示用画像を取得し、これを表示部46に表示させつつ、各肌画像データを解析し、ユーザーの顔の肌状態の診断情報を取得する。
 そして、制御部43は、顔の肌状態の診断情報を、顔の画像と同時並行に、又は顔の画像と置き換えて、表示部46に表示させる。また、制御部43は、顔における前記所定部位の位置に関する情報と、前記所定部位の肌画像データを、この肌画像データを得た日時を判別できる状態で、記録部47に記録する。
 表示部46における顔の肌状態の診断情報の表示は、テキストベースの情報表示に限られるものではなく、肌の注意すべき部位や症状を顔画像上でマーキング画像等で具体的に示して情報提供することもできる。例えば、第二撮像部42で得た精細な画像データから解析された診断情報として導かれた隠れジミの位置や大きさを、顔画像上の対応部位に重ねた所定色のマークで示すことができ、シミ対策など肌のケアを実行する際に参考情報として活用可能となる。
 このような診断情報の表示により、第一撮像部41と第二撮像部42による一回の肌状態測定としての撮像が完了となる。
 これ以降は、肌状態の推移を把握するために、ユーザーが所定間隔で前記同様の、第一撮像部41による前記身体所定範囲としての顔の撮像と、第二撮像部42による前記所定部位の撮像を繰り返し、制御部43が得られた各肌画像データに基づく肌状態の診断情報を撮像ごとに取得し、表示部46に表示させることとなる。
 この場合、制御部43は、記録部47における記録済みの情報を参照して、以前の撮像時において設定した顔の所定部位の情報、すなわち、肌状態の診断情報等を用いて制御部43が第二撮像部42で撮像すべき肌の所定部位の設定を行った際に記録される、この設定された所定部位の情報が存在するか否かを判定する。
 以前に設定された所定部位の情報が記録されている場合、制御部43は、記録された情報に基づいて、以前に所定部位として設定された箇所以外の前記身体所定範囲各部について、前回の診断情報を用いて、例えば、肌の一部にシミ等が存在する兆候を見出したために、シミの有無の確認を要するなど、肌状態のさらなる適切な診断のために第二撮像部42の撮像による詳細画像の取得が必要な部位を割出す。
 一方、以前に設定された第二撮像部42で撮像すべき所定部位の情報が記録部47に記録されていない場合には、制御部43は、前記身体所定範囲全体について、前回の肌状態の診断情報を用いて、前記同様、肌状態のさらなる適切な診断のために第二撮像部42の撮像による詳細画像の取得が必要な部位を割出す。
 制御部43は、上記のように割出した部位を、第二撮像部42で撮像すべき所定部位に設定すると共に、設定したこの所定部位の情報を記録部47に記録する。そして、制御部43は、この所定部位について、例えば、第二撮像部42の撮像対象となる顔上の所定部位を示す所定の案内用図案部(マーク)、を生成し、この案内用図案部を、顔の肌画像データに基づく顔の表示用画像に合成する処理を行い、合成済みの画像を表示部46に表示させる。
 この表示部46を見てユーザーが第二撮像部42で撮像すべき所定部位を認識し、これを第二撮像部42で撮像可能となるよう端末装置40の位置や向きの微調整を行うこととなる。
 このように撮像等を繰り返す中、制御部43が設定した所定部位の情報を記録部47に記録し、次回の撮像の際に記録済みの情報を参照して以前と重ならない新たな所定部位を設定することで、前記身体所定範囲としての顔の領域を、撮像ごとに第二撮像部42の撮像で詳細な肌画像データを得た部位で徐々に埋めていく状態として、複数の高精度の肌画像データをマップ状に連続させられ、肌画像データに基づく肌状態の解析をより高い精度で行え、正確で信頼性の高い診断情報を導ける。
 こうして、制御部43は、第二撮像部42で前記所定部位の撮像が行われるごとに、その所定部位の情報、及び、この所定部位の第二撮像部42による撮像で得られた肌画像データを記録していく中、新たな撮像機会の時点で、記録部47に記録されている各情報や肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間を超える古いものについては、この新たな撮像機会におけるユーザーの肌とは肌のターンオーバーが時期的に重ならないものと判断して、こうした古い情報や肌画像データを消去して、新たな記録が無理なく繰り返し行えるようにすることもできる。
 なお、制御部43で、第二撮像部42による新たな撮像の際に、記録部47に記録した情報を参照して、以前とは重ならない新たな所定部位を第二撮像部42で撮像できるようにしているが、これに限らず、第一撮像部41による前記身体所定範囲の撮像と、第二撮像部42による前記所定部位の撮像を繰り返す中、第二撮像部42で同じ所定部位を何度も繰り返し撮像する構成とすることもでき、制御部43で肌の同じ部位に着目した肌画像データに基づいて得られた肌状態の診断情報や表示用画像から、特定部位における詳細な肌状態の推移を把握することができ、肌のケアによる改善度合い等を容易に確認可能となる。
 このように、本実施形態に係る肌状態測定システムは、第一撮像部41でユーザー前方の鏡面80に映った鏡像を撮像して、前記身体所定範囲の肌画像データを取得し、これと同時に、第二撮像部42による撮像で前記所定部位の肌画像データを取得して、各肌画像データから制御部43で肌状態に関する情報を取得して、この肌状態に関する情報を利用可能とすることから、各撮像部での同時撮像で前記身体所定範囲の肌画像データと前記所定部位の肌画像データを一度に取得でき、撮像から肌状態に関する情報を得るまでの時間を短縮でき、撮像に係るユーザーの負担を軽減できると共に、肌状態に関する情報が時間をかけずに得られ、ユーザーの肌状態を速やかに把握可能となる。
 また、端末装置40における一の面に第一撮像部41が配設されると共に、この第一撮像部41が鏡面80に向けられた状態で、ユーザーの前記所定部位を撮像可能として、第二撮像部42が同じ端末装置40に配設され、一つの装置でユーザーの前記身体所定範囲と前記所定部位の撮像に対応できることから、端末装置40の各撮像部での撮像で前記身体所定範囲の肌画像データと前記所定部位の肌画像データをまとめて取得でき、撮像にあたってユーザーは各撮像部を設けた端末装置40のみを取り扱えばよく、撮像に係るユーザーの負担を大幅に軽減でき、肌状態に関する情報を得るための活動をユーザーが無理なく継続可能となる。
 なお、前記実施形態に係る肌状態測定システムにおいては、第一の撮像手段としての第一撮像部41及び第二の撮像手段としての第二撮像部42が配設された端末装置40を、専ら第一撮像部41及び第二撮像部42による撮像を行って肌状態の診断情報を取得する装置とする構成としているが、これに限られるものではなく、様々な用途に使用可能なスマートフォン等の通信端末装置であって、且つ複数のカメラ部を備える装置について、その複数のカメラ部を、各カメラ部ごとの撮像を同時に行ってそれぞれ個別に画像データを取得可能としたものとすれば、これを複数のカメラ部が第一の撮像手段や第二の撮像手段としてそれぞれ機能する端末装置として用いる構成とすることもできる。
 また、前記端末装置40では、第二の撮像手段としての第二撮像部42が、この端末装置40における第一の撮像手段としての第一撮像部41の配設される面の反対面に配設される構成としているが、これに限らず、端末装置に配設される第二の撮像手段が、この端末装置における第一の撮像手段がユーザー前方でユーザーを映す鏡面80に向けられた状態で、ユーザーの前記所定部位を撮像可能とされるものであれば、端末装置の任意の箇所に第二の撮像手段を配設してもかまわない。特に、コンバージョンレンズ等の付加で撮像対象方向を変えられる場合は、第二の撮像手段を端末装置における第一の撮像手段の配設される面に配設してもかまわない。この他、第二の撮像手段としての第二撮像部42は、第一の撮像手段としての第一撮像部41と同じ端末装置40に設ける構成に限られるものではなく、第二の撮像手段が第一の撮像手段とは別に設けられる構成、例えば、第一の撮像手段をなすカメラ部のある端末装置に対し、第二の撮像手段をなすカメラ部を有する他の装置を併用する構成としてもかまわない。
 また、前記実施形態に係る肌状態測定システムにおいて、第二の撮像手段としての第二撮像部42は、ユーザーの前記身体所定範囲としての顔と重なる、顔の所定部位(例えば、頬や額等の一部)を撮像可能とされる一方、その撮像範囲は、ユーザー前方の鏡面80に映る顔の鏡像では、端末装置40に隠された部位となり、顔の鏡像を撮像する第一の撮像手段としての第一撮像部42の撮像範囲とは重ならず、第一撮像部41と第二撮像部42で共通に撮像される部位が生じない構成としているが、この他、図20に示すように、端末装置45における第二撮像部49を、ユーザーの前記所定部位を少し離れた位置からでも撮像可能で、且つ第一撮像部48でユーザー前方の鏡面80に映る顔の鏡像を撮像可能な範囲で、端末装置45を顔の正面からずれた位置、例えば、顔の斜め前や横、に位置させた場合でも、顔の前記所定部位が撮像できるものとして、顔全体の鏡像を撮像可能となる第一撮像部48の撮像範囲と、顔の所定部位を撮像可能な第二撮像部49の撮像範囲とが重なり、第一撮像部48と第二撮像部49で共通に撮像される部位が存在する構成とすることもできる。
 この場合、異なる二つの撮像部で得られた各肌画像データにおける共通する所定部位から、各肌画像データ同士の関係性を把握でき、重なる部位以外の身体所定範囲としての顔各部の詳細な肌状態も類推できるなど、制御部での各肌画像データを用いた解析で肌状態に関する情報を詳細に取得でき、こうした肌状態に関する情報からユーザーにその肌状態を正しく把握させられ、肌に関するユーザーの適切なケア等の対応をより一層促せる。
 また、前記実施形態に係る肌状態測定システムにおいては、端末装置における第一の撮像手段としての第一撮像部41がユーザー前方でユーザーを映す鏡面80に向けられ、鏡面80に映るユーザーの前記身体所定範囲としての顔の鏡像を撮像し、顔の肌画像データを得ると共に、この肌画像データを制御部43で解析して肌状態に関する情報を取得するにあたり、特に画像の加工等は行わず、表示部46で顔の画像を表示する場合には、撮像したままの状態で表示される構成としているが、この他、第一の撮像手段の撮像で得られる画像データのうち、ユーザーの前記身体所定範囲(顔)の鏡像以外の、ユーザーの前記身体所定範囲以外の身体部分やユーザーの後方の壁等が背景として映り込んでいる部分について、仮に第三者がその画像を見ても表示内容を判別できない程度に、制御部で画像加工処理を行う構成とすることもでき、診断情報等の肌状態に関する情報を取得するのに関係ないユーザーの個人情報の漏洩を確実に防止できる。
 また、前記実施形態に係る肌状態測定システムにおいては、第一の撮像手段としての第一撮像部41の撮像で得られる前記身体所定範囲としての顔の肌画像データと、第二の撮像手段としての第二撮像部42の撮像で得られる前記所定部位の肌画像データとの両方を、制御部43で解析して、肌状態の診断情報を取得する構成としているが、この他、第一の撮像手段の撮像で得られる、ユーザーの前記身体所定範囲の肌画像データについては、これに含まれる端末装置の位置に基づいて、制御部で端末装置の第二の撮像手段で撮像される前記所定部位の位置を特定するためにのみ使用し、制御部による肌に着目した画像解析には、第二の撮像手段の撮像で得られた前記所定部位の肌画像データのみ用いる構成とすることもでき、ユーザーの身体所定範囲における第二の撮像手段で撮像される前記所定部位を正しく認定し、診断情報等の肌状態に関する情報の取得を、身体所定範囲の各部位ごとの肌の特性を踏まえて正確に行える状態を確保しつつ、各肌画像データに基づいた制御部の肌状態に関する情報の取得処理をより簡略化して制御部の負荷を抑え、処理を高速化できる。
 1、2、4       肌状態測定システム
 10、20、30、40 端末装置
 11、21、31、41 第一撮像部
 12、22、32、42 第二撮像部
 13、23、43    制御部
 14、24       無線通信手段
 16、26、46    表示部
 17、27、47    記録部
 19          コンバージョンレンズ
 35          端末装置
 36          撮像装置
 45          端末装置
 48          第一撮像部
 49          第二撮像部
 50          端末装置
 51          第一撮像部
 52          第二撮像部
 53          照明用光源
 54          フード
 55          ミラー部
 60、61       端末装置
 80          鏡面
 90          サーバ
 93          制御部
 97          記録部
 100         ネットワーク

Claims (15)

  1.  ユーザーの身体所定範囲の肌を撮像可能な第一の撮像手段と、
     前記身体所定範囲より狭いユーザーの肌の所定部位を撮像可能な第二の撮像手段と、
     前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得する制御部とを備えることを
     特徴とする肌状態測定システム。
  2.  前記請求項1に記載の肌状態測定システムにおいて、
     前記第二の撮像手段が、前記身体所定範囲と重なる肌の所定部位を撮像することを
     特徴とする肌状態測定システム。
  3.  前記請求項1に記載の肌状態測定システムにおいて、
     前記第二の撮像手段が、前記身体所定範囲とは重ならない肌の所定部位を撮像することを
     特徴とする肌状態測定システム。
  4.  前記請求項2又は3に記載の肌状態測定システムにおいて、
     前記第一の撮像手段による前記身体所定範囲の撮像と、前記第二の撮像手段による肌の前記所定部位の撮像とが、異なるタイミングで実行されることを
     特徴とする肌状態測定システム。
  5.  前記請求項4に記載の肌状態測定システムにおいて、
     前記第一の撮像手段と前記第二の撮像手段が、所定の一の端末装置に配設されることを
     特徴とする肌状態測定システム。
  6.  前記請求項5に記載の肌状態測定システムにおいて、
     前記第一の撮像手段が、前記身体所定範囲の肌を撮像する状態と、前記所定部位を撮像する状態とを切替可能とされて、前記第二の撮像手段を兼ねることを
     特徴とする肌状態測定システム。
  7.  前記請求項4に記載の肌状態測定システムにおいて、
     前記第一の撮像手段が、ユーザーの端末装置の一部として、又は、ユーザーの端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であり、撮像で得られる画像データを他者の端末装置に送信可能とされ、
     前記ユーザーの端末装置と前記他者の端末装置間で通信が行われて、送信されたユーザーの画像データに基づいて他者の端末装置で前記身体所定範囲を含むユーザーの画像が表示される一方で、前記制御部が、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得することを
     特徴とする肌状態測定システム。
  8.  前記請求項4に記載の肌状態測定システムにおいて、
     前記第一の撮像手段が、他者の端末装置の一部として、又は、他者の端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であり、
     前記第一の撮像手段で得られたユーザーの画像データが、他者の端末装置でユーザーの肌状態に関する情報の取得以外の主目的のために使用される中、前記制御部が、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得することを
     特徴とする肌状態測定システム。
  9.  前記請求項4ないし7のいずれかに記載の肌状態測定システムにおいて、
     前記第一の撮像手段が、ユーザーの端末装置の一部として、又は、ユーザーの端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であり、
     前記第二の撮像手段が、ユーザーの操作により撮像を実行可能とされ、
     前記制御部が、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データに基づいて、肌状態に関する情報を一旦取得すると共に、当該情報を用いて、前記第二の撮像手段で撮像すべき肌の所定部位を設定し、設定した当該所定部位の情報をユーザーの端末装置を通じてユーザーに報知し、
     前記制御部が、前記第二の撮像手段による肌の前記所定部位の撮像に伴って前記所定部位の肌画像データを得てから、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データに基づいて、あらためて肌状態に関する情報を取得することを
     特徴とする肌状態測定システム。
  10.  前記請求項3に記載の肌状態測定システムにおいて、
     前記制御部が、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌の前記所定部位の肌状態に関する情報を取得した上で、肌状態に関する情報として、前記所定部位の肌状態に関する情報を基準とした前記身体所定範囲各部の相対的肌状態の情報を取得することを
     特徴とする肌状態測定システム。
  11.  前記請求項2又は3に記載の肌状態測定システムにおいて、
     前記第一の撮像手段が、ユーザーの前方に位置する鏡面に映った前記身体所定範囲の鏡像を撮像し、
     前記第二の撮像手段が、ユーザーの肌の所定部位を前記第一の撮像手段による撮像と同時に撮像し、
     前記制御部が、前記第一の撮像手段による鏡像の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得することを
     特徴とする肌状態測定システム。
  12.  前記請求項11に記載の肌状態測定システムにおいて、
     前記第一の撮像手段が、所定の端末装置における一の面に配設され、
     前記第二の撮像手段が、前記端末装置に配設され、端末装置における前記第一の撮像手段が前記鏡面に向けられた状態で、ユーザーの前記所定部位を撮像可能とされることを
     特徴とする肌状態測定システム。
  13.  前記請求項9に記載の肌状態測定システムにおいて、
     前記制御部が、設定した前記第二の撮像手段で撮像すべき肌の所定部位の情報を記録して、新たに前記第二の撮像手段で撮像すべき肌の所定部位を設定する際には、前記身体所定範囲の肌画像データに基づいて一旦取得した肌状態に関する情報を用いると共に、記録済みの所定部位の情報を参照して、前記身体所定範囲のうち所定部位として記録されていない箇所の中から、前記所定部位を設定することを
     特徴とする肌状態測定システム。
  14.  前記請求項13に記載の肌状態測定システムにおいて、
     前記制御部が、前記第二の撮像手段で撮像すべき肌の所定部位の情報と共に、当該所定部位の第二の撮像手段による撮像で得られた肌画像データを、当該肌画像データを得た日時を判別可能として記録し、
     前記制御部が、前記第一の撮像手段での新たな撮像機会で、前記第二の撮像手段で撮像すべき肌の所定部位を設定するのと並行して、記録済みの所定部位の情報及び肌画像データを参照して、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる記録済みの前記所定部位の肌画像データと、撮像すべき部位に設定された肌の所定部位の第二の撮像手段による撮像で得られた前記所定部位の肌画像データと、前記身体所定範囲の肌画像データとに基づいて、肌状態に関する情報を取得することを
     特徴とする肌状態測定システム。
  15.  前記請求項14に記載の肌状態測定システムにおいて、
     前記制御部が、前記第二の撮像手段で撮像すべき肌の所定部位の情報、及び当該部位の第二の撮像手段による撮像で得られた前記所定部位の肌画像データを記録する中、新たな撮像機会ごとに、ユーザーの肌のターンオーバー周期に対応する前記過去の所定期間より以前に取得された記録済みの肌画像データ、及び、当該肌画像データに対応する記録済みの前記所定部位の情報を、削除することを
     特徴とする肌状態測定システム。
PCT/JP2022/010477 2021-03-10 2022-03-10 肌状態測定システム WO2022191269A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021038239A JP2022138384A (ja) 2021-03-10 2021-03-10 肌状態測定システム
JP2021-038239 2021-03-10

Publications (1)

Publication Number Publication Date
WO2022191269A1 true WO2022191269A1 (ja) 2022-09-15

Family

ID=83228051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010477 WO2022191269A1 (ja) 2021-03-10 2022-03-10 肌状態測定システム

Country Status (3)

Country Link
JP (1) JP2022138384A (ja)
TW (1) TW202300088A (ja)
WO (1) WO2022191269A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041831A (ja) * 2000-07-28 2002-02-08 Shiyuu Uemura Keshohin:Kk 化粧品販売方法、化粧品販売システムおよび情報記録媒体
US20060092315A1 (en) * 2004-10-29 2006-05-04 Johnson & Johnson Consumer Companies, Inc. Skin Imaging system with probe
JP2014061057A (ja) * 2012-09-20 2014-04-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及び測定システム
JP2015144902A (ja) * 2013-10-23 2015-08-13 日立マクセル株式会社 表面状態撮影表示システムおよび表面状態撮影表示方法
CN110909566A (zh) * 2018-09-14 2020-03-24 奇酷互联网络科技(深圳)有限公司 健康分析方法、移动终端和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041831A (ja) * 2000-07-28 2002-02-08 Shiyuu Uemura Keshohin:Kk 化粧品販売方法、化粧品販売システムおよび情報記録媒体
US20060092315A1 (en) * 2004-10-29 2006-05-04 Johnson & Johnson Consumer Companies, Inc. Skin Imaging system with probe
JP2014061057A (ja) * 2012-09-20 2014-04-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及び測定システム
JP2015144902A (ja) * 2013-10-23 2015-08-13 日立マクセル株式会社 表面状態撮影表示システムおよび表面状態撮影表示方法
CN110909566A (zh) * 2018-09-14 2020-03-24 奇酷互联网络科技(深圳)有限公司 健康分析方法、移动终端和计算机可读存储介质

Also Published As

Publication number Publication date
TW202300088A (zh) 2023-01-01
JP2022138384A (ja) 2022-09-26

Similar Documents

Publication Publication Date Title
JP6518726B2 (ja) 肌状態測定分析情報管理システムおよび肌状態測定分析情報管理方法
JP2018108377A (ja) パーソナライズされた肌診断及びスキンケア
TWI669103B (zh) 資訊處理裝置、資訊處理方法及程式
JP5080060B2 (ja) 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
US20160262624A1 (en) Lens information management system for surface condition measurement and analysis and information management method for surface condition measurement and analysis
JP6289837B2 (ja) 肌状態測定分析情報管理システムおよび肌状態測定分析情報管理方法
WO2006064635A1 (ja) 診断システム
CN112165895A (zh) 面部及手背皮肤用无人分析装置
CN104661586A (zh) 用于光学相干断层成像的方法和系统
KR20190084771A (ko) 피부 상태 측정용 모듈
KR20090124657A (ko) 얼굴 분석 서비스 제공 방법 및 장치
JP2013182062A (ja) 表示装置および投影装置
Jdid et al. Validation of digital photographic reference scales for evaluating facial aging signs
WO2022191269A1 (ja) 肌状態測定システム
JP3530523B1 (ja) デジタルズーム肌診断装置
CN110013102A (zh) 图像处理装置、图像处理方法以及记录介质
US20220386793A1 (en) Intelligent nursing mirror, intelligent nursing device, and image display method and system
WO2022114104A1 (ja) 肌状態測定システム
WO2022114103A1 (ja) 肌状態測定システム
JP2004344583A (ja) 診断支援システムおよび端末装置
JP2005034424A (ja) 皮膚表面状態評価方法並びにその装置
JP2020057153A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
KR102502944B1 (ko) 화장품 사용 및 피부 관리 비대면 컨설팅 시스템
JP4028960B2 (ja) エステティック支援システム、及びエステティック支援コンピュータ
KR20230006238A (ko) 사용자 맞춤형 피부 진단 사용자 단말 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767223

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22767223

Country of ref document: EP

Kind code of ref document: A1