WO2022201379A1 - 制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体 - Google Patents

制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022201379A1
WO2022201379A1 PCT/JP2021/012341 JP2021012341W WO2022201379A1 WO 2022201379 A1 WO2022201379 A1 WO 2022201379A1 JP 2021012341 W JP2021012341 W JP 2021012341W WO 2022201379 A1 WO2022201379 A1 WO 2022201379A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
subject
data
color
control device
Prior art date
Application number
PCT/JP2021/012341
Other languages
English (en)
French (fr)
Inventor
誠司 渡辺
Original Assignee
シミックホールディングス株式会社
誠司 渡辺
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シミックホールディングス株式会社, 誠司 渡辺 filed Critical シミックホールディングス株式会社
Priority to PCT/JP2021/012341 priority Critical patent/WO2022201379A1/ja
Publication of WO2022201379A1 publication Critical patent/WO2022201379A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Definitions

  • the present disclosure relates to controllers, computer programs and non-transitory computer-readable media.
  • Patent Document 1 discloses an imaging device system that can easily change the color temperature of the illumination light generated by the illumination unit.
  • the imaging device system of Patent Document 1 can change the color temperature of illumination light each time an image is captured, but there is a method of changing the color temperature of illumination light for each object to be imaged and a method of performing color correction such as white balance adjustment. had room for further improvement.
  • An object of the present disclosure is to provide a control device, a computer program, and a non-temporary computer-readable medium that suppress fluctuations in imaging data due to changes in the light environment.
  • a control device includes: a reception unit that receives first imaging data acquired by imaging a subject using an imaging system; comparing the color of at least part of the body of the subject contained in the first imaging data with the color of at least part of the body of reference data, and comparing the color of at least part of the body of the subject with the reference data; If it is determined that the color of the at least part of the body does not match, then the imaging system performs at least a processor configured to calculate a first correction value for one parameter; It has
  • a computer program executed by the control device By being executed, the control device Accepting imaging data obtained by imaging a subject using an imaging system, comparing the color of at least part of the body of the subject contained in the imaging data with the color of at least part of the body of the subject in reference data, and comparing the color of at least part of the body of the subject with the color of the body in the reference data at least one of the imaging systems based on the color difference between the at least part of the body of the subject and the at least the part of the body of the reference data, A correction value for the parameter is calculated.
  • a non-transitory computer-readable medium storing a computer program executable by the control device according to the third aspect of the present disclosure, By being executed, the control device Accepting imaging data obtained by imaging a subject using an imaging system, comparing the color of at least part of the body of the subject contained in the imaging data with the color of at least part of the body of the subject in reference data, and comparing the color of at least part of the body of the subject with the color of the body in the reference data at least one of the imaging systems based on the color difference between the at least part of the body of the subject and the at least the part of the body of the reference data, A correction value for the parameter is calculated.
  • changes in the light environment can be grasped.
  • changes in the lighting environment which is one of the light environments (for example, changes in illuminance and light color due to replacement of LEDs in the light source)
  • changes in the optical environment due to a change in the installation location of the imaging system, which is one of the optical environments.
  • the first imaging data is obtained by imaging the eye of the subject.
  • the processor compares the eyeball color of the subject included in the first imaging data with the eyeball color of the reference data, and the eyeball color of the subject matches the eyeball color of the reference data. If it is determined that the first correction value is not correct, the first correction value may be calculated based on the color difference between the subject's eyeball and the eyeball of the reference data.
  • the color of the human epidermis changes depending on makeup, sunburn, illuminance or light color of the light source. Therefore, when a change in the color of the subject's epidermis contained in the imaging data is confirmed, it is impossible to determine whether the change is due to makeup, sunburn, etc., or due to a change in the illuminance or light color of the light source. difficult. On the other hand, the color of human eyeballs hardly changes except for specific diseases.
  • eyeball used in this specification includes “white eye”, “black eye (pupil)", and/or “iris (part corresponding to so-called brown eyes and green eyes)”.
  • imaging the eyes of the subject is not limited to imaging only the eyes, but may also include imaging the face including the eyes.
  • the first imaging data is obtained by imaging the mucous membrane of the subject's body
  • the processor compares the color of the mucous membrane of the subject included in the first imaging data with the color of the mucous membrane of the reference data, and the color of the mucous membrane of the subject matches the color of the mucous membrane of the reference data. If it is determined that the first correction value is not obtained, the first correction value may be calculated based on the color difference between the mucous membrane of the subject and the mucous membrane of the reference data.
  • the color of the mucous membranes in the human body rarely changes. According to the above configuration, by referring to the imaging data of the mucous membrane of the subject, it is possible to more accurately grasp the change in the light environment.
  • reference data may be data generated based on pre-obtained imaging data of the subject.
  • the reference data is based on the imaging data acquired in the past of the subject, changes in the lighting environment can be grasped more accurately.
  • the reference data may be data generated based on pre-acquired imaging data of a plurality of persons.
  • the first correction value can be calculated even if the subject's reference data is not registered in advance.
  • the sizes of the whites and blacks of the eyeballs vary from person to person, but their colors do not vary much regardless of race. Therefore, by calculating the average color of the whites and blacks of the eyes from the whites and blacks of the eyes included in the imaging data of a plurality of persons acquired in advance, reference data containing the average color of the whites and blacks of the eyes excluding the iris is created.
  • the color of the mucous membrane in the human body shows a specific range of color for people in normal health regardless of race. Therefore, by calculating the average color of the mucous membranes from the mucous membranes included in the imaging data of a plurality of persons acquired in advance, the reference data including the mucous membranes of the average color may be created.
  • control device identifies at least two measurement spots on at least a part of the subject's body from the first imaging data, and among the measurement spots, the color of the measurement spot serving as a reference and the other measurement spots. If it is determined that the colors of the spots do not match, the color difference between at least part of the subject's body and at least part of the body of the reference data, and the reference measurement spot and the other measurement spot The correction value may be calculated based on the color difference of .
  • the light from the light source unit may not illuminate the subject evenly and a shadow may be formed on a part of the subject's body.
  • the correction value is calculated based on the color difference between the measurement spots in the imaging data, it is possible to suppress the occurrence of light and dark in the imaging data due to uneven illumination of the light from the light source.
  • control device may output to the storage device data relating to the color difference between the reference measurement spot and the other measurement spot in association with information related to the imaging system.
  • the reception unit receives second imaging data acquired by imaging an object using the imaging system, the processor calculates a second correction value for at least one parameter of the imaging system based on the second imaging data;
  • the reception unit receives third imaging data acquired by imaging the subject using the imaging system in which at least one parameter is corrected based on the second correction value,
  • the processor may be configured to generate reference data of the subject based on the third imaging data.
  • the imaging system based on the second correction value. For example, by using a common object among a plurality of imaging systems, it is possible to uniform the colors (hue, brightness, and saturation) of the imaging data acquired by the plurality of imaging systems. Since the reference data is acquired using an imaging system that has undergone object-based calibration, it is possible to more accurately grasp changes in the light environment after object-based calibration has been performed. can.
  • the processor may generate the reference data in which the subject cannot be identified based on the third imaging data.
  • a control device that receives imaging data obtained by imaging a subject using an imaging system; At least two measurement spots on at least a part of the body of the subject are specified from the imaging data, and if the color of the measurement spot serving as a reference among the measurement spots does not match the color of the other measurement spots.
  • a processor configured to, if determined, calculate a correction value for at least one parameter of the imaging system based on the color difference between the reference measurement spot and the other measurement spot; It has
  • a computer program executed by the control device By being executed, the control device a reception unit that receives imaging data obtained by imaging a subject using an imaging system; At least two measurement spots on at least a part of the body of the subject are specified from the imaging data, and if the color of the measurement spot serving as a reference among the measurement spots does not match the color of the other measurement spots. When determined, a correction value for at least one parameter of the imaging system is calculated based on the color difference between the reference measurement spot and the other measurement spots.
  • a non-transitory computer-readable medium storing a computer program executable by the control device according to the sixth aspect of the present disclosure, By being executed, the control device a reception unit that receives imaging data obtained by imaging a subject using an imaging system; At least two measurement spots on at least a part of the body of the subject are specified from the imaging data, and if the color of the measurement spot serving as a reference among the measurement spots does not match the color of the other measurement spots. When determined, a correction value for at least one parameter of the imaging system is calculated based on the color difference between the reference measurement spot and the other measurement spots.
  • the light from the light source unit may not illuminate the subject evenly and a shadow may be formed on a part of the subject's body.
  • the light from the light source unit is It is possible to suppress the occurrence of brightness and darkness in the imaging data due to uneven illumination.
  • the control device may output data relating to the color difference between the reference measurement spot and the other measurement spot to the storage device in association with information related to the imaging system.
  • the imaging data is obtained by imaging the epidermis of the subject's body.
  • the processor determines that the color of the skin of the measurement spot that serves as the reference and the color of the skin of the other measurement spot do not match, the skin color of the measurement spot that serves as the reference and the skin of the other measurement spot
  • the correction value may be calculated based on the color difference of .
  • the imaging data is acquired by imaging the mucous membrane of the subject's body.
  • the processor determines that the color of the mucous membrane of the reference measurement spot and the color of the mucous membrane of the other measurement spot do not match, the mucous membrane of the reference measurement spot and the other measurement spot
  • the correction value may be calculated based on the color difference of .
  • FIG. 6 It illustrates a specific functional configuration of the diagnostic system according to the present embodiment.
  • a specific functional configuration of the imaging system is illustrated.
  • a specific configuration of the imaging system is illustrated.
  • 4 illustrates the flow of calibration and reference data registration performed in the diagnostic system; 4 illustrates the flow of calibration and reference data registration performed in the diagnostic system; 1 illustrates imaging data of a subject's eye imaged by an imaging system; 7 illustrates eyeball data extracted from the imaging data of FIG. 6 ; 7 illustrates eyeball data extracted from the imaging data of FIG. 6 ; 4 illustrates a flow of calibration using reference data performed in a diagnostic system; 4 illustrates a flow of calibration using reference data performed in a diagnostic system; Fig. 10 shows another example of a calibration flow using reference data performed in a diagnostic system; 4 illustrates measurement spots identified in imaging data of a subject's face.
  • FIG. 1 is a block diagram illustrating the functional configuration of a diagnostic system 1 according to this embodiment.
  • the diagnostic system 1 captures an image of a subject, acquires imaging data in which at least a part of the subject's body is captured, and diagnoses the subject based on the acquired imaging data.
  • the term "at least part of the subject's body” includes the subject's eyes, face or body epidermis, or mucous membranes of the subject's body, which can be imaged by an imaging device described later. be That is, as an example of imaging data, there is imaging data in which the subject's eyes, face or skin, or mucous membranes of the subject's body are captured.
  • diagnosis examples include diagnosis of the subject's facial skin, part of the body's skin, or body mucosa (mucosa such as the uvula and external cervical os), facial age diagnosis or gender diagnosis of the subject, and subject eye diagnosis, etc.
  • the skin is the epidermis including the scalp and the like.
  • the diagnostic system 1 captures an image of the object and performs calibration of the imaging system 10 based on the imaged data in which the object is captured. That is, the object is an object that serves as a reference for calibration (hereinafter also referred to as a reference object).
  • the diagnostic system 1 captures an image of the subject and calibrates the imaging system 10 based on the imaged data in which at least part of the subject's body is captured.
  • the diagnostic system 1 includes an imaging system 10, a control device 20, and a storage device 30.
  • the control device 20 and the storage device 30 are provided within the server device 40 .
  • the imaging system 10 can be connected to the communication network 50 wirelessly or by wire, and is communicatively connected to the server device 40 via the communication network 50 .
  • the storage device 30 may be provided outside the server device 40 .
  • the imaging system 10 captures an image of a subject or an object, and acquires imaging data in which at least a part of the subject's body or the object is captured (hereinafter referred to as imaging data of the subject or the object). It is configured.
  • the imaging system 10 transmits the acquired imaging data to the control device 20 .
  • FIG. 2 illustrates a specific functional configuration of the imaging system 10.
  • FIG. 3 shows the configuration of the imaging system 10 when diagnosing a subject's face (for example, skin diagnosis, face age diagnosis, gender diagnosis, etc.) as an example of diagnosis by the diagnosis system 1 .
  • the imaging system 10 of FIG. 3 is installed, for example, in a target person's home, a store provided by a cosmetics company, a sales booth, or the like.
  • the imaging system 10 includes a light source section 11, an imaging device 12, a control device 13, a display section 14, an input section 15, a storage device 16, and a sensor 17.
  • the light source unit 11 is configured to irradiate a target person or object with light.
  • the light source unit 11 has, for example, one or a plurality of light sources that emit light of a predetermined wavelength among wavelengths from visible light to invisible light.
  • the light source section 11 has a plurality of light sources 111 attached to the left and right edges of the display section 14, respectively.
  • the imaging device 12 is configured to capture an image of a subject or an object illuminated by light from the light source unit 11 and output imaging data of the subject or the object.
  • the imaging data is, for example, two-dimensional image data, three-dimensional data, or the like.
  • Three-dimensional data includes three-dimensional image data and three-dimensional shape data.
  • the imaging device 12 has multiple cameras 121 and projection devices 122 .
  • a plurality of cameras 121 and projection devices 122 are attached, for example, to the top of the display unit 14 .
  • the plurality of cameras 121 are attached, for example, to three locations on the upper portion of the display unit 14, ie, the left side, the center, and the right side.
  • the camera 121 is an infrared camera or a camera capable of recognizing light of wavelengths other than infrared rays, and is composed of an imaging device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary MOS).
  • Projection device 122 is configured to irradiate infrared light toward a subject or object.
  • Two-dimensional image data is acquired by the camera 121 .
  • the three-dimensional image data is generated, for example, by photogrammetry based on a plurality of two-dimensional image data captured by the cameras 121 at different positions. Specifically, the three-dimensional image data of the target person or object is processed by normalizing a plurality of two-dimensional images of the target person or object captured by the cameras 121 at different positions into a three-dimensional image. generated by Three-dimensional image data may be generated by superimposing image data on three-dimensional shape data.
  • Three-dimensional shape data is acquired by, for example, a camera 121 and a projection device 122 . Specifically, the three-dimensional shape data of the target person or object is acquired by capturing an image of the target person or object irradiated with infrared rays by the projection device 122 with the camera 121 .
  • the display unit 14 is configured to display the imaging data of the subject or object acquired by the imaging device 12 .
  • the display unit 14 is composed of, for example, a liquid crystal display, an organic EL display, or the like.
  • the display unit 14 may have a reflective member that reflects light from a target person or object on the front or rear surface of the display. In this case, if no diagnosis is made, it can be used as a mirror.
  • the display unit 14 may display a guide (frame) A for arranging the target person or object. In FIG. 3, the face of the subject T is displayed.
  • the input unit 15 is configured to receive an input operation from the subject.
  • the subject can input predetermined operations and predetermined information via the input unit 15 .
  • the input unit 15 may be, for example, a capacitive or resistive touch sensor attached to the entire or partial area of the front surface of the display of the display unit 14 . Thereby, the subject can input predetermined operations and predetermined information by touching the display screen of the display unit 14 .
  • the storage device 16 is configured to store information input or specified by the subject via the input unit 15, for example. Note that the storage device 16 may be configured to store the reference data transmitted from the control device 20 in association with the subject's account information.
  • the sensor 17 has, for example, a proximity sensor 171 and an ambient light sensor 172, as illustrated in FIG.
  • the proximity sensor 171 detects that a target person or object is positioned within a predetermined range with respect to the imaging system 10 .
  • Ambient light sensor 172 senses the brightness around imaging system 10 .
  • the control device 13 is equipped with a processor such as a CPU and a memory, and is configured so that the processor executes a computer program read from the memory to control the operation of the imaging system 10 .
  • the control device 13 automatically controls the luminance of the light source 111 of the light source unit 11 to an optimum value based on the ambient brightness detected by the ambient light sensor 172, for example. For example, when the proximity sensor 171 detects that a target person or an object is positioned within a predetermined range with respect to the imaging system 10, the control device 13 controls the light source unit 11 to emit light. Alternatively, the control device 13 may control the light source unit 11 to emit light when an imaging operation or a light emitting operation is input via the input unit 15 .
  • the control device 13 controls the imaging device 12 to capture an image of the object.
  • the control device 13 may control the imaging device 12 so as to capture an image of the target person or object when an imaging operation is input via the input unit 15 .
  • the imaging system 10 is not limited to the configurations illustrated in FIGS.
  • a mobile phone or a personal digital assistant may be used as the imaging system 10 .
  • the imaging system 10 may include a USB connection port for cable connection to an external device and Bluetooth (registered trademark) for wireless connection to an external device.
  • the imaging system 10 may also be installed in retail stores such as convenience stores and supermarkets. In this case, the imaging system 10 may be configured to acquire the imaging data of the subject and not provide the imaging data of the subject or information on the diagnosis result to the subject.
  • the control device 20 includes a reception unit 201, a processor 202, and an output unit 203.
  • the receiving unit 201 is configured as an interface capable of receiving imaging data of a subject or an object from the imaging system 10 .
  • the processor 202 is configured to perform predetermined processing based on the imaging data of the subject or object.
  • the processor 202 is configured to capture an image of a subject, acquire imaging data of the subject, and diagnose the subject based on the acquired imaging data.
  • imaging data is imaging data in which the subject's eyes, face, epidermis of the body, or mucous membranes of the subject's body are captured.
  • diagnosis include diagnosis of facial skin of a subject, skin of a part of the body, or mucous membrane of the body (mucosa of the uvula, external cervix, etc.), facial age diagnosis or gender diagnosis of the subject, Diagnosis of eyes of a subject and the like.
  • the processor 202 is configured to calculate a correction value for at least one parameter of the imaging system 10 based on imaging data obtained by imaging the reference object. Specifically, processor 202 calculates a correction value for at least one parameter of imaging system 10 when it is determined that the color of the imaging data of the reference object does not match the color of the reference data of the reference object. configured as The processor 202 outputs the calculated correction value from the output unit 203 to the imaging system 10 . At least one parameter of imaging system 10 is corrected based on the correction value. That is, the imaging system 10 is calibrated based on the correction values. At least one parameter of the imaging system 10 may specifically include the light control or color control of the light source unit 11 or the imaging parameters of the imaging device 12 .
  • Imaging parameters may include focus, aperture, shutter speed, tone correction, color correction, and the like. Note that if it is determined that the design of the imaging data of the reference object does not match the design of the reference data of the reference object, the processor 202 displays on the display unit 14, for example, an instruction prompting re-imaging of the reference object.
  • the processor 202 generates the subject's reference data from imaging data obtained by imaging the subject after the imaging system 10 is calibrated.
  • processor 202 may be configured to extract eye data including at least a portion of the subject's eye.
  • the processor 202 may be configured to extract mucosal data including a portion of the mucosa of the subject's body.
  • the processor 202 outputs the extracted eyeball data or mucous membrane data from the output unit 203 to the storage device 30 as the subject's reference data.
  • the reference data is stored in storage device 30 .
  • the processor 202 may be configured to de-identify the eye data or mucous membrane data.
  • the processor 202 extracts the data of the white of the eye and the data of the black of the eye (pupil), excluding the iris (a portion corresponding to a so-called brown eye or green eye), as eyeball data.
  • the processor 202 may extract data for multiple regions from the iris as eyeball data, in addition to the white eye data and the black eye (pupil) data.
  • the data of multiple areas of the iris are extracted so that there are areas that are not extracted as data between the data of adjacent areas, and that there is discontinuity between these data when the adjacent areas are combined.
  • the processor 202 can extract, as mucosal data, data of a plurality of regions in which discontinuity exists between these data when adjacent regions are synthesized.
  • the processor 202 is configured to compare the color of at least part of the body included in the imaging data acquired by imaging the subject with the color of at least part of the body of the reference data. If the processor 202 determines that the color of at least a portion of the body included in the imaging data does not match the color of at least a portion of the body in the reference data, the processor 202 corrects at least one parameter of the imaging system 10. is configured to calculate The processor 202 outputs the calculated correction value from the output unit 203 to the imaging system 10 . At least one parameter of imaging system 10 is corrected based on the correction value. That is, the imaging system 10 is calibrated based on the correction values. Specifically, the light control and color control of the light source unit 11, the imaging parameters of the imaging device 12, and the like are adjusted.
  • the processor 202 is configured to compare the color of the eyeballs included in the imaging data acquired by imaging the subject with the color of the eyeballs of the reference data.
  • the processor 202 is configured to calculate a correction value for at least one parameter of the imaging system 10 when determining that the eyeball color included in the imaging data and the eyeball color of the reference data do not match. .
  • the processor 202 is configured to compare the color of the mucous membrane included in the imaging data obtained by imaging the subject with the color of the mucous membrane of the reference data.
  • the processor 202 is configured to calculate a correction value for at least one parameter of the imaging system 10 when determining that the color of the mucous membrane included in the imaging data and the color of the mucous membrane in the reference data do not match. .
  • the reference data can be data generated based on pre-obtained imaging data of the subject.
  • the reference data is data generated based on the imaging data of the subject acquired after the calibration based on the reference object described above.
  • the reference data may be data generated based on pre-acquired imaging data of a plurality of persons.
  • the eyeball reference data is data containing average color whites and blacks of eyes, excluding the iris. The average white and black eye colors are calculated from the white and black eye colors included in pre-obtained imaging data of a plurality of persons.
  • the average uvula and external cervical os colors are calculated from the colors of the uvula and the external cervical os included in the imaging data of a plurality of healthy subjects acquired in advance.
  • the processor 202 is also configured to identify a plurality of measurement spots on at least a portion of the subject's body from the imaging data obtained by imaging the subject, and to compare the color between the plurality of measurement spots. ing.
  • the processor 202 is configured to calculate a correction value for at least one parameter of the imaging system 10 based on the color difference between the plurality of measurement spots if the processor 202 determines that the colors among the plurality of measurement spots do not match. .
  • At least one parameter of imaging system 10 is corrected based on the correction value. That is, the imaging system 10 is calibrated based on the correction values. Specifically, the light control and color control of the light source unit 11, the imaging parameters of the imaging device 12, and the like are adjusted. Note that the calibration based on the color difference between measurement spots may be performed in combination with the calibration based on the reference data.
  • processor 202 is configured to compare the color of the epidermis between multiple measurement spots. If the processor 202 determines that the skin color between the plurality of measurement spots does not match, the processor 202 calculates a correction value for at least one parameter of the imaging system 10 based on the skin color difference between the plurality of measurement spots. configured to
  • multiple measurement spots are identified on the mucosa of the body. That is, the processor 202 is configured to compare the color of the mucosa between multiple measurement spots. If the processor 202 determines that the mucosal colors between the plurality of measurement spots do not match, the processor 202 calculates a correction value for at least one parameter of the imaging system 10 based on the mucosal color differences between the plurality of measurement spots. configured to
  • the storage device 30 is configured to store reference data of reference objects used for calibration using the reference objects.
  • the storage device 30 is configured to store reference data used for calibration using the reference data.
  • the storage device 30 is configured to store the subject's reference data transmitted from the control device 20 in association with the subject's account information and the serial number of the imaging system 10 (imaging device 12).
  • the storage device 30 is configured to store reference data including the white and iris of average color, or reference data of the average uvula and external cervical os.
  • the storage device 30 can store the diagnostic results performed by the control device 20 and the imaging data of the subject for whom the diagnosis was performed.
  • the imaging data of the subject is stored in a state in which the subject cannot be specified.
  • the diagnosis result and imaging data of the subject may be stored in association with the reference data based on the subject's account information.
  • the storage device 30 is configured to store account information (account name and password) registered by a subject who uses the diagnostic system 1 .
  • the diagnostic system 1 described above may include a plurality of imaging systems 10, as indicated by dashed lines in FIG.
  • the storage device 30 can store and manage information such as reference data and diagnosis results of many subjects. Further, the storage device 30 stores reference data of reference objects that are commonly used in all imaging systems 10 belonging to the diagnostic system 1 .
  • the diagnostic system 1 may include multiple server devices 40 . For example, each of the server devices 40 has a control device 20 that performs diagnosis based on its own diagnostic algorithm. In this case, the subject can select the server device 40 having the control device 20 that performs the desired diagnosis from among the plurality of server devices 40 .
  • steps S1 to S15 indicate steps of calibration based on a reference object.
  • steps S16 to S19 show the process of registering reference data of the subject, which is performed after calibration.
  • the imaging system 10 acquires the account information of the subject (step S1).
  • the account information includes an account name and password set by the subject.
  • the subject inputs an account name and password via the input unit 15, for example.
  • the imaging system 10 transmits the acquired account information to the control device 20 (step S2).
  • control device 20 performs authentication processing of the subject based on the account information (step S3). Specifically, the control device 20 determines whether the acquired account information matches the pre-registered account information stored in the storage device 30 .
  • the control device 20 authenticates that the target person is the user of the diagnostic system 1 when it is determined that the acquired account information matches the pre-registered account information. When it is determined that the acquired account information does not match the pre-registered account information, the control device 20 determines that the authentication that the subject is the user of the diagnostic system 1 is not established. Then, the control device 20 transmits the authentication result to the imaging system 10 (step S4).
  • step S5 When the imaging system 10 obtains the authentication result indicating that the authentication has failed (NO in step S5), the process returns to step S1.
  • the imaging system 10 registers, for example, the account information re-entered by the subject in step S1 as a new account name and password.
  • step S5 When the imaging system 10 obtains an authentication result indicating that the authentication is successful (YES in step S5), it determines whether instructions for calibration and reference data registration have been obtained (step S6). Calibration and reference data registration are performed, for example, when the imaging system 10 is installed or initialized, or when the lighting environment changes (when the light source unit 11 is replaced, etc.). The subject inputs calibration and reference data registration instructions via the input unit 15, for example.
  • the diagnosis system 1 performs diagnosis based on the imaging data. Specifically, the imaging system 10 captures an image of the subject, and the control device 20 diagnoses the subject based on the imaging data. For example, skin diagnosis, mucous membrane diagnosis, facial age diagnosis, sex diagnosis, or eye diagnosis of the subject is performed based on imaging data of the subject's face and body or the subject's uvula and external cervical os. In this example, diagnosis is performed by the diagnosis system 1, but processing other than diagnosis may be performed. Alternatively, the process may be terminated.
  • the imaging system 10 When it is determined that the imaging system 10 has acquired the calibration and reference data registration instructions (YES in step S6), the imaging system 10 identifies the reference object used for calibration (step S7).
  • the imaging system 10 when an instruction for calibration and reference data registration is input, the imaging system 10 causes the display unit 14 to display reference object information (image, name, etc.) for calibration.
  • the reference object may be a reference object exclusively used for calibration, or may be a product package such as a widely popular beverage. Information about a plurality of reference objects may be displayed on the display unit 14 .
  • the subject may read the barcode printed on the article with the imaging device 12 .
  • imaging system 10 may be configured to verify that the item corresponding to the barcode read by imaging device 12 can be used as a reference for calibration.
  • the subject designates a reference object to be used for calibration from the reference object information displayed on the display unit 14 via the input unit 15 .
  • the imaging system 10 causes the display unit 14 to display a guide (frame) A for arranging the reference object.
  • the imaging system 10 may cause the display unit 14 to display an instruction prompting adjustment of the angle and distance of the reference object so that the size of the reference object matches the size of the guide (frame) A.
  • FIG. The subject arranges the reference object so that the reference object is displayed within the guide (frame) A.
  • the imaging system 10 images the reference object (step S8), and transmits the imaging data to the control device 20 together with the serial number information of the imaging system 10 (step S9).
  • the imaging data is two-dimensional image data or three-dimensional image data.
  • the control device 20 Upon receiving the imaging data of the reference object, the control device 20 acquires the reference data of the reference object (step S10).
  • the reference data of the reference object is, for example, reference data commonly used in all imaging systems 10 belonging to the diagnostic system 1 and stored in the storage device 30 .
  • the control device 20 acquires the reference data of the reference object from the storage device 30 .
  • the control device 20 determines whether the imaging data of the reference object and the reference data of the reference object match (step S11). Specifically, it is determined whether the design and color of the imaging data of the reference object match the design and color of the reference data of the reference object. If it is determined that the imaged data of the reference object matches the reference data of the reference object (YES in step S11), the process proceeds to step S16. For example, the control device 20 sets the design of the imaging data of the reference object and the design of the reference data of the reference object to be the same, and the color (hue, brightness, and saturation) of the imaging data of the reference object and the design of the reference data of the reference object. If the color difference from the color (hue, lightness and saturation) is equal to or less than a predetermined value, it is determined that the two match.
  • control device 20 determines that the design of the imaged data of the reference object is the same as the design of the reference data of the reference object. and whether the color difference between the captured data of the reference object and the reference data of the reference object is within the correction range (step S12). If it is determined that the design of the imaged data of the reference object is different from the design of the reference data of the reference object, or the color difference between the imaged data of the reference object and the reference data of the reference object is not within the correction range (NO in step S12). ), the process returns to step S6.
  • the control device 20 determines that the design of the imaging data of the reference object and the design of the reference data of the reference object are the same, and that the color difference between the imaging data of the reference object and the reference data of the reference object is within the correction range. If so (YES in step S12), the model of the imaging system 10 is determined based on the serial number of the imaging system 10 received in step S9, and the imaging system 10 is determined based on the color difference between the imaging data of the reference object and the reference data of the reference object. Correction values for the 10 parameters are calculated (step S13). Then, the control device 20 transmits the correction values to the imaging system 10 (step S14).
  • the imaging system 10 corrects the parameters of the imaging system 10 based on the correction values from the control device 20 (step S15). For example, the control device 13 of the imaging system 10 adjusts the dimming and toning of the light source unit 11 or the imaging parameters of the imaging device 12 based on the correction value. Correcting the parameters of the imaging system 10 reduces the color difference between the captured data of the reference object and the reference data of the reference object. Note that the processing from step S6 to step S15 may be repeated until the imaging data of the reference object and the reference data match.
  • the imaging system 10 images the subject (step S16).
  • the imaging data is two-dimensional image data or three-dimensional image data.
  • the imaging system 10 displays a guide (frame) A for arranging the subject on the display unit 14 illustrated in FIG. 3, for example.
  • the imaging system 10 may cause the display unit 14 to display an instruction prompting adjustment of the angle and distance of the face so that the size of the subject's face matches the size of the guide (frame) A.
  • the imaging system 10 performs imaging with the imaging device 12 when an imaging instruction is input by the subject via the input unit 15 .
  • the imaging system 10 may have a face detection function, and may perform imaging with the imaging device 12 when detecting that the subject's face is placed within the guide (frame) A.
  • the imaging data of the subject is displayed on the display unit 14 .
  • the imaging system 10 transmits the subject's account name and the serial number information of the imaging system 10 to the control device 20 together with the imaging data (step S17).
  • the imaging system 10 transmits imaging data, for example, when a reference data registration instruction is input by the subject via the input unit 15 .
  • the imaging system 10 may automatically transmit imaging data and the like after imaging is performed by the imaging device 12 .
  • the control device 20 extracts eyeball data including at least part of the eyeball from the acquired imaging data as reference data (step S18).
  • imaging data including white and iris excluding all of the iris can be extracted as eyeball data from the imaging data of the subject's left eye illustrated in FIG. 6 .
  • imaging data of areas A1, A2, and A3 in the iris of the subject's left eye illustrated in FIG. 6 can be extracted as eyeball data A10, A20, and A30.
  • 6 and the extracted data in FIG. 8 have different shapes such as triangles and rectangles, but may be extracted with triangles of the same size and shape depending on the object to be imaged.
  • eyeball data is not limited to these examples.
  • the eyeball data may be imaging data including the white of the eye and the iris excluding a part of the iris. can include both.
  • the number of regions extracted from the iris is not limited to three, and may be one or more.
  • control device 20 outputs the extracted eyeball data as the subject's reference data to the storage device 30 in association with the subject's account name and the serial number of the imaging system 10 (step S19).
  • the subject's reference data is registered and stored in the storage device 30 in association with the account name and the serial number of the imaging system 10 .
  • the reference data is stored in the storage device 30 .
  • the reference data may be stored in storage device 16 of imaging system 10 . That is, the control device 20 outputs the extracted reference data together with the subject's account name to the imaging system 10 corresponding to the serial number associated with the reference data.
  • the imaging system 10 stores the received reference data in the storage device 16 in association with the account name.
  • the entire face of the subject is imaged in step S16, and the imaging data including the face of the subject is transmitted to the control device 20 in step S17.
  • the imaging data may be acquired by imaging only the subject's eyes, for example.
  • data of only the area around the eyes may be cut out from the imaged data of the subject's face, and the imaged data of the cut out area around the eyes may be transmitted to the control device 20 .
  • eyeball data of the left eye is extracted as reference data.
  • eyeball data for the right eye or eyeball data for both eyes may be extracted as reference data.
  • FIG. 9 and 10 exemplify the flow of calibration performed before executing diagnosis of a subject by the diagnostic system 1.
  • the imaging system 10 acquires the subject's account information (step S21).
  • the account information includes an account name and password set by the subject.
  • the subject inputs an account name and password via the input unit 15, for example.
  • the imaging system 10 transmits the acquired account information to the control device 20 (step S22).
  • control device 20 performs authentication processing of the subject based on the account information (step S23). Specifically, the control device 20 determines whether the acquired account information matches the pre-registered account information stored in the storage device 30 .
  • the control device 20 authenticates that the subject is the user of the diagnostic system 1 when it is determined that the acquired account information matches the pre-registered account information. When it is determined that the acquired account information does not match the pre-registered account information, the control device 20 determines that the authentication that the subject is the user of the diagnostic system 1 is not established. Then, the control device 20 transmits the authentication result to the imaging system 10 (step S24).
  • step S25 When the imaging system 10 obtains an authentication result indicating that the authentication has failed (NO in step S25), the process returns to step S21.
  • the imaging system 10 registers, for example, the account information re-entered by the subject in step S21 as a new account name and password.
  • the imaging device 12 images the subject (step S26).
  • the imaging data is two-dimensional image data or three-dimensional image data.
  • the imaging system 10 causes the display unit 14 to display a guide (frame) for arranging the subject.
  • the imaging system 10 may cause the display unit 14 to display an instruction prompting adjustment of the angle and distance of the face so that the size of the subject's face matches the size of the guide (frame).
  • the imaging system 10 performs imaging with the imaging device 12 when an imaging instruction is input by the subject via the input unit 15 .
  • the imaging system 10 may have a face detection function, and may perform imaging with the imaging device 12 when detecting that the subject's face is placed within the guide (frame) A.
  • the imaging data of the subject's face is displayed on the display unit 14 .
  • the imaging system 10 determines whether or not a calibration instruction has been acquired (step S27).
  • the subject inputs a calibration instruction via the input unit 15, for example.
  • the diagnosis system 1 performs diagnosis based on the imaging data.
  • the imaging data acquired in step S26 is transmitted to the control device 20, and the control device 20 diagnoses the subject based on the imaging data. For example, skin diagnosis, face age diagnosis, sex diagnosis, eye diagnosis, etc. of the subject are performed based on the imaging data of a part of the subject's face or body.
  • the diagnosis system 1 may perform processing other than diagnosis.
  • the imaging system 10 transmits information on the subject's account name and the serial number of the imaging system 10 together with the imaging data (step S28).
  • control device 20 acquires the subject's reference data from the storage device 30 based on the received account name and serial number of the imaging system 10 (step S29). That is, the control device 20 acquires reference data related to the same serial number of the imaging system 10 and the same subject's account name from the storage device 30 .
  • control device 20 determines whether the eyeball color of the imaging data received from the imaging system 10 matches the eyeball color of the subject's reference data (step S30). For example, when the reference data is the eyeball data for the left eye shown in FIGS. is compared with the color of
  • the diagnosis system 1 executes diagnosis based on the imaging data. For example, when the color difference between the hue/brightness/saturation of the eyeball data included in the subject's imaging data and the hue/brightness/saturation of the subject's reference data is less than or equal to a predetermined value, the control device 20 determines that the two match. Then judge.
  • control device 20 compares the eyeball color of the subject's imaging data with the subject's eyeball color. It is determined whether the color difference from the eyeball color of the person's reference data is within the correction range (step S31).
  • step S31 If it is determined that the color difference between the eyeball color of the subject's imaging data and the eyeball color of the subject's reference data is not within the correction range (NO in step S31), the process returns to step S26.
  • the control device 20 receives in step S28 The model of the imaging system 10 is determined based on the serial number of the imaging system 10 . Then, the control device 20 calculates a correction value for the parameters of the imaging system 10 based on the color difference between the eyeball color of the imaging data of the subject and the eyeball color of the reference data of the subject (step S32). The control device 20 transmits the correction values to the imaging system 10 (step S33).
  • the imaging system 10 corrects the parameters of the imaging system 10 based on the correction values obtained from the control device 20 (step S34). For example, the control device 13 adjusts the light control or color control of the light source unit 11 or the imaging parameters of the imaging device 12 based on the received correction value. As a result, the color difference between the eyeball color of the subject's imaging data acquired after correction and the eyeball color of the subject's reference data is reduced. Note that the processing from step S26 to step S34 may be repeated until the color of the eyeballs in the imaging data of the subject matches the color of the eyeballs in the reference data of the subject.
  • the imaging system 10 images the subject again with the imaging device 12 (step S35).
  • the captured image data is displayed on the display unit 14 .
  • diagnosis is performed by the diagnostic system 1 based on the imaging data. That is, imaging data is transmitted to the control device 20, and the diagnosis of the subject is performed by the control device 20 based on the imaging data.
  • the reference data is stored in the storage device 30, and the control device 20 acquires the reference data from the storage device 30 in step S29.
  • the control device 20 may obtain the reference data from the imaging system 10 if the reference data is stored in the storage device 16 of the imaging system 10 .
  • the imaging system 10 obtains the reference data associated with the subject's account name from the storage device 16. Then, in step S28, the imaging system 10 transmits the reference data together with the information of the imaging data, the account name, and the serial number of the imaging system 10.
  • FIG. 1 the imaging system 10 obtains the reference data associated with the subject's account name from the storage device 16. Then, in step S28, the imaging system 10 transmits the reference data together with the information of the imaging data, the account name, and the serial number of the imaging system 10.
  • the imaging system 10 acquires the imaging data of the subject's face.
  • the imaging system 10 may be configured to acquire imaging data of a region including at least the subject's eyes and transmit the data to the control device 20 .
  • the imaging system 10 transmits imaging data of the subject's face to the control device 20 in step S28.
  • the imaging system 10 cuts out only the eye area data from the subject's face image data, and sends the imaged data of the cut eye area to the control device 20 . may be configured to send to
  • step S35 diagnosis is performed based on imaging data acquired by imaging again with the imaging system 10 whose parameters have been corrected based on the correction values.
  • the imaging data acquired in step S26 may be corrected based on the correction value transmitted from the control device 20, and diagnosis may be performed based on the corrected imaging data.
  • the diagnostic system 1 calibrates the imaging system 10 based on reference data related to the same imaging system 10 .
  • the reference data can be used to calibrate different imaging systems 10 .
  • the reference data related to the imaging system 10 can be used for calibration (adjustment of various parameters) of the newly used imaging system 10 .
  • the control device 20 determines that the eyeball color of the subject included in the imaging data does not match the eyeball color of the subject's reference data. In this case, a correction value for at least one parameter of the imaging system 10 is calculated based on the color difference between the imaged data eyeball and the reference data eyeball.
  • changes in the light environment can be more accurately grasped by referring to the imaging data of the subject's eyeballs, compared to the case of referring to the imaging data of the epidermis of the subject.
  • changes in the lighting environment which is one of the optical environments, and changes in the optical environment due to changes in the installation location of the imaging system 10 can be grasped.
  • calibrating the imaging system 10 based on the correction values fluctuations in the imaging data due to changes in the light environment can be suppressed.
  • the reference data is based on the imaging data acquired in the past of the subject, changes in the lighting environment can be grasped more accurately.
  • the correction value for at least one parameter of the imaging system 10 is calculated based on the imaging data in which the reference object is captured, for example, by using a reference object common to the plurality of imaging systems 10, a plurality of uniformity of colors (hue, brightness and saturation) of imaging data acquired by the imaging system 10 can be achieved.
  • the reference data is acquired using an imaging system that has been calibrated based on the reference, it is possible to more accurately grasp changes in the light environment after calibration based on the reference. can.
  • control device 20 extracts the eyeball data in a state in which the subject cannot be specified. Specifically, eyeball data as shown in FIGS. 7 and 8 are extracted. Accordingly, it is possible to prevent an individual from being identified from reference data stored in storage device 30 or storage device 16 .
  • the reference data is data generated based on the subject's imaging data acquired in advance.
  • the reference data may be, for example, data generated based on pre-acquired imaging data of a plurality of persons.
  • the sizes of the whites and blacks of the eyeballs vary from person to person, but their colors do not change much regardless of race. Therefore, by calculating the average color of the whites and blacks of the eyes from the whites and blacks of the eyes included in the imaging data of a plurality of persons acquired in advance, reference data containing the average color of the whites and blacks of the eyes excluding the iris is created. may be According to such a configuration, it is possible to calculate the correction value even when the subject's reference data is not registered in advance.
  • the imaging system 10 images the subject using the imaging device 12 (step S41).
  • the imaging data is two-dimensional image data or three-dimensional image data.
  • the imaging system 10 has a face detection function, and when detecting that the subject's face is placed within the guide (frame) A of the display unit 14, the imaging device 12 performs imaging. .
  • the imaging system 10 transmits information on the serial number of the imaging system 10 together with the imaging data (step S42).
  • the control device 20 identifies a plurality of measurement spots from the imaging data, and determines whether or not the skin colors of the plurality of measurement spots match (step S43). For example, as shown in FIG. 12, a plurality of measurement spots S, S0 are specified in the imaging data of the subject's face. Then, the skin color of the specified measurement spot S is compared with the skin color of the reference measurement spot S0. In this example, the controller 20 uses, for example, the nose tip measurement spot S0 as the reference value.
  • the control device 20 changes the color of the skin of the measurement spot S to that of the skin of the nose tip measurement spot S0. Judge that the color matches. All the measurement spots S are compared with the nose tip measurement spot S0. When it is determined that the skin colors of all the measurement spots S match the nose tip measurement spot S0, it is determined that the skin colors of the plurality of measurement spots match.
  • the diagnosis system 1 executes diagnosis based on the imaging data.
  • control device 20 determines whether the skin color difference between the plurality of measurement spots is within the correction range. (Step S44). For example, it is determined whether the color difference between the skin of the measurement spot S0 of the nose tip and the skin of each measurement spot S is within the correction range, and the color difference of the skin of all the measurement spots S with respect to the skin of the measurement spot S0 of the nose tip is within the correction range. If it is determined to be within the range, it is determined that the color difference of the skin between the plurality of measurement spots is within the correction range.
  • the process returns to step S41.
  • the imaging system 10 may cause the display unit 14 to display an instruction prompting adjustment of the lighting environment so that the entire face (a plurality of measurement spots) is evenly illuminated with light.
  • the controller 20 controls the imaging system 10 based on the serial number of the imaging system 10 received in step S42. 10 models are identified. Then, the control device 20 calculates correction values for the parameters of the imaging system 10 based on the color difference of the epidermis between the plurality of measurement spots (step S45). The control device 20 transmits the correction values to the imaging system 10 (step S46).
  • the imaging system 10 corrects the parameters of the imaging system 10 based on the correction values obtained from the control device 20 (step S47). For example, the control device 13 adjusts the light control or color control of the light source unit 11 or the imaging parameters of the imaging device 12 based on the received correction value.
  • the light source unit 11 has a plurality of light sources 111, dimming and toning of the light source 111 corresponding to each measurement spot S are performed based on the color difference between the skin of the measurement spot S and the skin of the reference measurement spot S0. can be adjusted.
  • the measurement spot S can be replaced by another measurement spot. Illuminated with the same brightness as S. This reduces the color difference of the epidermis between the plurality of measurement spots of the subject in the imaging data acquired after correction. Note that the processing from step S41 to step S47 may be repeated until the color of the epidermis between the plurality of measurement spots of the subject matches.
  • the imaging system 10 images the subject again with the imaging device 12 (step S48). Then, diagnosis is performed by the diagnostic system 1 based on the imaging data. That is, imaging data is transmitted to the control device 20, and the diagnosis of the subject is performed by the control device 20 based on the imaging data.
  • step S41 authentication processing based on the account information of the target person illustrated in steps S21 to S25 of FIG. 9 may be performed.
  • the data on the color difference of the epidermis between the plurality of measurement spots is associated with information related to the imaging system 10 (for example, the serial number of the imaging system 10, time information when the imaging system 10 acquired the imaging data, etc.). and stored in the storage device 30.
  • the control device 20 calculates the correction value of the imaging system 10 based on the color difference of the epidermis between the measurement spots in the imaging data. It is possible to suppress the occurrence of light and dark in the imaging data due to uneven lighting.
  • step S45 when data relating to the color difference of the epidermis between a plurality of measurement spots is stored in association with the serial number of the imaging system 10, it is possible to determine which parts of the face are dark when the corresponding imaging system 10 is used. Such trends can be statistically grasped.
  • the control device 20 may also consider these statistical data to calculate the correction value of the imaging system 10.
  • the calibration based on the color difference of the epidermis between the measurement spots of this embodiment can be applied to the calibration based on the reference data exemplified in FIGS. 9 and 10.
  • FIG. For example, the color difference between the eyeball color of the subject's imaging data and the eyeball color of the reference data (the subject's reference data or the reference data including the white and black eyes of the average color), and the multiple in the subject's imaging data
  • Correction values for imaging system 10 parameters may be calculated based on the color difference of the epidermis between the measured spots.
  • steps S43 and S44 of FIG. 11 are inserted into steps S31 and S32 of FIGS. 9 and 10 .
  • steps S43 to S45 in FIG. 11 can be inserted after step S32 in FIGS. 9 and 10 .
  • step S45 the correction values calculated in step S32 are modified based on the color differences between the plurality of measurement spots.
  • the eyeball color of the reference data may be used as a reference value.
  • the eyeball color of the subject included in the imaging data is compared with the eyeball color of the reference data, and based on the color difference between the eyeball of the subject and the eyeball of the reference data, the imaging system Calculating correction values for at least one of the ten parameters has been described.
  • a similar imaging system 10 can also be applied to imaging mucous membranes of the body instead of eyeballs. That is, by using the mucous membranes of the subject's uvula and the external cervical os instead of the subject's eyeballs, at least one part of the imaging system 10 is detected based on the color difference between the mucous membranes of the subject and the mucous membranes of the reference data. It may be configured to calculate a correction value for one parameter. Then, similarly to the eyeball, reference data including an average color may be generated as reference data for the uvula and the external cervical os.
  • imaging is performed based on the color difference of the mucous membrane between the measurement spots. It may be configured to calculate a correction value for at least one parameter of system 10 .
  • a plurality of measurement spots including a reference measurement spot are specified in the imaging data of the mucous membrane of the subject's body. Then, among the plurality of measurement spots, the color of the mucous membrane of the reference measurement spot is compared with the color of the mucosa of the other measurement spots.
  • the reference measurement spot can be appropriately set depending on the lighting conditions.
  • Each function of the processor 202 described so far can be realized by a general-purpose microprocessor operating in cooperation with a general-purpose memory.
  • a CPU, MPU, and GPU can be exemplified as a general-purpose microprocessor.
  • Examples of general-purpose memory include ROM and RAM.
  • the ROM can store a computer program for executing the processes described above (skin diagnosis, mucous membrane diagnosis, face age diagnosis, sex diagnosis, part data extraction, foreign matter processing, reversal processing, rotation processing, etc.).
  • Computer programs may include artificial intelligence (AI) programs.
  • AI programs are programs (learned models) constructed by supervised or unsupervised machine learning (especially deep learning) using multilayer neural networks.
  • ROM is an example of a non-transitory computer-readable medium.
  • the general-purpose microprocessor designates at least part of the computer program stored in the ROM, develops it on the RAM, and cooperates with the RAM to execute the above-described processing.
  • the above computer program may be pre-installed in a general-purpose memory, or may be downloaded from an external server device via a communication network and installed in a general-purpose memory.
  • the external server device is an example of a non-transitory computer-readable medium.
  • each function of the processor 202 may be realized by a dedicated integrated circuit capable of executing the above computer programs, such as a microcontroller, ASIC, or FPGA.
  • the computer program is pre-installed in a storage element included in the dedicated integrated circuit.
  • storage elements are examples of non-transitory computer-readable media.
  • Each function of processor 202 may also be implemented by a combination of a general-purpose microprocessor and a dedicated integrated circuit.
  • each calibration and reference data registration is performed on the diagnostic system 1.
  • each calibration and reference data registration can be performed in any process or system that requires calibration.
  • the calibration based on the reference data and the calibration based on the color difference of the epidermis between the measurement spots are performed before the diagnostic system 1 diagnoses the subject.
  • these calibrations may be performed before performing various processes based on imaging data acquired by the imaging system 10 .
  • the reference data of the reference object is stored in the storage device 30.
  • the reference data of the reference object may be stored in a storage device (not shown) of the control device 20.
  • FIG. 1 is a diagrammatic representation of the reference data of the reference object.
  • the storage device 30 is provided in the server device 40.
  • the storage device 30 can be connected to the communication network 50 wirelessly or by wire, for example, and may be configured to be communicatively connected to the imaging system 10 and the server device 40 via the communication network 50 .
  • the light source section 11 is provided in the same housing as the imaging device 12 as illustrated in FIG.
  • the light source unit 11 may be installed in a room or the like where the housing in which the imaging device 12 is installed is installed.
  • the control device 20 outputs the extracted eyeball data to the storage device 30 as reference data.
  • the control device 20 may be configured to perform rotation processing or inversion processing on the extracted eyeball data.
  • rotation processing and inversion processing can be performed on each of the eyeball data A10, A20, and A30 illustrated in FIG.
  • the eyeball data that has been rotated or inverted is output to the storage device 30 as reference data and stored in the storage device 30 .
  • Information on the angle of rotation and the direction of reversal (front and back) is not stored in the storage device 30 .
  • the control device 20 rotates and/or flips the eyeball data using numerical values generated by a random number generation program.
  • the random number generation program for example, generates random numbers between 0.1 and 359.9 for each eyeball data.
  • the eyeball data may be rotated and/or flipped individually with respect to each of the X-, Y-, and Z-axes instead of rotating and/or flipping the plane of the two-dimensional image data. good.
  • the position of the origin after extraction may be reset using random numerical values for each eyeball data.
  • the rotation and reversal of the eyeball data may be performed using a protection key input by the subject from the input unit 15 of the imaging system 10 instead of using a numerical value generated by a random number generation program. good.
  • the subject since the subject memorizes the protection key that he or she has input, when performing the calibration of FIGS. By inputting again, it becomes possible to combine the reference data with the original angle and direction (front and back).

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

撮像システム（１０）は、対象者に向けて光を照射する光源部と、光が照射された対象者を撮像したことにより取得された撮像データを出力する撮像デバイスと、を有する。制御装置（２０）は、撮像データに含まれる対象者の眼球の色を参照データの眼球の色と比較し、対象者の眼球の色と前記参照データの眼球の色とが一致していないと判断した場合は、対象者の眼球と参照データの眼球との色差に基づいて、撮像システムの少なくとも一つのパラメータに対する第一補正値を算出するように構成されている。

Description

制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体
　本開示は、制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体に関連する。
　特許文献１は、照明部で発生する照明光の色温度を容易に変更することができる撮影装置システムを開示している。
日本国特開２０１５－１０６８８７号公報
　特許文献１の撮影装置システムは、撮像の度に照明光の色温度を変更できるが、撮像する対象物ごとに照明光の色温度を変更する手法やホワイトバランス調整などの色補正を実行する手法に更なる改善の余地があった。
　本開示は、光環境の変化による撮像データの変動を抑制する制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体を提供することを目的とする。
　本開示の第一態様に係る制御装置は、
　撮像システムを用いて対象者を撮像したことにより取得された第一撮像データを受け付ける受付部と、
　前記第一撮像データに含まれる前記対象者の身体の少なくとも一部の色を参照データの身体の少なくとも一部の色と比較し、前記対象者の身体の少なくとも一部の色と前記参照データの身体の少なくとも一部の色とが一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差に基づいて、前記撮像システムの少なくとも一つのパラメータに対する第一補正値を算出するように構成されているプロセッサと、
を備えている。
　本開示の第二態様に係る制御装置により実行されるコンピュータプログラムは、
　実行されることにより、前記制御装置に、
　撮像システムを用いて対象者を撮像したことにより取得された撮像データを受け付けさせ、
　前記撮像データに含まれる前記対象者の身体の少なくとも一部の色を参照データの身体の少なくとも一部の色と比較し、前記対象者の身体の少なくとも一部の色と前記参照データの身体の少なくとも一部の色とが一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差に基づいて、前記撮像システムの少なくとも一つのパラメータに対する補正値を算出させる。
　本開示の第三態様に係る制御装置により実行可能なコンピュータプログラムが記憶された非一時的なコンピュータ可読媒体であって、
　実行されることにより、前記制御装置に、
　撮像システムを用いて対象者を撮像したことにより取得された撮像データを受け付けさせ、
　前記撮像データに含まれる前記対象者の身体の少なくとも一部の色を参照データの身体の少なくとも一部の色と比較し、前記対象者の身体の少なくとも一部の色と前記参照データの身体の少なくとも一部の色とが一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差に基づいて、前記撮像システムの少なくとも一つのパラメータに対する補正値を算出させる。
　上記の第一態様から第三態様の構成によれば、光環境の変化を把握することができる。例えば、光環境の一つである照明環境の変化（例えば、光源部のＬＥＤ交換による照度や光色の変化）を把握することができる。あるいは、光環境の一つである撮像システムの設置場所の変更による光環境の変化を把握することができる。補正値に基づいて撮像システムのキャリブレーションを実行することにより、結果として、光環境の変化による撮像データの変動を抑制することができる。
　前記第一撮像データは、前記対象者の目を撮像したことにより取得され、
　前記プロセッサは、前記第一撮像データに含まれる前記対象者の眼球の色を前記参照データの眼球の色と比較し、前記対象者の眼球の色と前記参照データの眼球の色とが一致していないと判断した場合は、前記対象者の眼球と前記参照データの眼球との色差に基づいて、前記第一補正値を算出してもよい。
　人間の表皮の色は、化粧や日焼け、光源部の照度または光色により変化する。したがって、撮像データに含まれる対象者の表皮の色の変化が確認された場合、化粧や日焼け等により変化したものか、光源部の照度または光色の変化により変化したものかを判断することは難しい。一方、人の眼球の色は、特定の病気以外では殆ど変化することがない。
　上記の構成によれば、対象者の表皮の撮像データを参照する場合と比較して、対象者の眼球の撮像データを参照することにより、光環境の変化をより正確に把握することができる。
　なお、本明細書で用いられる「眼球」という語には、「白目」、「黒目（瞳孔）」、および／または「虹彩（いわゆる茶目や緑目に相当する部分）」が含まれうる。
　また、対象者の目を撮像することは、目のみを撮像する場合に限られず、目を含む顔を撮像する場合も含みうる。
　また、前記第一撮像データは、前記対象者の体の粘膜を撮像したことにより取得され、
　前記プロセッサは、前記第一撮像データに含まれる前記対象者の粘膜の色を前記参照データの粘膜の色と比較し、前記対象者の粘膜の色と前記参照データの粘膜の色とが一致していないと判断した場合は、前記対象者の粘膜と前記参照データの粘膜との色差に基づいて、前記第一補正値を算出してもよい。
　人間の体内の粘膜の色は、貧血や病気以外では殆ど変化することがない。上記の構成によれば、対象者の粘膜の撮像データを参照することにより、光環境の変化をより正確に把握することができる。
　なお、前記参照データは、予め取得された前記対象者の撮像データに基づいて生成されたデータでもよい。
　参照データは対象者の過去に取得された撮像データに基づいているので、光環境の変化をより正確に把握することができる。
　また、前記参照データは、予め取得された複数の人物の撮像データに基づいて生成されたデータでもよい。
　上記の構成によれば、対象者の参照データが予め登録されていない場合でも、第一補正値を算出することができる。例えば、一般的に、眼球における白目と黒目は、その大きさは個人差があるが、その色は人種関係なくあまり変わらない。したがって、予め取得した複数の人物の撮像データに含まれる白目と黒目から平均的な白目と黒目の色を算出することにより、虹彩を除いた平均的な色の白目と黒目を含む参照データが作成されてもよい。また、一般的に、人間の体内の粘膜の色は、人種に関係なく正常な健康状態の人は特定範囲の色を示す。したがって、予め取得した複数の人物の撮像データに含まれる粘膜から平均的な粘膜の色を算出することにより、平均的な色の粘膜を含む参照データが作成されてもよい。
　また、前記制御装置は、前記第一撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定し、前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差および前記基準となる測定スポットと前記他の測定スポットとの色差に基づいて、前記補正値を算出してもよい。
　例えば、撮像システムに対する対象者の位置や角度などによって、光源部からの光が対象者に均等に照らされずに対象者の身体の一部に影が形成される場合がある。上記の構成によれば、撮像データにおける測定スポット間の色差に基づいて補正値を算出しているので、光源部からの光が均等に照らされないことなどによる撮像データの明暗の発生を抑制できる。
　また、前記制御装置は、前記基準となる測定スポットと前記他の測定スポットとの色差に関するデータを前記撮像システムに関連する情報に対応付けて記憶装置へ出力してもよい。
　上記の構成によれば、測定スポット間の色差に関するデータを記憶装置に複数保存することにより、例えば、特定の場所に設置された撮像システムを用いて撮像した場合に対象者の身体のどの箇所が暗いかなどの傾向や昼と夜など時間帯による色差の変化の傾向を統計的に把握することができる。
　また、前記受付部は、前記撮像システムを用いて対象物を撮像したことにより取得された第二撮像データを受け付け、
　前記プロセッサは、前記第二撮像データに基づいて前記撮像システムの少なくとも一つのパラメータに対する第二補正値を算出し、
　前記受付部は、前記第二補正値に基づき少なくとも一つのパラメータが補正された前記撮像システムを用いて前記対象者を撮像したことにより取得された第三撮像データを受け付け、
　前記プロセッサは、前記第三撮像データに基づいて前記対象者の参照データを生成するように構成されてもよい。
　上記の構成によれば、第二補正値に基づいて撮像システムのキャリブレーションを実行することができる。例えば、複数の撮像システム間で共通の対象物を用いることにより、複数の撮像システムにて取得される撮像データの色（色相、明度および彩度）の均一化を図ることができる。そして、参照データは対象物に基づいたキャリブレーションが実行された撮像システムを用いて取得されるので、対象物に基づくキャリブレーションが実行された後の光環境の変化をより正確に把握することができる。
　また、前記プロセッサは、前記第三撮像データに基づいて、前記対象者が特定できない状態の前記参照データを生成してもよい。
　上記の構成によれば、記憶装置に保存される参照データから個人が特定されることを防止することができる。
　本開示の第四態様に係る制御装置は、
　撮像システムを用いて対象者を撮像したことにより取得される撮像データを受け付ける受付部と、
　前記撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定し、前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記基準となる測定スポットと前記他の測定スポットとの色差に基づいて前記撮像システムの少なくとも一つのパラメータに対する補正値を算出するように構成されているプロセッサと、
を備えている。
　本開示の第五態様に係る制御装置により実行されるコンピュータプログラムは、
　実行されることにより、前記制御装置に、
　撮像システムを用いて対象者を撮像したことにより取得される撮像データを受け付ける受付部と、
　前記撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定し、前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記基準となる測定スポットと前記他の測定スポットとの色差に基づいて前記撮像システムの少なくとも一つのパラメータに対する補正値を算出させる。
　本開示の第六態様に係る制御装置により実行可能なコンピュータプログラムが記憶された非一時的なコンピュータ可読媒体は、
　実行されることにより、前記制御装置に、
　撮像システムを用いて対象者を撮像したことにより取得される撮像データを受け付ける受付部と、
　前記撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定し、前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記基準となる測定スポットと前記他の測定スポットとの色差に基づいて前記撮像システムの少なくとも一つのパラメータに対する補正値を算出させる。
　例えば、撮像システムに対する対象者の位置や角度などによって、光源部からの光が対象者に均等に照らされずに対象者の身体の一部に影が形成される場合がある。上記の第四態様から第六態様の構成によれば、撮像データにおける基準となる測定スポットと前記他の測定スポットとの色差に基づいて補正値を算出しているので、光源部からの光が均等に照らされないことなどによる撮像データの明暗の発生を抑制できる。
　前記制御装置は、前記基準となる測定スポットと前記他の測定スポットとの色差に関するデータを前記撮像システムに関連する情報に対応付けて記憶装置へ出力してもよい。
　上記の構成によれば、基準となる測定スポットと前記他の測定スポットとの色差に関するデータを記憶装置に複数保存することにより、例えば、特定の場所に設置された撮像システムを用いて撮像した場合に対象者の身体のどの箇所が暗いかなどの傾向や昼と夜など時間帯による色差の変化の傾向を統計的に把握することができる。
　前記撮像データは、前記対象者の体の表皮を撮像したことにより取得され、
　前記プロセッサは、前記基準となる測定スポットの表皮の色と前記他の測定スポットの表皮の色が一致していないと判断した場合は、前記基準となる測定スポットと前記他の測定スポットとの表皮の色差に基づいて前記補正値を算出してもよい。
　前記撮像データは、前記対象者の体の粘膜を撮像したことにより取得され、
　前記プロセッサは、前記基準となる測定スポットの粘膜の色と前記他の測定スポットの粘膜の色が一致していないと判断した場合は、前記基準となる測定スポットと前記他の測定スポットとの粘膜の色差に基づいて前記補正値を算出してもよい。
　本開示によれば、光環境の変化による撮像データの変動を抑制することができる。
本実施形態に係る診断システムの具体的な機能構成を例示している。 撮像システムの具体的な機能構成を例示している。 撮像システムの具体的な構成を例示している。 診断システムにおいて実行されるキャリブレーションおよび参照データ登録の流れを例示している。 診断システムにおいて実行されるキャリブレーションおよび参照データ登録の流れを例示している。 撮像システムにより撮像された対象者の目の撮像データを例示している。 図６の撮像データから抽出された眼球データを例示している。 図６の撮像データから抽出された眼球データを例示している。 診断システムにおいて実行される参照データを用いたキャリブレーションの流れを例示している。 診断システムにおいて実行される参照データを用いたキャリブレーションの流れを例示している。 診断システムにおいて実行される参照データを用いたキャリブレーションの流れの別例を示している。 対象者の顔の撮像データにおいて特定された測定スポットを例示している。
　添付の図面を参照しつつ、本開示の実施形態について以下詳細に説明する。
　最初に、図１を参照して、本実施形態に係る診断システム１について以下に説明する。図１は、本実施形態に係る診断システム１の機能構成を例示するブロック図である。診断システム１は、対象者を撮像して対象者の身体の少なくとも一部が写り込んだ撮像データを取得し、取得した撮像データに基づいて対象者の診断を行う。本明細書において用いられる「対象者の身体の少なくとも一部」という用語は、後述する撮像デバイスにより撮像可能な、対象者の目、顔または体の表皮、あるいは、対象者の体の粘膜が含まれる。すなわち、撮像データの一例としては、対象者の目、顔または体の表皮、あるいは、対象者の体の粘膜が写り込んだ撮像データが挙げられる。診断の一例としては、対象者の顔の肌、体の一部の肌または体の粘膜（口蓋垂（のどちんこ）や外子宮口などの粘膜）の診断、対象者の顔年齢診断または性別診断、対象者の目の診断などが挙げられる。なお、肌は、頭皮などを含む表皮である。
　また、診断システム１は、対象物を撮像して、対象物が写り込んだ撮像データに基づいて撮像システム１０のキャリブレーションを実施する。すなわち、対象物は、キャリブレーションの基準となる物（以下、基準物とも称する）である。
　また、診断システム１は、対象者を撮像して、対象者の身体の少なくとも一部が写り込んだ撮像データに基づいて撮像システム１０のキャリブレーションを実施する。
　診断システム１は、撮像システム１０と、制御装置２０と、記憶装置３０と、を備えている。本例においては、制御装置２０と記憶装置３０は、サーバ装置４０内に設けられている。撮像システム１０は、無線または有線により通信ネットワーク５０に接続可能であり、通信ネットワーク５０を介してサーバ装置４０に通信接続される。なお、記憶装置３０は、サーバ装置４０の外に設けられてもよい。
　撮像システム１０は、対象者または対象物を撮像し、対象者の身体の少なくとも一部または対象物が写り込んだ撮像データ（以下、対象者または対象物の撮像データと称する）を取得するように構成されている。撮像システム１０は、取得した撮像データを制御装置２０へ送信する。
　図２は、撮像システム１０の具体的な機能構成を例示している。図３は、診断システム１の診断の一例として対象者の顔の診断（例えば、肌診断、顔年齢診断または性別診断など）を行う場合の撮像システム１０の構成を示している。図３の撮像システム１０は、例えば、対象者の自宅、化粧品会社が提供する店舗や販売ブース等に設置される。
　図２に例示されるように、撮像システム１０は、光源部１１と、撮像デバイス１２と、制御装置１３と、表示部１４と、入力部１５と、記憶装置１６と、センサ１７とを備えている。
　光源部１１は、対象者または対象物に向けて光を照射するように構成されている。光源部１１は、例えば、可視光線から不可視光線までの波長のうち所定の波長の光を発する一つまたは複数の光源を有する。図３に例示されるように、光源部１１は、表示部１４の左右の縁にそれぞれ取りけられた複数の光源１１１を有している。
　撮像デバイス１２は、光源部１１により光が照射された対象者または対象物を撮像し、対象者または対象物の撮像データを出力するように構成されている。撮像データは、例えば、２次元画像データ、３次元データなどである。３次元データには、３次元画像データや３次元形状データが含まれる。
　図３に例示されるように、撮像デバイス１２は、複数のカメラ１２１と投影デバイス１２２を有している。複数のカメラ１２１および投影デバイス１２２は、例えば、表示部１４の上部に取り付けられる。複数のカメラ１２１は、例えば、表示部１４の上部において左側、中央、右側の３か所に取り付けられる。カメラ１２１は、赤外線カメラや赤外線以外の波長の光を認識可能なカメラであり、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子などにより構成される。投影デバイス１２２は、対象者または対象物に向けて赤外線を照射するように構成されている。
　２次元画像データは、カメラ１２１により取得される。３次元画像データは、例えば、異なる位置のカメラ１２１から撮像した複数の２次元画像データに基づいて写真測量の手法により生成される。具体的には、対象者または対象物の３次元の画像データは、異なる位置のカメラ１２１から撮像した対象者または対象物の複数の２次元の画像を３次元の画像に正規化する処理を行ことにより生成される。３次元画像データは、３次元形状データに画像データを重ね合わせることにより生成されてもよい。３次元形状データは、例えば、カメラ１２１と投影デバイス１２２により取得される。具体的には、投影デバイス１２２により赤外線が照射された対象者または対象物をカメラ１２１により撮像することにより、対象者または対象物の３次元形状データが取得される。
　表示部１４は、撮像デバイス１２により取得した対象者または対象物の撮像データを表示するように構成されている。表示部１４は、例えば、液晶や有機ＥＬなどのディスプレイから構成されている。表示部１４は、ディスプレイの前面または後面に対象者または対象物からの光を反射する反射部材を有してもよい。この場合、診断が行われない場合は、鏡として使用することができる。図３に例示されるように、表示部１４には、対象者または対象物を配置するためのガイド（枠）Ａが表示されてもよい。図３では、対象者Ｔの顔が表示されている。
　入力部１５は、対象者からの入力操作を受け付けるように構成されている。対象者は、入力部１５を介して、所定の操作や所定の情報を入力することができる。入力部１５は、例えば、表示部１４のディスプレイの前面の全体または一部の領域に取り付けられた静電容量方式や抵抗膜方式のタッチセンサでもよい。これにより、対象者は、表示部１４の表示画面に触れることで所定の操作や所定の情報を入力することができる。
　記憶装置１６は、例えば入力部１５を介して対象者により入力または指定された情報などを保存するように構成されている。なお、記憶装置１６は、制御装置２０から送信された参照データを、対象者のアカウント情報に関連付けて保存するように構成されてもよい。
　センサ１７は、図３に例示されるように、例えば、近接センサ１７１と環境光センサ１７２を有している。近接センサ１７１は、対象者または対象物が撮像システム１０に対して所定の範囲に位置したことが検知する。環境光センサ１７２は、撮像システム１０の周囲の明るさを検知する。
　制御装置１３は、ＣＰＵ等のプロセッサとメモリが搭載され、メモリから読みだしたコンピュータプログラムをプロセッサが実行して、撮像システム１０の動作を制御するように構成されている。制御装置１３は、例えば、環境光センサ１７２により検知された周囲の明るさに基づいて、光源部１１の光源１１１の輝度を自動的に最適な値になるように制御する。制御装置１３は、例えば、近接センサ１７１により対象者または対象物が撮像システム１０に対して所定の範囲に位置したことが検知された場合に、光を照射するように光源部１１を制御する。あるいは、制御装置１３は、入力部１５を介して撮像操作や発光操作が入力された場合に、光を照射するように光源部１１を制御してもよい。制御装置１３は、例えば、近接センサ１７１により対象者または対象物が撮像システム１０に対して所定の範囲に位置したことが検知された場合に、対象物を撮像するように撮像デバイス１２を制御する。あるいは、制御装置１３は、入力部１５を介して撮像操作が入力された場合に、対象者または対象物を撮像するように撮像デバイス１２を制御してもよい。
　撮像システム１０は、図２および図３に例示される構成に限定されない。例えば、携帯電話や携帯情報端末が、撮像システム１０として使用されてもよい。
　また、撮像システム１０は、外部機器にケーブル接続するためのＵＳＢ接続口や外部機器に無線接続するためのブルートゥース（登録商標）を備えてもよい。
　また、撮像システム１０は、コンビニエンスストアやスーパなどの小売店などに設置されてもよい。この場合は、撮像システム１０は、対象者の撮像データの取得を行うように構成され、対象者の撮像データや診断結果に関する情報を対象者に提供しない構成としてもよい。
　図１に戻り、制御装置２０は、受付部２０１とプロセッサ２０２と出力部２０３とを備えている。受付部２０１は、撮像システム１０から対象者または対象物の撮像データを受け付け可能なインターフェースとして構成されている。プロセッサ２０２は、対象者または対象物の撮像データに基づいて所定の処理を行うように構成されている。
　例えば、プロセッサ２０２は、対象者を撮像して対象者の撮像データを取得し、取得した撮像データに基づいて対象者の診断を行うように構成されている。撮像データの一例としては、対象者の目、顔または体の表皮や対象者の体の粘膜が写り込んだ撮像データが挙げられる。診断の一例としては、対象者の顔の肌、体の一部の肌、または体の粘膜（口蓋垂（のどちんこ）や外子宮口などの粘膜）の診断、対象者の顔年齢診断または性別診断、対象者の目の診断などが挙げられる。
　また、プロセッサ２０２は、基準物を撮像したことにより取得された撮像データに基づいて撮像システム１０の少なくとも一つのパラメータの補正値を算出するように構成されている。具体的には、基準物の撮像データの色が基準物の基準データの色と一致していないと判断された場合は、プロセッサ２０２は、撮像システム１０の少なくとも一つのパラメータの補正値を算出するように構成される。プロセッサ２０２は、算出された補正値を出力部２０３から撮像システム１０へ出力する。補正値に基づき、撮像システム１０の少なくとも一つのパラメータが補正される。すなわち、補正値に基づき撮像システム１０のキャリブレーションが実施される。撮像システム１０の少なくとも一つのパラメータとは、具体的には、光源部１１の調光や調色または撮像デバイス１２の撮像パラメータを含みうる。撮像パラメータは、フォーカス、絞り、シャッター速度、階調補正や色補正などを含みうる。なお、基準物の撮像データのデザインが基準物の基準データのデザインと一致していないと判断された場合は、プロセッサ２０２は、例えば、基準物の撮像のやり直しを促す指示を表示部１４に表示させる。
　さらに、プロセッサ２０２は、撮像システム１０のキャリブレーション実施後に対象者を撮像したことにより取得された撮像データから対象者の参照データを生成する。例えば、プロセッサ２０２は、対象者の眼球の少なくとも一部を含む眼球データを抽出するように構成されうる。あるいは、プロセッサ２０２は、対象者の体の粘膜の一部を含む粘膜データを抽出するように構成されうる。プロセッサ２０２は、抽出された眼球データまたは粘膜データを対象者の参照データとして出力部２０３から記憶装置３０へ出力する。参照データは記憶装置３０に保存される。プロセッサ２０２は、眼球データまたは粘膜データを対象者を特定できない状態で抽出するように構成されてもよい。例えば、プロセッサ２０２は、虹彩（いわゆる茶目や緑目に相当する部分）を除いた白目のデータと黒目（瞳孔）のデータを眼球データとして抽出する。あるいは、プロセッサ２０２は、白目のデータと黒目（瞳孔）のデータに加えて、虹彩から複数の領域のデータを眼球データとして抽出しうる。虹彩の複数の領域のデータは、隣接する領域のデータ間にはデータとして抽出されない領域が存在し、隣接する領域を合成した場合にこれらのデータ間で不連続性が存在するように抽出される。また、例えば、プロセッサ２０２は、隣接する領域を合成した場合にこれらのデータ間で不連続性が存在する複数の領域のデータを粘膜データとして抽出しうる。
　また、プロセッサ２０２は、対象者を撮像したことにより取得された撮像データに含まれる身体の少なくとも一部の色と参照データの身体の少なくとも一部の色とを比較するように構成されている。プロセッサ２０２は、撮像データに含まれる身体の少なくとも一部の色と参照データの身体の少なくとも一部の色とが一致していないと判断した場合は、撮像システム１０の少なくとも一つのパラメータの補正値を算出するように構成される。プロセッサ２０２は、算出された補正値を出力部２０３から撮像システム１０へ出力する。補正値に基づき、撮像システム１０の少なくとも一つのパラメータが補正される。すなわち、補正値に基づき撮像システム１０のキャリブレーションが実施される。具体的には、光源部１１の調光や調色または撮像デバイス１２の撮像パラメータなどが調節される。
　例えば、身体の少なくとも一部は、眼球（目）である。すなわち、プロセッサ２０２は、対象者を撮像したことにより取得された撮像データに含まれる眼球の色と参照データの眼球の色とを比較するように構成されている。プロセッサ２０２は、撮像データに含まれる眼球の色と参照データの眼球の色とが一致していないと判断した場合は、撮像システム１０の少なくとも一つのパラメータの補正値を算出するように構成される。
　または、身体の少なくとも一部は、体内（口蓋垂（のどちんこ）や外子宮口など）の粘膜である。すなわち、プロセッサ２０２は、対象者を撮像したことにより取得された撮像データに含まれる粘膜の色と参照データの粘膜の色とを比較するように構成されている。プロセッサ２０２は、撮像データに含まれる粘膜の色と参照データの粘膜の色とが一致していないと判断した場合は、撮像システム１０の少なくとも一つのパラメータの補正値を算出するように構成される。
　参照データは、予め取得された対象者の撮像データに基づいて生成されたデータでありうる。例えば、参照データは、上述した基準物に基づいたキャリブレーション後に取得された対象者の撮像データに基づいて生成されたデータである。あるいは、参照データは、予め取得された複数の人物の撮像データに基づいて生成されたデータでありうる。例えば、眼球の参照データは、虹彩を除いた平均的な色の白目と黒目を含むデータである。平均的な白目と黒目の色は、予め取得した複数の人物の撮像データに含まれる白目と黒目から算出される。また、口蓋垂や外子宮口の参照データは、予め取得した複数の健常者の撮像データに含まれる口蓋垂や外子宮口の色から平均的な口蓋垂や外子宮口の色が算出される。
　また、プロセッサ２０２は、対象者を撮像したことにより取得された撮像データから対象者の身体の少なくとも一部における複数の測定スポットを特定し、複数の測定スポット間の色を比較するように構成されている。プロセッサ２０２は、複数の測定スポット間の色が一致していないと判断した場合、複数の測定スポット間の色差に基づいて撮像システム１０の少なくとも一つのパラメータの補正値を算出するように構成される。補正値に基づき、撮像システム１０の少なくとも一つのパラメータが補正される。すなわち、補正値に基づき撮像システム１０のキャリブレーションが実施される。具体的には、光源部１１の調光や調色または撮像デバイス１２の撮像パラメータなどが調節される。なお、この測定スポット間の色差に基づくキャリブレーションは、上記の参照データに基づくキャリブレーションと組み合わせて実施されてもよい。
　例えば、複数の測定スポットは、顔や体の表皮において特定される。すなわち、プロセッサ２０２は、複数の測定スポット間の表皮の色を比較するように構成されている。プロセッサ２０２は、複数の測定スポット間の表皮の色が一致していないと判断した場合、複数の測定スポット間の表皮の色差に基づいて撮像システム１０の少なくとも一つのパラメータの補正値を算出するように構成される。
　または、複数の測定スポットは、体の粘膜において特定される。すなわち、プロセッサ２０２は、複数の測定スポット間の粘膜の色を比較するように構成されている。プロセッサ２０２は、複数の測定スポット間の粘膜の色が一致していないと判断した場合、複数の測定スポット間の粘膜の色差に基づいて撮像システム１０の少なくとも一つのパラメータの補正値を算出するように構成される。
　記憶装置３０は、基準物を用いたキャリブレーションに使用される基準物の基準データを保存するように構成されている。
　また、記憶装置３０は、参照データを用いたキャリブレーションに使用される参照データを保存するように構成されている。例えば、記憶装置３０は、制御装置２０から送信された対象者の参照データを、対象者のアカウント情報および撮像システム１０（撮像デバイス１２）のシリアル番号に関連付けて保存するように構成されている。あるいは、記憶装置３０は、平均的な色の白目と黒目を含む参照データや平均的な口蓋垂や外子宮口の参照データを保存するように構成されている。
　また、記憶装置３０には、制御装置２０により実施された診断結果および診断が行われた対象者の撮像データが保存されうる。当該対象者の撮像データは、対象者が特定できない状態で保存される。診断結果および対象者の撮像データは、対象者のアカウント情報に基づいて参照データに関連付けられて保存されてもよい。
　また、記憶装置３０は、診断システム１を使用する対象者により登録されたアカウント情報（アカウント名およびパスワード）を保存するように構成されている。
　上述した診断システム１は、図１において破線で示すように、複数の撮像システム１０を備えてもよい。この場合、記憶装置３０は、多くの対象者の参照データや診断結果等の情報を保存および管理することができる。また、記憶装置３０は、診断システム１に属するすべての撮像システム１０に共通に用いられる基準物の基準データを保存する。さらに、診断システム１は、複数のサーバ装置４０を備えてもよい。例えば、複数のサーバ装置４０はそれぞれ、独自の診断アルゴリズムに基づいて診断を行う制御装置２０を有する。この場合、対象者は、複数のサーバ装置４０の中から所望の診断を行う制御装置２０を備えているサーバ装置４０を選択することができる。
（基準物を用いたキャリブレーションおよび対象者の参照データ登録）
　次に、図４および図５を参照して、本実施形態に係る診断システム１において実施される基準物を用いたキャリブレーションおよび対象者の参照データ登録について説明する。なお、本例においては、参照データとして眼球データを登録する場合について説明する。図４および図５において、ステップＳ１からステップＳ１５は、基準物に基づいたキャリブレーションの工程を示している。図５において、ステップＳ１６からステップＳ１９は、キャリブレーションの後に実行される対象者の参照データ登録の工程を示している。
　まず、図４に例示されるように、撮像システム１０は、対象者のアカウント情報を取得する（ステップＳ１）。アカウント情報には、対象者により設定されるアカウント名およびパスワードが含まれる。対象者は、例えば、入力部１５を介してアカウント名およびパスワードを入力する。撮像システム１０は、取得されたアカウント情報を制御装置２０へ送信する（ステップＳ２）。
　続いて、制御装置２０は、アカウント情報に基づいて対象者の認証処理を行う（ステップＳ３）。具体的には、制御装置２０は、取得されたアカウント情報が記憶装置３０に保存されている予め登録されたアカウント情報と一致するかを判断する。
　制御装置２０は、取得されたアカウント情報が予め登録されたアカウント情報と一致すると判断された場合、対対象者は診断システム１のユーザであると認証する。制御装置２０は、取得されたアカウント情報が予め登録されたアカウント情報と一致しないと判断された場合、対象者は診断システム１のユーザであるとの認証は不成立であると判断する。そして、制御装置２０は、認証結果を撮像システム１０へ送信する（ステップＳ４）。
　撮像システム１０は、認証不成立であるとの認証結果を取得した場合（ステップＳ５においてＮＯ）、処理はステップＳ１へ戻る。撮像システム１０は、例えばステップＳ１において対象者により再度入力されたアカウント情報を新規のアカウント名およびパスワードとして登録する。
　撮像システム１０は、認証成立であるとの認証結果を取得した場合（ステップＳ５においてＹＥＳ）、キャリブレーションおよび参照データ登録指示を取得したか判断する（ステップＳ６）。キャリブレーションおよび参照データ登録は、例えば、撮像システム１０の設置時や初期設定時、照明環境の変化時（光源部１１の交換時など）に実施される。対象者は、例えば入力部１５を介してキャリブレーションおよび参照データ登録指示を入力する。
　キャリブレーションおよび参照データ登録指示を取得していないと判断された場合（ステップＳ６においてＮＯ）、診断システム１により撮像データに基づく診断が行われる。具体的には、撮像システム１０により対象者が撮像されて、制御装置２０により撮像データに基づいて対象者の診断が行われる。例えば、対象者の顔や体または対象者の口蓋垂や外子宮口の撮像データに基づいて、肌診断や粘膜診断、顔年齢診断、性別診断または対象者の目の診断などが行われる。なお、本例においては、診断システム１により診断が行われているが、診断以外の処理が行われてもよい。または、処理が終了されてもよい。
　撮像システム１０は、キャリブレーションおよび参照データ登録指示を取得したと判断された場合（ステップＳ６においてＹＥＳ）、キャリブレーションに使用される基準物を特定する（ステップＳ７）。
　撮像システム１０は、例えば、キャリブレーションおよび参照データ登録指示が入力された場合、表示部１４にキャリブレーション用の基準物情報（画像や名称など）を表示させる。基準物は、キャリブレーション専用の基準物でもよく、または、広範囲に普及している飲料などの商品のパッケージ等でもよい。複数の基準物に関する情報が表示部１４に表示されてもよい。あるいは、対象者は、物品に印字されたバーコードを撮像デバイス１２で読み取ってもよい。この場合、撮像システム１０は、撮像デバイス１２により読み取られたバーコードに対応する物品がキャリブレーション用の基準物として使用可能であるかを確認するように構成されうる。対象者は、入力部１５を介して表示部１４に表示された基準物情報の中からキャリブレーションに使用する基準物を指定する。
　撮像システム１０は、基準物が特定されると、表示部１４に基準物を配置するガイド（枠）Ａを表示させる。撮像システム１０は、基準物の大きさがガイド（枠）Ａの大きさと一致するように基準物の角度や距離の調節を促す指示を表示部１４に表示させてもよい。対象者は、基準物がガイド（枠）Ａ内に表示されるように、基準物を配置する。
　続いて、撮像システム１０は、基準物を撮像し（ステップＳ８）、撮像データを撮像システム１０のシリアル番号情報とともに制御装置２０に送信する（ステップＳ９）。撮像データは２次元画像データや３次元画像データである。
　制御装置２０は、基準物の撮像データを受け取ると、基準物の基準データを取得する（ステップＳ１０）。基準物の基準データは、例えば、診断システム１に属するすべての撮像システム１０に共通に用いられる基準データであり、記憶装置３０に保存されている。制御装置２０は、記憶装置３０から基準物の基準データを取得する。
　続いて、制御装置２０は、基準物の撮像データと基準物の基準データとが一致するかを判断する（ステップＳ１１）。具体的には、基準物の撮像データのデザインおよび色と基準物の基準データのデザインおよび色とが一致するかが判断される。基準物の撮像データが基準物の基準データと一致すると判断された場合（ステップＳ１１においてＹＥＳ）、処理はステップＳ１６へ移る。制御装置２０は、例えば、基準物の撮像データのデザインと基準物の基準データのデザインが同じであり、且つ基準物の撮像データの色（色相、明度および彩度）と基準物の基準データの色（色相、明度および彩度）との色差が所定値以下の場合、両者は一致すると判断する。
　制御装置２０は、基準物の撮像データが基準物の基準データと一致しないと判断された場合（ステップＳ１１においてＮＯ）、基準物の撮像データのデザインと基準物の基準データのデザインが同じであり、且つ基準物の撮像データと基準物の基準データとの色差が補正範囲内であるかを判断する（ステップＳ１２）。基準物の撮像データのデザインと基準物の基準データのデザインが異なるか、または基準物の撮像データと基準物の基準データとの色差が補正範囲内ではないと判断された場合（ステップＳ１２においてＮＯ）、処理はステップＳ６へ戻る。
　制御装置２０は、基準物の撮像データのデザインと基準物の基準データのデザインが同じであり、且つ基準物の撮像データと基準物の基準データとの色差が補正範囲内であると判断された場合（ステップＳ１２においてＹＥＳ）、ステップＳ９において受け取った撮像システム１０のシリアル番号に基づいて撮像システム１０の機種を判別し、基準物の撮像データと基準物の基準データとの色差に基づいて撮像システム１０のパラメータに対する補正値を算出する（ステップＳ１３）。そして、制御装置２０は、補正値を撮像システム１０へ送信する（ステップＳ１４）。
　撮像システム１０は、制御装置２０からの補正値に基づいて、撮像システム１０のパラメータを補正する（ステップＳ１５）。例えば、撮像システム１０の制御装置１３は、補正値に基づき、光源部１１の調光や調色または撮像デバイス１２の撮像パラメータなどを調節する。撮像システム１０のパラメータの補正により、基準物の撮像データと基準物の基準データとの色差が小さくなる。なお、基準物の撮像データと基準データが一致するまで、ステップＳ６からステップＳ１５の処理は繰り返されてもよい。
　次に、撮像システム１０は、対象者を撮像する（ステップＳ１６）。撮像データは、２次元画像データや３次元画像データである。撮像システム１０は、例えば、図３に例示される表示部１４に対象者を配置するためのガイド（枠）Ａを表示させる。撮像システム１０は、対象者の顔の大きさがガイド（枠）Ａの大きさと一致するように顔の角度や距離の調節を促す指示を表示部１４に表示させてもよい。そして、撮像システム１０は、対象者により入力部１５を介して撮像指示が入力された場合、撮像デバイス１２により撮像を実行する。または、撮像システム１０は、顔の検出機能を有しており、対象者の顔がガイド（枠）Ａ内に配置されたことを検知した場合、撮像デバイス１２により撮像を実行してもよい。対象者の撮像データは、表示部１４に表示される。
　続いて、撮像システム１０は、撮像データと共に対象者のアカウント名および撮像システム１０のシリアル番号情報を、制御装置２０へ送信する（ステップＳ１７）。撮像システム１０は、例えば、対象者により入力部１５を介して参照データ登録指示が入力された場合に、撮像データを送信する。または、撮像システム１０は、撮像デバイス１２により撮像を実行された後、自動的に撮像データ等を送信してもよい。
　制御装置２０は、取得した撮像データから、眼球の少なくとも一部を含む眼球データを参照データとして抽出する（ステップＳ１８）。例えば、図７に例示されるように、図６に例示される対象者の左目の撮像データから、虹彩の全てを除いた白目と黒目を含む撮像データが眼球データとして抽出されうる。あるいは、図８に例示されるように、図６に例示される対象者の左目の虹彩における領域Ａ１、領域Ａ２および領域Ａ３の撮像データが眼球データＡ１０，Ａ２０，Ａ３０として抽出されうる。なお、例示した図６の領域と図８の抽出データは、三角形や長方形など異なる形状となっているが、撮像対象により全て同じ大きさと形状の三角形などで抽出してもよい。また、眼球データはこれらの例に限られない。例えば、眼球データは、虹彩の一部を除いた白目と黒目を含む撮像データでもよく、図７に例示される白目と黒目の撮像データと図８に例示される虹彩の複数領域の撮像データの両方を含みうる。また、虹彩において抽出される領域の数は、三つに限られず、一つまたは複数でもよい。
　続いて、制御装置２０は、抽出された眼球データを対象者の参照データとして対象者のアカウント名および撮像システム１０のシリアル番号に関連付けて記憶装置３０へ出力する（ステップＳ１９）。対象者の参照データは、アカウント名および撮像システム１０のシリアル番号に関連付けられて、記憶装置３０に登録および保存される。
　なお、本例においては、参照データは記憶装置３０へ保存されている。しかしながら、参照データは、撮像システム１０の記憶装置１６に保存されてもよい。すなわち、制御装置２０は、抽出された参照データを対象者のアカウント名と共に、参照データに関連付けられたシリアル番号に対応する撮像システム１０へ出力する。撮像システム１０は、受信した参照データをアカウント名に関連付けて記憶装置１６に保存させる。
　また、本例においては、ステップＳ１６において対象者の顔全体を撮像し、ステップＳ１７において対象者の顔が写り込んだ撮像データを制御装置２０へ送信している。しかしながら、撮像データは、例えば対象者の目元のみを撮像することにより取得されてもよい。あるいは、対象者の顔の撮像データから目元の領域のみのデータを切り取り、切り取った目元の領域の撮像データを制御装置２０へ送信するように構成されてもよい。
　また、本例においては、参照データとして左目の眼球データが抽出されている。しかしながら、参照データとして右目の眼球データや、両目の眼球データが抽出されてもよい。
（対象者の参照データを用いたキャリブレーション）
　次に、図９および図１０を参照しつつ、図５で取得された対象者の参照データを用いたキャリブレーションについて以下に説明する。図９および図１０は、診断システム１により対象者の診断を実行する前に実施されるキャリブレーションの流れを例示している。
　まず、図９に例示されるように、撮像システム１０は、対象者のアカウント情報を取得する（ステップＳ２１）。アカウント情報には、対象者により設定されるアカウント名およびパスワードが含まれる。対象者は、例えば、入力部１５を介してアカウント名およびパスワードを入力する。撮像システム１０は、取得されたアカウント情報を制御装置２０へ送信する（ステップＳ２２）。
　続いて、制御装置２０は、アカウント情報に基づいて対象者の認証処理を行う（ステップＳ２３）。具体的には、制御装置２０は、取得されたアカウント情報が記憶装置３０に保存されている予め登録されたアカウント情報と一致するかを判断する。
　制御装置２０は、取得されたアカウント情報が予め登録されたアカウント情報と一致すると判断された場合、対象者は診断システム１のユーザであると認証する。制御装置２０は、取得されたアカウント情報が予め登録されたアカウント情報と一致しないと判断された場合、対象者は診断システム１のユーザであるとの認証は不成立であると判断する。そして、制御装置２０は、認証結果を撮像システム１０へ送信する（ステップＳ２４）。
　撮像システム１０は、認証不成立であるとの認証結果を取得した場合（ステップＳ２５においてＮＯ）、処理はステップＳ２１へ戻る。撮像システム１０は、例えばステップＳ２１において対象者により再度入力されたアカウント情報を新規のアカウント名およびパスワードとして登録する。
　撮像システム１０は、認証成立であるとの認証結果を取得した場合（ステップＳ２５においてＹＥＳ）、撮像デバイス１２により対象者を撮像する（ステップＳ２６）。撮像データは、２次元画像データや３次元画像データである。例えば、撮像システム１０は、表示部１４に対象者を配置するガイド（枠）を表示させる。撮像システム１０は、対象者の顔の大きさがガイド（枠）の大きさと一致するように顔の角度や距離の調節を促す指示を表示部１４に表示させてもよい。そして、撮像システム１０は、対象者により入力部１５を介して撮像指示が入力された場合、撮像デバイス１２により撮像を実行する。または、撮像システム１０は、顔の検出機能を有しており、対象者の顔がガイド（枠）Ａ内に配置されたことを検知した場合、撮像デバイス１２により撮像を実行してもよい。対象者の顔の撮像データは、表示部１４に表示される。
　続いて、撮像システム１０は、キャリブレーション指示を取得したか判断する（ステップＳ２７）。対象者は、例えば、入力部１５を介してキャリブレーション指示を入力する。キャリブレーション指示を取得していないと判断された場合、診断システム１により撮像データに基づく診断が行われる。具体的には、ステップＳ２６で取得された撮像データが制御装置２０へ送信されて、制御装置２０により撮像データに基づいて対象者の診断が行われる。例えば、対象者の顔や体の一部の撮像データに基づいて、肌診断、顔年齢診断、性別診断または対象者の目の診断などが行われる。なお、診断システム１により診断以外の処理が行われてもよい。
　キャリブレーション指示を取得したと判断された場合（ステップＳ２７においてＹＥＳ）、撮像システム１０は、撮像データと共に、対象者のアカウント名および撮像システム１０のシリアル番号の情報を送信する（ステップＳ２８）。
　続いて、制御装置２０は、受信したアカウント名および撮像システム１０のシリアル番号に基づいて記憶装置３０から対象者の参照データを取得する（ステップＳ２９）。すなわち、制御装置２０は、記憶装置３０から、同一の撮像システム１０のシリアル番号および同一の対象者のアカウント名に関連する参照データを取得する。
　続いて、制御装置２０は、撮像システム１０から受信した撮像データの眼球の色と対象者の参照データの眼球の色が一致するかを判断する（ステップＳ３０）。例えば、参照データが図７や図８に示される左目の眼球データの場合、撮像システム１０から受信した撮像データに含まれる左目元領域データの眼球の色と図７や図８の参照データの眼球の色とが比較される。
　対象者の撮像データの眼球の色が対象者の参照データの眼球の色と一致すると判断された場合（ステップＳ３０においてＹＥＳ）、診断システム１により撮像データに基づく診断が実行される。例えば、制御装置２０は、対象者の撮像データに含まれる眼球データの色相・明度・彩度と対象者の参照データの色相、明度および彩度との色差が所定値以下の場合、両者は一致すると判断する。
　制御装置２０は、対象者の撮像データの眼球の色が対象者の参照データの眼球の色と一致しないと判断された場合（ステップＳ３０においてＮＯ）、対象者の撮像データの眼球の色と対象者の参照データの眼球の色との色差が補正範囲内であるかを判断する（ステップＳ３１）。
　対象者の撮像データの眼球の色と対象者の参照データの眼球の色との色差が補正範囲内ではないと判断された場合（ステップＳ３１においてＮＯ）、処理はステップＳ２６へ戻る。
　制御装置２０は、対象者の撮像データの眼球の色と対象者の参照データの眼球の色との色差が補正範囲内であると判断された場合（ステップＳ３１においてＹＥＳ）、ステップＳ２８において受け取った撮像システム１０のシリアル番号に基づいて撮像システム１０の機種を判別する。そして、制御装置２０は、対象者の撮像データの眼球の色と対象者の参照データの眼球の色との色差に基づいて、撮像システム１０のパラメータに対する補正値を算出する（ステップＳ３２）。制御装置２０は、補正値を撮像システム１０へ送信する（ステップＳ３３）。
　撮像システム１０は、制御装置２０から取得した補正値に基づいて、撮像システム１０のパラメータに対して補正を実行する（ステップＳ３４）。例えば、制御装置１３は、受信した補正値に基づき、光源部１１の調光や調色または撮像デバイス１２の撮像パラメータなどを調節する。これにより、補正後に取得される対象者の撮像データの眼球の色と対象者の参照データの眼球の色との色差が小さくなる。なお、対象者の撮像データの眼球の色が対象者の参照データの眼球の色と一致するまで、ステップＳ２６からステップＳ３４の処理は繰り返されてもよい。
　続いて、撮像システム１０は、撮像デバイス１２により対象者を再度撮像する（ステップＳ３５）。撮像された撮像データは表示部１４へ表示される。そして、撮像データに基づいて診断が診断システム１により実行される。すなわち、撮像データが制御装置２０へ送信されて、制御装置２０により撮像データに基づいて対象者の診断が行われる。
　なお、本例においては、参照データは記憶装置３０に保存されており、ステップＳ２９において、制御装置２０は記憶装置３０から参照データを取得している。しかしながら、参照データが撮像システム１０の記憶装置１６に保存されている場合は、制御装置２０は、撮像システム１０から参照データを取得してもよい。
　具体的には、撮像システム１０は、キャリブレーション指示を取得したと判断された場合（ステップＳ２７においてＹＥＳ）、記憶装置１６から対象者のアカウント名に関連付けられた参照データを取得する。そして、撮像システム１０は、ステップＳ２８において、撮像データ、アカウント名および撮像システム１０のシリアル番号の情報と共に参照データを送信する。
　また、本例においては、ステップＳ２６において、撮像システム１０は、対象者の顔の撮像データを取得している。しかしながら、例えば、対象者の目の診断が行われる場合は、撮像システム１０は、対象者の目元を少なくとも含む領域の撮像データを取得し、制御装置２０へ送信するように構成されてもよい。
　また、本例においては、ステップＳ２８において、撮像システム１０は、対象者の顔の撮像データを制御装置２０へ送信している。しかしながら、例えば、対象者の目の診断が行われる場合は、撮像システム１０は、対象者の顔の撮像データから目元の領域のみのデータを切り取り、切り取った目元の領域の撮像データを制御装置２０へ送信するように構成されてもよい。
　また、本例においては、ステップＳ３５において、補正値に基づいてパラメータが補正された撮像システム１０により再度撮像されることにより取得された撮像データに基づいて診断が実行されている。しかしながら、ステップＳ３５の代わりに、制御装置２０から送信された補正値に基づいてステップＳ２６で取得された撮像データが補正されて、補正された撮像データに基づいて診断が行われてもよい。
　また、本例においては、診断システム１は、同一の撮像システム１０に関連する参照データに基づいて撮像システム１０のキャリブレーションを実施している。しかしながら、同一対象者の参照データであれば、参照データは、異なる撮像システム１０のキャリブレーションを実施するために使用されうる。例えば、撮像システム１０に関連する参照データを新たに使用される撮像システム１０のキャリブレーション（各種パラメータの調整）に使用されうる。
　上述したように、本実施形態に係る診断システム１において、制御装置２０は、撮像データに含まれる対象者の眼球の色と対象者の参照データの眼球の色とが一致していないと判断した場合、撮像データの眼球と参照データの眼球との色差に基づいて、撮像システム１０の少なくとも一つのパラメータに対する補正値を算出している。
　このような構成によれば、対象者の表皮の撮像データを参照する場合と比較して、対象者の眼球の撮像データを参照することにより、光環境の変化をより正確に把握することができる。例えば、光環境の一つである照明環境の変化や撮像システム１０の設置場所の変更による光環境の変化を把握することができる。補正値に基づいて撮像システム１０のキャリブレーションを実行することにより、結果として、光環境の変化による撮像データの変動を抑制することができる。
　さらに参照データは対象者の過去に取得された撮像データに基づいているので、光環境の変化をより正確に把握することができる。
　また、基準物が写り込んだ撮像データに基づいて撮像システム１０の少なくとも一つのパラメータに対する補正値が算出されているので、例えば、複数の撮像システム１０間で共通の基準物を用いることにより、複数の撮像システム１０にて取得される撮像データの色（色相、明度および彩度）の均一化を図ることができる。
　また、参照データは基準物に基づいたキャリブレーションが実行された撮像システムを用いて取得されるので、基準物に基づくキャリブレーションが実行された後の光環境の変化をより正確に把握することができる。
　また、制御装置２０は、眼球データを対象者が特定できない状態で抽出している。具体的には、図７および図８に示すような眼球データが抽出されている。これにより、記憶装置３０または記憶装置１６に保存される参照データから個人が特定されることを防止することができる。
　なお、本実施形態においては、対象者に関連付けられた参照データに基づいてキャリブレーションが実施されている。すなわち、参照データは、予め取得された対象者の撮像データに基づいて生成されたデータである。しかしながら、参照データは、例えば、予め取得された複数の人物の撮像データに基づいて生成されたデータでもよい。一般的に、眼球における白目と黒目は、その大きさは個人差があるが、その色は人種に関係なくあまり変わらない。したがって、予め取得した複数の人物の撮像データに含まれる白目と黒目から平均的な白目と黒目の色を算出することにより、虹彩を除いた平均的な色の白目と黒目を含む参照データが作成されてもよい。このような構成によれば、対象者の参照データが予め登録されていない場合でも、補正値を算出することができる。
（複数の測定スポット間の色差に基づいたキャリブレーション）
　次に、図１１を参照しつつ、撮像データにおける複数の測定スポット間の色差に基づいたキャリブレーションについて説明する。
　まず、撮像システム１０は、撮像デバイス１２により対象者を撮像する（ステップＳ４１）。撮像データは、２次元画像データや３次元画像データである。例えば、撮像システム１０は、顔の検出機能を有しており、対象者の顔が表示部１４のガイド（枠）Ａ内に配置されたことを検知した場合、撮像デバイス１２により撮像を実行する。
　撮像システム１０は、撮像データと共に、撮像システム１０のシリアル番号の情報を送信する（ステップＳ４２）。
　続いて、制御装置２０は、撮像データから複数の測定スポットを特定し、複数の測定スポット間の表皮の色が一致するかを判断する（ステップＳ４３）。例えば、図１２に示されるように、対象者の顔の撮像データにおいて複数の測定スポットＳ、Ｓ０が特定される。そして、特定された測定スポットＳの表皮の色が基準となる測定スポットＳ０の表皮の色と比較される。本例においては、制御装置２０は、例えば鼻先の測定スポットＳ０を基準値としている。
　制御装置２０は、鼻先の測定スポットＳ０の表皮と測定スポットＳの表皮の色相、明度および彩度の色差が所定値以下の場合、測定スポットＳの表皮の色は鼻先の測定スポットＳ０の表皮の色と一致すると判断する。この鼻先の測定スポットＳ０との比較判断は、全ての測定スポットＳに対して行われる。すべての測定スポットＳの表皮の色が鼻先の測定スポットＳ０と一致すると判断されると、複数の測定スポット間の表皮の色が一致したと判断される。
　複数の測定スポット間の表皮の色が一致すると判断された場合（ステップＳ４３においてＹＥＳ）、診断システム１により撮像データに基づく診断が実行される。
　また、制御装置２０は、複数の測定スポット間の表皮の色が一致しないと判断された場合（ステップＳ４３においてＮＯ）、複数の測定スポット間の表皮の色差が補正範囲内であるかを判断する（ステップＳ４４）。例えば、鼻先の測定スポットＳ０の表皮と各測定スポットＳの表皮との色差が補正範囲内であるか判断されて、鼻先の測定スポットＳ０の表皮に対するすべての測定スポットＳの表皮の色差が補正範囲内であると判断されると、複数の測定スポット間の表皮の色差が補正範囲内であると判断される。
　複数の測定スポット間の表皮の色差が補正範囲内ではないと判断された場合（ステップＳ４４においてＮＯ）、処理はステップＳ４１へ戻る。この時、撮像システム１０は、顔全体（複数の測定スポット）に光が均等に照らされるように、照明環境の調節を促す指示を表示部１４に表示させてもよい。
　また、制御装置２０は、複数の測定スポット間の表皮の色差が補正範囲内であると判断された場合（ステップＳ４４においてＹＥＳ）、ステップＳ４２において受け取った撮像システム１０のシリアル番号に基づいて撮像システム１０の機種を判別する。そして、制御装置２０は、複数の測定スポット間の表皮の色差に基づいて、撮像システム１０のパラメータに対する補正値を算出する（ステップＳ４５）。制御装置２０は、補正値を撮像システム１０へ送信する（ステップＳ４６）。
　撮像システム１０は、制御装置２０から取得した補正値に基づいて、撮像システム１０のパラメータに対して補正を実行する（ステップＳ４７）。例えば、制御装置１３は、受信した補正値に基づき、光源部１１の調光や調色または撮像デバイス１２の撮像パラメータなどを調節する。光源部１１が複数の光源１１１を有する場合、各測定スポットＳに対応する光源１１１の調光や調色が、当該測定スポットＳの表皮と基準となる測定スポットＳ０の表皮との色差に基づいて調節されうる。例えば、撮像システム１０に対する対象者の位置や角度などにより影が形成されている測定スポットＳに対応する光源１１１の調光や調色が調節されることにより、当該測定スポットＳは他の測定スポットＳと同様な明るさで照らされる。これにより、補正後に取得される撮像データにおける対象者の複数の測定スポット間の表皮の色差が小さくなる。なお、対象者の複数の測定スポット間の表皮の色が一致するまで、ステップＳ４１からステップＳ４７の処理は繰り返されてもよい。
　続いて、撮像システム１０は、撮像デバイス１２により対象者を再度撮像する（ステップＳ４８）。そして、撮像データに基づいて診断が診断システム１により実行される。すなわち、撮像データが制御装置２０へ送信されて、制御装置２０により撮像データに基づいて対象者の診断が行われる。
　なお、本例において、ステップＳ４１の前に、図９のステップＳ２１からステップＳ２５に例示される対象者のアカウント情報に基づく認証処理が行われてもよい。
　また、複数の測定スポット間の表皮の色差に関するデータは、撮像システム１０に関連する情報（例えば、撮像システム１０のシリアル番号、撮像システム１０が撮像データを取得した時刻情報、など）に対応付けられて記憶装置３０に保存されてもよい。
　上述したように、本実施形態に係る診断システム１において、制御装置２０は、撮像データにおける測定スポット間の表皮の色差に基づいて撮像システム１０の補正値を算出しているので、光源部からの光が均等に照らされないことなどによる撮像データの明暗の発生を抑制できる。
　また、例えば、複数の測定スポット間の表皮の色差に関するデータが撮像システム１０のシリアル番号に対応付けられて保存される場合は、対応する撮像システム１０を用いた場合に顔のどの箇所が暗いかなどの傾向を統計的に把握することができる。複数の測定スポット間の表皮の色差に関するデータがさらに撮像データを取得した時刻情報に対応付けられて保存される場合、対応する撮像システム１０を用いた場合の昼と夜など時間帯による色差の変化の傾向を統計的に把握することができる。制御装置２０は、例えば、ステップＳ４５において、これらの統計的なデータも考慮して、撮像システム１０の補正値を算出してもよい。
　本実施形態の測定スポット間の表皮の色差に基づくキャリブレーションは、図９および図１０に例示される参照データに基づくキャリブレーションに適用されうる。例えば、対象者の撮像データの眼球の色と参照データ（対象者の参照データまたは平均的な色の白目と黒目を含む参照データ）の眼球の色との色差と、対象者の撮像データにおける複数の測定スポット間の表皮の色差に基づいて、撮像システム１０のパラメータに対する補正値が算出されてもよい。
　具体的には、図９および図１０におけるステップＳ３１とステップＳ３２に、図１１のステップＳ４３とステップＳ４４が挿入される。あるいは、図９および図１０におけるステップＳ３２の後に図１１のステップＳ４３からステップＳ４５が挿入されうる。この場合は、ステップＳ４５では、ステップＳ３２で算出された補正値が複数の測定スポット間の色差に基づいて修正される。
　いずれの場合においても、ステップＳ４３およびステップＳ４４において測定スポット間の表皮の色の比較および測定スポット間の表皮の色差を求める場合、測定スポットＳ０を基準値とする代わりに、参照データの眼球の色を基準値として用いてもよい。
（実施形態の他の変形例）
　上述したキャリブレーションの具体例では、撮像データに含まれる対象者の眼球の色を参照データの眼球の色と比較し、対象者の眼球と前記参照データの眼球との色差に基づいて、撮像システム１０の少なくとも一つのパラメータに対する補正値を算出することについて説明した。しかしながら、眼球でなく体の粘膜の撮像に対しても同様の撮像システム１０を適用することができる。すなわち、対象者の眼球でなく、対象者の口蓋垂（のどちんこ）や外子宮口などの粘膜を利用して、対象者の粘膜と参照データの粘膜との色差に基づいて、撮像システム１０の少なくとも一つのパラメータに対する補正値を算出するように構成されてもよい。そして、眼球と同様に、口蓋垂や外子宮口の参照データとして平均的な色を含む参照データを生成してもよい。
　また、撮像データから対象者の体の粘膜における少なくとも二つの測定スポットを特定し、測定スポットの粘膜の色が互いに一致していないと判断した場合は、測定スポット間の粘膜の色差に基づいて撮像システム１０の少なくとも一つのパラメータに対する補正値を算出するように構成してもよい。例えば、対象者の体の粘膜の撮像データにおいて基準となる測定スポットを含む複数の測定スポットが特定される。そして、複数の測定スポットのうち基準となる測定スポットの粘膜の色とそれ以外の測定スポットの粘膜の色とが比較される。基準となる測定スポットは、照明の当たり具合などから適宜設定されうる。
　これまで説明したプロセッサ２０２の各機能は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理（肌診断や粘膜診断、顔年齢診断、性別診断、部位データ抽出、異物加工、反転処理、回転処理等の処理）を実行するコンピュータプログラムが記憶されうる。コンピュータプログラムは、人工知能（ＡＩ）プログラムを含んでもよい。ＡＩプログラムは、多層のニューラルネットワークを用いた教師有りまたは教師なし機械学習（特に、ディープラーニング）によって構築されたプログラム（学習済みモデル）である。ＲＯＭは、非一時的なコンピュータ可読媒体の一例である。汎用マイクロプロセッサは、ＲＯＭ上に記憶されたコンピュータプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。上記のコンピュータプログラムは、汎用メモリにプリインストールされてもよいし、通信ネットワークを介して外部サーバ装置からダウンロードされて汎用メモリにインストールされてもよい。この場合、外部サーバ装置は、非一時的なコンピュータ可読媒体の一例である。
　また、プロセッサ２０２の各機能は、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの上記のコンピュータプログラムを実行可能な専用集積回路によって実現されてもよい。この場合、当該専用集積回路に含まれる記憶素子に上記のコンピュータプログラムがプリインストールされる。当該記憶素子は、非一時的なコンピュータ可読媒体の一例である。プロセッサ２０２の各機能は、汎用マイクロプロセッサと専用集積回路の組合せによっても実現されうる。
　上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。
　上記の実施形態においては、各キャリブレーションおよび参照データ登録は、診断システム１に対して実施されている。しかしながら、各キャリブレーションおよび参照データ登録は、キャリブレーションが必要なあらゆる処理やシステムにおいて実施されうる。
　上記の実施形態においては、参照データに基づくキャリブレーションおよび測定スポット間の表皮の色差に基づくキャリブレーションは、診断システム１による対象者の診断を実行する前に実施されている。しかしながら、これらのキャリブレーションは、撮像システム１０により取得される撮像データに基づいて行われる様々な処理を実施する前に行われてもよい。
　上記の実施形態においては、基準物の基準データは、記憶装置３０に保存されている。しかしながら、基準物の基準データは、制御装置２０の記憶装置（図示なし）に保存されていてもよい。
　上記の実施形態では、記憶装置３０は、サーバ装置４０に設けられている。しかしながら、記憶装置３０は、例えば、無線または有線により通信ネットワーク５０に接続可能であり、通信ネットワーク５０を介して撮像システム１０やサーバ装置４０に通信接続されるように構成されてもよい。
　上記の実施形態では、光源部１１は、図３に例示されるように撮像デバイス１２と同じハウジング内に設けられている。しかしながら、例えば、光源部１１は、撮像デバイス１２が設けられているハウジングが設置されている部屋等に設置されてもよい。
　上記の実施形態では、制御装置２０は、抽出された眼球データを参照データとして記憶装置３０へ出力している。しかしながら、制御装置２０は、抽出された眼球データに回転処理や反転処理を行うように構成されてもよい。例えば、図８に例示される眼球データＡ１０，Ａ２０，Ａ３０の各々に対して回転処理や反転処理が行われうる。回転処理または反転処理された眼球データは参照データとして記憶装置３０へ出力されて記憶装置３０において保存される。回転の角度や反転の向き（表裏）の情報は記憶装置３０には保存されない。
　例えば、制御装置２０は、乱数生成プログラムにより生成させた数値を用いて、眼球データを回転および／または反転させる。乱数生成プログラムは、例えば、各眼球データに対して０．１～３５９．９の間のランダムな数値を生成させる。眼球データが３次元データの場合は、眼球データは２次元画像データの平面回転および／または反転するのでなく、Ｘ軸、Ｙ軸、Ｚ軸ごとに対して個別に回転および／または反転されてもよい。また、３次元データの場合は、各眼球データに対して抽出後の原点の位置をランダムな数値を用いて再設定してもよい。
　眼球データの回転処理および反転処理は、乱数生成プログラムにより生成させた数値を使用するのではなく、対象者が撮像システム１０の入力部１５から入力した保護キーを用いて回転および反転を行ってもよい。この場合、対象者は、自身が入力した保護キーを記憶しているため、図９および図１０のキャリブレーションを実施する場合、撮像システム１０の入力部１５から参照データ保存時に入力した保護キーを再び入力することにより、参照データを本来の角度と向き（表裏）に複合させることが可能となる。
　抽出された眼球データに対して画像回転処理や画像反転処理がなされた場合、データに対する反転の有無や各データの本来の角度を把握することができないので、画像回転処理や画像反転処理がなされた複数の眼球データを合成しても、合成されたデータは対象者が特定できない状態となる。したがって、参照データを回転処理または反転処理された状態で記憶装置３０または記憶装置１６に保存されることにより、参照データから個人が特定されることを防止することができる。

Claims (19)

  1. 　撮像システムを用いて対象者を撮像したことにより取得された第一撮像データを受け付ける受付部と、
    　前記第一撮像データに含まれる前記対象者の身体の少なくとも一部の色を参照データの身体の少なくとも一部の色と比較し、前記対象者の身体の少なくとも一部の色と前記参照データの身体の少なくとも一部の色とが一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差に基づいて、前記撮像システムの少なくとも一つのパラメータに対する第一補正値を算出するように構成されているプロセッサと、
    を備えている、制御装置。
  2. 　前記第一撮像データは、前記対象者の目を撮像したことにより取得され、
    　前記プロセッサは、前記第一撮像データに含まれる前記対象者の眼球の色を前記参照データの眼球の色と比較し、前記対象者の眼球の色と前記参照データの眼球の色とが一致していないと判断した場合は、前記対象者の眼球と前記参照データの眼球との色差に基づいて、前記第一補正値を算出する、請求項１に記載の制御装置。
  3. 　前記第一撮像データは、前記対象者の体の粘膜を撮像したことにより取得され、
    　前記プロセッサは、前記第一撮像データに含まれる前記対象者の粘膜の色を前記参照データの粘膜の色と比較し、前記対象者の粘膜の色と前記参照データの粘膜の色とが一致していないと判断した場合は、前記対象者の粘膜と前記参照データの粘膜との色差に基づいて、前記第一補正値を算出する、請求項１に記載の制御装置。
  4. 　前記参照データは、予め取得された前記対象者の撮像データに基づいて生成されたデータである、請求項１から請求項３のいずれか一項に記載の制御装置。
  5. 　前記参照データは、予め取得された複数の人物の撮像データに基づいて生成されたデータである、請求項１から請求項３のいずれか一項に記載の制御装置。
  6. 　前記プロセッサは、前記第一撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定し、前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差および前記基準となる測定スポットと前記他の測定スポットとの色差に基づいて、前記第一補正値を算出する、請求項１から請求項５のいずれか一項に記載の制御装置。
  7. 　前記プロセッサは、前記基準となる測定スポットと前記他の測定スポットとの色差に関するデータを前記撮像システムに関連する情報に対応付けて記憶装置へ出力する、請求項６に記載の制御装置。
  8. 　前記受付部は、前記撮像システムを用いて対象物を撮像したことにより取得された第二撮像データを受け付け、
    　前記プロセッサは、前記第二撮像データに基づいて前記撮像システムの少なくとも一つのパラメータに対する第二補正値を算出し、
    　前記受付部は、前記第二補正値に基づき少なくとも一つのパラメータが補正された前記撮像システムを用いて前記対象者を撮像したことにより取得された第三撮像データを受け付け、
    　前記プロセッサは、前記第三撮像データに基づいて前記対象者の参照データを生成するように構成されている、請求項４に記載の制御装置。
  9. 　前記プロセッサは、前記第三撮像データに基づいて、前記対象者が特定できない状態の前記参照データを生成する、請求項８に記載の制御装置。
  10. 　撮像システムを用いて対象者を撮像したことにより取得される撮像データを受け付ける受付部と、
    　前記撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定し、前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記基準となる測定スポットと前記他の測定スポットとの色差に基づいて前記撮像システムの少なくとも一つのパラメータに対する補正値を算出するように構成されているプロセッサと、
    を備えている、制御装置。
  11. 　前記プロセッサは、前記基準となる測定スポットと前記他の測定スポットとの色差に関するデータを前記撮像システムに関連する情報に対応付けて記憶装置へ出力する、請求項８に記載の制御装置。
  12. 　前記撮像データは、前記対象者の体の表皮を撮像したことにより取得され、
    　前記プロセッサは、前記基準となる測定スポットの表皮の色と前記他の測定スポットの表皮の色が一致していないと判断した場合は、前記基準となる測定スポットと前記他の測定スポットとの表皮の色差に基づいて前記補正値を算出する、請求項１０または請求項１１に記載の制御装置。
  13. 　前記撮像データは、前記対象者の体の粘膜を撮像したことにより取得され、
    　前記プロセッサは、前記基準となる測定スポットの粘膜の色と前記他の測定スポットの粘膜の色が一致していないと判断した場合は、前記基準となる測定スポットと前記他の測定スポットとの粘膜の色差に基づいて前記補正値を算出する、請求項１０または請求項１１に記載の制御装置。
  14. 　制御装置により実行されるコンピュータプログラムであって、
    　実行されることにより、前記制御装置に、
    　撮像システムを用いて対象者を撮像したことにより取得された撮像データを受け付けさせ、
    　前記撮像データに含まれる前記対象者の身体の少なくとも一部の色を参照データの身体の少なくとも一部の色と比較し、前記対象者の身体の少なくとも一部の色と前記参照データの身体の少なくとも一部の色とが一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差に基づいて、前記撮像システムの少なくとも一つのパラメータに対する補正値を算出させる、
    コンピュータプログラム。
  15. 　実行されることにより、前記制御装置に、
    　前記第一撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定させ、
    前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差および前記基準となる測定スポットと前記他の測定スポットとの色差に基づいて、前記補正値を算出させる、請求項１４に記載のコンピュータプログラム。
  16. 　制御装置により実行されるコンピュータプログラムであって、
    　実行されることにより、前記制御装置に、
    　撮像システムを用いて対象者を撮像したことにより取得される撮像データを受け付ける受付部と、
    　前記撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定し、前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記基準となる測定スポットと前記他の測定スポットとの色差に基づいて前記撮像システムの少なくとも一つのパラメータに対する補正値を算出させる、
    コンピュータプログラム。
  17. 　制御装置により実行可能なコンピュータプログラムが記憶された非一時的なコンピュータ可読媒体であって、
    　実行されることにより、前記制御装置に、
    　撮像システムを用いて対象者を撮像したことにより取得された撮像データを受け付けさせ、
    　前記撮像データに含まれる前記対象者の身体の少なくとも一部の色を参照データの身体の少なくとも一部の色と比較し、前記対象者の身体の少なくとも一部の色と前記参照データの身体の少なくとも一部の色とが一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差に基づいて、前記撮像システムの少なくとも一つのパラメータに対する補正値を算出させる、
    コンピュータ可読媒体。
  18. 　前記制御装置に、
    　前記撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定させ、
    前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記対象者の身体の少なくとも一部と前記参照データの身体の少なくとも一部との色差および前記基準となる測定スポットと前記他の測定スポットとの色差に基づいて、前記撮像システムの少なくとも一つのパラメータに対する補正値を算出させる、請求項１７に記載のコンピュータ可読媒体。
  19. 　制御装置により実行可能なコンピュータプログラムが記憶された非一時的なコンピュータ可読媒体であって、
    　実行されることにより、前記制御装置に、
    　撮像システムを用いて対象者を撮像したことにより取得される撮像データを受け付ける受付部と、
    　前記撮像データから前記対象者の身体の少なくとも一部における少なくとも二つの測定スポットを特定し、前記測定スポットのうち基準となる前記測定スポットの色と他の前記測定スポットの色が一致していないと判断した場合は、前記測定スポット間の色差に基づいて前記撮像システムの少なくとも一つのパラメータに対する補正値を算出させる、
    コンピュータ可読媒体。
     
     
PCT/JP2021/012341 2021-03-24 2021-03-24 制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体 WO2022201379A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/012341 WO2022201379A1 (ja) 2021-03-24 2021-03-24 制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/012341 WO2022201379A1 (ja) 2021-03-24 2021-03-24 制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2022201379A1 true WO2022201379A1 (ja) 2022-09-29

Family

ID=83396639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012341 WO2022201379A1 (ja) 2021-03-24 2021-03-24 制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2022201379A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158954A (ja) * 2005-12-07 2007-06-21 Brother Ind Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2009172181A (ja) * 2008-01-25 2009-08-06 Seiko Epson Corp 健康診断方法、および健康診断装置
JP2010045615A (ja) * 2008-08-13 2010-02-25 Olympus Corp 撮像装置および内視鏡システム
WO2016067892A1 (ja) * 2014-10-28 2016-05-06 コニカミノルタ株式会社 健康度出力装置、健康度出力システムおよびプログラム
JP2019531788A (ja) * 2016-08-30 2019-11-07 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド 自己色調補正による創傷評価のための画像撮影方法及びシステム
JP2020048945A (ja) * 2018-09-27 2020-04-02 株式会社Ｍｂｐ．Ｎｅｘｔ サーバ、端末及び肌色診断方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158954A (ja) * 2005-12-07 2007-06-21 Brother Ind Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2009172181A (ja) * 2008-01-25 2009-08-06 Seiko Epson Corp 健康診断方法、および健康診断装置
JP2010045615A (ja) * 2008-08-13 2010-02-25 Olympus Corp 撮像装置および内視鏡システム
WO2016067892A1 (ja) * 2014-10-28 2016-05-06 コニカミノルタ株式会社 健康度出力装置、健康度出力システムおよびプログラム
JP2019531788A (ja) * 2016-08-30 2019-11-07 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド 自己色調補正による創傷評価のための画像撮影方法及びシステム
JP2020048945A (ja) * 2018-09-27 2020-04-02 株式会社Ｍｂｐ．Ｎｅｘｔ サーバ、端末及び肌色診断方法

Similar Documents

Publication Publication Date Title
US20200380594A1 (en) Virtual try-on system, virtual try-on method, computer program product, and information processing device
US10945637B2 (en) Image based jaundice diagnosing method and apparatus and image based jaundice diagnosis assisting apparatus
US20140275948A1 (en) Information terminal device
KR101998595B1 (ko) 이미지 기반 황달 진단 방법 및 장치
US20160206204A1 (en) Organ Imaging Device
CN109472189B (zh) 瞳孔半径补偿
US11967075B2 (en) Application to determine reading/working distance
JP2007295946A (ja) 酒気帯び検知システム及び酒気帯び検知方法
CN111902070A (zh) 左眼和右眼凝视追踪数据的可靠性
JP7344520B2 (ja) 疾患者判別装置及び疾患者判別システム
JP2015106252A (ja) 顔向き検出装置及び３次元計測装置
JP6957048B2 (ja) 眼部画像処理装置
JP6900994B2 (ja) 視線検出装置及び視線検出方法
KR20220068330A (ko) 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치
JP2017228316A (ja) 検知装置、検知方法、および、プログラム
WO2022201379A1 (ja) 制御装置、コンピュータプログラムおよび非一時的なコンピュータ可読媒体
JP7046347B2 (ja) 画像処理装置及び画像処理方法
JP2020140637A (ja) 瞳孔検出装置
WO2022113301A1 (ja) 制御装置、コンピュータプログラム、非一時的なコンピュータ可読媒体、データ保存システム、および記憶装置
JP2021010652A (ja) 情報処理装置、評価方法、および情報処理プログラム
JP7444204B2 (ja) 制御装置、検知装置、制御方法、およびプログラム
US20230260122A1 (en) Eye image quality analysis
US20230096833A1 (en) Body part color measurement detection and method
US20210350554A1 (en) Eye-tracking system
JP2018183509A (ja) 身体状態分析装置および該方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21932989

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21932989

Country of ref document: EP

Kind code of ref document: A1