WO2022092134A1 - 検査方法、機械学習実行方法、検査装置及び機械学習実行方法 - Google Patents

検査方法、機械学習実行方法、検査装置及び機械学習実行方法 Download PDF

Info

Publication number
WO2022092134A1
WO2022092134A1 PCT/JP2021/039589 JP2021039589W WO2022092134A1 WO 2022092134 A1 WO2022092134 A1 WO 2022092134A1 JP 2021039589 W JP2021039589 W JP 2021039589W WO 2022092134 A1 WO2022092134 A1 WO 2022092134A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
data
subject
inference
eyes
Prior art date
Application number
PCT/JP2021/039589
Other languages
English (en)
French (fr)
Inventor
雅貴 吉田
汐理 宮崎
誠 長谷川
Original Assignee
ライオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020180593A external-priority patent/JP2022071558A/ja
Priority claimed from JP2020217684A external-priority patent/JP2022102758A/ja
Priority claimed from JP2020217685A external-priority patent/JP2022102759A/ja
Priority claimed from JP2020217683A external-priority patent/JP2022102757A/ja
Application filed by ライオン株式会社 filed Critical ライオン株式会社
Priority to KR1020237003200A priority Critical patent/KR20230096957A/ko
Publication of WO2022092134A1 publication Critical patent/WO2022092134A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to an inspection method, a machine learning execution method, an inspection device, and a machine learning execution method.
  • This application applies to Japanese Patent Application No. 2020-180593 filed in Japan on October 28, 2020, Japanese Patent Application No. 2020-217683 filed in Japan on December 25, 2020, and December 25, 2020.
  • eye disorders that are relatively frequently caused by such lifestyles, it is associated with eye strain and at least one of keratoconjunctival epithelial disorders, mucin disorders, lacrimal layer instability and meibomian gland dysfunction. Examples include dry eye.
  • eye strain As an example of eye disorders that are relatively frequently caused by such lifestyles, it is associated with eye strain and at least one of keratoconjunctival epithelial disorders, mucin disorders, lacrimal layer instability and meibomian gland dysfunction. Examples include dry eye.
  • an examination using an ophthalmologic diagnosis support device disclosed in Patent Document 1 can be mentioned.
  • This ophthalmic diagnosis support device includes a case data storage unit, a machine learning unit, a patient data acquisition unit, a contrast determination unit, and a result display unit.
  • the case data storage unit stores a plurality of basic case image data composed of a combination of ophthalmologic diagnosis image data and diagnosis results.
  • the machine learning unit extracts feature image elements and classifies basic case image data.
  • the patient data acquisition unit acquires patient ophthalmic diagnosis image data of the patient.
  • the comparison determination unit compares the patient ophthalmology diagnosis image data with the case basic image data, and executes the similarity determination between the data.
  • the result display unit displays the result of the similarity determination.
  • ophthalmic diagnosis support device needs to acquire ophthalmic diagnostic data using an inspection device used in a medical institution, a person who is aware of the presence or absence of eye strain, the degree of eye strain, and eye disorders. It is not possible to easily inspect the presence or absence and degree of dry eye.
  • One aspect of the present invention is to acquire inference image data showing an inference image depicting the eyes of a inference subject, and to show a learning image in which the eyes of the inference subject are drawn.
  • the inference image data is input to the machine learning program learned using the teacher data in which the data is a problem and the learning state data indicating the eye state of the learning subject is the answer, and the machine learning program is used.
  • This is an inspection method in which the state of the eyes of the subject for inference is estimated, and the machine learning program outputs inference data indicating the state of the eyes of the subject for inference.
  • One aspect of the present invention is the above-mentioned inspection method, in which an aspect of displaying a region of the eyes of the inference subject depicted in the inference image that satisfies a predetermined condition and the predetermined condition are exhibited.
  • the inference data showing an image different from the display mode of the unsatisfied area is output.
  • One aspect of the present invention is the above-mentioned test method, and uses the teacher data which further includes learning measure data indicating a measure for improving the eye condition of the learning subject as a part of the answer.
  • the machine learning program learned in this way is made to output the inference data indicating measures for improving the eye condition of the inference subject.
  • One aspect of the present invention is the above-mentioned inspection method, in which the inference image data showing the inference image showing at least a part of the eye corneum of the inference subject is acquired and the learning is performed.
  • One aspect of the present invention is the above-mentioned test method, wherein the teacher further includes learning test result data showing the result of a test for examining the thickness of the tear oil layer of the eyes of the learning subject as the answer.
  • the machine learning program learned using the data is made to output the inference data.
  • One aspect of the present invention is the above-mentioned inspection method, in which the inference image data showing the inference image showing at least a part of the eye condyle of the inference subject is acquired and the learning is performed.
  • One aspect of the present invention is the above-mentioned test method, in which the inference red-eye data indicating the degree of red-eye of the inference subject is further acquired, and the degree of red-eye of the learning subject is shown.
  • the machine learning program learned using the teacher data which further includes at least one of the learning test image data shown and the learning test result data showing the test result as the answer, is subjected to the inference subject.
  • the symptom of the dry eye appearing in the eye of the sample is estimated, and the symptom data showing the symptom of the dry eye appearing in the eye of the subject for inference is output as the inference data.
  • One aspect of the present invention is the above-mentioned test method, in which the inference answer data showing the result of answering the question about the subjective symptoms of the eyes held by the inference subject is further acquired, and the learning subject is further obtained.
  • the learning answer data showing the result of answering the question about the subjective symptom of the eye is further included as a part of the problem, and the eyes of the learning subject were examined for the symptom of dry eye.
  • the teacher data further includes at least one of the learning test image data showing the image depicting the eyes of the learning subject and the learning test result data showing the result of the test as the answer.
  • the machine learning program learned using the above estimates the dry eye symptoms appearing in the eyes of the inference subject, and symptom data showing the dry eye symptoms appearing in the eyes of the inference subject. Is output as the inference data.
  • One aspect of the present invention is the above-mentioned inspection method for inference, which indicates the maximum eyelid opening time, which is the time during which the inference subject was able to continuously open the eye in which the inference image was taken. Further acquiring the eyelid opening data, the learning eyelid opening data indicating the maximum eyelid opening time, which is the time during which the learning subject was able to continuously open the eyes on which the learning image was taken, is the problem.
  • learning test image data showing an image depicting the eyes of the learning subject when the test for the symptoms of dry eye was performed on the eyes of the learning subject
  • the machine learning program learned using the teacher data which further includes at least one of the test result data for learning showing the result of the test for the symptoms of dry eye as the answer, is applied to the eyes of the subject for inference.
  • the appearing dry eye symptom is estimated, and the symptom data showing the dry eye symptom appearing in the eyes of the inference subject is output as the inference data.
  • One aspect of the present invention is the above-described inspection method, in which the tear meniscus of the inference subject is visualized from the inference image depicting the tear meniscus of the eye of the inference subject.
  • the inference tear meniscus image data showing the inference tear meniscus image obtained by cutting out the region is acquired as the inference image data, and the tear meniscus in the eye of the learning subject is drawn from the learning image.
  • the learning tear meniscus image data showing the learning tear meniscus image obtained by cutting out the region in which the tear meniscus of the learning subject is drawn is the learning image data as the problem, and the learning subject About the eyes
  • the machine learning program learned using the teacher data, which further includes at least one of the data as the answer, is made to estimate the symptom of dry eye appearing in the eyes of the inference subject, and is used for the inference.
  • the symptom data indicating the symptom of dry eye appearing in the eyes of the subject is output as the inference data.
  • One aspect of the present invention is the above-mentioned inspection method, in which the illumination reflected in the cornea of the inference subject is reflected in the cortex of the inference subject from the inference image.
  • the inference lighting image data showing the inference illumination image obtained by cutting out the area in which the illumination is drawn is acquired as the inference image data, and the illumination reflected in the cortex of the learning subject is drawn.
  • the learning illumination image data showing the learning illumination image obtained by cutting out the area where the illumination reflected on the cortex of the learning subject is drawn from the learning image is used as the learning image data as the problem, and the learning is performed.
  • the machine learning program learned using the teacher data, which further includes at least one of the learning test result data as the answer, is made to estimate the dry eye symptom appearing in the eyes of the inference subject.
  • the symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject is output as the inference data.
  • One aspect of the present invention is the above-mentioned inspection method, and it is assumed that the eyes of the inference subject are illuminated by light having a color temperature lower than that of the light illuminating the eyes of the inference subject.
  • the inference image data showing the inference image showing the eyes of the inference subject in the case is acquired, and the light having a lower color temperature than the light illuminating the eyes of the learning subject is used.
  • the problem is the learning image data showing the learning image depicting the eyes of the learning subject when it is assumed that the eyes of the learning subject are illuminated.
  • the machine learning program learned using the teacher data which further includes the training test result data showing the result of the test for examining the thickness of the tear oil layer of the eye as the answer, is applied to the eye of the subject for inference.
  • the appearing dry eye symptom is estimated, and the symptom data showing the dry eye symptom appearing in the eyes of the inference subject is output as the inference data.
  • One aspect of the present invention has a problem of learning image data showing a learning image depicting the eyes of a learning subject, and an answer is learning state data showing the state of the eyes of the learning subject.
  • This is a machine learning execution method in which teacher data is acquired, the teacher data is input to a machine learning program, and the machine learning program is learned.
  • One aspect of the present invention is a data acquisition unit that acquires inference image data showing an inference image that depicts the eyes of the inference subject, and a learning image that depicts the eyes of the inference subject.
  • the inference image data is input to the machine learning program learned using the teacher data in which the learning image data shown is a problem and the learning state data indicating the eye state of the learning subject is the answer.
  • One aspect of the present invention has a problem of learning image data showing a learning image depicting the eyes of a learning subject, and an answer is learning state data showing the state of the eyes of the learning subject.
  • It is a machine learning execution device including a teacher data acquisition unit for acquiring teacher data and a machine learning execution unit for inputting the teacher data into a machine learning program and learning the machine learning program.
  • FIG. 1 It is a figure which shows an example of the image of the eye displayed in place of the image of the eye shown in FIG. It is a flowchart which shows an example of the process executed by the inspection program which concerns on embodiment. It is a figure which shows an example of the structure of the inspection system which concerns on 1st Embodiment. It is a figure which shows an example of the structure of the photographing apparatus which concerns on 1st Embodiment. It is a figure which shows an example of the predetermined photographing condition which concerns on 1st Example. It is a figure which shows an example of the user image data which concerns on 1st Embodiment. It is a figure which shows an example of the structure of the inspection apparatus which concerns on 1st Embodiment.
  • the machine learning program according to the fourth embodiment and the fifth embodiment focuses on the learning images that depict the eyes of the learning subject when predicting the result of the test for examining the tear film destruction time. It is a figure which shows an example of the part which considered with respect. It is a figure which shows an example of the hardware composition of the machine learning execution apparatus which concerns on 6th Embodiment. It is a figure which shows an example of the software structure of the machine learning execution program which concerns on 6th Embodiment. It is a figure which shows an example of the part which we focused on in the eye image of the learning subject when the machine learning program which concerns on 6th Example predicts the result of the examination about the thickness of a tear oil layer.
  • FIG. 1 is a diagram showing an example of a hardware configuration of a machine learning execution device according to an embodiment.
  • the machine learning execution device 10 shown in FIG. 1 is a device that causes the machine learning device 700 to execute machine learning in the learning phase of the machine learning device 700, which will be described later.
  • the machine learning execution device 10 includes a processor 11, a main storage device 12, a communication interface 13, an auxiliary storage device 14, an input / output device 15, and a bus 16.
  • the processor 11 is, for example, a CPU (Central Processing Unit), reads out and executes a machine learning execution program 100 described later, and realizes each function of the machine learning execution program 100. Further, the processor 11 may read and execute a program other than the machine learning execution program 100 to realize the functions necessary for realizing each function of the machine learning execution program 100.
  • a CPU Central Processing Unit
  • the main storage device 12 is, for example, a RAM (Random Access Memory), and stores in advance the machine learning execution program 100 and other programs that are read and executed by the processor 11.
  • RAM Random Access Memory
  • the communication interface 13 is an interface circuit for executing communication with the machine learning device 700 and other devices via the network NW shown in FIG.
  • the network NW is, for example, a LAN (Local Area Network) or an intranet.
  • the auxiliary storage device 14 is, for example, a hard disk drive (HDD: Hard Disk Drive), a solid state drive (SSD: Solid State Drive), a flash memory (Flash Memory), and a ROM (Read Only Memory).
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • flash memory Flash Memory
  • ROM Read Only Memory
  • the input / output device 15 is, for example, an input / output port (Input / Output Port).
  • the input / output device 15 is connected to, for example, the keyboard 811 shown in FIG. 1, the mouse 812, and the display 910.
  • the keyboard 811 and the mouse 812 are used, for example, for inputting data necessary for operating the machine learning execution device 10.
  • the display 910 displays, for example, a graphical user interface (GUI: Graphical User Interface) of the machine learning execution device 10.
  • GUI Graphical User Interface
  • the bus 16 connects the processor 11, the main storage device 12, the communication interface 13, the auxiliary storage device 14, and the input / output device 15 so that data can be transmitted and received to each other.
  • FIG. 2 is a diagram showing an example of the software configuration of the machine learning execution device according to the embodiment.
  • the machine learning execution device 10 reads and executes the machine learning execution program 100 using the processor 11 to realize the teacher data acquisition function 101 and the machine learning execution function 102 shown in FIG.
  • the teacher data acquisition function 101 has a problem of learning image data showing a learning image depicting the eyes of a learning subject, and a teacher whose answer is learning state data showing the state of the eyes of the learning subject. Get the data.
  • the eye condition of the learning subject is, for example, a test for dry eye symptoms, a test for corneal epithelial disorder, a test for mutin disorder, and a tear film destruction time of the eye of the learning subject. It will be reflected in the results of these tests when a test to check or a test to check the thickness of the tear oil layer is performed.
  • the learning image data constitutes at least a part of the problem of the teacher data, and is data showing a learning image depicting the eyes of the learning subject.
  • the learning image is taken, for example, by using a camera connected to an inspection device described later, a camera mounted on a smartphone, or the like.
  • the teacher data may further include learning measure data indicating measures for improving the eye condition of the learning subject as a part of the answer.
  • the machine learning execution function 102 inputs teacher data into the machine learning program 750 mounted on the machine learning device 700, and causes the machine learning program 750 to learn.
  • the machine learning execution function 102 trains a machine learning program 750 including a convolutional neural network (CNN) by backpropagation.
  • CNN convolutional neural network
  • FIG. 3 is a flowchart showing an example of processing executed by the machine learning execution program according to the embodiment.
  • the machine learning execution program 100 executes the process shown in FIG. 3 at least once.
  • the teacher data acquisition function 101 has a problem of learning image data showing a learning image depicting the eyes of a learning subject, and has a learning state data showing the state of the eyes of the learning subject. Get the teacher data to answer.
  • step S12 the machine learning execution function 102 inputs the teacher data into the machine learning program 750 and causes the machine learning program 750 to learn.
  • FIG. 4 is a diagram showing an example of the hardware configuration of the inspection device according to the embodiment.
  • the inspection device 20 shown in FIG. 4 is a device that estimates the eye state of the subject for inference by using the machine learning device 700 in the inference phase of the machine learning device 700 that has been learned by the machine learning execution program 100. Further, as shown in FIG. 4, the inspection device 20 includes a processor 21, a main storage device 22, a communication interface 23, an auxiliary storage device 24, a touch panel display 25, and a bus 26.
  • the processor 21 is, for example, a CPU, and reads and executes the inspection program 200 described later to realize each function of the inspection program 200. Further, the processor 21 may read and execute a program other than the inspection program 200 to realize the functions necessary for realizing each function of the inspection program 200.
  • the main storage device 22 is, for example, a RAM, and stores the inspection program 200 and other programs read and executed by the processor 21 in advance.
  • the communication interface 23 is an interface circuit for executing communication with the machine learning device 700 and other devices via the network NW shown in FIG.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 24 is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the touch panel display 25 is, for example, an input / output port.
  • the touch panel display 25 displays, for example, the contents indicated by the graphical user interface of the inspection device 20 and the inference data described later.
  • the bus 26 connects the processor 21, the main storage device 22, the communication interface 23, the auxiliary storage device 24, and the touch panel display 25 so that data can be transmitted and received to each other.
  • FIG. 5 is a diagram showing an example of the appearance of the inspection device according to the embodiment. As shown in FIG. 5, the inspection device 20 is supported by a support column P attached to the upper part of the pedestal B. Further, the inspection device 20, the pedestal B and the support column P are installed in, for example, a drug store or the like.
  • FIG. 6 is a diagram showing an example of the software configuration of the inspection device according to the embodiment.
  • the inspection device 20 reads and executes the inspection program 200 using the processor 21 to realize the data acquisition function 201 and the estimation function 202 shown in FIG.
  • the data acquisition function 201 acquires inference image data.
  • the inference image data is data showing an inference image that depicts the eyes of the inference subject.
  • the inference image is taken, for example, by using a camera connected to an inspection device described later or a camera mounted on a smartphone.
  • the estimation function 202 inputs inference image data to the machine learning program 750 that has been learned by the machine learning execution function 102, and causes the machine learning program 750 to estimate the eye state of the inference subject.
  • the estimation function 202 causes the machine learning program 750 to output inference data indicating the state of the eyes of the inference subject.
  • the inference data is used, for example, to display a numerical value or the like representing the eye state of the inference subject on the touch panel display 25.
  • the inference data may indicate, for example, the degree of eye fatigue determined based on the state of the eye cornea, tears, etc. of the inference subject that can be read from the inference image data. good.
  • estimation function 202 may cause the machine learning program 750 to output inference data indicating measures for improving the eye condition of the inference subject.
  • FIG. 7 is a diagram showing an example of an image displayed by the inspection device according to the embodiment.
  • the image A7 shown in FIG. 7 is taken by the camera after the face of the inference subject is recognized while the inference subject is standing in front of the camera connected to the inspection device 20. It is an image of the face of the subject for inference.
  • the two rectangles depicted in image A7 indicate the left and right eyes of the inference subject, respectively.
  • the image A7 is an example of an inference image.
  • FIG. 8 is a diagram showing an example of an image displayed by the inspection device according to the embodiment.
  • the image A8 shown in FIG. 8 is an image showing the result of estimating the eye state of the inference subject estimated based on the inference image data showing the image A7 which is an example of the inference image.
  • the image A8 includes a score indicating the state of the cornea of the inference subject and an icon of “low” indicating that the score is low.
  • the image A8 includes an image A81 in which a figure showing a scratched portion of the cornea is superimposed on an image of the eye of the subject for inference.
  • FIG. 9 is a diagram showing an example of an image displayed by the inspection device according to the embodiment.
  • the image A9 shown in FIG. 9 is an image showing the result of estimating the eye state of the inference subject estimated based on the inference image data showing the image A7 which is an example of the inference image.
  • Image A9 shows a radar chart showing scores for the corneal condition of the subject for inference, scores for the water layer of tears, scores for the oil layer of tears, and scores for the mucin layer. Note that the image A9 may show numerical values, icons, and the like indicating these four scores instead of the radar chart shown in FIG. Further, the image A9 shows the degree of eye fatigue of the inference subject in five stages.
  • the image A9 may be displayed on the touch panel display 25 instead of the image A8.
  • FIG. 10 is a diagram showing an example of an image displayed by the inspection device according to the embodiment.
  • Image A11 shown in FIG. 10 shows the presumed results that caused the eye condition of the inference subject shown in image A10.
  • the image A11 is displayed on the touch panel display 25, for example, after the images A8 and A9 are displayed on the touch panel display 25.
  • FIG. 11 is a diagram showing an example of an image displayed by the inspection device according to the embodiment.
  • the image A13 shown in FIG. 11 shows an example of a coping method for the cause shown in the image A11.
  • the image A13 is displayed on the touch panel display 25 after the image A11 is displayed on the touch panel display 25.
  • FIG. 12 is a diagram showing an example of an image displayed by the inspection device according to the embodiment.
  • Image A14 shown in FIG. 12 shows an example of eye drops useful for image A11 or image A13.
  • the image A14 is displayed on the touch panel display 25 after the image A12 or the image A13 is displayed on the touch panel display 25.
  • the estimation function 202 shows an image in which the display mode of the region of the eyes of the inference subject drawn on the inference image that satisfies the predetermined condition and the display mode of the region that does not satisfy the predetermined condition are different.
  • the predetermined conditions referred to here are the condition that the possibility that the aqueous layer of tears has decreased exceeds the predetermined threshold and the possibility that the oil layer of tears has decreased exceeds the predetermined threshold. At least one of the conditions that the cornea and the conjunctiva are damaged and that the possibility that at least one of the cornea and the conjunctiva is damaged exceeds a predetermined threshold value.
  • the estimation function 202 may display diagonal hatching indicating a region where the water layer of tears may be reduced by superimposing it on the inference image. This shaded hatch may have different concentrations depending on the degree to which the tear film is reduced.
  • the estimation function 202 may display a vertical line hatch indicating a region where the oil layer of tears may be reduced overlaid on the inference image. This vertical hatch may have different concentrations depending on the degree to which the oil layer of tears is reduced.
  • the estimation function 202 may display dot hatching indicating a region where the cornea and the conjunctiva may be scratched on the inference image. This dot hatch may have different darkness depending on the degree of scratches.
  • the estimation function 202 may display the above-mentioned diagonal line hatching, vertical line hatching, and dot hatching superimposed on the inference image.
  • FIG. 17 is a flowchart showing an example of processing executed by the inspection program according to the embodiment.
  • step S21 the data acquisition function 201 acquires inference image data showing an inference image depicting the eyes of the inference subject.
  • step S22 the estimation function 202 inputs inference image data to the machine learning program 750, causes the machine learning program 750 to estimate the eye state of the inference subject, and causes the machine learning program 750 to infer the eye of the inference subject.
  • the inference data indicating the state of is output.
  • the machine learning execution program 100 includes a teacher data acquisition function 101 and a machine learning execution function 102.
  • the teacher data acquisition function 101 has a problem of learning image data showing a learning image depicting the eyes of a learning subject, and a teacher whose answer is learning state data showing the state of the eyes of the learning subject. Get the data.
  • the machine learning execution function 102 inputs teacher data into the machine learning program 750 and causes the machine learning program 750 to learn.
  • the machine learning execution program 100 can generate a machine learning program 750 that predicts the state of the eyes based on the image data for learning.
  • the inspection program 200 includes a data acquisition function 201 and an estimation function 202.
  • the data acquisition function 201 acquires inference image data.
  • the inference image data is data showing an image depicting the eyes of the inference subject.
  • the estimation function 202 inputs inference image data into the machine learning program 750 that has been learned by the machine learning execution program 100, and causes the inference subject to estimate the eye condition. Then, the estimation function 202 causes the machine learning program 750 to output inference data indicating the state of the eyes of the inference subject.
  • the inspection program 200 can predict the result of the inspection on the eyes without actually performing the inspection.
  • the inspection program 200 has an image in which the mode of displaying the region of the eyes of the inference subject drawn on the inference image that satisfies the predetermined condition and the mode of displaying the region that does not satisfy the predetermined condition are different.
  • the inference data indicating is output. Thereby, the inspection program 200 can present each of the region satisfying the predetermined condition and the region not satisfying the predetermined condition in an easily visible manner.
  • the inspection program 200 outputs inference data indicating measures for improving the eye condition of the inference subject based on the inference data. As a result, the test program 200 can notify the inference subject of the measures for improving the eye condition.
  • the functions of the machine learning execution program 100 may be realized by hardware including a circuitry.
  • at least some of the functions of the inspection program 200 may be realized by hardware including a circuit unit.
  • such hardware is, for example, LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), GPU (Graphics Processing Unit).
  • At least a part of the functions of the machine learning execution program 100 may be realized by the cooperation of software and hardware.
  • at least some of the functions of the inspection program 200 may be realized by the collaboration of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the machine learning execution device 10 the machine learning device 700, and the inspection device 20 are independent devices has been described as an example, but the present invention is not limited to this. These devices may be realized as one device.
  • the inspection device 20 may be implemented in an embodiment other than the above-described embodiment.
  • the inspection device 20 may be a learning tablet, a game machine, a computer, or the like.
  • the inspection device 20 can predict the result of the inspection regarding the eyes of the learner, the game player, and the computer user.
  • the inspection device 20 does not require special equipment such as medical equipment and medical equipment, equipment and the like, it is possible to save the labor of the inference subject to go to the hospital and realize telemedicine and the like.
  • the inspection device 20 can predict the result of the inspection regarding the eyes of the inference subject while saving the labor for the inference subject to go to the hospital.
  • the inspection device 20 predicts the result of the eye inspection of the inference subject and makes the inference subject realize the effect of the treatment while saving the labor of the inference subject to go to the hospital.
  • Contact lenses and the like can be prescribed.
  • the effects of the treatment include, for example, reduction of damage to the cornea or conjunctiva, and moisturization of the eye by a water layer or an oil layer of tears.
  • the inference subject may be an animal such as a dog or a cat.
  • FIG. 18 is a diagram showing an example of the configuration of the inspection system according to the first embodiment.
  • the inspection system E1 includes a photographing device 1 and an inspection device 2.
  • the photographing device 1 is equipped with a digital camera and photographs the eyes of the user U1.
  • the photographing device 1 is a smartphone provided with a digital camera.
  • the photographing device 1 transmits the user image data P1, which is an image of the eyes of the user U1 photographed by the digital camera, to the inspection device 2.
  • the inspection device 2 is, for example, a server.
  • the inspection device 2 stores the learning result L1 learned by deep learning.
  • the learning result L1 has a relationship between the subject image data, which is an image of the subject's eyes taken by a digital camera, and the subject inspection data including the result of examining the subject's eye condition. It is the result of learning by deep learning.
  • the subject inspection data may be a measured value, a score value according to a predetermined standard, or image data.
  • the eye condition is at least one of a tear fluid condition and a keratoconjunctival condition.
  • the tear state includes at least one of the amount of tear, the thickness of the tear oil layer, the damaged area of the mucin layer, the tear layer destruction time, and the non-invasive tear layer destruction time.
  • the condition of the keratoconjunctiva includes the damaged area of the keratoconjunctiva.
  • the score values include, for example, the non-patent document "Shima ⁇ Saki ⁇ Jun, 2006 Dry Eye Diagnostic Criteria," New Ophthalmology ", Medical Aoi Publishing, February 28, 2007, Volume 24, February issue, p. 181-184 ”is used.
  • the subject is a provider of the subject image data and the subject inspection data used for learning.
  • the inspection device 2 predicts inspection data including the result when the eye condition of the user U1 is inspected based on the learning result learned by deep learning and the user image data P1.
  • the inspection device 2 transmits the prediction result A1, which is the result of predicting the inspection data, to the photographing device 1.
  • the photographing apparatus 1 presents the prediction result A1 to the user U1.
  • FIG. 19 is a diagram showing an example of the configuration of the photographing apparatus according to the modified example of the first embodiment.
  • the photographing device 1 includes a photographing device control unit 100, a photographing unit 110, a photographing device communication unit 120, a display unit 130, and an operation receiving unit 140.
  • the imaging device control unit 100 includes an image acquisition unit 1000, an imaging condition determination unit 1010, a white-eyed black-eye portion extraction unit 1020, an image output unit 1030, a prediction result acquisition unit 1040, and a presentation unit 1050.
  • the photographing device control unit 100 is realized by a CPU as an example, and presents an image acquisition unit 1000, a shooting condition determination unit 1010, a white-eyed black-eye portion extraction unit 1020, an image output unit 1030, and a prediction result acquisition unit 1040.
  • Each unit 1050 is realized by the CPU reading a program from the ROM and executing the process.
  • the image acquisition unit 1000 acquires the captured image P0 by the photographing unit 110.
  • the captured image P0 is an image captured by the eyes of the user U1.
  • the photographed image P0 is, for example, an image in which the eyes of the user U1 are photographed in a state where the eyes of the user U1 are not stained with a dyeing reagent or the like.
  • the captured image P0 is, for example, one image.
  • the captured image P0 may be a set of a plurality of images.
  • the photographing unit 110 may photograph the eyes of the user U1 in a dyed state.
  • the staining is, for example, a staining such as fluorescein staining or lysamine green staining.
  • the shooting condition determination unit 1010 determines whether or not the predetermined shooting conditions are satisfied for the shot image P0 acquired by the image acquisition unit 1000.
  • FIG. 20 is a diagram showing an example of predetermined photographing conditions according to a modified example of the first embodiment.
  • the black eye is the part corresponding to the cornea when the eye is viewed from the front.
  • the black eye is also a part including the pupil and the iris.
  • the white eye is a part corresponding to the bulbar conjunctiva when the eye is viewed from the front.
  • the predetermined shooting conditions in the first embodiment include the following three shooting conditions.
  • the first shooting condition is that the entire black eye is shot.
  • the second shooting condition includes that the ratio of the vertical length to the horizontal length (referred to as the aspect ratio in the following explanation) is within a predetermined range for the combined portion of the white and black eyes.
  • the predetermined range of the aspect ratio is, for example, the range of 0.62 to 0.75.
  • the captured image R1, the captured image R2, and the captured image R3 are examples of captured images for explaining the second imaging condition, respectively.
  • the captured image R1, the captured image R2, and the captured image R3 have aspect ratios of 0.61, 0.64, and 0.76, respectively.
  • the eyelids are not sufficiently opened and the second imaging condition is not satisfied.
  • the captured image R2 the eyelids are sufficiently open and the second imaging condition is satisfied.
  • the third shooting condition is the ratio of the vertical length of the combined white and black eyes to the vertical length of the black eyes in the combined white and black eyes (the ratio of white and black eyes in the following explanation). ) Is within a predetermined range.
  • the predetermined range for the white-eye-black-eye ratio is, for example, the range of 1.20 to 1.40.
  • the captured image R4, the captured image R5, and the captured image R6 are examples of captured images for explaining the third imaging condition, respectively.
  • the white-eye / black-eye ratios are 1.12, 1.31, and 1.51, respectively.
  • the third imaging condition is satisfied.
  • the captured image R4 and the captured image R6 do not satisfy the third imaging condition.
  • the white-eyed black-eye portion extraction unit 1020 cuts out a portion of the eyes in which the white-eyed and black-eyed eyes are combined from the photographed image P0.
  • the combined part of the white and black eyes of the eye is the part of the eyeball excluding the eyelids and the skin.
  • the image in which the portion of the eyes where the white and black eyes are combined is cut out from the captured image P0 is referred to as user image data P1.
  • FIG. 21 shows an example of the user image data P1.
  • the portion of the eyes other than the combined portion of the white and black eyes is deleted.
  • the part of the eye other than the combined part of the white and black eyes includes the eyelids and the skin.
  • the user image data P1 is an image in which a portion of the eyes where the white eyes and the black eyes are combined is cut out.
  • the captured image P0 may be used as the user image data P1 as it is without performing the processing of cutting out the portion of the eyes where the white and black eyes are combined with respect to the captured image P0.
  • the white-eye and black-eye portion extraction unit 1020 may be omitted from the configuration of the imaging device control unit 100.
  • the image output unit 1030 outputs the user image data P1 to the inspection device 2.
  • the prediction result acquisition unit 1040 acquires the prediction result A1 from the inspection device 2.
  • the prediction result A1 indicates, for example, the state of the eyes by a score.
  • the prediction result A1 includes, for example, at least one of a score for the state of tears and a score for the state of the keratoconjunctiva.
  • the presentation unit 1050 presents the prediction result A1.
  • the presentation unit 1050 presents the prediction result A1 by displaying the prediction result A1 on the display unit 130.
  • the photographing unit 110 includes a digital camera.
  • the photographing unit 110 photographs the eyes of the user U1.
  • the eyes of the user U1 are preferably photographed from the front. Further, when the photographing unit 110 photographs the eyes of the user U1, the focus is appropriately adjusted even when the distance between the lens of the digital camera constituting the photographing unit 110 and the eyes of the user U1 is short. Is preferable.
  • the image captured by the photographing unit 110 may be a still image or a moving image.
  • the image acquiring unit 1000 selects the shot image P0 from a plurality of frames included in the moving image. For example, the image acquisition unit 1000 selects a frame satisfying the above-mentioned predetermined shooting condition from a plurality of frames included in the moving image. In this case, the image acquisition unit 1000 causes the shooting condition determination unit 1010 to determine whether or not the predetermined shooting conditions are satisfied for each of the plurality of frames included in the moving image.
  • the photographing device communication unit 120 communicates with the inspection device 2 via the wireless network.
  • the photographing device communication unit 120 includes hardware for communicating via a wireless network.
  • the display unit 130 displays various information.
  • the display unit 130 displays the captured image P0 captured by the photographing unit 110 or the prediction result A1.
  • the display unit 130 is a liquid crystal display or an organic electroluminescence (EL) display.
  • the operation reception unit 140 receives an operation from the user U1.
  • the operation reception unit 140 includes, for example, a touch panel, and is configured integrally with the display unit 130.
  • FIG. 22 is a diagram showing an example of the configuration of the inspection device according to the modified example of the first embodiment.
  • the inspection device 2 includes an inspection device control unit 200, a storage unit 210, and an inspection device communication unit 220.
  • the inspection device control unit 200 includes an image data acquisition unit 2000, a prediction unit 2010, a prediction result output unit 2020, and a learning unit 2030.
  • the inspection device control unit 200 is realized by a CPU as an example, and the CPU reads a program from the ROM and processes the image data acquisition unit 2000, the prediction unit 2010, the prediction result output unit 2020, and the learning unit 2030, respectively. It is realized by executing.
  • the image data acquisition unit 2000 acquires the user image data P1 from the photographing device 1.
  • the prediction unit 2010 predicts the user inspection data based on the learning result L10 and the user image data P1.
  • the user test data includes the result when at least one of the tear state and the keratoconjunctival state of the user U1 is tested.
  • the prediction result output unit 2020 outputs the user inspection data predicted by the prediction unit 2010 to the photographing apparatus 1 as the prediction result A1.
  • the learning unit 2030 learns the relationship between the subject image data and the subject inspection data.
  • the subject image data is an image of the subject's eyes taken by a digital camera. This digital camera may be different from the digital camera provided in the photographing apparatus 1.
  • the subject inspection data includes the result of inspection of the subject's eye condition.
  • the number of subjects may be multiple.
  • User U1 may or may not be included in the subject.
  • the image of the subject's eyes and the examination of the subject's eye condition are performed at the same date and time.
  • the amount of tear fluid is inspected by, for example, an optical coherence tomography using the height of the tear fluid meniscus as an index.
  • the tear oil layer thickness is examined, for example, with an optical interferometer.
  • the mucin layer damaged area is inspected using, for example, the stained area or the darkness of the stained eye stained with Lisamin Green as an index.
  • the tear layer destruction time is inspected using, for example, the time from immediately after blinking to the destruction of fluorescein-stained tears as an index.
  • the non-invasive tear film destruction time is inspected using the time from immediately after blinking to the destruction of the tear film visualized by the optical interference image as an index.
  • the area of keratoconjunctival damage is examined using, for example, the area of the fluorescein-stained eye or the intensity of the stain as an index.
  • the learning unit 2030 executes learning based on a data set consisting of a combination of the subject image data and the subject inspection data.
  • the data set may be stored in advance in the storage unit 210, and the learning unit 2030 may acquire the data set from the storage unit 210, or the learning unit 2030 acquires the data set from an external device such as a server. You may.
  • the learning unit 2030 stores the learned result in the storage unit 210 as the learning result L10.
  • the learning unit 2030 executes learning based on deep learning as an example.
  • the learning result L10 is information indicating a neural network in which the weight and bias parameters are changed by the training being executed.
  • the subject image data is an image in which the eyes of the subject are photographed in a state where the above-mentioned predetermined imaging conditions are satisfied.
  • the image data of the subject may not satisfy the above-mentioned predetermined imaging conditions.
  • the image data of the subject may include both an image satisfying a predetermined shooting condition and an image not satisfying the predetermined shooting condition.
  • the subject image data of the subject uses an image satisfying a predetermined shooting condition as the user image data P1 as in the first embodiment, the subject image data satisfies the predetermined shooting condition in order to improve the accuracy of prediction. Is preferable.
  • the subject image data is an image in which the part of the eyes where the white and black eyes are combined is cut out.
  • the image data of the subject may be an image in which the relevant portion is not cut out.
  • the subject image data may include both an image in which a portion of the eyes where the white and black eyes are combined is cut out and an image in which the portion is not cut out.
  • the subject image data is used in order to improve the accuracy of prediction when the user image data P1 is an image in which the combined part of the white and black eyes is cut out as in the first embodiment. It is preferable that the portion is a cut-out image.
  • the subject image data includes a normal eye image and an abnormal eye image.
  • the image of the eye having an abnormal area of keratoconjunctival injury is, for example, an image of the eye taken at the same date and time as when the area of keratoconjunctival injury is 33% or more.
  • the image of the eye having a normal area of keratoconjunctival injury is, for example, an image of the eye taken at the same date and time as when the area of keratoconjunctival injury is less than 33%.
  • an image in which the mucin layer damage area, tear layer destruction time, non-invasive tear layer destruction time, tear oil layer thickness, and tear volume are abnormal is, for example, a mucin layer damage area of 33% or more.
  • the number of images of normal eyes contained in the image data of the subject is equal to the number of images of abnormal eyes.
  • the number of images of normal eyes and the number of images of abnormal eyes are, for example, 1000 each. It is preferable that the number of images of normal eyes and the number of images of abnormal eyes are equal for improving the accuracy of prediction.
  • the number of images of normal eyes included in the image data of the subject may be different from the number of images of abnormal eyes.
  • the learning unit 2030 may modify the image data of the subject before executing the learning.
  • This deformation includes, for example, enlargement and reduction, rotation, vertical and horizontal translation, or deformation due to shear strain.
  • the learning unit 2030 modifies the subject image data so that, for example, the black eye portion is located at the center of the image, and the size of the black eye portion is reduced between a plurality of images. Make it common.
  • the learning unit 2030 amplifies the number of subject image data by combining the original image data of the subject before the deformation and the new image obtained by modifying the image data of the subject. You may.
  • the number of intermediate layers is three.
  • the number of intermediate layers of the neural network used for deep learning may be more than three.
  • the learning unit 2030 executes deep learning a predetermined number of times. This predetermined number of times is, for example, five times. The predetermined number of times may be a number other than 5.
  • the learning unit 2030 may execute learning based on machine learning other than deep learning.
  • the result learned by the external device may be stored in advance in the storage unit 210 as the learning result L10.
  • the learning unit 2030 may be omitted from the configuration of the inspection device control unit 200.
  • the storage unit 210 stores various types of information.
  • the information stored in the storage unit 210 includes the learning result L10.
  • the storage unit 210 is configured by using a storage device such as a magnetic hard disk device or a semiconductor storage device.
  • the inspection device communication unit 220 communicates with the photographing device 1 via the wireless network.
  • the inspection device communication unit 220 includes hardware for communicating via a wireless network.
  • FIG. 23 is a diagram showing an example of the eye state prediction process according to the modified example of the first embodiment.
  • Step S10 The photographing device control unit 100 causes the display unit 130 to display the photographing screen.
  • the shooting screen is a screen displayed on the display unit 130 when the shooting unit 110 photographs the eyes of the user U1. On the shooting screen, an image of the face of the user U1 shot by the shooting unit 110 is immediately displayed.
  • a shooting guide may be displayed in addition to the image of the face of the user U1 shot by the shooting unit 110.
  • the shooting guide is a text, an icon, or the like for showing the user U1 the shooting procedure.
  • the shooting guide may include texts and icons that give instructions to the user U1 in order to shoot the eyes of the user U1 while satisfying a predetermined shooting condition.
  • the text is, for example, text such as "Open your eyes so that your eyelids do not cover your black eyes.”
  • the icon is, for example, an arrow indicating to open the eyes displayed above and below the image of the eyes of the user U1 on the shooting screen.
  • Step S20 The photographing unit 110 photographs the eyes of the user U1.
  • the photographing unit 110 generates a photographed image P0 in which the eyes of the user U1 are photographed.
  • Step S30 The image acquisition unit 1000 acquires the captured image P0 from the photographing unit 110.
  • the image acquisition unit 1000 supplies the acquired image P0 to the image capture condition determination unit 1010.
  • Step S40 The shooting condition determination unit 1010 determines whether or not the predetermined shooting conditions are satisfied for the shot image P0 acquired by the image acquisition unit 1000.
  • the shooting condition determination unit 1010 extracts the black-eyed portion and the white-eyed portion of the captured image P0.
  • the shooting condition determination unit 1010 uses an image recognition technique in this extraction process.
  • the shooting condition determination unit 1010 makes a determination based on the extracted black eye portion and the white eye portion.
  • the shooting condition determination unit 1010 determines that the predetermined shooting conditions are satisfied when all the above-mentioned three shooting conditions are satisfied as the predetermined shooting conditions.
  • the imaging condition determination unit 1010 may determine that the predetermined imaging conditions are satisfied when one or more of the above-mentioned three imaging conditions are satisfied as the predetermined imaging conditions.
  • step S40 determines that the predetermined shooting conditions are satisfied (step S40; YES)
  • the shooting condition determination unit 1010 supplies the shot image P0 to the white-eyed black-eye portion extraction unit 1020. After that, the photographing apparatus control unit 100 executes the process of step S50.
  • the imaging condition determination unit 1010 determines that the predetermined imaging conditions are not satisfied (step S40; NO)
  • the imaging device control unit 100 executes the process of step S90.
  • Step S50 The white-eyed black-eye portion extraction unit 1020 cuts out a portion of the eyes in which the white-eyed and black-eyed parts are combined from the captured image P0.
  • the white-eye black-eye portion extraction unit 1020 determines from the captured image P0 a portion of the eye where the white-eye and the black-eye are combined and a portion other than the captured image P0, based on the image recognition technique.
  • the white-eye black-eye portion extraction unit 1020 cuts out the portion of the eye where the white-eye and the black-eye are combined by deleting the portion of the eye other than the portion where the white-eye and the black-eye are combined from the captured image P0.
  • the white-eye black-eye portion extraction unit 1020 supplies an image obtained by cutting out a portion of the eyes from the captured image P0 that combines the white-eye and black-eye as user image data P1 to the image output unit 1030.
  • Step S60 The image output unit 1030 outputs the user image data P1 to the inspection device 2.
  • the image output unit 1030 transmits the user image data P1 to the inspection device 2 via the photographing device communication unit 120.
  • the photographing device control unit 100 displays the photographed user image data P1 on the display unit 130 and prompts the user U1 to confirm. May be good.
  • the image output unit 1030 may output the user image data P1 to the inspection device 2. If the user image data P1 is not approved by the user U1, the photographing device control unit 100 may execute the process of step S10 again. Approval by the user U1 is performed as an operation from the operation reception unit 140.
  • Step S70 The prediction result acquisition unit 1040 acquires the prediction result A1 from the inspection device 2.
  • the prediction result acquisition unit 1040 receives the prediction result A1 from the inspection device 2 via the photographing device communication unit 120.
  • Step S80 The presentation unit 1050 presents the prediction result A1.
  • the presentation unit 1050 presents the prediction result A1 by displaying the prediction result A1 on the display unit 130.
  • Step S90 The shooting condition determination unit 1010 controls the display unit 130 to display the shooting guide on the display unit 130.
  • the shooting guide displayed in step S90 includes, for example, the contents corresponding to the shooting conditions that are not satisfied among the predetermined shooting conditions. For example, if the captured image P0 does not satisfy the first imaging condition, a text such as "Open your eyes so that your eyelids do not cover your black eyes" is displayed. In step S90, the same shooting guide as that displayed in step S10 may be displayed.
  • the shooting device 1 executes the process of step S20 again.
  • the photographing apparatus 1 ends the eye condition prediction process.
  • the user image data P1 is generated from the captured image P0 that satisfies a predetermined imaging condition. Therefore, the user image data P1 is an image taken by the eyes of the user U1 in a state where a predetermined shooting condition is satisfied.
  • the user image data P1 does not have to satisfy the predetermined shooting conditions.
  • the process of step S40 described above is omitted.
  • the imaging condition determination unit 1010 may be omitted from the configuration of the imaging device control unit 100.
  • FIG. 24 is a diagram showing an example of a shooting screen according to a modified example of the first embodiment.
  • an image of the face including the eyes of the user U1 and a shooting guide are displayed.
  • the shooting procedure is displayed as a text as a shooting guide.
  • FIG. 25 is a diagram showing an example of a shooting screen according to a modified example of the first embodiment.
  • the shooting screen G2 On the shooting screen G2, the shooting of the eyes of the user U1 is completed, and the shot user image data P2 is displayed.
  • a "evaluation start” button which is a button for the user U1 to approve the shot user image data P2
  • a “shoot again” button which is a button for executing shooting again
  • FIG. 26 is a diagram showing an example of a prediction result display screen according to a modified example of the first embodiment.
  • the prediction result display screen G3 displays inspection data including the result when the eye condition of the user U1 is inspected based on the prediction result A1.
  • each state of the tear oil layer thickness, the amount of tears, the mucin layer damaged area, and the keratoconjunctival damaged area is displayed using a score.
  • a comprehensive prediction result regarding the eye health risk of the user U1 is displayed based on the prediction result A1.
  • FIG. 27 is a diagram showing an example of prediction processing according to a modified example of the first embodiment.
  • the prediction process shown in FIG. 27 is executed after the process of step S60 is executed in the eye state prediction process shown in FIG. 23.
  • Step S100 The image data acquisition unit 2000 acquires the user image data P1 from the photographing device 1.
  • the image data acquisition unit 2000 receives the user image data P1 from the photographing device 1 via the inspection device communication unit 220.
  • the image data acquisition unit 2000 supplies the acquired user image data P1 to the prediction unit 2010.
  • Step S110 The prediction unit 2010 acquires the learning result L10 from the storage unit 210.
  • Step S120 The prediction unit 2010 predicts the user inspection data based on the learning result L10 and the user image data P1.
  • the prediction unit 2010 makes a prediction based on deep learning.
  • the learning result L10 is a subject inspection including the subject image data which is an image of the subject's eyes taken by a digital camera and the result of examining the subject's eye condition. It is the result of learning the relationship between the subject image data and the subject inspection data by deep learning based on the data set consisting of the combination with the data. That is, the learning result L10 is the result of learning based on a data set consisting of a combination of the subject image data and the subject inspection data. Therefore, the prediction unit 2010 predicts the user inspection data based on the data set consisting of the subject image data, the subject inspection data, and the user image data P1.
  • the prediction unit 2010 inputs each pixel value of the pixels constituting the user image data P1 to the input layer of the neural network used for deep learning.
  • the input pixel value and the value corresponding to the weight and the bias are output to the output layer of the neural network.
  • the value output to the output layer and the score for the eye condition are associated in advance.
  • the prediction unit 2010 supplies the prediction result A1 to the prediction result output unit 2020.
  • Step S130 The prediction result output unit 2020 outputs the prediction result A1 to the photographing apparatus 1.
  • the prediction result output unit 2020 transmits the prediction result A1 to the photographing device 1 via the inspection device communication unit 220.
  • the inspection device 2 ends the prediction process.
  • the inspection device 2 includes an image data acquisition unit 2000 and a prediction unit 2010.
  • the image data acquisition unit 2000 acquires the user image data P1 which is an image of the eyes of the user U1 taken by the digital camera (in the first embodiment, the photographing device 1).
  • the prediction unit 2010 has at least one (first) of the subject image data which is an image of the subject's eyes taken by a digital camera, the state of the subject's tears, and the state of the keratoconjunctivitis. Based on a data set (learning result L10 in the first embodiment) and user image data P1 consisting of a combination of subject inspection data including the result of inspection of the eye condition in one embodiment. , Predict user test data including the results when at least one (eye condition in the first embodiment) of the tear fluid condition and the keratoconjunctival condition of the user U1 is examined.
  • the inspection device 2 inspects at least one of the state of tears and the state of the keratoconjunctiva of the user U1 from the image of the eyes of the user U1 taken by the digital camera. Since the user inspection data including the result of the case can be predicted, the condition of the eyes can be inspected by a simple inspection.
  • the eye condition is at least one of a tear fluid condition and a keratoconjunctival condition.
  • the inspection device 2 can inspect the condition of the eyes by a simple inspection by photographing the eyes of the user U1 using a digital camera attached to a smartphone or the like without using an ophthalmologic inspection device.
  • the image of the eyes of the subject and the image of the eyes of the user U1 are images taken of the eyes in a state where the eyes are not stained.
  • the eyes of the user U1 are photographed by using a digital camera attached to a smartphone or the like without using a chemical for dyeing, so that the eyes can be easily inspected. You can inspect the condition.
  • the image of the eyes of the subject and the image of the eyes of the user U1 are images in which the eyes are taken in a state where the predetermined shooting conditions are satisfied.
  • the accuracy of predicting the user inspection data can be improved as compared with the case where the predetermined imaging conditions are not satisfied.
  • the image of the eyes of the subject and the image of the eyes of the user U1 are images obtained by cutting out the portion of the eyes where the white eyes and the black eyes are combined.
  • the inspection device 2 in the image of the eyes of the subject and the image of the eyes of the user U1, the features of the eyes other than the eyeballs such as the eyelids and the skin are excluded. Since the user inspection data can be predicted, the accuracy of predicting the user inspection data can be improved as compared with the case where the combined part of the white and black eyes is not cut out.
  • the prediction unit 2010 has a subject image data and a subject based on a data set consisting of a combination of the subject image data and the subject inspection data.
  • the user inspection data is predicted based on the learning result L10 whose relationship with the inspection data is learned by deep learning and the user image data P1.
  • the photographing apparatus 1 and the inspection apparatus 2 are provided as separate bodies in the inspection system E1
  • the present invention is not limited to this.
  • the photographing device 1 and the inspection device 2 may be an integrated device.
  • the photographing device 1 and the inspection device 2 communicate with each other by wireless communication
  • the photographing device 1 and the inspection device 2 may communicate with each other by wire communication.
  • a part of the function of the inspection device 2 may be provided in the photographing device 1.
  • the prediction unit 2010 may be provided in the photographing device 1.
  • the learning result L10 may be stored in the photographing apparatus 1.
  • a part of the function of the photographing apparatus 1 may be provided in the inspection apparatus 2.
  • the imaging condition determination unit 1010, the white-eye black-eye portion extraction unit 1020, or the like may be provided in the inspection device 2.
  • the photographing device 1 is provided with the photographing condition determination unit 1010 and the white-eyed black-eye portion extraction unit 1020, so that the imaging device 1 performs a process of determining the photographing condition and a process of cutting out the white-eyed black-eye portion. Will be. Therefore, the load on the inspection device 2 (that is, the server) associated with these processes can be reduced.
  • the photographing device 1 may be a terminal device such as a personal computer (Personal Computer: PC) installed in a store such as a drug store and equipped with a digital camera. Further, the photographing device 1 may be a tablet terminal provided with a digital camera. Further, the photographing device 1 may be a game machine provided with a digital camera.
  • PC Personal Computer
  • the photographing device 1 photographs the eyes of the user U1 while the user U1 is using the photographing device 1, and displays an alert or indicates that the eyes are tired based on the prediction result A1. It may be notified by a warning sound or the like. In that case, the photographing device 1 photographs the eyes of the user U1 at a predetermined cycle.
  • FIGS. 28 to 31 A modification of the first embodiment will be described with reference to FIGS. 28 to 31.
  • the photographing apparatus according to the first embodiment is referred to as an imaging device 1a, and the inspection device is referred to as an inspection device 2a.
  • the same configurations as those in the first embodiment described above are designated by the same reference numerals, and the description thereof will be omitted for the same configurations and operations.
  • the configuration of the photographing apparatus 1a and the configuration of the photographing apparatus 1 according to the first embodiment are the same except that the photographing apparatus 1a acquires the user response result Q1, detailed description of the configuration is omitted.
  • the photographing device 1a acquires the user response result Q1 when the operation receiving unit 140 accepts the operation of the user U1.
  • the user response result Q1 is the response result to the questionnaire by the user U1.
  • This questionnaire is displayed, for example, on the shooting screen.
  • This questionnaire includes, for example, questions regarding the subjective symptoms of the eyes of user U1.
  • the user U1 is made to declare by selecting from the options the subjective symptoms of the eyes when the eyes of the user U1 are photographed by the photographing device 1a.
  • FIG. 28 is a diagram showing an example of the configuration of the inspection device 2a according to the present modification. Comparing the inspection device 2a (FIG. 28) according to the present modification and the inspection device 2 (FIG. 22) according to the first embodiment, the inspection device control unit 200a and the learning result L10a are different. Here, the functions of the other components are the same as those of the first embodiment. The description of the same function as that of the first embodiment is omitted, and in this modification, the parts different from those of the first embodiment will be mainly described.
  • the inspection device control unit 200a includes an image data acquisition unit 2000, a prediction unit 2010a, a prediction result output unit 2020, a learning unit 2030a, and a response result acquisition unit 2040a.
  • the learning unit 2030a learns the relationship between the subject response result, the subject image data, and the subject inspection data.
  • the subject's response result is the result of the subject's response to the questionnaire.
  • the learning unit 2030a uses deep learning for learning.
  • the subject's answer result is input together with each pixel value of the pixels constituting the subject's image data.
  • the response result acquisition unit 2040a acquires the user response result Q1 from the photographing device 1.
  • the prediction unit 2010a predicts the user inspection data based on the learning result L10a, the user response result Q1, and the user image data P1.
  • the prediction unit 2010a makes a prediction based on deep learning.
  • the storage unit 210 stores the learning result L10a.
  • the learning result L10a is based on the subject's second data set consisting of the subject's answer result, the subject's image data, and the subject's examination data, and the subject's answer result and the subject's image. This is the result of learning the relationship between the data and the subject test data by deep learning. That is, the learning result L10a is the result of learning based on the subject second data set composed of the combination of the subject response result, the subject image data, and the subject inspection data. .. Therefore, the prediction unit 2010a includes a second data set of the subject including the answer result of the subject, the image data of the subject, and the inspection data of the subject, the user image data P1, and the user response result Q1. Predict user inspection data based on.
  • the shooting screen G4 shown in FIG. 29 is displayed before the shooting device 1a outputs the user image data P1 and the user response result Q1 to the inspection device 2.
  • the prediction result display screen G6 shown in FIG. 30 and the history screen G7 shown in FIG. 31 are displayed for the photographing device 1a to present the prediction result A1 acquired from the inspection device 2.
  • the prediction result display screen G6 shown in FIG. 30 displays advice for improving the eye condition according to the prediction result A1.
  • the history of the score for the eye condition is displayed by a graph.
  • the inspection device 2a includes a response result acquisition unit 2040a.
  • the response result acquisition unit 2040a acquires the user response result Q1 which is the response result to the questionnaire by the user U1.
  • the prediction unit 2010a includes a second data set of the subject, which is a combination of the subject's response result, which is the result of the response to the questionnaire by the subject, the subject's image data, and the subject's inspection data, and the user.
  • User inspection data is predicted based on the image data P1 and the user response result Q1.
  • the inspection device 2a can improve the accuracy of prediction based on the user response result Q1. Further, the inspection device 2a can generate advice to the user U1 for improving the eye condition according to the prediction result A1.
  • the subject and the user U1 may be the same person.
  • the subject image data was taken by a digital camera at a time before the image of the eye of the user U1 used as the user image data P1 was captured. It is an image of the eyes of the user U1.
  • the subject's answer result was obtained before the answer result to the questionnaire by the user U1 used as the user answer result Q1 was obtained. This is the result of answering the questionnaire by user U1.
  • the inspection device 2 or the inspection device 2a improves the accuracy of predicting the user inspection data as compared with the case where the subject and the user U1 are not the same person. Can be improved.
  • the inspection device 2 or the inspection device 2a is suitably used for remote treatment and / or remote diagnosis with the user U1 as a patient.
  • User U1 who is a patient visits an ophthalmologist at least once to acquire and accumulate image data and examination data (data set) of his / her own eyes.
  • the user U1 can determine the lacrimal corneal state simply by taking an image of his / her eyes with a digital camera provided in the photographing device 1 (for example, a smartphone) and transmitting the image to an ophthalmologist without going to the hospital thereafter. can do.
  • the inspection device 2 or the inspection device 2a the user U1 can reduce the burden of going to the hospital, such as when the user is remote.
  • the user U1 can follow up the symptoms by himself / herself without sending an image of his / her eyes to an ophthalmologist. Therefore, the user U1 may go to the hospital when the symptom worsens, and the medical expenses can be reduced.
  • the photographing device control unit 100 and the inspection device control units 200, 200a are realized by a computer. good.
  • the program for realizing this control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed.
  • the "computer system” referred to here is a computer system built in the photographing devices 1, 1a, or the inspection devices 2, 2a, and includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, and a storage device such as a hard disk built in a computer system.
  • a “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In that case, a program may be held for a certain period of time, such as a volatile memory inside a computer system serving as a server or a client.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be further realized for realizing the above-mentioned functions in combination with a program already recorded in the computer system.
  • a part or all of the photographing apparatus 1, 1a and the inspection apparatus 2, 2a in the above-mentioned first embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each functional block of the photographing apparatus 1, 1a and the inspection apparatus 2, 2a may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of making an integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, when an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology, an integrated circuit based on this technology may be used.
  • FIG. 32 is a diagram showing an example of the hardware configuration of the machine learning execution device according to the second embodiment.
  • the machine learning execution device 10b shown in FIG. 32 is a device that causes the machine learning device 700b to execute machine learning in the learning phase of the machine learning device 700b described later. Further, as shown in FIG. 32, the machine learning execution device 10b includes a processor 11b, a main storage device 12b, a communication interface 13b, an auxiliary storage device 14b, an input / output device 15b, and a bus 16b.
  • the processor 11b is, for example, a CPU, reads out and executes the machine learning execution program 100b described later, and realizes each function of the machine learning execution program 100b. Further, the processor 11b may read and execute a program other than the machine learning execution program 100b to realize the functions necessary for realizing each function of the machine learning execution program 100b.
  • the main storage device 12b is, for example, a RAM, and stores in advance the machine learning execution program 100b and other programs that are read and executed by the processor 11b.
  • the communication interface 13b is an interface circuit for executing communication with the machine learning device 700b and other devices via the network NW shown in FIG. 32.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 14b is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 15b is, for example, an input / output port.
  • the keyboard 811b, the mouse 812b, and the display 910b shown in FIG. 32 are connected to the input / output device 15b.
  • the keyboard 811b and the mouse 812b are used, for example, for inputting data necessary for operating the machine learning execution device 10b.
  • the display 910b displays, for example, a graphical user interface of the machine learning execution device 10b.
  • the bus 16b connects the processor 11b, the main storage device 12b, the communication interface 13b, the auxiliary storage device 14b, and the input / output device 15b so that data can be transmitted and received to each other.
  • FIG. 33 is a diagram showing an example of the software configuration of the machine learning execution program according to the second embodiment.
  • the machine learning execution device 10b reads and executes the machine learning execution program 100b using the processor 11b, and realizes the teacher data acquisition function 101b and the machine learning execution function 102b shown in FIG. 33.
  • the teacher data acquisition function 101b acquires one learning image data and one learning blood congestion data as a problem, and one learning test image data and one learning test result data as an answer.
  • the learning image data constitutes a part of the problem of the teacher data, and is the data showing the learning image that depicts the eyes of the learning subject.
  • the learning image is taken, for example, by using a camera mounted on a smartphone.
  • the learning hyperemia data constitutes a part of the problem of the teacher data, and is data showing the degree of eye hyperemia of the learning subject.
  • the learning hyperemia data is calculated based on the learning image data, and may indicate a value indicating the degree of eye redness of the learning subject.
  • the training congestion data is assigned to each pixel included in the image by converting the learning image in which the eyes of the learning subject are depicted in color into an image in which only green is arranged. In the grayscale image in which the brightness is inverted, the value corresponding to the area of the region where the blood vessels of the condyle is depicted in white may be shown.
  • the value may be calculated using an image generated by cutting out a region depicting the conjunctiva from the grayscale image before the area is evaluated.
  • the value indicates that the larger the area of the area where the blood vessels of the conjunctiva are visualized, the greater the degree of red eye, and the smaller the area of the area where the blood vessels of the conjunctiva are visualized, the greater the degree of red eye. Is a value indicating that is small.
  • the learning hyperemia data may be input using the user interface and may indicate a value indicating the degree of eye redness of the learning subject.
  • the user interface is displayed, for example, on the display 910b shown in FIG.
  • the user interface is displayed on the touch panel display mounted on the smartphone with which the learning subject has a contract.
  • the learning test image data constitutes a part of the answer of the teacher data, and depicts the eyes of the learning subject when the test for the symptoms of dry eye is performed on the eyes of the learning subject. It is data which shows the inspection image for learning. Examples of such a test include a test for the degree of keratoconjunctival epithelial damage using a fluorescein stain reagent and a test for the degree of mucin damage using a lysamine green stain reagent. Therefore, for example, the test image data for learning is data showing an image depicting an eye stained with fluorescein or lysamine green.
  • the learning test result data constitutes a part of the answer of the teacher data, and is the data showing the test result regarding the symptom of dry eye.
  • a numerical value of 0 or more and 1 or less indicating the degree of keratoconjunctival epithelial damage based on a test using a fluorescein staining reagent can be mentioned.
  • a numerical value of 0 or more and 1 or less indicating the degree of mucin disorder based on a test using a lysamine green staining reagent can be mentioned.
  • the area of keratoconjunctival epithelial disorder or mucin disorder stained with fluorescein staining reagent or lysamine green staining reagent is less than 30% of the total area of the eye. , Indicates that the eyes of the subject for learning are normal and do not require examination by an ophthalmologist.
  • the area of keratoconjunctival epithelial disorder or mucin disorder stained with fluorescein staining reagent or lysamine green staining reagent is 30% or more of the entire eye area. Therefore, it indicates that the eyes of the subject for learning are abnormal and need to be examined by an ophthalmologist.
  • the teacher data acquisition function 101b acquires 1280 teacher data.
  • the 1280 learning image data are acquired by performing four sets of processing in which each of the two eyes of the eight learning subjects is photographed 20 times using the camera mounted on the smartphone.
  • the 1280 learning images made are shown.
  • the 1280 learning hyperemia data are calculated based on the learning image data, respectively, and show 1280 values indicating the degree of eye redness of the learning subject. ing.
  • the 1280 learning test image data are taken when the test for the symptom of dry eye is performed on the eyes of the learning subject drawn on each of the above-mentioned 1280 learning images.
  • the inspection image for learning which was done is shown.
  • the 1280 learning test result data show 1280 numerical values of 0 or more and 1 or less, which indicate the results of the tests related to the symptoms of dry eye performed when 1280 learning test images were taken. There is.
  • the 1280 learning test result data shows 640 learning test result data showing a numerical value of 0 or more and less than 0.5, which indicates that the eyes of the learning subject are normal. And 640 learning test result data showing a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal will be described as an example.
  • the machine learning execution function 102b inputs teacher data into the machine learning program 750b mounted on the machine learning device 700b, and causes the machine learning program 750b to learn.
  • the machine learning execution function 102b trains a machine learning program 750b including a convolutional neural network by backpropagation.
  • the machine learning execution function 102b uses 560 teacher data including learning test result data indicating a numerical value of 0 or more and less than 0.5 indicating that the eyes of the learning subject are normal. Input to the learning program 750b.
  • the 560 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102b includes 560 teacher data including learning test result data indicating a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal. Is input to the machine learning program 750b.
  • the 560 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102b makes the machine learning program 750b learn from these 1080 teacher data.
  • the machine learning execution function 102b indicates that the eyes of the subject for learning are normal, and the machine learning program uses 80 teacher data not used for learning of the machine learning program 750b as test data. It may be input to 750b.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102b indicates that the eyes of the subject for learning are abnormal, and the machine learning program uses 80 teacher data that were not used for learning of the machine learning program 750b as test data. It may be input to 750b.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102b may evaluate the characteristics of the machine learning program 750b obtained by learning the machine learning program 750b from the 1080 teacher data described above.
  • the machine learning execution function 102b may use, for example, class activation mapping (CAM: Class Activation Mapping) when evaluating the characteristics of the machine learning program 750b using test data.
  • Class activation mapping is a technique for clarifying the part of the data input to the neural network that is the basis of the result output by the neural network.
  • Examples of the class activation mapping include gradient weighted class activation mapping.
  • the gradient-weighted class activation mapping uses the gradient of the classification score for the features of the convolution performed by the convolutional neural network to identify the regions of the image input to the convolutional neural network that have a certain degree of influence on the classification. It is a technology.
  • FIG. 34 is a diagram showing an example of a portion of the eye image of the learning subject that was focused on when the machine learning program according to the second embodiment predicted the result of the test for corneal epithelial disorder.
  • the region surrounded by the ellipse C36 shown in FIG. 34 in the learning image shown in FIG. 34 using the gradient weighted class activation mapping is the corneal epithelium by the machine learning program 750b. It is evaluated that it has a certain influence on the prediction of the result of the inspection regarding the disorder.
  • the three-step gray scale included in the area surrounded by the ellipse C36 shown in FIG. 34 indicates the degree of influence on the prediction of the test result for corneal epithelial disorder, and all of them are learned. It is overlaid on the area of the conjunctiva of the subject's eye that depicts the blood vessels.
  • FIG. 35 is a flowchart showing an example of processing executed by the machine learning execution program according to the second embodiment.
  • the machine learning execution program 100b executes the process shown in FIG. 35 at least once.
  • step S31 the teacher data acquisition function 101b acquires teacher data in which at least one of the learning test image data and the learning test result data is the answer, with the learning image data and the learning congestion data as problems. do.
  • step S32 the machine learning execution function 102b inputs the teacher data into the machine learning program 750b and causes the machine learning program 750b to learn.
  • FIG. 36 is a diagram showing an example of the hardware configuration of the dry eye inspection apparatus according to the second embodiment.
  • the dry eye inspection device 20b shown in FIG. 36 uses the machine learning device 700b in the inference phase of the machine learning device 700b that has been learned by the machine learning execution program 100b, and the dry eye appearing in the eyes of the inference subject. It is a device that estimates symptoms. Further, as shown in FIG. 36, the dry eye inspection device 20b includes a processor 21b, a main storage device 22b, a communication interface 23b, an auxiliary storage device 24b, an input / output device 25b, and a bus 26b.
  • the processor 21b is, for example, a CPU, reads out and executes the dry eye inspection program 200b described later, and realizes each function of the dry eye inspection program 200b. Further, the processor 21b may read and execute a program other than the dry eye inspection program 200b to realize the functions necessary for realizing each function of the dry eye inspection program 200b.
  • the main storage device 22b is, for example, a RAM, and stores in advance the dry eye inspection program 200b and other programs that are read and executed by the processor 21b.
  • the communication interface 23b is an interface circuit for executing communication with the machine learning device 700b and other devices via the network NW shown in FIG. 36.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 24b is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 25b is, for example, an input / output port.
  • the keyboard 821b, the mouse 822b, and the display 920b shown in FIG. 36 are connected to the input / output device 25b.
  • the keyboard 821b and the mouse 822b are used, for example, for inputting data necessary for operating the dry eye inspection device 20b.
  • the display 920b displays, for example, a graphical user interface of the dry eye inspection device 20b.
  • the bus 26b connects the processor 21b, the main storage device 22b, the communication interface 23b, the auxiliary storage device 24b, and the input / output device 25b so that data can be transmitted and received to each other.
  • FIG. 37 is a diagram showing an example of the software configuration of the dry eye inspection program according to the second embodiment.
  • the dry eye inspection device 20b reads and executes the dry eye inspection program 200b using the processor 21b, and realizes the data acquisition function 201b and the symptom estimation function 202b shown in FIG. 37.
  • the data acquisition function 201b acquires inference image data and inference hyperemia data.
  • the inference image data is data showing an image depicting the eyes of the inference subject.
  • the inference image is taken, for example, using a camera mounted on a smartphone.
  • the inference hyperemia data is data indicating the degree of eye hyperemia of the inference subject.
  • the inference hyperemia data is calculated based on the inference image data, and may indicate a value indicating the degree of eye hyperemia of the inference subject.
  • the inference congestion data is assigned to each pixel included in the image by converting the inference image in which the eyes of the inference subject are depicted in color into an image in which only green is arranged. In the grayscale image in which the brightness is inverted, the value corresponding to the area of the region where the blood vessels of the condyle is depicted in white may be shown.
  • the value may be calculated using an image generated by cutting out a region depicting the conjunctiva from the grayscale image before the area is evaluated.
  • the value indicates that the larger the area of the area where the blood vessels of the conjunctiva are visualized, the greater the degree of red eye, and the smaller the area of the area where the blood vessels of the conjunctiva are visualized, the greater the degree of red eye. Is a value indicating that is small.
  • the inference hyperemia data may be input using the user interface and may indicate a value indicating the degree of eye hyperemia of the inference subject.
  • the user interface is displayed, for example, on the display 920b shown in FIG.
  • the user interface is displayed on the touch panel display mounted on the smartphone with which the inference subject has a contract.
  • the symptom estimation function 202a inputs inference image data and inference congestion data into the machine learning program 750b that has been learned by the machine learning execution function 102b, and the dry eye appearing in the eyes of the inference subject in the machine learning program 750b. To estimate the symptoms of. For example, the symptom estimation function 202b inputs these two data into the machine learning program 750b and causes the machine learning program 750b to estimate a numerical value indicating the degree of keratoconjunctival epithelial damage appearing in the eyes of the inference subject.
  • the symptom estimation function 202b causes the machine learning program 750b to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the symptom estimation function 202b causes the machine learning program 750b to output symptom data indicating a numerical value indicating the degree of keratoconjunctival epithelial damage appearing in the eyes of the subject for inference.
  • the symptom data is used, for example, to display on the display 920b a numerical value indicating the degree of the keratoconjunctival epithelial disorder appearing in the eyes of the inference subject, which is shown by itself.
  • FIG. 38 is a flowchart showing an example of processing executed by the dry eye inspection program according to the second embodiment.
  • step S41 the data acquisition function 201b acquires inference image data and inference hyperemia data.
  • step S42 the symptom estimation function 202b inputs the inference image data and the inference congestion data into the learned machine learning program 750b to estimate the dry eye symptom appearing in the eyes of the inference subject.
  • the machine learning program 750b is made to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the machine learning execution program, the dry eye inspection program, the machine learning execution device, the dry eye inspection device, the machine learning execution method, and the dry eye inspection method according to the second embodiment have been described above.
  • the machine learning execution program 100b includes a teacher data acquisition function 101b and a machine learning execution function 102b.
  • the teacher data acquisition function 101b has a problem of learning image data and learning blood congestion data, and acquires teacher data in which at least one of the learning test image data and the learning test result data is the answer.
  • the learning image data is data showing an image depicting the eyes of the learning subject.
  • the learning hyperemia data is data indicating the degree of eye hyperemia of the learning subject.
  • the learning test image data is data showing an image depicting the eyes of the learning subject when the test for the symptoms of dry eye is performed on the eyes of the learning subject.
  • the learning test result data is data showing the results of a test related to the symptoms of dry eye.
  • the machine learning execution function 102b inputs teacher data into the machine learning program 750b and causes the machine learning program 750b to learn.
  • the machine learning execution program 100b can generate a machine learning program 750b that predicts the result of the test regarding the symptom of dry eye based on the learning image data and the learning congestion data.
  • the machine learning execution program 100b is calculated based on the learning image data, and the teacher data in which the learning red-eye data indicating the value indicating the degree of red-eye of the learning subject is a part of the problem is used. get. As a result, the machine learning execution program 100b can save the labor of the learning subject and others to visually confirm the degree of red eye of the learning subject.
  • the machine learning execution program 100b acquires teacher data in which the learning hyperemia data input using the user interface is a part of the problem. As a result, the machine learning execution program 100b can omit the process of calculating a value indicating the degree of red eye of the learning subject based on the learning image data.
  • the dry eye test program 200b includes a data acquisition function 201b and a symptom estimation function 202b.
  • the data acquisition function 201b acquires inference image data and inference hyperemia data.
  • the inference image data is data showing an image depicting the eyes of the inference subject.
  • the inference hyperemia data is data indicating the degree of eye hyperemia of the inference subject.
  • the symptom estimation function 202b inputs inference image data and inference congestion data into the machine learning program 750b that has been learned by the machine learning execution program 100b, and causes the inference subject to estimate the symptoms of dry eye appearing in the eyes. .. Then, the symptom estimation function 202b causes the machine learning program 750b to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the dry eye test program 200b can predict the result of the test for the symptoms of dry eye without actually carrying out the test for the symptoms of dry eye.
  • the dry eye test program 200b is calculated based on the inference image data, and acquires the inference red-eye data indicating the value indicating the degree of eye red-eye of the inference subject. As a result, the dry eye test program 200b can save the labor of the inference subject and others to visually confirm the degree of red eye of the inference subject.
  • the dry eye test program 200b acquires the input inference hyperemia data using the user interface. As a result, the dry eye test program 200b can omit the process of calculating a value indicating the degree of red eye of the inference subject based on the inference image data.
  • the above-mentioned 560 teacher data indicating that the eyes of the learning subject are normal and 560 teacher data indicating that the eyes of the learning subject are abnormal are shown.
  • the machine learning program learned in this way has 80 test data indicating that the eyes of the learning subject described above are normal and 80 indicating that the eyes of the learning subject are abnormal.
  • the prediction accuracy was 73% and the false negative rate was 34%.
  • the machine learning program 750b learned by the machine learning execution program 100b showed a prediction accuracy of 78% and a false negative rate of 11% when the characteristics were evaluated using the same test data. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the prediction accuracy is the total of the number X of the learning images included in the abnormal group predicted to be abnormal by the machine learning program and the number Y of the learning images included in the normal group predicted to be normal by the machine learning program. It is a ratio to the total number of XY test data. Therefore, in the case of this comparative example, the prediction accuracy is calculated by ((X + Y) / 160) ⁇ 100.
  • the false negative rate is the ratio of the learning images included in the abnormal group to the total number of learning images included in the abnormal group predicted to be normal by the machine learning program. Therefore, in the case of this comparative example, the false negative rate is calculated by ((80-X) / 80) ⁇ 100.
  • the above-mentioned 540 teacher data indicating that the eyes of the learning subject are normal and 580 teacher data indicating that the eyes of the learning subject are abnormal are shown.
  • the machine learning program learned in this way has 80 test data indicating that the eyes of the learning subject described above are normal and 80 indicating that the eyes of the learning subject are abnormal.
  • the prediction accuracy was 73% and the false negative rate was 34%.
  • the machine learning program 750b learned by the machine learning execution program 100b showed a prediction accuracy of 78% and a false negative rate of 11% when the characteristics were evaluated using the same test data. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • machine learning execution program 100b may be realized by hardware including a circuit unit.
  • dry eye inspection program 200b may be realized by hardware including a circuit unit.
  • such hardware is, for example, LSI, ASIC, FPGA, GPU.
  • At least a part of the functions of the machine learning execution program 100b may be realized by the cooperation of software and hardware.
  • at least some of the functions of the dry eye inspection program 200b may be realized by the collaboration of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the machine learning execution device 10b, the machine learning device 700b, and the dry eye inspection device 20b are independent devices. These devices may be realized as one device.
  • the machine learning execution program, the machine learning execution device, and the machine learning execution method according to the third embodiment are different from the machine learning execution program, the machine learning execution device, and the machine learning execution method according to the second embodiment, and are different from the learning blood congestion data. Instead, use teacher data that includes the learning answer data described later as a problem.
  • FIG. 39 is a diagram showing an example of the hardware configuration of the machine learning execution device according to the third embodiment.
  • the machine learning execution device 10c shown in FIG. 39 is a device that causes the machine learning device 700c to execute machine learning in the learning phase of the machine learning device 700c described later. Further, as shown in FIG. 39, the machine learning execution device 10c includes a processor 11c, a main storage device 12c, a communication interface 13c, an auxiliary storage device 14c, an input / output device 15c, and a bus 16c.
  • the processor 11c is, for example, a CPU, reads out and executes the machine learning execution program 100c described later, and realizes each function of the machine learning execution program 100c. Further, the processor 11c may read and execute a program other than the machine learning execution program 100c to realize the functions necessary for realizing each function of the machine learning execution program 100c.
  • the main storage device 12c is, for example, a RAM, and stores in advance a machine learning execution program 100c and other programs that are read and executed by the processor 11c.
  • the communication interface 13c is an interface circuit for executing communication with the machine learning device 700c and other devices via the network NW shown in FIG. 39.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 14c is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 15c is, for example, an input / output port.
  • the keyboard 811c, the mouse 812c, and the display 910c shown in FIG. 1 are connected to the input / output device 15c.
  • the keyboard 811c and the mouse 812c are used, for example, for inputting data necessary for operating the machine learning execution device 10c.
  • the display 910c displays, for example, a graphical user interface of the machine learning execution device 10c.
  • the bus 16c connects the processor 11c, the main storage device 12c, the communication interface 13c, the auxiliary storage device 14c, and the input / output device 15c so that data can be transmitted and received to each other.
  • FIG. 40 is a diagram showing an example of the software configuration of the machine learning execution program according to the third embodiment.
  • the machine learning execution device 10c reads and executes the machine learning execution program 100c using the processor 11c, and realizes the teacher data acquisition function 101c and the machine learning execution function 102c shown in FIG. 40.
  • the teacher data acquisition function 101c acquires one learning image data and one learning answer data as a problem, and one learning inspection image data and one learning inspection result data as an answer.
  • the learning image data constitutes a part of the problem of the teacher data, and is the data showing the learning image that depicts the eyes of the learning subject.
  • the learning image is taken, for example, by using a camera mounted on a smartphone.
  • the learning answer data is data showing the result of answering a question about the subjective symptom of the eye that the learning subject has.
  • the questions indicated by the learning answer data include, for example, the learning subject has “blurred eyes”, “blurred eyes”, “it is hard to open the eyes”, and “feels a foreign body in the eyes”. , “I feel uncomfortable with my eyes.”
  • the questions indicated by the learning answer data include questions such as “eyes are tired”, “eyes are dry”, “eyes are heavy”, and “eyes are red-eye”.
  • the answers to the questions regarding the subjective symptoms of the eyes are "0 points: no symptoms at all", “1 point: not very worrisome", “2 points: slightly unconcerned”, “3 points: qi”. It may be a method of selecting from five stages of "become” and “4 points: very worrisome”. Alternatively, the answer to the question regarding the subjective symptom of the eye may be a method of selecting from "yes" and "no".
  • the learning test image data constitutes a part of the answer of the teacher data, and depicts the eyes of the learning subject when the test for the symptoms of dry eye is performed on the eyes of the learning subject. It is data which shows the inspection image for learning. Examples of such a test include a test for the degree of keratoconjunctival epithelial damage using a fluorescein stain reagent and a test for the degree of mucin damage using a lysamine green stain reagent. Therefore, for example, the test image data for learning is data showing an image depicting an eye stained with fluorescein or lysamine green.
  • the learning test result data constitutes a part of the answer of the teacher data, and is the data showing the test result regarding the symptom of dry eye.
  • a numerical value of 0 or more and 1 or less indicating the degree of keratoconjunctival epithelial damage based on a test using a fluorescein staining reagent can be mentioned.
  • a numerical value of 0 or more and 1 or less indicating the degree of mucin disorder based on a test using a lysamine green staining reagent can be mentioned.
  • the area of keratoconjunctival epithelial disorder or mucin disorder stained with fluorescein staining reagent or lysamine green staining reagent is less than 30% of the total area of the eye. , Indicates that the eyes of the subject for learning are normal and do not require examination by an ophthalmologist.
  • the area of keratoconjunctival epithelial disorder or mucin disorder stained with fluorescein staining reagent or lysamine green staining reagent is 30% or more of the entire eye area. Therefore, it indicates that the eyes of the subject for learning are abnormal and need to be examined by an ophthalmologist.
  • the teacher data acquisition function 101c acquires 1280 teacher data.
  • the 1280 learning image data are acquired by performing four sets of processing in which each of the two eyes of the eight learning subjects is photographed 20 times using the camera mounted on the smartphone.
  • the 1280 learning images made are shown.
  • the 1280 learning response data show 1280 results as a result of answering the question regarding the subjective symptom of the eye held by the learning subject, respectively.
  • the 1280 learning test image data are taken when the test for the symptom of dry eye is performed on the eyes of the learning subject drawn on each of the above-mentioned 1280 learning images.
  • the inspection image for learning which was done is shown.
  • the 1280 learning test result data show 1280 numerical values of 0 or more and 1 or less, which indicate the results of the tests related to the symptoms of dry eye performed when 1280 learning test images were taken. There is.
  • the 1280 learning test result data shows 640 learning test result data showing a numerical value of 0 or more and less than 0.5, which indicates that the eyes of the learning subject are normal. And 640 learning test result data showing a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal will be described as an example.
  • the machine learning execution function 102c inputs teacher data into the machine learning program 750c mounted on the machine learning device 700c, and causes the machine learning program 750c to learn.
  • the machine learning execution function 102c trains a machine learning program 750c including a convolutional neural network by backpropagation.
  • the machine learning execution function 102c uses 560 teacher data including learning test result data indicating a numerical value of 0 or more and less than 0.5 indicating that the eyes of the learning subject are normal. Input to the learning program 750c.
  • the 560 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102c includes 560 teacher data including learning test result data indicating a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal. Is input to the machine learning program 750c.
  • the 560 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102c makes the machine learning program 750c learn from these 1080 teacher data.
  • the machine learning execution function 102c indicates that the eyes of the subject for learning are normal, and the machine learning program uses 80 teacher data that were not used for learning of the machine learning program 750c as test data. It may be input to 750c.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102c indicates that the eyes of the subject for learning are abnormal, and the machine learning program uses 80 teacher data that were not used for learning of the machine learning program 750c as test data. It may be input to 750c.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102c may evaluate the characteristics of the machine learning program 750c obtained by learning the machine learning program 750c from the 1080 teacher data described above.
  • the machine learning execution function 102c may use, for example, class activation mapping when evaluating the characteristics of the machine learning program 750c using test data.
  • Class activation mapping is a technique for clarifying the part of the data input to the neural network that is the basis of the result output by the neural network.
  • Examples of the class activation mapping include gradient weighted class activation mapping.
  • the gradient-weighted class activation mapping uses the gradient of the classification score for the features of the convolution performed by the convolutional neural network to identify the regions of the image input to the convolutional neural network that have a certain degree of influence on the classification. It is a technology.
  • FIG. 41 is a flowchart showing an example of processing executed by the machine learning execution program according to the third embodiment.
  • the machine learning execution program 100c executes the process shown in FIG. 41 at least once.
  • step S51 the teacher data acquisition function 101c acquires teacher data in which at least one of the learning test image data and the learning test result data is the answer, with the learning image data and the learning answer data as problems. do.
  • step S52 the machine learning execution function 102a inputs the teacher data into the machine learning program 750c and causes the machine learning program 750c to learn.
  • the dry eye test program, the dry eye test device, and the dry eye test method according to the third embodiment are different from the dry eye test program, the dry eye test device, and the dry eye test method according to the second embodiment, and the congestion data for inference is used. Instead, the answer data for inference, which will be described later, is acquired.
  • FIG. 42 is a diagram showing an example of the hardware configuration of the dry eye inspection apparatus according to the third embodiment.
  • the dry eye inspection device 20c shown in FIG. 42 is a dry eye appearing in the eyes of an inference subject using the machine learning device 700c in the inference phase of the machine learning device 700c that has been learned by the machine learning execution program 100c. It is a device that estimates symptoms. Further, as shown in FIG. 42, the dry eye inspection device 20c includes a processor 21c, a main storage device 22c, a communication interface 23c, an auxiliary storage device 24c, an input / output device 25c, and a bus 26c.
  • the processor 21c is, for example, a CPU, reads out and executes the dry eye inspection program 200c described later, and realizes each function of the dry eye inspection program 200c. Further, the processor 21c may read and execute a program other than the dry eye inspection program 200c to realize the functions necessary for realizing each function of the dry eye inspection program 200c.
  • the main storage device 22c is, for example, a RAM, and stores in advance the dry eye inspection program 200c and other programs read and executed by the processor 21c.
  • the communication interface 23c is an interface circuit for executing communication with the machine learning device 700c and other devices via the network NW shown in FIG. 42.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 24c is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 25c is, for example, an input / output port.
  • the keyboard 821c, the mouse 822c, and the display 920c shown in FIG. 42 are connected to the input / output device 25c.
  • the keyboard 821c and the mouse 822c are used, for example, for inputting data necessary for operating the dry eye inspection device 20c.
  • the display 920c displays, for example, a graphical user interface of the dry eye inspection device 20c.
  • the bus 26c connects the processor 21c, the main storage device 22c, the communication interface 23c, the auxiliary storage device 24c, and the input / output device 25c so that data can be transmitted and received to each other.
  • FIG. 43 is a diagram showing an example of the software configuration of the dry eye inspection program according to the third embodiment.
  • the dry eye inspection device 20c reads and executes the dry eye inspection program 200c using the processor 21c, and realizes the data acquisition function 201c and the symptom estimation function 202c shown in FIG. 43.
  • the data acquisition function 201c acquires inference image data and inference answer data.
  • the inference image data is data showing an image depicting the eyes of the inference subject.
  • the inference image is taken, for example, using a camera mounted on a smartphone.
  • the inference answer data is data showing the result of answering the question about the subjective symptom of the eye that the inference subject has.
  • the questions indicated by the inference answer data include, for example, the inference subject has “blurred eyes”, “blurred eyes”, “it is hard to open the eyes”, and “feels a foreign body in the eyes”. , “I feel uncomfortable with my eyes.”
  • the questions indicated by the inference answer data include questions such as “eyes are tired”, “eyes are dry”, “eyes are heavy”, and “eyes are red-eye”.
  • the answers to the questions regarding the subjective symptoms of the eyes are “0 points: no symptoms at all”, “1 point: not very worrisome”, “2 points: slightly unconcerned”, “3 points: qi”. It may be a method of selecting from five stages of "become” and “4 points: very worrisome”. Alternatively, the answer to the question regarding eye awareness may be a method of selecting from "yes" and "no".
  • the symptom estimation function 202c inputs inference image data and inference answer data into the machine learning program 750c that has been learned by the machine learning execution function 102c, and the dry eye appearing in the eyes of the inference subject in the machine learning program 750c. To estimate the symptoms of. For example, the symptom estimation function 202c inputs these two data into the machine learning program 750c and causes the machine learning program 750c to estimate a numerical value indicating the degree of keratoconjunctival epithelial damage appearing in the eye of the inference subject.
  • the symptom estimation function 202c causes the machine learning program 750c to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the symptom estimation function 202c causes the machine learning program 750c to output symptom data indicating a numerical value indicating the degree of keratoconjunctival epithelial damage appearing in the eyes of the subject for inference.
  • the symptom data is used, for example, to display on the display 920c a numerical value indicating the degree of the keratoconjunctival epithelial disorder appearing in the eyes of the inference subject, which is shown by itself.
  • FIG. 44 is a flowchart showing an example of the process executed by the dry eye inspection program according to the third embodiment.
  • step S61 the data acquisition function 201c acquires inference image data and inference answer data.
  • step S62 the symptom estimation function 202c inputs the inference image data and the inference answer data into the trained machine learning program 750c to estimate the dry eye symptom appearing in the eyes of the inference subject.
  • the machine learning program 750c is made to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the machine learning execution program, the dry eye inspection program, the machine learning execution device, the dry eye inspection device, the machine learning execution method, and the dry eye inspection method according to the third embodiment have been described above.
  • the machine learning execution program 100c includes a teacher data acquisition function 101c and a machine learning execution function 102c.
  • the teacher data acquisition function 101c has a problem of learning image data and learning answer data, and acquires teacher data in which at least one of the learning inspection image data and the learning inspection result data is the answer.
  • the learning image data is data showing an image depicting the eyes of the learning subject.
  • the learning answer data is data showing the result of answering a question about the subjective symptom of the eye that the learning subject has.
  • the learning test image data is data showing an image depicting the eyes of the learning subject when the test for the symptoms of dry eye is performed on the eyes of the learning subject.
  • the learning test result data is data showing the results of a test related to the symptoms of dry eye.
  • the machine learning execution function 102c inputs teacher data into the machine learning program 750c and causes the machine learning program 750c to learn.
  • the machine learning execution program 100c can generate a machine learning program 750c that predicts the result of the inspection regarding the symptom of dry eye based on the image data for learning and the answer data for learning.
  • the machine learning execution program 100c trains the machine learning program 750c using not only the learning image data but also the teacher data including the learning blood congestion data as a problem. Therefore, the machine learning execution program 100c can generate a machine learning program 750c that can predict the result of the inspection regarding the symptoms of dry eye with higher accuracy.
  • the dry eye test program 200c has a data acquisition function 201c and a symptom estimation function 202c.
  • the data acquisition function 201c acquires inference image data and inference answer data.
  • the inference image data is data showing an image depicting the eyes of the inference subject.
  • the inference answer data is data showing the result of answering a question about the subjective symptom of the eye that the inference subject has.
  • the symptom estimation function 202c inputs inference image data and inference answer data into the machine learning program 750c that has been learned by the machine learning execution program 100c, and causes the inference subject to estimate the symptoms of dry eye appearing in the eyes. .. Then, the symptom estimation function 202c causes the machine learning program 750c to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the dry eye test program 200c can predict the result of the test for the symptoms of dry eye without actually performing the test for the symptoms of dry eye.
  • the above-mentioned 560 teacher data indicating that the eyes of the learning subject are normal and 560 teacher data indicating that the eyes of the learning subject are abnormal are shown.
  • the machine learning program learned in this way has 80 test data indicating that the eyes of the learning subject described above are normal and 80 indicating that the eyes of the learning subject are abnormal.
  • the prediction accuracy was 73% and the false negative rate was 34%.
  • the machine learning program 750b learned by the machine learning execution program 100b showed a prediction accuracy of 77% and a false negative rate of 12% when the characteristics were evaluated using the same test data. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the questions indicated by the learning answer data are "blurred eyes”, “blurred eyes”, “it is hard to open the eyes”, “feeling a foreign body in the eyes” and " There are five questions, "I feel uncomfortable with my eyes.”
  • the prediction accuracy is the total of the number X of the learning images included in the abnormal group predicted to be abnormal by the machine learning program and the number Y of the learning images included in the normal group predicted to be normal by the machine learning program. It is a ratio to the total number of XY test data. Therefore, in the case of this comparative example, the prediction accuracy is calculated by ((X + Y) / 160) ⁇ 100.
  • the false negative rate is the ratio of the learning images included in the abnormal group to the total number of learning images included in the abnormal group predicted to be normal by the machine learning program. Therefore, in the case of this comparative example, the false negative rate is calculated by ((80-X) / 80) ⁇ 100.
  • the above-mentioned 540 teacher data indicating that the eyes of the learning subject are normal and 580 teacher data indicating that the eyes of the learning subject are abnormal are shown.
  • the machine learning program learned in this way has 80 test data indicating that the eyes of the learning subject described above are normal and 80 indicating that the eyes of the learning subject are abnormal.
  • the prediction accuracy was 73% and the false negative rate was 34%.
  • the machine learning program 750b learned by the machine learning execution program 100b showed a prediction accuracy of 77% and a false negative rate of 12% when the characteristics were evaluated using the same test data. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the questions indicated by the learning answer data are "blurred eyes”, “blurred eyes”, “it is hard to open the eyes”, “feeling a foreign body in the eyes” and " There are five questions, "I feel uncomfortable with my eyes.”
  • the functions of the machine learning execution program 100c may be realized by hardware including a circuit unit.
  • at least some of the functions of the dry eye inspection program 200b may be realized by hardware including a circuit unit.
  • such hardware is, for example, LSI, ASIC, FPGA, GPU.
  • the functions of the machine learning execution program 100c may be realized by the cooperation of software and hardware.
  • at least some of the functions of the dry eye inspection program 200c may be realized by the collaboration of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the machine learning execution device 10c, the machine learning device 700c, and the dry eye inspection device 20c are independent devices. These devices may be realized as one device.
  • the teacher data acquisition function 101b acquires the teacher data that does not include the learning answer data described in the third embodiment as a part of the problem is given as an example, but the present invention is not limited to this. ..
  • the teacher data acquisition function 101b may acquire teacher data including learning answer data as a problem in addition to learning hyperemia data.
  • the data acquisition function 201b acquires inference response data in addition to inference hyperemia data.
  • the symptom estimation function 202b causes the machine learning program 750b to estimate the symptom of dry eye appearing in the eyes of the inference subject based on the inference response data in addition to the inference congestion data.
  • the teacher data acquisition function 101c acquires the teacher data that does not include the learning hyperemia data described in the second embodiment as a part of the problem is taken as an example. Not limited.
  • the teacher data acquisition function 101c may acquire teacher data including learning hyperemia data as a problem in addition to learning answer data.
  • the data acquisition function 201c acquires the inference hyperemia data in addition to the inference answer data.
  • the symptom estimation function 202c causes the machine learning program 750c to estimate the symptom of dry eye appearing in the eyes of the inference subject based on the inference congestion data in addition to the inference response data.
  • teacher data that includes both learning congestion data and learning response data as problems
  • the eyes of the inference subject are trained based on both the inference congestion data and the inference response data.
  • teacher data acquisition function 101b acquires learning answer data
  • data acquisition function 201b acquires inference answer data
  • the above-mentioned 560 teacher data indicating that the eyes of the learning subject are normal and 560 teacher data indicating that the eyes of the learning subject are abnormal are shown.
  • the machine learning program learned in this way has 80 test data indicating that the eyes of the learning subject described above are normal and 80 indicating that the eyes of the learning subject are abnormal.
  • the prediction accuracy was 73% and the false negative rate was 34%.
  • the machine learning program 750b learned by the machine learning execution program 100b showed a prediction accuracy of 84% and a false negative rate of 5% when the characteristics were evaluated using the same test data. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the questions indicated by the learning answer data are "blurred eyes”, “blurred eyes”, “it is hard to open the eyes”, “feeling a foreign body in the eyes” and " There are five questions, "I feel uncomfortable with my eyes.”
  • the prediction accuracy is the total of the number X of the learning images included in the abnormal group predicted to be abnormal by the machine learning program and the number Y of the learning images included in the normal group predicted to be normal by the machine learning program. It is a ratio to the total number of XY test data. Therefore, in the case of this comparative example, the prediction accuracy is calculated by ((X + Y) / 160) ⁇ 100.
  • the false negative rate is the ratio of the learning images included in the abnormal group to the total number of learning images included in the abnormal group predicted to be normal by the machine learning program. Therefore, in the case of this comparative example, the false negative rate is calculated by ((80-X) / 80) ⁇ 100.
  • the above-mentioned 540 teacher data indicating that the eyes of the learning subject are normal and 580 teacher data indicating that the eyes of the learning subject are abnormal are shown.
  • the machine learning program learned in this way has 80 test data indicating that the eyes of the learning subject described above are normal and 80 indicating that the eyes of the learning subject are abnormal.
  • the prediction accuracy was 73% and the false negative rate was 34%.
  • the machine learning program 750b learned by the machine learning execution program 100b showed a prediction accuracy of 84% and a false negative rate of 5% when the characteristics were evaluated using the same test data. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the questions indicated by the learning answer data are "blurred eyes”, “blurred eyes”, “it is hard to open the eyes”, “feeling a foreign body in the eyes” and " There are five questions, "I feel uncomfortable with my eyes.”
  • the above-mentioned dry eye test program, dry eye test device, and dry eye test method may be used before and after the dry eye eye drops are instilled in the eyes of the subject for inference.
  • the dry eye eye drops have the dry eye symptoms of the inference subject. It can also be a means of verifying the effectiveness of the product.
  • FIG. 45 is a diagram showing an example of the hardware configuration of the machine learning execution device according to the fourth embodiment.
  • the machine learning execution device 10d shown in FIG. 45 is a device that causes the machine learning device 700d to execute machine learning in the learning phase of the machine learning device 700d described later. Further, as shown in FIG. 45, the machine learning execution device 10d includes a processor 11d, a main storage device 12d, a communication interface 13d, an auxiliary storage device 14d, an input / output device 15d, and a bus 16d.
  • the processor 11d is, for example, a CPU, reads out and executes the machine learning execution program 100d described later, and realizes each function of the machine learning execution program 100d. Further, the processor 11d may read and execute a program other than the machine learning execution program 100d to realize the functions necessary for realizing each function of the machine learning execution program 100d.
  • the main storage device 12d is, for example, a RAM, and stores in advance a machine learning execution program 100d and other programs that are read and executed by the processor 11d.
  • the communication interface 13d is an interface circuit for executing communication with the machine learning device 700d and other devices via the network NW shown in FIG. 45.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 14d is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 15d is, for example, an input / output port.
  • the keyboard 811d, the mouse 812d, and the display 910d shown in FIG. 45 are connected to the input / output device 15d.
  • the keyboard 811d and the mouse 812d are used, for example, for inputting data necessary for operating the machine learning execution device 10d.
  • the display 910d displays, for example, a graphical user interface of the machine learning execution device 10d.
  • the bus 16d connects the processor 11d, the main storage device 12d, the communication interface 13d, the auxiliary storage device 14d, and the input / output device 15d so that data can be transmitted and received to each other.
  • FIG. 46 is a diagram showing an example of the software configuration of the machine learning execution program according to the fourth embodiment.
  • the machine learning execution device 10d reads and executes the machine learning execution program 100d using the processor 11d, and realizes the teacher data acquisition function 101d and the machine learning execution function 102d shown in FIG. 46.
  • the teacher data acquisition function 101d acquires one learning image data and one learning eyelid opening data as a problem, and one learning inspection image data and one learning inspection result data as an answer.
  • the learning image data constitutes a part of the problem of the teacher data, and is the data showing the learning image that depicts the eyes of the learning subject.
  • the learning image is taken, for example, by using a camera mounted on a smartphone.
  • the learning eyelid opening data constitutes part of the problem of teacher data, and is the maximum eyelid opening time, which is the time during which the learning subject was able to continuously open the eye on which the learning image was taken. It is the data to show.
  • the learning eyelid opening data is based on the movement of the eyelids shown in the video being shot at least from immediately after the learning subject blinks and opens his eyes to the next blink. It may indicate the calculated maximum eyelid opening time.
  • the learning eyelid opening data may be based on the self-report of the learning subject and may indicate the maximum eyelid opening time entered using the user interface.
  • the user interface is displayed, for example, on the display 910d shown in FIG. 45.
  • the user interface is displayed on the touch panel display mounted on the smartphone with which the learning subject has a contract.
  • the learning test image data constitutes a part of the answer of the teacher data, and depicts the eyes of the learning subject when the test for the symptoms of dry eye is performed on the eyes of the learning subject. It is data which shows the inspection image for learning. Examples of such a test include a test in which a fluorescein staining reagent is instilled and an eye is observed using a slit lamp to check the tear film destruction time.
  • the learning test image data is data showing an image or moving image that is stained with fluorescein and depicts the eye being observed using a slit lamp.
  • the learning test result data constitutes a part of the answer of the teacher data, and is the data showing the test result regarding the symptom of dry eye.
  • the length of the tear layer destruction time is expressed based on a test in which a fluorescein staining reagent is instilled and the eyes are observed using a slit lamp to examine the tear layer destruction time. A numerical value of 0 or more and 1 or less can be mentioned.
  • this value is 0 or more and less than 0.5, it means that the tear layer destruction time is 10 seconds or more, so that the eyes of the learning subject are normal and the examination by an ophthalmologist is unnecessary. There is. In addition, when this value is 0.5 or more and 1 or less, the tear layer destruction time is less than 10 seconds, so that the eyes of the learning subject are abnormal and an ophthalmologist needs to be examined. Represents.
  • the teacher data acquisition function 101d acquires 1280 teacher data.
  • the 1280 learning image data are acquired by performing four sets of processing in which each of the two eyes of the eight learning subjects is photographed 20 times using the camera mounted on the smartphone.
  • the 1280 learning images made are shown.
  • the 1280 learning eyelid opening data show 1280 values indicating the values representing the maximum eyelid opening time of the learning subject, respectively.
  • the 1280 learning test image data are taken when the test for the symptom of dry eye is performed on the eyes of the learning subject drawn on each of the above-mentioned 1280 learning images.
  • the inspection image for learning which was done is shown.
  • the 1280 learning test result data show 1280 numerical values of 0 or more and 1 or less, which indicate the results of the tests related to the symptoms of dry eye performed when 1280 learning test images were taken. There is.
  • the 1280 learning test result data show 620 learning test result data showing a numerical value of 0 or more and less than 0.5, which indicates that the eyes of the learning subject are normal.
  • 660 learning test result data showing a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal will be described as an example.
  • the machine learning execution function 102d inputs teacher data into the machine learning program 750d mounted on the machine learning device 700d, and causes the machine learning program 750d to learn.
  • the machine learning execution function 102d trains a machine learning program 750d including a convolutional neural network by backpropagation.
  • the machine learning execution function 102d uses 540 teacher data including learning test result data indicating a numerical value of 0 or more and less than 0.5 indicating that the eyes of the learning subject are normal. Input to the learning program 750d.
  • the 540 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102d includes 580 teacher data including learning test result data indicating a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal. Is input to the machine learning program 750d.
  • the 580 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102d makes the machine learning program 750d learn from these 1120 teacher data.
  • the machine learning execution function 102d indicates that the eyes of the subject for learning are normal, and the machine learning program uses 80 teacher data not used for learning of the machine learning program 750d as test data. It may be input to 750d.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102d indicates that the eyes of the subject for learning are abnormal, and the machine learning program uses 80 teacher data that were not used for learning of the machine learning program 750d as test data. It may be input to 750d.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102d may evaluate the characteristics of the machine learning program 750d obtained by learning the machine learning program 750d from the above-mentioned 1120 teacher data.
  • the machine learning execution function 102d may use, for example, class activation mapping when evaluating the characteristics of the machine learning program 750d using test data.
  • Class activation mapping is a technique for clarifying the part of the data input to the neural network that is the basis of the result output by the neural network.
  • Examples of the class activation mapping include gradient weighted class activation mapping.
  • the gradient-weighted class activation mapping uses the gradient of the classification score for the features of the convolution performed by the convolutional neural network to identify the regions of the image input to the convolutional neural network that have a certain degree of influence on the classification. It is a technology.
  • FIG. 47 is a flowchart showing an example of processing executed by the machine learning execution program according to the fourth embodiment.
  • the machine learning execution program 100d executes the process shown in FIG. 47 at least once.
  • step S71 the teacher data acquisition function 101d has a problem of learning image data and learning eyelid opening data, and has teacher data as an answer to at least one of the learning inspection image data and the learning inspection result data. get.
  • step S72 the machine learning execution function 102d inputs the teacher data into the machine learning program 750d and causes the machine learning program 750d to learn.
  • FIG. 48 is a diagram showing an example of the hardware configuration of the dry eye inspection apparatus according to the fourth embodiment.
  • the dry eye inspection device 20d shown in FIG. 48 is a dry eye appearing in the eyes of an inference subject using the machine learning device 700d in the inference phase of the machine learning device 700d that has been learned by the machine learning execution program 100d. It is a device that estimates symptoms. Further, as shown in FIG. 48, the dry eye inspection device 20d includes a processor 21d, a main storage device 22d, a communication interface 23d, an auxiliary storage device 24d, an input / output device 25d, and a bus 26d.
  • the processor 21d is, for example, a CPU, reads out and executes the dry eye inspection program 200d described later, and realizes each function of the dry eye inspection program 200d. Further, the processor 21d may read and execute a program other than the dry eye inspection program 200d to realize the functions necessary for realizing each function of the dry eye inspection program 200d.
  • the main storage device 22d is, for example, a RAM, and stores in advance the dry eye inspection program 200d and other programs read and executed by the processor 21d.
  • the communication interface 23d is an interface circuit for executing communication with the machine learning device 700d and other devices via the network NW shown in FIG. 48.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 24d is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 25d is, for example, an input / output port.
  • the keyboard 821d, the mouse 822d, and the display 920d shown in FIG. 48 are connected to the input / output device 25d.
  • the keyboard 821d and the mouse 822d are used, for example, for inputting data necessary for operating the dry eye inspection device 20d.
  • the display 920d displays, for example, a graphical user interface of the dry eye inspection device 20d.
  • the bus 26d connects the processor 21d, the main storage device 22d, the communication interface 23d, the auxiliary storage device 24d, and the input / output device 25d so that data can be transmitted and received to each other.
  • FIG. 49 is a diagram showing an example of the software configuration of the dry eye inspection program according to the fourth embodiment.
  • the dry eye inspection device 20d reads and executes the dry eye inspection program 200d using the processor 21d, and realizes the data acquisition function 201d and the symptom estimation function 202d shown in FIG. 49.
  • the data acquisition function 201d acquires inference image data and inference eyelid opening data.
  • the inference image data is data showing an image depicting the eyes of the inference subject.
  • the inference image is taken, for example, using a camera mounted on a smartphone.
  • the inference eyelid opening data is data indicating the maximum eyelid opening time, which is the time during which the inference subject was able to continuously open the eye in which the inference image was taken.
  • the inference eyelid opening data is based on the movement of the eyelids shown in the video being shot at least from immediately after the inference subject blinks and opens his eyes to the next blink. It may indicate the calculated maximum eyelid opening time.
  • the inference eyelid opening data may be based on the self-report of the inference subject and may indicate the maximum eyelid opening time entered using the user interface.
  • the user interface is displayed, for example, on the display 920d shown in FIG.
  • the user interface is displayed on the touch panel display mounted on the smartphone with which the inference subject has a contract.
  • the symptom estimation function 202d inputs inference image data and inference eyelid opening data into the machine learning program 750d that has been learned by the machine learning execution function 102d, and the dry appearing in the eyes of the inference subject in the machine learning program 750d. Infer eye symptoms. For example, the symptom estimation function 202d inputs these two data into the machine learning program 750d and causes the machine learning program 750d to estimate a numerical value indicating the length of the tear film destruction time of the eye of the inference subject.
  • the symptom estimation function 202d causes the machine learning program 750d to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the symptom estimation function 202d causes the machine learning program 750d to output symptom data indicating a numerical value indicating the length of the tear film destruction time of the eye of the inference subject.
  • the symptom data is shown by itself, for example, and is used to display a numerical value indicating the length of the tear film destruction time of the eye of the inference subject on the display 920d.
  • FIG. 50 is a flowchart showing an example of processing executed by the dry eye inspection program according to the fourth embodiment.
  • step S81 the data acquisition function 201d acquires inference image data and inference eyelid opening data.
  • step S82 the symptom estimation function 202d inputs inference image data and inference eyelid opening data into the learned machine learning program 750d, and causes the inference subject to estimate the symptoms of dry eye appearing in the eyes.
  • the machine learning program 750d is made to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the machine learning execution program, the dry eye inspection program, the machine learning execution device, the dry eye inspection device, the machine learning execution method, and the dry eye inspection method according to the fourth embodiment have been described above.
  • the machine learning execution program 100d includes a teacher data acquisition function 101d and a machine learning execution function 102d.
  • the teacher data acquisition function 101d has a problem of learning image data and learning eyelid opening data, and acquires teacher data in which at least one of the learning inspection image data and the learning inspection result data is the answer.
  • the learning image data is data showing an image depicting the eyes of the learning subject.
  • the learning eyelid opening data is data indicating the maximum eyelid opening time, which is the time during which the learning subject was able to continuously open the eyes on which the learning image was taken.
  • the learning test image data is data showing an image depicting the eyes of the learning subject when the test for the symptoms of dry eye is performed on the eyes of the learning subject.
  • the learning test result data is data showing the results of a test related to the symptoms of dry eye.
  • the machine learning execution function 102d inputs teacher data into the machine learning program 750d and causes the machine learning program 750d to learn.
  • the machine learning execution program 100d can generate a machine learning program 750d that predicts the result of the inspection regarding the symptom of dry eye based on the learning image data and the learning eyelid opening data.
  • the machine learning execution program 100d trains the machine learning program 750d using not only the learning image data but also the teacher data including the learning eyelid opening data as a problem. Therefore, the machine learning execution program 100d can generate a machine learning program 750d that can predict the result of the inspection regarding the symptoms of dry eye with higher accuracy.
  • the dry eye test program 200d has a data acquisition function 201d and a symptom estimation function 202d.
  • the data acquisition function 201d acquires inference image data and inference eyelid opening data.
  • the inference image data is data showing an image depicting the eyes of the inference subject.
  • the inference eyelid opening data is data indicating the maximum eyelid opening time, which is the time during which the inference subject was able to continuously open the eyes in which the inference image was taken.
  • the symptom estimation function 202d inputs inference image data and inference eyelid opening data into the machine learning program 750d that has been learned by the machine learning execution program 100d, and estimates the symptoms of dry eye appearing in the eyes of the inference subject. Let me. Then, the symptom estimation function 202d causes the machine learning program 750d to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the dry eye test program 200d can predict the result of the test for the symptoms of dry eye without actually performing the test for the symptoms of dry eye.
  • the above-mentioned 540 teacher data indicating that the eyes of the learning subject are normal and 580 teacher data indicating that the eyes of the learning subject are abnormal are shown.
  • the machine learning program learned in this way has 80 test data indicating that the eyes of the learning subject described above are normal and 80 indicating that the eyes of the learning subject are abnormal.
  • the prediction accuracy was 72% and the false negative rate was 28%.
  • the machine learning program 750a learned by the machine learning execution program 100d showed a prediction accuracy of 80% and a false negative rate of 20% when the characteristics were evaluated using the same test data. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the prediction accuracy is the total of the number X of the learning images included in the abnormal group predicted to be abnormal by the machine learning program and the number Y of the learning images included in the normal group predicted to be normal by the machine learning program. It is a ratio to the total number of XY test data. Therefore, in the case of this comparative example, the prediction accuracy is calculated by ((X + Y) / 160) ⁇ 100.
  • the false negative rate is the ratio of the learning images included in the abnormal group to the total number of learning images included in the abnormal group predicted to be normal by the machine learning program. Therefore, in the case of this comparative example, the false negative rate is calculated by ((80-X) / 80) ⁇ 100.
  • machine learning execution program 100d may be realized by hardware including a circuit unit.
  • dry eye inspection program 200d may be realized by hardware including a circuit unit.
  • such hardware is, for example, LSI, ASIC, FPGA, GPU.
  • At least a part of the functions of the machine learning execution program 100d may be realized by the cooperation of software and hardware.
  • at least some of the functions of the dry eye inspection program 200d may be realized by the collaboration of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the machine learning execution device 10d, the machine learning device 700d, and the dry eye inspection device 20d are independent devices. These devices may be realized as one device.
  • the machine learning execution program, the machine learning execution device, and the machine learning execution method according to the fifth embodiment are different from the machine learning execution program, the machine learning execution device, and the machine learning execution method according to the fourth embodiment, and are different from the learning images described later.
  • teacher data that includes at least one of the learning tear meniscus image data and the learning illumination image data cut out from the data as a problem.
  • FIG. 51 is a diagram showing an example of the hardware configuration of the machine learning execution device according to the fifth embodiment.
  • the machine learning execution device 10e shown in FIG. 51 is a device that causes the machine learning device 700e to execute machine learning in the learning phase of the machine learning device 700e described later. Further, as shown in FIG. 51, the machine learning execution device 10e includes a processor 11e, a main storage device 12e, a communication interface 13e, an auxiliary storage device 14e, an input / output device 15e, and a bus 16e.
  • the processor 11e is, for example, a CPU, reads out and executes the machine learning execution program 100e described later, and realizes each function of the machine learning execution program 100e. Further, the processor 11e may read and execute a program other than the machine learning execution program 100e to realize the functions necessary for realizing each function of the machine learning execution program 100e.
  • the main storage device 12e is, for example, a RAM, and stores in advance the machine learning execution program 100e and other programs that are read and executed by the processor 11e.
  • the communication interface 13e is an interface circuit for executing communication with the machine learning device 700e and other devices via the network NW shown in FIG. 51.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 14e is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 15e is, for example, an input / output port.
  • the keyboard 811e, the mouse 812e, and the display 910e shown in FIG. 51 are connected to the input / output device 15e.
  • the keyboard 811e and the mouse 812e are used, for example, for inputting data necessary for operating the machine learning execution device 10e.
  • the display 910e displays, for example, a graphical user interface of the machine learning execution device 10e.
  • the bus 16e connects the processor 11e, the main storage device 12e, the communication interface 13e, the auxiliary storage device 14e, and the input / output device 15e so that data can be transmitted and received to each other.
  • FIG. 52 is a diagram showing an example of the software configuration of the machine learning execution program according to the fifth embodiment.
  • the machine learning execution device 10e reads and executes the machine learning execution program 100e using the processor 11e, and realizes the teacher data acquisition function 101e and the machine learning execution function 102e shown in FIG. 52.
  • the teacher data acquisition function 101e considers at least one of one learning tear meniscus image data and one learning illumination image data as a problem, and answers at least one of one learning test image data and one learning test result data. Get the teacher data to do.
  • the learning image data is data showing a learning image that depicts the eyes of the learning subject.
  • the learning image is taken, for example, by using a camera mounted on a smartphone.
  • the learning tear meniscus image data is data showing a learning tear meniscus image obtained by cutting out a region in which the tear meniscus of the learning subject is drawn from the learning image that depicts the eyes of the learning subject. It is a kind of learning image.
  • the tear meniscus is a layer of tear that forms between the cornea and the lower eyelid and reflects the amount of tear. If the tear meniscus is low, there is less tear, and if the tear meniscus is high, there is more tear. Further, the learning tear meniscus image is generated, for example, by cutting out a region of the learning image in which the tear meniscus is drawn.
  • FIG. 53 is a diagram showing an example of a learning tear meniscus image obtained by cutting out a region in which a tear meniscus is drawn from the learning image according to the fifth embodiment.
  • the teacher data acquisition function 101e acquires, for example, the learning tear meniscus image data showing the learning tear meniscus image shown in FIG. 53.
  • the learning illumination image data is data showing a learning illumination image obtained by cutting out an area depicting the illumination reflected in the cortex of the learning subject from the learning image depicting the eyes of the learning subject. It is a kind of learning image. Such lighting is, for example, a fluorescent lamp installed on the ceiling of a room in which a learning image is taken. Further, the learning illumination image is generated, for example, by cutting out a region of the learning image in which the illumination reflected on the cornea of the learning subject is drawn.
  • FIG. 54 is a diagram showing an example of a learning illumination image obtained by cutting out a region in which the illumination reflected on the cornea of the learning subject is drawn from the learning image according to the fifth embodiment.
  • the teacher data acquisition function 101e acquires, for example, learning illumination image data showing the learning illumination image shown in FIG. 54.
  • the learning test image data constitutes a part of the answer of the teacher data, and depicts the eyes of the learning subject when the test for the symptoms of dry eye is performed on the eyes of the learning subject. It is data which shows the inspection image for learning. Examples of such a test include a test in which a fluorescein staining reagent is instilled and an eye is observed using a slit lamp to check the tear film destruction time.
  • the learning test image data is data showing an image or moving image that is stained with fluorescein and depicts the eye being observed using a slit lamp.
  • the learning test result data constitutes a part of the answer of the teacher data, and is the data showing the test result regarding the symptom of dry eye.
  • the length of the tear layer destruction time is expressed based on a test in which a fluorescein staining reagent is instilled and the eyes are observed using a slit lamp to examine the tear layer destruction time. A numerical value of 0 or more and 1 or less can be mentioned.
  • this value is 0 or more and less than 0.5, it means that the tear layer destruction time is 10 seconds or more, so that the eyes of the learning subject are normal and the examination by an ophthalmologist is unnecessary. There is. In addition, when this value is 0.5 or more and 1 or less, the tear layer destruction time is less than 10 seconds, so that the eyes of the learning subject are abnormal and an ophthalmologist needs to be examined. Represents.
  • the teacher data acquisition function 101e acquires 1280 teacher data.
  • the 1280 learning tear meniscus image data and the learning illumination image data are photographed 20 times using the camera mounted on the smartphone for each of the two eyes of the eight learning subjects.
  • the image generated by cutting out the area where the tear meniscus is drawn and the area where the illumination reflected on the cornea is drawn is obtained from the 1280 learning images obtained by performing four sets of processing. Shows.
  • the 1280 learning test image data are taken when the test for the symptom of dry eye is performed on the eyes of the learning subject drawn on each of the above-mentioned 1280 learning images.
  • the inspection image for learning which was done is shown.
  • the 1280 learning test result data show 1280 numerical values of 0 or more and 1 or less, which indicate the results of the tests related to the symptoms of dry eye performed when 1280 learning test images were taken. There is.
  • the 1280 learning test result data show 620 learning test result data showing a numerical value of 0 or more and less than 0.5, which indicates that the eyes of the learning subject are normal.
  • 660 learning test result data showing a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal will be described as an example.
  • the machine learning execution function 102e inputs teacher data into the machine learning program 750e mounted on the machine learning device 700e, and causes the machine learning program 750e to learn.
  • the machine learning execution function 102e trains a machine learning program 750e including a convolutional neural network by backpropagation.
  • the machine learning execution function 102e uses 540 teacher data including learning test result data indicating a numerical value of 0 or more and less than 0.5 indicating that the eyes of the learning subject are normal. Input to the learning program 750e.
  • the 540 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102e includes 580 teacher data including learning test result data indicating a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal. Is input to the machine learning program 750e.
  • the 580 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102e makes the machine learning program 750e learn from these 1120 teacher data.
  • the machine learning execution function 102e indicates that the eyes of the subject for learning are normal, and the machine learning program uses 80 teacher data not used for learning of the machine learning program 750e as test data. It may be input to 750e.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102e indicates that the eyes of the subject for learning are abnormal, and the machine learning program uses 80 teacher data that were not used for learning of the machine learning program 750e as test data. It may be input to 750e.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102e may evaluate the characteristics of the machine learning program 750e obtained by learning the machine learning program 750e from the above-mentioned 1120 teacher data.
  • the machine learning execution function 102e may use, for example, class activation mapping when evaluating the characteristics of the machine learning program 750e using test data.
  • Class activation mapping is a technique for clarifying the part of the data input to the neural network that is the basis of the result output by the neural network.
  • Examples of the class activation mapping include gradient weighted class activation mapping.
  • the gradient-weighted class activation mapping uses the gradient of the classification score for the features of the convolution performed by the convolutional neural network to identify the regions of the image input to the convolutional neural network that have a certain degree of influence on the classification. It is a technology.
  • FIG. 55 is a flowchart showing an example of processing executed by the machine learning execution program according to the fifth embodiment.
  • the machine learning execution program 100e executes the process shown in FIG. 55 at least once.
  • step S91 the teacher data acquisition function 101e has a problem with at least one of the learning tear meniscus image data and the learning illumination image data, and answers at least one of the learning inspection image data and the learning inspection result data. And get the teacher data.
  • step S92 the machine learning execution function 102e inputs the teacher data into the machine learning program 750e and causes the machine learning program 750e to learn.
  • the dry eye inspection program, the dry eye inspection apparatus, and the dry eye inspection method according to the fifth embodiment are different from the dry eye inspection program, the dry eye inspection apparatus, and the dry eye inspection method according to the fourth embodiment, and are described later for inference learning. At least one of the inference tear meniscus image data and the inference illumination image data cut out from the inference image data is acquired.
  • FIG. 56 is a diagram showing an example of the hardware configuration of the dry eye inspection apparatus according to the fifth embodiment.
  • the dry eye inspection device 20e shown in FIG. 56 is a dry eye appearing in the eyes of an inference subject using the machine learning device 700e in the inference phase of the machine learning device 700e that has been learned by the machine learning execution program 100e. It is a device that estimates symptoms. Further, as shown in FIG. 56, the dry eye inspection device 20e includes a processor 21e, a main storage device 22e, a communication interface 23e, an auxiliary storage device 24e, an input / output device 25e, and a bus 26e.
  • the processor 21e is, for example, a CPU, reads out and executes the dry eye inspection program 200e described later, and realizes each function of the dry eye inspection program 200e. Further, the processor 21e may read and execute a program other than the dry eye inspection program 200e to realize the functions necessary for realizing each function of the dry eye inspection program 200e.
  • the main storage device 22e is, for example, a RAM, and stores in advance the dry eye inspection program 200e and other programs read and executed by the processor 21e.
  • the communication interface 23e is an interface circuit for executing communication with the machine learning device 700e and other devices via the network NW shown in FIG. 56.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 24e is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 25e is, for example, an input / output port.
  • the keyboard 821e, the mouse 822e, and the display 920e shown in FIG. 56 are connected to the input / output device 25e.
  • the keyboard 821e and the mouse 822e are used, for example, for inputting data necessary for operating the dry eye inspection device 20e.
  • the display 920e displays, for example, a graphical user interface of the dry eye inspection device 20e.
  • the bus 26e connects the processor 21e, the main storage device 22e, the communication interface 23e, the auxiliary storage device 24e, and the input / output device 25e so that data can be transmitted and received to each other.
  • FIG. 57 is a diagram showing an example of the software configuration of the dry eye inspection program according to the fifth embodiment.
  • the dry eye inspection device 20e reads and executes the dry eye inspection program 200e using the processor 21e, and realizes the data acquisition function 201e and the symptom estimation function 202e shown in FIG. 57.
  • the data acquisition function 201e acquires at least one of the inference tear meniscus image data and the inference illumination image data.
  • the inference image data is data showing an image depicting the eyes of the inference subject.
  • the inference image is taken, for example, using a camera mounted on a smartphone.
  • the inference tear meniscus image data is data showing an inference tear meniscus image obtained by cutting out a region in which the inference subject's tear meniscus is drawn from the inference image that depicts the eyes of the inference subject. Is. Further, the inference tear meniscus image is generated, for example, by cutting out a region of the inference image in which the tear meniscus is drawn.
  • the inference illumination image data is data showing an inference illumination image obtained by cutting out an area in which the illumination reflected in the cortex of the inference subject is drawn from the inference image that depicts the eyes of the inference subject. Is. Further, the inference illumination image is generated, for example, by cutting out a region of the inference image in which the illumination reflected in the cornea of the inference subject is drawn.
  • the symptom estimation function 202e inputs at least one of the inference tear meniscus image data and the inference illumination image data into the machine learning program 750e learned by the machine learning execution function 102e, and the inference subject is input to the machine learning program 750e. Infer the symptoms of dry eye appearing in the eyes. For example, the symptom estimation function 202e inputs these data into the machine learning program 750e and causes the machine learning program 750e to estimate a numerical value indicating the length of the tear film destruction time of the eye of the inference subject.
  • the symptom estimation function 202e causes the machine learning program 750e to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the symptom estimation function 202e causes the machine learning program 750e to output symptom data indicating a numerical value indicating the length of the tear film destruction time of the eye of the inference subject.
  • the symptom data is shown by itself, for example, and is used to display a numerical value indicating the length of the tear film destruction time of the eye of the inference subject on the display 920e.
  • FIG. 58 is a flowchart showing an example of the process executed by the dry eye inspection program according to the fifth embodiment.
  • step S101 the data acquisition function 201e acquires at least one of the inference tear meniscus image data and the inference illumination image data.
  • step S102 the symptom estimation function 202e inputs at least one of the inference tear meniscus image data and the inference illumination image data into the learned machine learning program, and the dry appearing in the eyes of the inference subject.
  • the eye symptom is estimated, and the machine learning program outputs symptom data indicating the dry eye symptom appearing in the eyes of the inference subject.
  • the machine learning execution program, the dry eye inspection program, the machine learning execution device, the dry eye inspection device, the machine learning execution method, and the dry eye inspection method according to the fifth embodiment have been described above.
  • the machine learning execution program 100e includes a teacher data acquisition function 101e and a machine learning execution function 102e.
  • the teacher data acquisition function 101e has a problem with at least one of the tear liquid meniscus image data for learning and the illumination image data for learning, and the teacher data in which at least one of the inspection image data for learning and the inspection result data for learning is the answer.
  • the learning tear meniscus image data is data showing a learning tear meniscus image depicting the tear meniscus of a learning subject.
  • the learning illumination image data is data showing a learning illumination image that depicts the illumination reflected in the cortex of the learning subject.
  • the learning test image data is data showing an image depicting the eyes of the learning subject when the test for the symptoms of dry eye is performed on the eyes of the learning subject.
  • the learning test result data is data showing the results of a test related to the symptoms of dry eye.
  • the machine learning execution function 102e inputs teacher data into the machine learning program 750e and causes the machine learning program 750e to learn.
  • the machine learning execution program 100e can generate a machine learning program 750e that predicts the result of the test for the symptoms of dry eye based on at least one of the tear meniscus image data for learning and the illumination image data for learning. can.
  • the machine learning execution program 100e uses the machine learning program 750e using the teacher data including at least one of the learning tear liquid meniscus image data and the learning illumination image data cut out from the learning image data as a problem. Let them learn. Therefore, the machine learning execution program 100e can generate a machine learning program 750e that can predict the result of the inspection regarding the symptoms of dry eye with higher accuracy.
  • the dry eye test program 200e includes a data acquisition function 201e and a symptom estimation function 202e.
  • the data acquisition function 201e acquires at least one of the inference tear meniscus image data and the inference illumination image data.
  • the inference tear meniscus image data is data showing an inference tear meniscus image depicting the tear meniscus of the inference subject.
  • the inference illumination image data is data showing an inference illumination image that depicts the illumination reflected in the cornea of the inference subject.
  • the symptom estimation function 202e inputs at least one of the inference tear meniscus image data and the inference illumination image data into the machine learning program 750e learned by the machine learning execution program 100e, and appears in the eyes of the inference subject. Infer the symptoms of dry eyes. Then, the symptom estimation function 202e causes the machine learning program 750e to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the dry eye test program 200e can predict the result of the test for the symptoms of dry eye without actually performing the test for the symptoms of dry eye.
  • the above-mentioned 540 teacher data indicating that the eyes of the learning subject are normal and 580 teacher data indicating that the eyes of the learning subject are abnormal are shown.
  • the machine learning program learned in this way excludes the learning tear meniscus image data and the learning illumination image data from the 80 test data indicating that the eyes of the learning subject described above are normal, and learns.
  • the training image is obtained by removing the training tear liquid meniscus image data and the training illumination image data from the data to which the training image data is added and the 80 test data indicating that the eyes of the training subject are abnormal.
  • the prediction accuracy was 72% and the false negative rate was 28%.
  • the machine learning program 750e learned by using the learning tear meniscus image data by the machine learning execution program 100e evaluates the characteristics using the test data including only the learning tear meniscus image data, and the prediction accuracy is correct. It showed 77% and a false negative rate of 23%. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the machine learning program 750e learned by using the learning illumination image data by the machine learning execution program 100e evaluates the characteristics using the test data including only the learning illumination image data, the prediction accuracy is 77% and false. The negative rate was 23%. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the machine learning program 750e learned by using the learning tear liquid meniscus image data and the learning lighting image data by the machine learning execution program 100e is a test data including the learning tear liquid meniscus image data and the learning illumination image data.
  • the prediction accuracy was 82% and the false negative rate was 18%.
  • This characteristic is the characteristic of the machine learning program according to the comparative example, the characteristic of the machine learning program 750e learned using the learning tear meniscus image data, and the characteristic of the machine learning program 750e learned using the learning illumination image data. It exceeds the characteristics.
  • the prediction accuracy is the total of the number X of the learning images included in the abnormal group predicted to be abnormal by the machine learning program and the number Y of the learning images included in the normal group predicted to be normal by the machine learning program. It is a ratio to the total number of XY test data. Therefore, in the case of this comparative example, the prediction accuracy is calculated by ((X + Y) / 160) ⁇ 100.
  • the false negative rate is the ratio of the learning images included in the abnormal group to the total number of learning images included in the abnormal group predicted to be normal by the machine learning program. Therefore, in the case of this comparative example, the false negative rate is calculated by ((80-X) / 80) ⁇ 100.
  • machine learning execution program 100e may be realized by hardware including a circuit unit.
  • dry eye inspection program 200e may be realized by hardware including a circuit unit.
  • such hardware is, for example, LSI, ASIC, FPGA, GPU.
  • the functions of the machine learning execution program 100e may be realized by the cooperation of software and hardware.
  • at least some of the functions of the dry eye inspection program 200e may be realized by the collaboration of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the machine learning execution device 10e, the machine learning device 700e, and the dry eye inspection device 20e are independent devices. These devices may be realized as one device.
  • the teacher data acquisition function 101d acquires teacher data that does not include the learning tear liquid meniscus image data and the learning illumination image data described in the fifth embodiment as part of the problem.
  • the teacher data acquisition function 101d may acquire teacher data in which at least one of the learning tear liquid meniscus image data and the learning illumination image data is the above-mentioned learning image data.
  • the data acquisition function 201d acquires at least one of the inference tear meniscus image data and the inference illumination image data as the above-mentioned inference image data in addition to the inference eyelid opening data.
  • the symptom estimation function 202d is added to the machine learning program 750d based on at least one of the inference tear meniscus image data and the inference illumination image data in addition to the inference eyelid opening data. Infer the symptoms of dry eye appearing in.
  • the teacher data acquisition function 101e acquires the teacher data that does not include the learning eyelid opening data described in the fourth embodiment as a part of the problem is taken as an example.
  • the teacher data acquisition function 101e may acquire teacher data in which the learning eyelid opening data is a problem, in addition to the learning tear meniscus image data and the learning illumination image data.
  • the data acquisition function 201e further acquires the inference eyelid opening data in addition to at least one of the inference tear meniscus image data and the inference illumination image data.
  • the symptom estimation function 202e is added to the machine learning program 750e in addition to at least one of the inference tear meniscus image data and the inference illumination image data, and the eye of the inference subject based on the inference eyelid opening data. Infer the symptoms of dry eye appearing in.
  • the machine learning execution function 102d according to the fourth embodiment and the modified example of the fifth embodiment uses, for example, a class activation mapping when evaluating the characteristics of the machine learning program 750d using the test data. You may.
  • the machine learning execution function 102e according to the fourth embodiment and the modified example of the fifth embodiment uses, for example, class activation mapping when evaluating the characteristics of the machine learning program 750e using the test data. You may.
  • FIG. 59 shows the eyes of a learning subject when the machine learning program according to the fourth embodiment and the modified example of the fifth embodiment predicts the result of the test for examining the tear film destruction time. It is a figure which shows an example of the part which considered with emphasis in an image.
  • the machine learning execution function 102d according to the fourth embodiment and the modified example of the fifth embodiment is surrounded by the ellipse C611 in the learning image shown in FIG. 59 using the gradient weighted class activation mapping. It is evaluated that the region, the region surrounded by the ellipse C612, and the region surrounded by the ellipse C61 have a certain influence on the prediction of the test for examining the tear layer destruction time by the machine learning program 750d. Further, the matters described with reference to FIG. 59 also apply to the machine learning execution function 102e according to the fourth embodiment and the fifth modification.
  • the three-step gray scale contained in the area surrounded by these ellipses indicates the degree of influence on the prediction of the test results for corneal epithelial disorders.
  • the region surrounded by the ellipse C611 and the region surrounded by the ellipse C612 are both displayed superimposed on the region depicting the tear meniscus of the learning subject.
  • the area surrounded by the ellipse C61 is displayed superimposed on the area depicting the illumination reflected in the cornea of the learning subject.
  • the training is performed using the teacher data including at least one of the learning eyelid opening data, the learning tear meniscus image data, and the learning illumination image data as a problem, and the inference eye opening data and the inference are performed.
  • the teacher data acquisition function 101d acquires the learning eyelid opening data
  • the data acquisition function 201d acquires the inference eyelid opening data
  • the above-mentioned 540 teacher data indicating that the eyes of the learning subject are normal and 580 teacher data indicating that the eyes of the learning subject are abnormal are shown.
  • the machine learning program learned in this way has the above-mentioned 80 test data indicating that the eyes of the subject for learning are normal, the eyelid opening data for learning, the tear meniscus image data for learning, and the lighting for learning. Except for the image data, the data to which the learning image data is added and the 80 test data indicating that the eyes of the learning subject are abnormal, the learning eyelid opening data, the learning tear fluid meniscus image data And, when the characteristics were evaluated using the data to which the training image data was added except for the training illumination image data, the prediction accuracy was 72% and the false negative rate was 28%.
  • the machine learning program 750d learned by using the machine learning execution program 100d using the learning eyelid opening data, the learning tear liquid meniscus image data, and the learning lighting image data is the learning tear liquid meniscus image data and the learning lighting.
  • the prediction accuracy was 90% and the false negative rate was 10%. This characteristic exceeds the characteristics of the machine learning program according to the comparative example, the characteristics of the machine learning program 750d according to the fourth embodiment, and the characteristics of the machine learning program 750e according to the fifth embodiment.
  • the prediction accuracy is the total of the number X of the learning images included in the abnormal group predicted to be abnormal by the machine learning program and the number Y of the learning images included in the normal group predicted to be normal by the machine learning program. It is a ratio to the total number of XY test data. Therefore, in the case of this comparative example, the prediction accuracy is calculated by ((X + Y) / 160) ⁇ 100.
  • the false negative rate is the ratio of the learning images included in the abnormal group to the total number of learning images included in the abnormal group predicted to be normal by the machine learning program. Therefore, in the case of this comparative example, the false negative rate is calculated by ((80-X) / 80) ⁇ 100.
  • the above-mentioned dry eye test program, dry eye test device, and dry eye test method may be used before and after the dry eye eye drops are instilled in the eyes of the subject for inference.
  • the dry eye eye drops have the dry eye symptoms of the inference subject. It can also be a means of verifying the effectiveness of the product.
  • FIG. 60 is a diagram showing an example of the hardware configuration of the machine learning execution device according to the sixth embodiment.
  • the machine learning execution device 10f shown in FIG. 60 is a device that causes the machine learning device 700f to execute machine learning in the learning phase of the machine learning device 700f described later. Further, as shown in FIG. 60, the machine learning execution device 10f includes a processor 11f, a main storage device 12f, a communication interface 13f, an auxiliary storage device 14f, an input / output device 15f, and a bus 16f.
  • the processor 11f is, for example, a CPU, reads out and executes the machine learning execution program 100f described later, and realizes each function of the machine learning execution program 100f. Further, the processor 11f may read and execute a program other than the machine learning execution program 100f to realize the functions necessary for realizing each function of the machine learning execution program 100f.
  • the main storage device 12f is, for example, a RAM, and stores in advance the machine learning execution program 100f and other programs that are read and executed by the processor 11f.
  • the communication interface 13f is an interface circuit for executing communication with the machine learning device 700f and other devices via the network NW shown in FIG.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 14f is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 15f is, for example, an input / output port.
  • the keyboard 811f, the mouse 812f, and the display 910f shown in FIG. 1 are connected to the input / output device 15f.
  • the keyboard 811f and the mouse 812f are used, for example, for inputting data necessary for operating the machine learning execution device 10f.
  • the display 910f displays, for example, a graphical user interface of the machine learning execution device 10f.
  • the bus 16f connects the processor 11f, the main storage device 12f, the communication interface 13f, the auxiliary storage device 14f, and the input / output device 15f so that data can be transmitted and received to each other.
  • FIG. 61 is a diagram showing an example of the software configuration of the machine learning execution program according to the sixth embodiment.
  • the machine learning execution device 10f reads and executes the machine learning execution program 100f using the processor 11f, and realizes the teacher data acquisition function 101f and the machine learning execution function 102f shown in FIG. 61.
  • the teacher data acquisition function 101f acquires teacher data with one learning image data as a problem and one learning test result data as an answer.
  • the learning image data depicts the eyes of the learning subject when it is assumed that the eyes of the learning subject are illuminated by light having a lower color temperature than the light illuminating the eyes of the learning subject. It is the data which shows the learning image which is.
  • a learning image is generated, for example, by adjusting the white balance of an image depicting the eyes of a learning subject actually illuminated by light having a color temperature of 4000K and having a color temperature of 3000K. It is an image which pseudo-depicts the eye illuminated by the light having. Further, the learning image is taken by using, for example, a camera mounted on a smartphone.
  • the learning test result data constitutes a part of the answer of the teacher data, and is the data showing the test result regarding the symptom of dry eye.
  • a numerical value of 0 or more and 1 or less indicating the thickness of the tear oil layer based on an examination for evaluating the thickness of the tear oil layer using an optical interferometer can be mentioned.
  • the thickness of the tear oil layer evaluated using an optical interferometer is less than 75 ⁇ m, so that the eyes of the subject for learning are normal, and the ophthalmologist determines. Indicates that no medical examination is required.
  • this value is 0.5 or more and 1 or less, the thickness of the tear oil layer evaluated using an optical interferometer is 75 ⁇ m or more, so that the eyes of the subject for learning are abnormal and ophthalmology. It indicates that a medical examination is required.
  • the teacher data acquisition function 101f acquires 1280 teacher data.
  • the 1280 learning image data are acquired by performing four sets of processing in which each of the two eyes of the eight learning subjects is photographed 20 times using the camera mounted on the smartphone.
  • the 1280 learning images made are shown.
  • the 1280 learning test result data show 1280 numerical values of 0 or more and 1 or less indicating the thickness of the tear oil layer evaluated using the optical interferometer, respectively.
  • 600 learning test result data showing a numerical value of 0 or more and less than 0.5 indicating that the eyes of the learning subject are normal in the 1280 learning test result data.
  • 680 learning test result data showing a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal will be described as an example.
  • the machine learning execution function 102f inputs teacher data into the machine learning program 750f mounted on the machine learning device 700f, and causes the machine learning program 750f to learn.
  • the machine learning execution function 102f trains a machine learning program 750f including a convolutional neural network by backpropagation.
  • the machine learning execution function 102f uses 520 teacher data including learning test result data indicating a numerical value of 0 or more and less than 0.5 indicating that the eyes of the learning subject are normal. Input to the learning program 750f.
  • the 520 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102f includes 600 teacher data including learning test result data indicating a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal. Is input to the machine learning program 750f.
  • the 600 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102f makes the machine learning program 750f learn from these 1120 teacher data.
  • the machine learning execution function 102f indicates that the eyes of the subject for learning are normal, and the machine learning program uses 80 teacher data not used for learning of the machine learning program 750f as test data. It may be input to 750f.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102f indicates that the eyes of the subject for learning are abnormal, and the machine learning program uses 80 teacher data that were not used for learning of the machine learning program 750f as test data. It may be input to 750f.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102f may evaluate the characteristics of the machine learning program 750f obtained by learning the machine learning program 750f from the 1080 teacher data described above.
  • the machine learning execution function 102f may use, for example, class activation mapping when evaluating the characteristics of the machine learning program 750f using test data.
  • Class activation mapping is a technique for clarifying the part of the data input to the neural network that is the basis of the result output by the neural network.
  • Examples of the class activation mapping include gradient weighted class activation mapping.
  • the gradient-weighted class activation mapping uses the gradient of the classification score for the features of the convolution performed by the convolutional neural network to identify the regions of the image input to the convolutional neural network that have a certain degree of influence on the classification. It is a technology.
  • FIG. 62 is a diagram showing an example of a portion of the eye image of the learning subject that was mainly considered when the machine learning program according to the sixth embodiment predicted the result of the examination regarding the thickness of the tear oil layer. be.
  • the region surrounded by the ellipse C64 shown in FIG. 62 in the learning image shown in FIG. 62 using the gradient weighted class activation mapping is the tear liquid by the machine learning program 750f. It is evaluated that it has a certain influence on the prediction of the inspection result regarding the thickness of the oil reservoir.
  • this grayscale overlaps about half of the cornea of the eye of the subject to be learned on the lower eyelid side.
  • FIG. 63 is a flowchart showing an example of the process executed by the machine learning execution program according to the sixth embodiment.
  • FIG. 63 is a flowchart showing an example of processing executed by the machine learning execution program according to the sixth embodiment.
  • the machine learning execution program 100f executes the process shown in FIG. 63 at least once.
  • step S111 the teacher data acquisition function 101f acquires teacher data in which the learning image data is a problem and the learning test result data is the answer.
  • step S112 the machine learning execution function 102f inputs the teacher data into the machine learning program 750f and causes the machine learning program 750f to learn.
  • FIG. 64 is a diagram showing an example of the hardware configuration of the dry eye inspection apparatus according to the sixth embodiment.
  • the dry eye inspection device 20f shown in FIG. 64 is a dry eye appearing in the eyes of an inference subject using the machine learning device 700f in the inference phase of the machine learning device 700f that has been learned by the machine learning execution program 100f. It is a device that estimates symptoms. Further, as shown in FIG. 64, the dry eye inspection device 20f includes a processor 21f, a main storage device 22f, a communication interface 23f, an auxiliary storage device 24f, an input / output device 25f, and a bus 26f.
  • the processor 21f is, for example, a CPU, reads out and executes the dry eye inspection program 200f described later, and realizes each function of the dry eye inspection program 200f. Further, the processor 21f may read and execute a program other than the dry eye inspection program 200f to realize the functions necessary for realizing each function of the dry eye inspection program 200f.
  • the main storage device 22f is, for example, a RAM, and stores in advance the dry eye inspection program 200f and other programs read and executed by the processor 21f.
  • the communication interface 23f is an interface circuit for executing communication with the machine learning device 700f and other devices via the network NW shown in FIG. 64.
  • the network NW is, for example, an LFN or an intranet.
  • the auxiliary storage device 24f is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 25f is, for example, an input / output port.
  • the keyboard 821f, the mouse 822f, and the display 920f shown in FIG. 5 are connected to the input / output device 25f.
  • the keyboard 821f and the mouse 822f are used, for example, for inputting data necessary for operating the dry eye inspection device 20f.
  • the display 920f displays, for example, a graphical user interface of the dry eye inspection device 20f.
  • the bus 26f connects the processor 21f, the main storage device 22f, the communication interface 23f, the auxiliary storage device 24f, and the input / output device 25f so that data can be transmitted and received to each other.
  • FIG. 65 is a diagram showing an example of the software configuration of the dry eye inspection program according to the sixth embodiment.
  • the dry eye inspection device 20f reads and executes the dry eye inspection program 200f using the processor 21f, and realizes the data acquisition function 201f and the symptom estimation function 202f shown in FIG. 65.
  • the data acquisition function 201f acquires inference image data.
  • the inference image data depicts the eyes of the inference subject when it is assumed that the eyes of the inference subject are illuminated by light having a lower color temperature than the light illuminating the eyes of the inference subject. It is the data which shows the image for inference.
  • Such a reasoning image is generated, for example, by adjusting the white balance of an image depicting the eyes of a reasoning subject actually illuminated by light having a color temperature of 4000K and having a color temperature of 3000K. It is an image which pseudo-depicts the eye illuminated by the light having. Further, the inference image is taken by using, for example, a camera mounted on a smartphone.
  • the symptom estimation function 202f inputs inference image data into the machine learning program 750f that has been learned by the machine learning execution function 102f, and causes the machine learning program 750f to estimate the dry eye symptoms appearing in the eyes of the inference subject. ..
  • the symptom estimation function 202f inputs inference image data into the machine learning program 750f and causes the inference subject to estimate a numerical value representing the thickness of the tear oil layer in the eye.
  • the symptom estimation function 202f causes the machine learning program 750f to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the symptom estimation function 202f causes the machine learning program 750f to output symptom data indicating a numerical value indicating the thickness of the tear oil layer of the eye of the inference subject.
  • the symptom data is shown by itself, for example, and is used to display a numerical value representing the thickness of the tear oil layer of the eye of the inference subject on the display 920f.
  • FIG. 66 is a flowchart showing an example of processing executed by the dry eye inspection program according to the sixth embodiment.
  • step S121 the data acquisition function 201f acquires inference image data.
  • step S122 the symptom estimation function 202f inputs inference image data into the learned machine learning program 750f, causes the inference subject to estimate the symptom of dry eye appearing in the eyes of the inference subject, and causes the machine learning program 750f to estimate the symptom.
  • Output symptom data indicating the symptom of dry eye appearing in the eyes of the subject for inference.
  • the machine learning execution program, the dry eye inspection program, the machine learning execution device, the dry eye inspection device, the machine learning execution method, and the dry eye inspection method according to the sixth embodiment have been described above.
  • the machine learning execution program 100f includes a teacher data acquisition function 101f and a machine learning execution function 102f.
  • the teacher data acquisition function 101f acquires teacher data with learning image data as a problem and learning test result data as an answer.
  • the learning image data depicts the eyes of the learning subject when it is assumed that the eyes of the learning subject are illuminated by light having a lower color temperature than the light illuminating the eyes of the learning subject. It is the data which shows the learning image which is.
  • the learning test result data is data showing the result of a test for examining the thickness of the tear oil layer of the eye of the learning subject.
  • the machine learning execution function 102f inputs teacher data into the machine learning program 750f and causes the machine learning program 750f to learn.
  • the machine learning execution program 100f can generate the machine learning program 750f that predicts the result of the inspection regarding the symptom of dry eye based on the image data for learning.
  • the dry eye test program 200f includes a data acquisition function 201f and a symptom estimation function 202f.
  • the data acquisition function 201f acquires inference image data.
  • the inference image data depicts the eyes of the inference subject when it is assumed that the eyes of the inference subject are illuminated by light having a lower color temperature than the light illuminating the eyes of the inference subject. It is the data which shows the image for inference.
  • the symptom estimation function 202f inputs inference image data into the machine learning program 750f that has been learned by the machine learning execution program 100f, and causes the inference subject to estimate the symptom of dry eye appearing in the eyes. Then, the symptom estimation function 202f causes the machine learning program 750f to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the dry eye test program 200f can predict the result of the test for the symptoms of dry eye without actually performing the test for the symptoms of dry eye.
  • the learning subject's eyes are illuminated by the light having the same color temperature as the light illuminating the eyes of the learning subject instead of the learning image data.
  • the teacher data includes image data showing the image that depicts the eyes.
  • the above-mentioned 520 teacher data indicating that the eyes of the learning subject are normal and 600 indicating that the eyes of the learning subject are abnormal This is an example of training a machine learning program using teacher data.
  • the machine learning program learned in this way includes the above-mentioned image data, 80 test data indicating that the eyes of the subject to be learned are normal, and the above-mentioned image data, and is used for learning.
  • 80 test data indicating that the eyes of the subject to be learned are normal
  • the prediction accuracy was 50%
  • the false negative rate was 50%.
  • the machine learning program 750f learned by the machine learning execution program 100f showed a prediction accuracy of 74% and a false negative rate of 26% when the characteristics were evaluated using the test data including the image data for learning. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the prediction accuracy is the total of the number X of the learning images included in the abnormal group predicted to be abnormal by the machine learning program and the number Y of the learning images included in the normal group predicted to be normal by the machine learning program. It is a ratio to the total number of XY test data. Therefore, in the case of this comparative example, the prediction accuracy is calculated by ((X + Y) / 160) ⁇ 100.
  • the false negative rate is the ratio of the learning images included in the abnormal group to the total number of learning images included in the abnormal group predicted to be normal by the machine learning program. Therefore, in the case of this comparative example, the false negative rate is calculated by ((80-X) / 80) ⁇ 100.
  • At least a part of the functions of the machine learning execution program 100f may be realized by hardware including a circuit unit.
  • at least a part of the functions of the dry eye inspection program 200f may be realized by hardware including a circuit unit.
  • such hardware is, for example, LSI, ASIC, FPGA, GPU.
  • At least a part of the functions of the machine learning execution program 100f may be realized by the cooperation of software and hardware.
  • at least some of the functions of the dry eye inspection program 200f may be realized by the collaboration of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the machine learning execution device 10f, the machine learning device 700f, and the dry eye inspection device 20f are independent devices has been described as an example, but the present invention is not limited to this. These devices may be realized as one device.
  • the machine learning execution program, the machine learning execution device, and the machine learning execution method according to the seventh embodiment are different from the machine learning execution program, the machine learning execution device, and the machine learning execution method according to the sixth embodiment in the image data for learning. Instead, the teacher data including the learning corneal image data described later as a problem is used.
  • FIG. 67 is a diagram showing an example of the hardware configuration of the machine learning execution device according to the seventh embodiment.
  • the machine learning execution device 10g shown in FIG. 67 is a device that causes the machine learning device 700g to execute machine learning in the learning phase of the machine learning device 700g described later. Further, as shown in FIG. 67, the machine learning execution device 10g includes a processor 11g, a main storage device 12g, a communication interface 13g, an auxiliary storage device 14g, an input / output device 15g, and a bus 16g.
  • the processor 11g is, for example, a CPU, reads out and executes a machine learning execution program 100g described later, and realizes each function of the machine learning execution program 100g. Further, the processor 11g may read and execute a program other than the machine learning execution program 100g to realize the functions necessary for realizing each function of the machine learning execution program 100g.
  • the main storage device 12g is, for example, a RAM, and stores in advance 100g of machine learning execution programs and other programs that are read and executed by the processor 11g.
  • the communication interface 13g is an interface circuit for executing communication with the machine learning device 700g and other devices via the network NW shown in FIG.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 14g is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 15g is, for example, an input / output port.
  • the keyboard 811 g, the mouse 812 g, and the display 910 g shown in FIG. 1 are connected to the input / output device 15 g.
  • the keyboard 811 g and the mouse 812 g are used, for example, for inputting data necessary for operating the machine learning execution device 10 g.
  • the display 910g displays, for example, a graphical user interface of the machine learning execution device 10g.
  • the bus 16g connects a processor 11g, a main storage device 12g, a communication interface 13g, an auxiliary storage device 14g, and an input / output device 15g so that data can be transmitted and received to each other.
  • FIG. 68 is a diagram showing an example of the software configuration of the machine learning execution program according to the seventh embodiment.
  • the machine learning execution device 10g reads and executes the machine learning execution program 100g using the processor 11g, and realizes the teacher data acquisition function 101g and the machine learning execution function 102g shown in FIG. 68.
  • the teacher data acquisition function 101g acquires teacher data with one learning corneal image data as a problem and one learning test result data as an answer.
  • the learning cornea image data is data showing a learning cornea image that depicts at least a part of the cornea of the eye of the learning subject.
  • the learning cornea image may be an image depicting at least a part of the cornea of the eye of the learning subject, or an image depicting a part other than the cornea of the eye of the learning subject. There may be. Further, the learning cornea image may be an image obtained by cutting out a region depicting at least a part of the cornea of the eye of the learning subject from the learning image depicting the eyes of the learning subject. ..
  • the learning cornea image is below the learning subject than when both the part of the cornea of the eye of the learning subject near the upper eyelid and the part near the lower eyelid of the learning subject are depicted.
  • the prediction accuracy of the machine learning program 750 g can be improved when only the portion close to the eyelid is drawn. For example, when the learning cornea image depicts only the lower half of the cornea of the eye of the learning subject, the accuracy of predicting the symptoms of dry eye using the machine learning program 750 g is further improved. I can let you.
  • the learning corneal image is taken, for example, by using a camera mounted on a smartphone.
  • the learning test result data constitutes a part of the answer of the teacher data, and is the data showing the test result regarding the symptom of dry eye.
  • a numerical value of 0 or more and 1 or less indicating the thickness of the tear oil layer based on an examination for evaluating the thickness of the tear oil layer using an optical interferometer can be mentioned.
  • the thickness of the tear oil layer evaluated using an optical interferometer is less than 75 ⁇ m, so that the eyes of the subject for learning are normal, and the ophthalmologist determines. Indicates that no medical examination is required.
  • this value is 0.5 or more and 1 or less, the thickness of the tear oil layer evaluated using an optical interferometer is 75 ⁇ m or more, so that the eyes of the subject for learning are abnormal and ophthalmology. It indicates that a medical examination is required.
  • the teacher data acquisition function 101g acquires 1280 teacher data.
  • the 1280 learning corneal image data are photographed 20 times by using the camera mounted on the smartphone for each of the two eyes of the eight learning subjects, respectively.
  • the acquired 1280 learning images are shown.
  • the 1280 learning test result data show 1280 numerical values of 0 or more and 1 or less indicating the thickness of the tear oil layer evaluated using the optical interferometer, respectively.
  • 600 learning test result data showing a numerical value of 0 or more and less than 0.5 indicating that the eyes of the learning subject are normal in the 1280 learning test result data.
  • 680 learning test result data showing a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal will be described as an example.
  • the machine learning execution function 102g inputs teacher data into the machine learning program 750g mounted on the machine learning device 700g, and causes the machine learning program 750g to be learned.
  • the machine learning execution function 102g trains a machine learning program 750g including a convolutional neural network by backpropagation.
  • the machine learning execution function 102g uses 520 teacher data including learning test result data indicating a numerical value of 0 or more and less than 0.5 indicating that the eyes of the learning subject are normal.
  • the 520 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102g includes 600 teacher data including learning test result data indicating a numerical value of 0.5 or more and 1 or less indicating that the eyes of the learning subject are abnormal. Is input to the machine learning program 750 g.
  • the 600 teacher data are teacher data acquired from 7 persons selected from the above-mentioned 8 persons.
  • the machine learning execution function 102g makes the machine learning program 750g learn from these 1120 teacher data.
  • the machine learning execution function 102g includes a teacher including learning corneal image data showing a learning corneal image depicting a portion of the eye corneum of the learning subject near the lower eyelid of the learning subject.
  • the machine learning execution function 102 g indicates that the eyes of the subject for learning are normal, and the machine learning program uses 80 teacher data not used for learning of the machine learning program 750 g as test data. It may be input to 750 g.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102 g indicates that the eyes of the subject for learning are abnormal, and the machine learning program uses 80 teacher data that were not used for learning the machine learning program 750 g as test data. It may be input to 750 g.
  • the 80 teacher data are teacher data acquired from one person who was not selected as the above-mentioned seven people.
  • the machine learning execution function 102g may evaluate the characteristics of the machine learning program 750g obtained by learning the machine learning program 750g from the above-mentioned 1080 teacher data.
  • the machine learning execution function 102g may use, for example, class activation mapping when evaluating the characteristics of the machine learning program 750g using test data.
  • Class activation mapping is a technique for clarifying the part of the data input to the neural network that is the basis of the result output by the neural network.
  • Examples of the class activation mapping include gradient weighted class activation mapping.
  • the gradient-weighted class activation mapping uses the gradient of the classification score for the features of the convolution performed by the convolutional neural network to identify the regions of the image input to the convolutional neural network that have a certain degree of influence on the classification. It is a technology.
  • FIG. 69 is a flowchart showing an example of processing executed by the machine learning execution program according to the seventh embodiment.
  • the machine learning execution program 100g executes the process shown in FIG. 69 at least once.
  • step S131 the teacher data acquisition function 101g acquires teacher data in which the learning corneal image data is a problem and the learning test result data is the answer.
  • step S132 the machine learning execution function 102g inputs the teacher data into the machine learning program 750g and causes the machine learning program 750g to learn.
  • the dry eye inspection program, the dry eye inspection apparatus and the dry eye inspection method according to the seventh embodiment are different from the dry eye inspection program, the dry eye inspection apparatus and the dry eye inspection method according to the sixth embodiment in the image data for inference. Instead, the inference corneal image data described later is acquired.
  • FIG. 70 is a diagram showing an example of the hardware configuration of the dry eye inspection apparatus according to the seventh embodiment.
  • the dry eye inspection device 20 g shown in FIG. 70 is a dry eye appearing in the eyes of an inference subject using the machine learning device 700 g in the inference phase of the machine learning device 700 g that has been learned by the machine learning execution program 100 g. It is a device that estimates symptoms.
  • the dry eye inspection device 20 g includes a processor 21 g, a main storage device 22 g, a communication interface 23 g, an auxiliary storage device 24 g, an input / output device 25 g, and a bus 26 g.
  • the processor 21g is, for example, a CPU, and reads and executes the dry eye inspection program 200g described later to realize each function of the dry eye inspection program 200g. Further, the processor 21g may read and execute a program other than the dry eye inspection program 200g to realize the functions necessary for realizing each function of the dry eye inspection program 200g.
  • the main storage device 22 g is, for example, a RAM, and stores in advance 200 g of a dry eye inspection program and other programs read and executed by a processor 21 g.
  • the communication interface 23g is an interface circuit for executing communication with the machine learning device 700g and other devices via the network NW shown in FIG. 70.
  • the network NW is, for example, a LAN or an intranet.
  • the auxiliary storage device 24g is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 25g is, for example, an input / output port.
  • the keyboard 821g, the mouse 822g, and the display 920g shown in FIG. 70 are connected to the input / output device 25g.
  • the keyboard 821g and the mouse 822g are used, for example, for inputting data necessary for operating the dry eye inspection device 20g.
  • the display 920g displays, for example, a graphical user interface of the dry eye inspection device 20g.
  • the bus 26g connects a processor 21g, a main storage device 22g, a communication interface 23g, an auxiliary storage device 24g, and an input / output device 25g so that data can be transmitted and received to each other.
  • FIG. 71 is a diagram showing an example of the software configuration of the dry eye inspection program according to the seventh embodiment.
  • the dry eye inspection device 20g reads and executes the dry eye inspection program 200g using the processor 21g, and realizes the data acquisition function 201g and the symptom estimation function 202g shown in FIG. 71.
  • the data acquisition function 201g acquires corneal image data for inference.
  • the inference cornea image data is data showing an inference cornea image depicting at least a part of the eye cornea of the inference subject.
  • the inference cornea image may be an image that depicts at least a part of the cornea of the eye of the inference subject, or an image that depicts a part other than the cornea of the eye of the inference subject. There may be.
  • the corneal image for inference may be an image obtained by cutting out a region depicting at least a part of the cornea of the eye of the inference subject from the inference image depicting the eyes of the inference subject. ..
  • the inference corneal image uses the teacher data in which the learning corneal image data showing the learning corneal image in which the machine learning program 750 g depicts only the part close to the lower eyelid of the learning subject is used as a problem.
  • the dry eye test program 200 g can predict the dry eye symptom of the inference subject with higher accuracy by using the machine learning program 750 g.
  • the inference cornea image depicts only the lower half of the cornea of the eye of the inference subject, the accuracy of predicting the symptoms of dry eye using the machine learning program 750 g is further improved. I can let you.
  • the inference corneal image is taken, for example, using a camera mounted on a smartphone.
  • the symptom estimation function 202g inputs inference corneal image data into the machine learning program 750g that has been learned by the machine learning execution function 102g, and estimates the symptoms of dry eye appearing in the eyes of the inference subject in the machine learning program 750g. Let me. For example, the symptom estimation function 202g inputs inference corneal image data into a machine learning program 750g, and causes the inference subject to estimate a numerical value representing the thickness of the tear oil layer of the eye.
  • the symptom estimation function 202g includes teacher data including learning corneal image data showing a learning corneal image depicting a portion of the eye corneum of the learning subject near the lower eyelid of the learning subject. Therefore, the inference corneal image data may be input to the preferentially input machine learning program.
  • the symptom estimation function 202 g causes the machine learning program 750 g to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the symptom estimation function 202g causes a machine learning program 750g to output symptom data indicating a numerical value indicating the thickness of the tear oil layer of the eye of the inference subject.
  • the symptom data is shown by itself, for example, and is used to display a numerical value representing the thickness of the tear oil layer of the eye of the inference subject on the display 920 g.
  • FIG. 72 is a flowchart showing an example of the process executed by the dry eye inspection program according to the seventh embodiment.
  • step S141 the data acquisition function 201g acquires inference corneal image data.
  • step S142 the symptom estimation function 202g inputs the inference corneal image data into the learned machine learning program 750g, causes the inference subject to estimate the symptom of dry eye appearing in the eyes of the inference subject, and causes the machine learning program 750g. Is to output symptom data indicating the symptom of dry eye appearing in the eyes of the subject for inference.
  • the machine learning execution program, the dry eye inspection program, the machine learning execution device, the dry eye inspection device, the machine learning execution method, and the dry eye inspection method according to the seventh embodiment have been described above.
  • the machine learning execution program 100g includes a teacher data acquisition function 101g and a machine learning execution function 102g.
  • the teacher data acquisition function 101g acquires teacher data with the learning corneal image data as a problem and the learning test result data as the answer.
  • the learning cornea image data is data showing a learning cornea image depicting at least a part of the cornea of the eye of the learning subject.
  • the learning test result data is data showing the result of a test for examining the thickness of the tear oil layer of the eye of the learning subject.
  • the machine learning execution function 102g inputs teacher data into the machine learning program 750g and causes the machine learning program 750g to learn.
  • the machine learning execution program 100 g can generate a machine learning program 750 g that predicts the result of the test regarding the symptom of dry eye based on the learning corneal image data.
  • the machine learning execution program 100 g includes a teacher including learning corneal image data showing a learning corneal image showing a portion of the eye corneum of the learning subject near the lower eyelid of the learning subject. The more data there is, the more preferentially it may be entered into the machine learning program.
  • the machine learning execution program 100g can generate a machine learning program 750g that more accurately predicts the result of the inspection regarding the symptoms of dry eye based on the learning corneal image data.
  • the dry eye test program 200 g has a data acquisition function of 201 g and a symptom estimation function of 202 g.
  • the data acquisition function 201g acquires corneal image data for inference.
  • the inference cornea image data is data showing an inference cornea image depicting at least a part of the eye cornea of the inference subject.
  • the symptom estimation function 202g inputs the inference corneal image data into the machine learning program 750g that has been learned by the machine learning execution program 100g, and causes the inference subject to estimate the symptoms of dry eye appearing in the eyes. Then, the symptom estimation function 202g causes the machine learning program 750g to output symptom data indicating the symptom of dry eye appearing in the eyes of the inference subject.
  • the dry eye test program 200g can predict the result of the test for the symptoms of dry eye without actually performing the test for the symptoms of dry eye.
  • the dry eye test program 200 g includes a teacher including learning cornea image data showing a learning cornea image depicting a portion of the cornea of the eye of the learning subject near the lower eyelid of the learning subject. The more the data is, the more the inference corneal image data is input to the machine learning program 750 g which is preferentially input. Then, the dry eye test program 200 g causes the machine learning program 750 g to estimate the symptoms of dry eye appearing in the eyes of the inference subject.
  • the dry eye test program 200g can predict the result of the test for the symptoms of dry eye more accurately without actually carrying out the test for the symptoms of dry eye.
  • the problem is that the teacher data includes not the learning corneal image data but the image data showing the image depicting the eyes of the learning subject. Further, in the comparative example in this case, the above-mentioned 520 teacher data indicating that the eyes of the learning subject are normal and 600 indicating that the eyes of the learning subject are abnormal This is an example of training a machine learning program using teacher data.
  • the machine learning program learned in this way includes the above-mentioned image data, 80 test data indicating that the eyes of the subject to be learned are normal, and the above-mentioned image data, and is used for learning.
  • 80 test data indicating that the eyes of the subject to be learned are normal
  • the prediction accuracy was 50%
  • the false negative rate was 50%.
  • the machine learning execution program 100g trains using only the learning corneal image data in which only the entire eye corneum of the subject to be learned is visualized, and the machine learning program 750g trains using the same learning corneal image data.
  • the prediction accuracy was 69% and the false negative rate was 31%. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the machine learning execution program 100 g is the same as the machine learning program 750 g trained using only the learning corneal image data in which only the lower half of the eye corneum of the subject to be learned is visualized.
  • the prediction accuracy was 78% and the false negative rate was 22%. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the prediction accuracy is the total of the number X of the learning images included in the abnormal group predicted to be abnormal by the machine learning program and the number Y of the learning images included in the normal group predicted to be normal by the machine learning program. It is a ratio to the total number of XY test data. Therefore, in the case of this comparative example, the prediction accuracy is calculated by ((X + Y) / 160) ⁇ 100.
  • the false negative rate is the ratio of the learning images included in the abnormal group to the total number of learning images included in the abnormal group predicted to be normal by the machine learning program. Therefore, in the case of this comparative example, the false negative rate is calculated by ((80-X) / 80) ⁇ 100.
  • machine learning execution program 100g may be realized by hardware including a circuit unit.
  • dry eye inspection program 200g may be realized by hardware including a circuit unit.
  • such hardware is, for example, LSI, ASIC, FPGA, GPU.
  • At least a part of the functions of the machine learning execution program 100g may be realized by the cooperation of software and hardware.
  • at least some of the functions of the dry eye inspection program 200g may be realized by the collaboration of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the machine learning execution device 10 g, the machine learning device 700 g, and the dry eye inspection device 20 g are independent devices
  • the present invention is not limited to this. These devices may be realized as one device.
  • the teacher data acquisition function 101f acquires the teacher data that does not include the learning corneal image data described in the seventh embodiment as an example is given, but the present invention is not limited to this.
  • the teacher data acquisition function 101f learns when it is assumed that the eyes of the learning subject are illuminated with light having a lower color temperature than the light illuminating the eyes of the learning subject instead of the learning image data. You may acquire teacher data including the learning corneal image data that depicts the cortex of the subject as a problem.
  • the data acquisition function 201f is illuminating the eyes of the inference subject with light having a lower color temperature than the light illuminating the eyes of the inference subject instead of the inference image data.
  • the inference corneal image data that depicts the inference subject's cornea in this case is acquired.
  • the symptom estimation function 202f uses the machine learning program 750f to replace the inference image data with the light whose color temperature is lower than the light illuminating the eyes of the inference subject.
  • the symptoms of dry eye appearing in the eyes of the inference subject are estimated based on the inference corneal image data that depicts the inference subject's eye in the case of being illuminated.
  • the eyes of the learning subject are illuminated by the light whose color temperature is lower than the light illuminating the eyes of the learning subject described in the sixth embodiment by the teacher data acquisition function 101g.
  • the teacher data acquisition function 101g assumes that the eyes of the learning subject are illuminated with light having a lower color temperature than the light illuminating the eyes of the learning subject instead of the learning corneal image data. You may acquire teacher data including the learning cornea image data that depicts the cornea of the learning subject as a problem.
  • the data acquisition function 201g assumes that the eyes of the inference subject are illuminated by light having a color temperature lower than that of the light illuminating the eyes of the inference subject. Acquire the corneal image data for inference that depicts the cornea of. Then, in this case, the symptom estimation function 202 g assumes that the machine learning program 750 g illuminates the eyes of the inference subject with light having a lower color temperature than the light illuminating the eyes of the inference subject. The symptoms of dry eye appearing in the eyes of the inference subject are estimated based on the inference corneal image data that depicts the inference subject's eye in the case.
  • the teacher data acquisition function 101f illuminates the eyes of the learning subject with light having a lower color temperature than the light illuminating the eyes of the learning subject.
  • the learning corneal image data that depicts the cornea of the subject is acquired, and the data acquisition function 201f illuminates the eyes of the inference subject with light whose color temperature is lower than the light that illuminates the eyes of the inference subject.
  • the case of acquiring the corneal image data for inference, which depicts the cornea of the subject for inference in the case where it is assumed to be the case, will be described as an example.
  • the cortex of the learning subject is visualized when it is assumed that the eyes of the learning subject are illuminated by the light whose color temperature is lower than the light illuminating the eyes of the learning subject.
  • the learning cortex is visualized when the learning subject's eyes are illuminated by the light that illuminates the learning subject's eyes and the light whose color temperature is equal to that of the learning subject's eyes. It becomes a problem that the image data indicating the image being used is included in the teacher data.
  • the above-mentioned 520 teacher data indicating that the eyes of the learning subject are normal and 600 indicating that the eyes of the learning subject are abnormal This is an example of training a machine learning program using teacher data.
  • the machine learning program learned in this way includes the above-mentioned image data, includes 80 test data indicating that the eyes of the subject to be learned are normal, and the described image data, and is used for learning.
  • the characteristics were evaluated using 80 test data showing that the eyes of the subject were abnormal, the prediction accuracy was 50% and the false negative rate was 50%.
  • the machine learning program 750f which was trained using the learning corneal image data that depicts only the entire cortex, uses light with a lower color temperature than the light that illuminates the eyes of a similar learning subject.
  • the prediction accuracy is 81% and false.
  • the negative rate was 15%. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the machine learning program 750f which was trained using the learning corneal image data that depicts only the lower half of the cornea on the lower eyelid side, has a higher color temperature than the light illuminating the eyes of a similar learning subject.
  • the prediction accuracy was 89% and the false negative rate was 5%. This characteristic exceeds the characteristic of the machine learning program according to the comparative example.
  • the prediction accuracy is the total of the number X of the learning images included in the abnormal group predicted to be abnormal by the machine learning program and the number Y of the learning images included in the normal group predicted to be normal by the machine learning program. It is a ratio to the total number of XY test data. Therefore, in the case of this comparative example, the prediction accuracy is calculated by ((X + Y) / 160) ⁇ 100.
  • the false negative rate is the ratio of the learning images included in the abnormal group to the total number of learning images included in the abnormal group predicted to be normal by the machine learning program. Therefore, in the case of this comparative example, the false negative rate is calculated by ((80-X) / 80) ⁇ 100.
  • the above-mentioned dry eye test program, dry eye test device, and dry eye test method may be used before and after the dry eye eye drops are instilled in the eyes of the subject for inference.
  • the dry eye eye drops have the dry eye symptoms of the inference subject. It can also be a means of verifying the effectiveness of the product.
  • 10 machine learning execution device, 100 ... machine learning execution program, 101 ... teacher data acquisition function, 102 ... machine learning execution function, 20 ... inspection device, 200 ... inspection program, 201 ... data acquisition function, 202 ... estimation function

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

検査方法は、推論用被検体の目を描出している推論用画像を示す推論用画像データを取得し、学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを使用して学習した機械学習プログラムに前記推論用画像データを入力し、前記機械学習プログラムに前記推論用被検体の目の状態を推定させ、前記機械学習プログラムに前記推論用被検体の目の状態を示す推論用データを出力させる。

Description

検査方法、機械学習実行方法、検査装置及び機械学習実行方法
　本発明は、検査方法、機械学習実行方法、検査装置及び機械学習実行方法に関する。本願は、２０２０年１０月２８日に、日本に出願された特願２０２０－１８０５９３号、２０２０年１２月２５日に、日本に出願された特願２０２０－２１７６８３号、２０２０年１２月２５日に、日本に出願された特願２０２０－２１７６８４号及び２０２０年１２月２５日に、日本に出願された特願２０２０－２１７６８５号に基づき優先権を主張し、その内容をここに援用する。
　現在、特に先進国において、パーソナルコンピュータ、スマーフォン、タブレット等、ディスプレイが搭載されている電子機器が広く普及しているため、目の不調を自覚する人が急激に増加している。更に、インターネットを介したオンラインサービスの増加、テレワークを推進する企業の増加等により、目の不調を自覚する人の数が更に増加していくと予想される。
　このような生活習慣により比較的頻繁に引き起こされる目の不調の一例として、目の疲れと、角結膜上皮障害、ムチン障害、涙液層の不安定化及びマイボーム線機能不全の少なくとも一つを伴うドライアイとが挙げられる。これらの有無や程度を認識するためには、試薬、医療機器等を使用した検査が必要である。このような検査の一例として、例えば、特許文献１に開示されている眼科診断支援装置を使用した検査が挙げられる。
　この眼科診断支援装置は、症例データ格納部と、機械学習部と、患者データ取得部と、対比判定部と、結果表示部とを備える。症例データ格納部は、眼科診断画像データと診断結果との組み合わせからなる複数の症例基礎画像データを格納する。機械学習部は、特徴画像要素を抽出するとともに症例基礎画像データを分類する。患者データ取得部は、患者の患者眼科診断画像データを取得する。対比判定部は、患者眼科診断画像データと症例基礎画像データとを対比し、データ同士の類似性判定を実行する。結果表示部は、類似性判定の結果を表示する。
特開２０２０－３６８３５号公報
　しかしながら、上述した眼科診断支援装置は、医療機関で使用される検査機器を使用して眼科診断データを取得する必要があるため、目の疲れの有無や程度、目の不調を自覚している人のドライアイの有無や程度を簡易に検査することができない。
　そこで、本発明は、検査を実際に実施することなく、目に関する検査の結果を予測することができる検査方法、機械学習実行方法、検査装置及び機械学習実行方法を提供することを課題とする。
　本発明の一態様は、推論用被検体の目を描出している推論用画像を示す推論用画像データを取得し、学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを使用して学習した機械学習プログラムに前記推論用画像データを入力し、前記機械学習プログラムに前記推論用被検体の目の状態を推定させ、前記機械学習プログラムに前記推論用被検体の目の状態を示す推論用データを出力させる、検査方法である。
　本発明の一態様は、上述した検査方法であって、前記推論用画像に描出されている前記推論用被検体の目のうち所定の条件を満たす領域の表示の態様と、前記所定の条件を満たさない領域の表示の態様とが異なる画像を示す前記推論用データを出力させる。
　本発明の一態様は、上述した検査方法であって、前記学習用被検体の目の状態を改善する施策を示す学習用施策データを前記答えの一部として更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目の状態を改善する施策を示す前記推論用データを出力させる。
　本発明の一態様は、上述した検査方法であって、前記推論用被検体の目の角膜の少なくとも一部を描出している前記推論用画像を示す前記推論用画像データを取得し、前記学習用被検体の目の角膜の少なくとも一部を描出している前記学習用画像を示す前記学習用画像データを前記問題とする前記教師データを使用して学習した前記機械学習プログラムに前記推論用データを出力させる。
　本発明の一態様は、上述した検査方法であって、前記学習用被検体の目の涙液油層の厚みを調べる検査の結果を示す学習用検査結果データを前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに前記推論用データを出力させる。
　本発明の一態様は、上述した検査方法であって、前記推論用被検体の目の結膜の少なくとも一部を描出している前記推論用画像を示す前記推論用画像データを取得し、前記学習用被検体の目の結膜の少なくとも一部を描出している前記学習用画像を示す前記学習用画像データを前記問題とする前記教師データを使用して学習した前記機械学習プログラムに前記推論用データを出力させる。
　本発明の一態様は、上述した検査方法であって、前記推論用被検体の目の充血の度合いを示す推論用充血データを更に取得し、前記学習用被検体の目の充血の度合いを示す学習用充血データを前記問題の一部として更に含んでおり、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、前記検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる。
　本発明の一態様は、上述した検査方法であって、前記推論用被検体が抱えている目の自覚症状に関する質問に回答した結果を示す推論用回答データを更に取得し、前記学習用被検体が抱えている目の自覚症状に関する質問に回答した結果を示す学習用回答データを前記問題の一部として更に含んでおり、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、前記検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる。
　本発明の一態様は、上述した検査方法であって、前記推論用画像が撮影された目を前記推論用被検体が連続して開けることができた時間である最大開瞼時間を示す推論用開瞼データを更に取得し、前記学習用画像が撮影された目を前記学習用被検体が連続して開けることができた時間である最大開瞼時間を示す学習用開瞼データを前記問題の一部として更に含んでおり、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる。
　本発明の一態様は、上述した検査方法であって、前記推論用被検体の目の涙液メニスカスを描出している前記推論用画像から前記推論用被検体の涙液メニスカスを描出している領域を切り出した推論用涙液メニスカス画像を示す推論用涙液メニスカス画像データを前記推論用画像データとして取得し、前記学習用被検体の目の涙液メニスカスを描出している前記学習用画像から前記学習用被検体の涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像を示す学習用涙液メニスカス画像データを前記学習用画像データを前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる。
　本発明の一態様は、上述した検査方法であって、前記推論用被検体の角膜に映り込んでいる照明を描出している前記推論用画像から前記推論用被検体の角膜に映り込んでいる照明を描出している領域を切り出した推論用照明画像を示す推論用照明画像データを前記推論用画像データとして取得し、前記学習用被検体の角膜に映り込んでいる照明を描出している前記学習用画像から前記学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像を示す学習用照明画像データを前記学習用画像データを前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる。
　本発明の一態様は、上述した検査方法であって、前記推論用被検体の目を照らしている光よりも色温度が低い光で前記推論用被検体の目が照らされていると仮定した場合における前記推論用被検体の目を描出している前記推論用画像を示す前記推論用画像データを取得し、前記学習用被検体の目を照らしている光よりも色温度が低い光で前記学習用被検体の目が照らされていると仮定した場合における前記学習用被検体の目を描出している前記学習用画像を示す前記学習用画像データを前記問題とし、前記学習用被検体の目の涙液油層の厚みを調べる検査の結果を示す学習用検査結果データを前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる。
　本発明の一態様は、学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを取得し、前記教師データを機械学習プログラムに入力し、前記機械学習プログラムを学習させる機械学習実行方法である。
　本発明の一態様は、推論用被検体の目を描出している推論用画像を示す推論用画像データを取得するデータ取得部と、学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを使用して学習した機械学習プログラムに前記推論用画像データを入力し、前記機械学習プログラムに前記推論用被検体の目の状態を推定させ、前記機械学習プログラムに前記推論用被検体の目の状態を示す推論用データを出力させる推定部と、を備える検査装置である。
　本発明の一態様は、学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを取得する教師データ取得部と、前記教師データを機械学習プログラムに入力し、前記機械学習プログラムを学習させる機械学習実行部と、を備える機械学習実行装置である。
　本発明によれば、検査を実際に実施することなく、目に関する検査の結果を予測することができる。
実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。 実施形態に係る機械学習実行装置のソフトウェア構成の一例を示す図である。 実施形態に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。 実施形態に係る検査装置のハードウェア構成の一例を示す図である。 実施形態に係る検査装置の外観の一例を示す図である。 実施形態に係る検査装置のソフトウェア構成の一例を示す図である。 実施形態に係る検査装置により表示される画像の一例を示す図である。 実施形態に係る検査装置により表示される画像の一例を示す図である。 実施形態に係る検査装置により表示される画像の一例を示す図である。 実施形態に係る検査装置により表示される画像の一例を示す図である。 実施形態に係る検査装置により表示される画像の一例を示す図である。 実施形態に係る検査装置により表示される画像の一例を示す図である。 図８に示した目の画像の代わりに表示される目の画像の一例を示す図である。 図８に示した目の画像の代わりに表示される目の画像の一例を示す図である。 図８に示した目の画像の代わりに表示される目の画像の一例を示す図である。 図８に示した目の画像の代わりに表示される目の画像の一例を示す図である。 実施形態に係る検査プログラムにより実行される処理の一例を示すフローチャートである。 第一実施例に係る検査システムの構成の一例を示す図である。 第一実施例に係る撮影装置の構成の一例を示す図である。 第一実施例に係る所定の撮影条件の一例を示す図である。 第一実施例に係るユーザー画像データの一例を示す図である。 第一実施例に係る検査装置の構成の一例を示す図である。 第一実施例に係る目状態予測処理の一例を示す図である。 第一実施例に係る撮影画面の一例を示す図である。 第一実施例に係る撮影画面の一例を示す図である。 第一実施例に係る予測結果表示画面の一例を示す図である。 第一実施例に係る予測処理の一例を示す図である。 第一実施例の変形例に係る装置の構成の一例を示す図である。 第一実施例の変形例に係る撮影画面の一例を示す図である。 第一実施例の変形例に係る予測結果表示画面の一例を示す図である。 第一実施例の変形例に係る履歴画面の一例を示す図である。 第二実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。 第二実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。 第二実施例に係る機械学習プログラムが角膜上皮障害に関する検査の結果を予測する際に学習用被検体の目の画像のうち重点的に考慮した部分の一例を示す図である。 第二実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。 第二実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。 第二実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。 第二実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。 第三実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。 第三実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。 第三実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。 第三実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。 第三実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。 第三実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。 第四実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。 第四実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。 第四実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。 第四実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。 第四実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。 第四実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。 第五実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。 第五実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。 第五実施例に係る学習用画像から涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像の一例を示す図である。 第五実施例に係る学習用画像から学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像の一例を示す図である。 第五実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。 第五実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。 第五実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。 第五実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。 第四実施例及び第五実施例の変形例に係る機械学習プログラムが涙液層破壊時間を調べる検査の結果を予測する際に学習用被検体の目を描出している学習用画像のうち重点的に考慮した部分の一例を示す図である。 第六実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。 第六実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。 第六実施例に係る機械学習プログラムが涙液油層の厚みに関する検査の結果を予測する際に学習用被検体の目の画像のうち重点的に考慮した部分の一例を示す図である。 第六実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。 第六実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。 第六実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。 第六実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。 第七実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。 第七実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。 第七実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。 第七実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。 第七実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。 第七実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
　［実施形態］
　図１から図７２を参照しながら実施形態に係る検査方法、機械学習実行方法、検査装置及び機械学習実行装置の具体例について説明する。
　まず、図１から図３を参照しながら実施形態に係る機械学習実行方法及び機械学習実行装置の具体例について説明する。図１は、実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。図１に示した機械学習実行装置１０は、後述する機械学習装置７００の学習フェーズにおいて機械学習装置７００に機械学習を実行させる装置である。また、図１に示すように、機械学習実行装置１０は、プロセッサ１１と、主記憶装置１２と、通信インターフェース１３と、補助記憶装置１４と、入出力装置１５と、バス１６とを備える。
　プロセッサ１１は、例えば、ＣＰＵ（Central　Processing　Unit）であり、後述する機械学習実行プログラム１００を読み出して実行し、機械学習実行プログラム１００が有する各機能を実現させる。また、プロセッサ１１は、機械学習実行プログラム１００以外のプログラムを読み出して実行し、機械学習実行プログラム１００が有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置１２は、例えば、ＲＡＭ（Random　Access　Memory）であり、プロセッサ１１により読み出されて実行される機械学習実行プログラム１００その他プログラムを予め記憶している。
　通信インターフェース１３は、図１に示したネットワークＮＷを介して、機械学習装置７００その他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ（Local　Area　Network）、イントラネットである。
　補助記憶装置１４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard　Disk　Drive）、ソリッドステートドライブ（ＳＳＤ：Solid　State　Drive）、フラッシュメモリ（Flash　Memory）、ＲＯＭ（Read　Only　Memory）である。
　入出力装置１５は、例えば、入出力ポート（Input/Output　Port）である。入出力装置１５は、例えば、図１に示したキーボード８１１、マウス８１２、ディスプレイ９１０が接続される。キーボード８１１及びマウス８１２は、例えば、機械学習実行装置１０を操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０は、例えば、機械学習実行装置１０のグラフィカルユーザインターフェース（ＧＵＩ：Graphical　User　Interface）を表示する。
　バス１６は、プロセッサ１１、主記憶装置１２、通信インターフェース１３、補助記憶装置１４及び入出力装置１５を互いにデータの送受信が可能なように接続している。
　図２は、実施形態に係る機械学習実行装置のソフトウェア構成の一例を示す図である。機械学習実行装置１０は、プロセッサ１１を使用して機械学習実行プログラム１００を読み出して実行し、図２に示した教師データ取得機能１０１及び機械学習実行機能１０２を実現させる。
　教師データ取得機能１０１は、学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、学習用被検体の目の状態を示す学習用状態データを答えとする教師データを取得する。
　学習用被検体の目の状態は、例えば、学習用被検体の目についてドライアイの症状に関する検査、角膜上皮障害に関する検査、ムチン障害に関する検査、学習用被検体の目の涙液層破壊時間を調べる検査又は涙液油層の厚みを調べる検査が実施された際におけるこれらの検査の結果に反映される。
　学習用画像データは、教師データの問題の少なくとも一部を構成しており、学習用被検体の目を描出している学習用画像を示すデータである。学習用画像は、例えば、後述する検査装置に接続されているカメラ、スマートフォンに搭載されているカメラ等を使用して撮影される。
　また、教師データは、学習用被検体の目の状態を改善する施策を示す学習用施策データを答えの一部として更に含んでいてもよい。
　機械学習実行機能１０２は、機械学習装置７００に実装されている機械学習プログラム７５０に教師データを入力し、機械学習プログラム７５０を学習させる。例えば、機械学習実行機能１０２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional　Neural　Network）を含んでいる機械学習プログラム７５０をバックプロパゲーション（Backpropagation）により学習させる。
　次に、図３を参照しながら実施形態に係る機械学習実行プログラム１００が実行する処理の一例を説明する。図３は、実施形態に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。機械学習実行プログラム１００は、図３に示した処理を少なくとも一回実行する。
　ステップＳ１１において、教師データ取得機能１０１は、学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、学習用被検体の目の状態を示す学習用状態データを答えとする教師データを取得する。
　ステップＳ１２において、機械学習実行機能１０２は、教師データを機械学習プログラム７５０に入力し、機械学習プログラム７５０を学習させる。
　次に、図４から図１７を参照しながら実施形態に係る検査プログラム、検査装置及び検査方法の具体例について説明する。
　図４は、実施形態に係る検査装置のハードウェア構成の一例を示す図である。図４に示した検査装置２０は、機械学習実行プログラム１００により学習済みの機械学習装置７００の推論フェーズにおいて機械学習装置７００を使用して推論用被検体の目の状態を推定させる装置である。また、図４に示すように、検査装置２０は、プロセッサ２１と、主記憶装置２２と、通信インターフェース２３と、補助記憶装置２４と、タッチパネルディスプレイ２５と、バス２６とを備える。
　プロセッサ２１は、例えば、ＣＰＵであり、後述する検査プログラム２００を読み出して実行し、検査プログラム２００が有する各機能を実現させる。また、プロセッサ２１は、検査プログラム２００以外のプログラムを読み出して実行し、検査プログラム２００が有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置２２は、例えば、ＲＡＭであり、プロセッサ２１により読み出されて実行される検査プログラム２００その他プログラムを予め記憶している。
　通信インターフェース２３は、図４に示したネットワークＮＷを介して、機械学習装置７００その他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置２４は、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　タッチパネルディスプレイ２５は、例えば、入出力ポートである。タッチパネルディスプレイ２５は、例えば、検査装置２０のグラフィカルユーザインターフェース、後述する推論用データにより示される内容を表示する。
　バス２６は、プロセッサ２１、主記憶装置２２、通信インターフェース２３、補助記憶装置２４及びタッチパネルディスプレイ２５を互いにデータの送受信が可能なように接続している。
　図５は、実施形態に係る検査装置の外観の一例を示す図である。図５に示すように、検査装置２０は、台座Ｂの上部に取り付けられた支柱Ｐにより支持されている。また、検査装置２０、台座Ｂ及び支柱Ｐは、例えば、ドラッグストア等に設置される。
　図６は、実施形態に係る検査装置のソフトウェア構成の一例を示す図である。検査装置２０は、プロセッサ２１を使用して検査プログラム２００を読み出して実行し、図６に示したデータ取得機能２０１及び推定機能２０２を実現させる。
　データ取得機能２０１は、推論用画像データを取得する。推論用画像データは、推論用被検体の目を描出している推論用画像を示すデータである。推論用画像は、例えば、後述する検査装置に接続されているカメラ、スマートフォンに搭載されているカメラを使用して撮影される。
　推定機能２０２は、機械学習実行機能１０２により学習済みの機械学習プログラム７５０に推論用画像データを入力し、機械学習プログラム７５０に推論用被検体の目の状態を推定させる。
　そして、推定機能２０２は、機械学習プログラム７５０に推論用被検体の目の状態を示す推論用データを出力させる。この場合、推論用データは、例えば、推論用被検体の目の状態を表す数値等をタッチパネルディスプレイ２５に表示するために使用される。また、推論用データは、例えば、推論用画像データから読み取ることが可能な推論用被検体の目の角膜、涙液等の状態に基づいて判定された当該目の疲労の度合いを示していてもよい。
　また、推定機能２０２は、機械学習プログラム７５０に推論用被検体の目の状態を改善する施策を示す推論用データを出力させてもよい。
　図７は、実施形態に係る検査装置により表示される画像の一例を示す図である。図７に示した画像Ａ７は、推論用被検体が検査装置２０に接続されているカメラの前に立った状態で当該推論用被検体の顔が認識された後に、当該カメラにより撮影された当該推論用被検体の顔の画像である。画像Ａ７に描出されている二つの長方形は、それぞれ当該推論用被検体の左目及び右目を示している。また、画像Ａ７は、推論用画像の一例である。
　図８は、実施形態に係る検査装置により表示される画像の一例を示す図である。図８に示した画像Ａ８は、推論用画像の一例である画像Ａ７を示す推論用画像データに基づいて推定された推論用被検体の目の状態を推定した結果を示す画像である。画像Ａ８は、図８に示すように、推論用被検体の角膜の状態を示すスコア及び当該スコアが低めであることを示す「低め」というアイコンを含んでいる。また、画像Ａ８は、図８に示すように、角膜に傷が付いている部分を示す図形を推論用被検体の目の画像に重ね合わせた画像Ａ８１を含んでいる。
　図９は、実施形態に係る検査装置により表示される画像の一例を示す図である。図９に示した画像Ａ９は、推論用画像の一例である画像Ａ７を示す推論用画像データに基づいて推定された推論用被検体の目の状態を推定した結果を示す画像である。画像Ａ９は、推論用被検体の角膜の状態に関するスコア、涙液の水層に関するスコア、涙液の油層に関するスコア及びムチン層に関するスコアを示すレーダーチャートを示している。なお、画像Ａ９は、図９に示したレーダーチャートの代わりに、これら四つのスコアを示す数値、アイコン等を示していてもよい。また、画像Ａ９は、推論用被検体の目の疲労の度合いを五段階表示で示している。画像Ａ９は、画像Ａ８の代わりにタッチパネルディスプレイ２５に表示されてもよい。
　図１０は、実施形態に係る検査装置により表示される画像の一例を示す図である。図１０に示した画像Ａ１１は、画像Ａ１０に示されている推論用被検体の目の状態を引き起こした原因として推定された結果を示している。画像Ａ１１は、例えば、タッチパネルディスプレイ２５に画像Ａ８及び画像Ａ９が表示された後に、タッチパネルディスプレイ２５に表示される。
　図１１は、実施形態に係る検査装置により表示される画像の一例を示す図である。図１１に示した画像Ａ１３は、画像Ａ１１に示されている原因への対処法の一例を示している。画像Ａ１３は、タッチパネルディスプレイ２５に画像Ａ１１が表示された後に、タッチパネルディスプレイ２５に表示される。
　図１２は、実施形態に係る検査装置により表示される画像の一例を示す図である。図１２に示した画像Ａ１４は、画像Ａ１１又は画像Ａ１３に有用な点眼液の一例を示している。画像Ａ１４は、タッチパネルディスプレイ２５に画像Ａ１２又は画像Ａ１３が表示された後に、タッチパネルディスプレイ２５に表示される。
　図１３から図１６は、図８に示した目の画像の代わりに表示される目の画像の一例を示す図である。推定機能２０２は、推論用画像に描出されている推論用被検体の目のうち所定の条件を満たす領域の表示の態様と、所定の条件を満たさない領域の表示の態様とが異なる画像を示す推論用データを出力させる。ここで言う所定の条件は、涙液の水層が減少している可能性が所定の閾値を超えているという条件と、涙液の油層が減少している可能性が所定の閾値を超えているという条件と、角膜及び結膜の少なくとも一方に傷が付いている可能性が所定の閾値を超えているという条件との少なくとも一つである。
　例えば、推定機能２０２は、図１３に示すように、涙液の水層が減少している可能性がある領域を示す斜線ハッチングを推論用画像に重ねて表示してもよい。この斜線ハッチングは、涙液の水層が減少している程度に応じて異なる濃さを有していてもよい。
　或いは、推定機能２０２は、図１４に示すように、涙液の油層が減少している可能性がある領域を示す縦線ハッチングを推論用画像に重ねて表示してもよい。この縦線ハッチングは、涙液の油層が減少している程度に応じて異なる濃さを有していてもよい。
　或いは、推定機能２０２は、図１５に示すように、角膜及び結膜に傷が付いている可能性がある領域を示すドットハッチングを推論用画像に重ねて表示してもよい。このドットハッチングは、傷の程度に応じて異なる濃さを有していてもよい。
　或いは、推定機能２０２は、図１６に示すように、上述した斜線ハッチング、縦線ハッチング及びドットハッチングを推論用画像に重ねて表示してもよい。
　次に、図１７を参照しながら実施形態に係る検査プログラム２００が実行する処理の一例を説明する。図１７は、実施形態に係る検査プログラムにより実行される処理の一例を示すフローチャートである。
　ステップＳ２１において、データ取得機能２０１は、推論用被検体の目を描出している推論用画像を示す推論用画像データを取得する。
　ステップＳ２２において、推定機能２０２は、機械学習プログラム７５０に推論用画像データを入力し、機械学習プログラム７５０に推論用被検体の目の状態を推定させ、機械学習プログラム７５０に推論用被検体の目の状態を示す推論用データを出力させる。
　以上、実施形態に係る機械学習実行方法、検査方法、機械学習実行装置及び検査装置について説明した。
　機械学習実行プログラム１００は、教師データ取得機能１０１と、機械学習実行機能１０２とを備える。
　教師データ取得機能１０１は、学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、学習用被検体の目の状態を示す学習用状態データを答えとする教師データを取得する。
　機械学習実行機能１０２は、教師データを機械学習プログラム７５０に入力し、機械学習プログラム７５０を学習させる。
　これにより、機械学習実行プログラム１００は、学習用画像データに基づいて目の状態を予測する機械学習プログラム７５０を生成することができる。
　検査プログラム２００は、データ取得機能２０１と、推定機能２０２とを備える。
　データ取得機能２０１は、推論用画像データを取得する。推論用画像データは、推論用被検体の目を描出している画像を示すデータである。
　推定機能２０２は、機械学習実行プログラム１００により学習済みの機械学習プログラム７５０に推論用画像データを入力し、推論用被検体の目の状態を推定させる。そして、推定機能２０２は、機械学習プログラム７５０に推論用被検体の目の状態を示す推論用データを出力させる。
　これにより、検査プログラム２００は、検査を実際に実施することなく、目に関する検査の結果を予測することができる。
　また、検査プログラム２００は、推論用画像に描出されている推論用被検体の目のうち所定の条件を満たす領域の表示の態様と、所定の条件を満たさない領域の表示の態様とが異なる画像を示す推論用データを出力させる。これにより、検査プログラム２００は、所定の条件を満たす領域及び所定の条件を満たさない領域各々を更に視認し易い態様で提示することができる。
　また、検査プログラム２００は、推論用被検体の目の状態を改善する施策を示す推論用データを推論用データに基づいて出力させる。これにより、検査プログラム２００は、推論用被検体に目の状態を改善する施策を通知することができる。
　なお、機械学習実行プログラム１００が有する機能の少なくとも一部は、回路部（circuitry）を含むハードウェアにより実現されてもよい。同様に、検査プログラム２００が有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。また、このようなハードウェアは，例えば、ＬＳＩ（Large　Scale　Integration）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field-Programmable　Gate　Array）、ＧＰＵ（Graphics　Processing　Unit）である。
　また、機械学習実行プログラム１００が有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。同様に、検査プログラム２００が有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　また、実施形態では、機械学習実行装置１０と、機械学習装置７００と、検査装置２０とが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これらの装置は、一つの装置として実現されていてもよい。
　また、検査装置２０は、上述した態様以外の態様で実施されてもよい。例えば、検査装置２０は、学習用タブレット、ゲーム機、コンピュータ等であってもよい。この場合、検査装置２０は、学習をする者、ゲームをする者、コンピュータを使用する者の目に関する検査の結果を予測することができる。
　また、検査装置２０は、医療機器、医療器具等の特殊な機器、器具等を必要としないため、推論用被検体が通院する労力を省き、遠隔診療等を実現させることができる。例えば、検査装置２０は、スマートフォンである場合、推論用被検体が通院する労力を省きつつ、推論用被検体の目に関する検査の結果を予測することができる。或いは、検査装置２０は、スマートフォンである場合、推論用被検体が通院する労力を省きつつ、推論用被検体の目に関する検査の結果を予測し推論用被検体に当該治療の効果を実感させたり、コンタクトレンズ等を処方したりすることを可能にすることができる。また、当該治療の効果としては、例えば、角膜又は結膜の傷の減少、涙液の水層又は油層による眼の潤いが挙げられる。さらに、推論用被検体は、犬、猫等の動物であってもよい。
　次に、図１８から図３１を参照しながら上述した実施形態の第一実施例の具体例について説明する。
　図１８は、第一実施例に係る検査システムの構成の一例を示す図である。検査システムＥ１は、撮影装置１と、検査装置２とを備える。
　撮影装置１は、デジタルカメラを備え、ユーザーＵ１の目を撮影する。撮影装置１は、一例として、デジタルカメラを備えるスマートフォンである。撮影装置１は、デジタルカメラによって撮影されたユーザーＵ１の目の画像であるユーザー画像データＰ１を検査装置２に送信する。検査装置２は、一例として、サーバである。
　検査装置２は、深層学習によって学習された学習結果Ｌ１を記憶している。学習結果Ｌ１は、デジタルカメラによって撮影された被検者の目の画像である被検者画像データと、被検者の目の状態が検査された結果を含む被検者検査データとの関係が深層学習によって学習された結果である。被検者検査データは、測定値、定められた基準によるスコア値、画像データであってもよい。第一実施例において、目の状態とは、涙液の状態と角結膜の状態とのうち少なくとも１つ以上である。涙液の状態には、涙液の量、涙液油層厚み、ムチン層の障害面積、涙液層破壊時間、非侵襲的涙液層破壊時間のうち少なくとも１つ以上が含まれる。角結膜の状態には、角結膜の障害面積が含まれる。スコア値には例えば、非特許文献「島▲崎▼　潤、２００６年ドライアイ診断基準、「あたらしい眼科」、メディカル葵出版、２００７年２月２８日、２４巻、２月号、ｐ．１８１－１８４」に記載の基準が用いられる。
　被検者とは、学習に用いられる被検者画像データ及び被検者検査データの提供者である。
　検査装置２は、深層学習によって学習された学習結果と、ユーザー画像データＰ１とに基づいて、ユーザーＵ１の目の状態が検査された場合の結果を含む検査データを予測する。検査装置２は、検査データを予測した結果である予測結果Ａ１を撮影装置１に送信する。撮影装置１は、予測結果Ａ１をユーザーＵ１に提示する。
［撮影装置の構成］
　図１９は、第一実施例の変形例に係る撮影装置の構成の一例を示す図である。撮影装置１は、撮影装置制御部１００と、撮影部１１０と、撮影装置通信部１２０と、表示部１３０と、操作受付部１４０とを備える。
　撮影装置制御部１００は、画像取得部１０００と、撮影条件判定部１０１０と、白目黒目部分抽出部１０２０と、画像出力部１０３０と、予測結果取得部１０４０と、提示部１０５０とを備える。撮影装置制御部１００は、一例としてＣＰＵにより実現され、画像取得部１０００と、撮影条件判定部１０１０と、白目黒目部分抽出部１０２０と、画像出力部１０３０と、予測結果取得部１０４０と、提示部１０５０とはそれぞれ、ＣＰＵがＲＯＭからプログラムを読み込んで処理を実行することにより実現される。
　画像取得部１０００は、撮影部１１０によって撮影画像Ｐ０を取得する。撮影画像Ｐ０は、ユーザーＵ１の目が撮影された画像である。撮影画像Ｐ０は、一例として、染色試薬などでユーザーＵ１の目が染色されていない状態において当該目が撮影された画像である。撮影画像Ｐ０は、一例として、１枚の画像である。撮影画像Ｐ０は、複数の画像のセットであってもよい。なお、撮影部１１０は、ユーザーＵ１の目が染色された状態において当該目を撮影してもよい。染色とは、例えば、フルオレセイン染色、あるいはリサミングリーン染色などの染色である。
　撮影条件判定部１０１０は、画像取得部１０００によって取得された撮影画像Ｐ０について、所定の撮影条件が満たされているか否かを判定する。
　ここで図２０を参照し、所定の撮影条件について説明する。図２０は、第一実施例の変形例に係る所定の撮影条件の一例を示す図である。所定の撮影条件について説明する前に、第一実施例における黒目と白目について説明する。黒目とは、目を正目からみた場合に角膜に対応する部分である。目を正目からみた場合に、角膜の奥側には瞳孔と、虹彩とがあるため、換言すれば黒目は、瞳孔と、虹彩とを含む部分でもある。一方、白目とは、目を正目からみた場合に球結膜に対応する部分である。
　第一実施例において所定の撮影条件には、以下の３つの撮影条件が含まれる。
　１つ目の撮影条件は、黒目の全体が撮影されていることである。
　２つ目の撮影条件は、白目と黒目とを合わせた部分について縦の長さと横の長さとの比率（以下の説明で縦横比率という）が所定の範囲内であることが含まれる。縦横比率について所定の範囲とは、一例として、０．６２から０．７５の範囲である。図２０において、撮影画像Ｒ１、撮影画像Ｒ２、及び撮影画像Ｒ３はそれぞれ、２つ目の撮影条件を説明するための撮影画像の一例である。撮影画像Ｒ１、撮影画像Ｒ２、及び撮影画像Ｒ３はそれぞれについて、縦横比率はそれぞれ、０．６１、０．６４、及び０．７６である。撮影画像Ｒ１では、瞼が十分に開いておらず、２つ目の撮影条件が満たされていない。撮影画像Ｒ２では、瞼が十分に開いており、２つ目の撮影条件が満たされている。撮影画像Ｒ３では、瞼が開き過ぎており、２つ目の撮影条件が満たされていない。
　３つ目の撮影条件は、白目と黒目とを合わせた部分の縦の長さと、白目と黒目とを合わせた部分のうちの黒目の縦の長さとの比率（以下の説明で白目黒目比率という）が所定の範囲内であることが含まれる。白目黒目比率について所定の範囲とは、一例として、１．２０から１．４０の範囲である。図２０において、撮影画像Ｒ４、撮影画像Ｒ５、及び撮影画像Ｒ６はそれぞれ、３つ目の撮影条件を説明するための撮影画像の一例である。撮影画像Ｒ４、撮影画像Ｒ５、及び撮影画像Ｒ６それぞれについて、白目黒目比率はそれぞれ、１．１２、１．３１、及び１．５１である。撮影画像Ｒ５では、３つ目の撮影条件が満たされている。撮影画像Ｒ４、及び撮影画像Ｒ６では、３つ目の撮影条件が満たされていない。
　図１９に戻って撮影装置１の構成の説明を続ける。
　白目黒目部分抽出部１０２０は、撮影画像Ｐ０から目のうち白目と黒目とを合わせた部分を切り出す。目のうち白目と黒目とを合わせた部分とは、目のうち瞼及び皮膚などを除いた眼球の部分である。撮影画像Ｐ０から目のうち白目と黒目とを合わせた部分が切り出された画像を、ユーザー画像データＰ１という。図２１に、ユーザー画像データＰ１の一例を示す。ユーザー画像データＰ１では、目のうち白目と黒目とを合わせた部分以外の部分が削除されている。目のうち白目と黒目とを合わせた部分以外の部分には、瞼及び皮膚が含まれる。第一実施例において、ユーザー画像データＰ１は、目のうち白目と黒目とを合わせた部分が切り出された画像である。
　なお、撮影画像Ｐ０に対して目のうち白目と黒目とを合わせた部分が切り出す処理が行われずに、撮影画像Ｐ０がそのままユーザー画像データＰ１とされてもよい。その場合、白目黒目部分抽出部１０２０は、撮影装置制御部１００の構成から省略されてもよい。
　画像出力部１０３０は、ユーザー画像データＰ１を検査装置２に出力する。
　予測結果取得部１０４０は、検査装置２から予測結果Ａ１を取得する。予測結果Ａ１は、例えば、目の状態をスコアによって示す。予測結果Ａ１は、例えば、涙液の状態についてのスコアと、角結膜の状態についてのスコアとのうち少なくとも１つ以上を含む。
　提示部１０５０は、予測結果Ａ１を提示する。提示部１０５０は、予測結果Ａ１を表示部１３０に表示させることによって予測結果Ａ１を提示する。
　撮影部１１０は、デジタルカメラを含んで構成される。撮影部１１０は、ユーザーＵ１の目を撮影する。ユーザーＵ１の目は、正面から撮影されることが好ましい。また、撮影部１１０がユーザーＵ１の目を撮影する場合に、撮影部１１０を構成するデジタルカメラのレンズと、ユーザーＵ１の目との距離が近い場合であっても、ピントが適切に調整されることが好ましい。
　撮影部１１０が撮影する画像は、静止画であってもよいし、動画であってもよい。撮影部１１０が動画を撮影する場合には、画像取得部１０００は、動画に含まれる複数のフレームのなかから撮影画像Ｐ０を選択する。例えば、画像取得部１０００は、動画に含まれる複数のフレームのなかから、上述した所定の撮影条件を満たすフレームを選択する。この場合、画像取得部１０００は、撮影条件判定部１０１０に動画に含まれる複数のフレームそれぞれについて所定の撮影条件を満たすか否かの判定を実行させる。
　撮影装置通信部１２０は、無線ネットワークを介して、検査装置２と通信を行う。撮影装置通信部１２０は、無線ネットワークを介して通信を行うためのハードウェアを含む。
　表示部１３０は、各種の情報を表示する。表示部１３０は、撮影部１１０が撮影した撮影画像Ｐ０、あるいは、予測結果Ａ１を表示する。表示部１３０は、液晶ディスプレイ、または有機エレクトロルミネッセンス（ＥＬ：Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。
　操作受付部１４０は、ユーザーＵ１からの操作を受け付ける。操作受付部１４０は、例えば、タッチパネルを含み、表示部１３０と一体となって構成される。
［検査装置の構成］
　図２２は、第一実施例の変形例に係る検査装置の構成の一例を示す図である。検査装置２は、検査装置制御部２００と、記憶部２１０と、検査装置通信部２２０とを備える。
　検査装置制御部２００は、画像データ取得部２０００と、予測部２０１０と、予測結果出力部２０２０と、学習部２０３０とを備える。検査装置制御部２００は、一例としてＣＰＵにより実現され、画像データ取得部２０００と、予測部２０１０と、予測結果出力部２０２０と、学習部２０３０とはそれぞれ、ＣＰＵがＲＯＭからプログラムを読み込んで処理を実行することにより実現される。
　画像データ取得部２０００は、撮影装置１からユーザー画像データＰ１を取得する。
　予測部２０１０は、学習結果Ｌ１０と、ユーザー画像データＰ１とに基づいて、ユーザー検査データを予測する。ユーザー検査データは、ユーザーＵ１の涙液の状態と角結膜の状態とのうち少なくとも１つ以上が検査された場合の結果を含む。
　予測結果出力部２０２０は、予測部２０１０が予測したユーザー検査データを、予測結果Ａ１として撮影装置１に出力する。
　学習部２０３０は、被検者画像データと、被検者検査データとの関係を学習する。被検者画像データは、デジタルカメラによって撮影された被検者の目の画像である。このデジタルカメラは、撮影装置１に備えられるデジタルカメラとは異なっていてよい。
　被検者検査データは、被検者の目の状態が検査された結果を含む。被検者は、複数であってよい。被検者のなかにユーザーＵ１は含まれていても、含まれていなくてもよい。被検者の目の画像の撮影、及び被検者の目の状態の検査は同一日時に行われる。
　涙液の量は、例えば光干渉断層計にて涙液メニスカス高さを指標に検査される。涙液油層厚みは、例えば光干渉計にて検査される。ムチン層障害面積は、例えばリサミングリーン染色された眼の染色面積又は染色の濃さを指標に検査される。涙液層破壊時間は、例えばフルオレセイン染色された涙液が瞬き直後から破壊されるまでの時間を指標に検査される。非侵襲的涙液層破壊時間は、光干渉像にて可視化した涙液が瞬き直後から破壊されるまでの時間を指標に検査される。角結膜障害面積は、例えばフルオレセイン染色された眼の染色面積又は染色の濃さを指標に検査される。
　学習部２０３０は、被検者画像データと、被検者検査データとの組み合わせからなるデータセットに基づいて学習を実行する。当該データセットは、記憶部２１０に予め記憶されて、学習部２０３０は、記憶部２１０から当該データセットを取得してもよいし、学習部２０３０は、サーバなどの外部装置から当該データセットを取得してもよい。学習部２０３０は、学習した結果を学習結果Ｌ１０として記憶部２１０に記憶させる。
　学習部２０３０は、一例として、深層学習に基づいて学習を実行する。学習結果Ｌ１０は、学習が実行されることによってウェイト及びバイアスの各パラメータが変更されたニューラルネットワークを示す情報である。
　被検者画像データは、上述した所定の撮影条件が満たされた状態において被検者の目が撮影された画像である。なお、被検者画像データは、上述した所定の撮影条件が満たされていなくてもよい。また、被検者画像データには、所定の撮影条件を満たす画像と、所定の撮影条件を満たさない画像との両方が含まれていてもよい。
　被検者画像データは、第一実施例のようにユーザー画像データＰ１として所定の撮影条件を満たす画像が用いられる場合には、予測の精度を向上させるために所定の撮影条件を満たしていることが好ましい。
　被検者画像データは、目のうち白目と黒目とを合わせた部分が切り出された画像である。なお、被検者画像データは、当該部分が切り出されていない画像であってもよい。また、被検者画像データには、目のうち白目と黒目とを合わせた部分が切り出された画像と、当該部分が切り出されていない画像との両方が含まれていてもよい。
　被検者画像データは、第一実施例のようにユーザー画像データＰ１として目のうち白目と黒目とを合わせた部分が切り出された画像が用いられる場合には、予測の精度を向上させるために当該部分が切り出された画像であることが好ましい。
　被検者画像データには、正常な目の画像と、異常な目の画像とが含まれる。角結膜障害面積が異常な目の画像とは、例えば、角結膜障害面積が３３％以上の時と同一日時に撮影された目の画像である。角結膜障害面積が正常な目の画像とは、例えば、角結膜障害面積が３３％未満の時と同一日時に撮影された目の画像である。同様に、ムチン層障害面積、涙液層破壊時間、非侵襲的涙液層破壊時間、涙液油層厚み、涙液の量が異常な画像とは、例えば、ムチン層障害面積が３３％以上、涙液層破壊時間が５秒以下、非侵襲的涙液層破壊時間が１０秒以下、涙液油層厚みが８０μｍ未満、涙液の量が３１０μｍ未満の時と同一日時に撮影された目の画像である。ムチン層障害面積、涙液層破壊時間、非侵襲的涙液層破壊時間、涙液油層厚み、涙液の量が正常な画像とは、例えば、ムチン層障害面積が３３％未満、涙液層破壊時間が５秒超、非侵襲的涙液層破壊時間が１０秒超、涙液油層厚みが８０μｍ以上、涙液の量が３１０μｍ以上の時と同一日時に撮影された目の画像である。
　第一実施例では、被検者画像データに含まれる正常な目の画像の数と、異常な目の画像の数とは等しい。正常な目の画像の数と、異常な目の画像の数とは、例えば、それぞれ１０００枚である。正常な目の画像の数と、異常な目の画像の数とは、予測の精度の向上のためには等しいことが好ましい。なお、被検者画像データに含まれる正常な目の画像の数と、異常な目の画像の数とは異なっていてもよい。
　学習部２０３０は、学習の実行前に被検者画像データに変形を加えてもよい。この変形には、例えば、拡大及び縮小、回転、縦横の平行移動、あるいは、せん断歪みによる変形が含まれる。例えば、学習部２０３０は、被検者画像データに変形を加えることによって、例えば、黒目の部分が画像内の中心に位置するようにして、かつ、複数の画像間において黒目の部分の大きさが共通となるようにする。
　学習部２０３０は、変形を加える前の元の被検者画像データと、被検者画像データに変形を加えて得られる新たな画像とを組み合わせることによって、被検者画像データの数を増幅させてもよい。
　学習部２０３０が深層学習に用いるニューラルネットワークでは、中間層の数は３層である。なお、深層学習に用いるニューラルネットワークの中間層は、３層より多くてもよい。
　学習部２０３０は、所定の回数だけ深層学習を実行する。この所定の回数は、例えば、５回である。なお、所定の回数は、５以外の回数であってもよい。
　なお、学習部２０３０は、深層学習以外の機械学習に基づいて学習を実行してもよい。
　外部装置によって学習された結果が学習結果Ｌ１０として記憶部２１０に予め記憶されてもよい。その場合、学習部２０３０は、検査装置制御部２００の構成から省略されてもよい。
　記憶部２１０は、各種の情報を記憶する。記憶部２１０が記憶する情報には、学習結果Ｌ１０が含まれる。記憶部２１０は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。
　検査装置通信部２２０は、無線ネットワークを介して、撮影装置１と通信を行う。検査装置通信部２２０は、無線ネットワークを介して通信を行うためのハードウェアを含む。
［撮影装置の目状態予測処理］
　次に図２３を参照し、撮影装置１がユーザーＵ１の目を撮影して、予測結果Ａ１を提示する処理である目状態予測処理について説明する。図２３は、第一実施例の変形例に係る目状態予測処理の一例を示す図である。
ステップＳ１０：撮影装置制御部１００は、表示部１３０に撮影画面を表示させる。撮影画面は、撮影部１１０がユーザーＵ１の目を撮影する場合に表示部１３０に表示される画面である。撮影画面には、撮影部１１０によって撮影されるユーザーＵ１の顔の画像が即時に表示される。
　撮影画面には、撮影部１１０によって撮影されるユーザーＵ１の顔の画像の他に、撮影ガイドが表示されてよい。撮影ガイドは、撮影の手順をユーザーＵ１に示すためのテキスト、アイコンなどである。撮影ガイドには、所定の撮影条件を満たした状態でユーザーＵ１の目が撮影されるために、ユーザーＵ１に対して指示を行うテキスト、アイコンが含まれてもよい。テキストは、例えば、「まぶたが黒目にかからない程度に目を開いてください。」などのテキストである。アイコンは、例えば、撮影画面においてユーザーＵ１の目の画像の上下に表示される目を開くことを指示する矢印などである。
　ステップＳ２０：撮影部１１０は、ユーザーＵ１の目を撮影する。撮影部１１０は、ユーザーＵ１の目が撮影された撮影画像Ｐ０を生成する。
　ステップＳ３０：画像取得部１０００は、撮影部１１０から撮影画像Ｐ０を取得する。画像取得部１０００は、取得した撮影画像Ｐ０を撮影条件判定部１０１０に供給する。
　ステップＳ４０：撮影条件判定部１０１０は、画像取得部１０００によって取得された撮影画像Ｐ０ついて、所定の撮影条件が満たされているか否かを判定する。撮影条件判定部１０１０は、撮影画像Ｐ０のうち黒目の部分と、白目の部分とを抽出する。撮影条件判定部１０１０は、この抽出の処理において画像認識の技術を用いる。撮影条件判定部１０１０は、抽出した黒目の部分と、白目の部分とに基づいて判定を行う。
　第一実施例では、撮影条件判定部１０１０は、所定の撮影条件として、上述した３つの撮影条件全てが満たされている場合に、所定の撮影条件が満たされていると判定する。なお、撮影条件判定部１０１０は、所定の撮影条件として、上述した３つの撮影条件のうち１つ以上が満たされている場合に、所定の撮影条件が満たされていると判定してもよい。
　撮影条件判定部１０１０が所定の撮影条件が満たされていると判定する場合（ステップＳ４０；ＹＥＳ）、撮影条件判定部１０１０は、撮影画像Ｐ０を白目黒目部分抽出部１０２０に供給する。その後、撮影装置制御部１００はステップＳ５０の処理を実行する。一方、撮影条件判定部１０１０が所定の撮影条件が満たされていないと判定する場合（ステップＳ４０；ＮＯ）、撮影装置制御部１００はステップＳ９０の処理を実行する。
　ステップＳ５０：白目黒目部分抽出部１０２０は、撮影画像Ｐ０から目のうち白目と黒目とを合わせた部分を切り出す。白目黒目部分抽出部１０２０は、画像認識の技術に基づいて、撮影画像Ｐ０から目のうち白目と黒目とを合わせた部分と、それ以外の部分とを判定する。白目黒目部分抽出部１０２０は、撮影画像Ｐ０から目のうち白目と黒目とを合わせた部分以外の部分を削除することによって、目のうち白目と黒目とを合わせた部分を切り出す。
　白目黒目部分抽出部１０２０は、撮影画像Ｐ０から目のうち白目と黒目とを合わせた部分を切り出す処理を行って得られる画像をユーザー画像データＰ１として画像出力部１０３０に供給する。
　ステップＳ６０：画像出力部１０３０は、ユーザー画像データＰ１を検査装置２に出力する。ここで画像出力部１０３０は、撮影装置通信部１２０を介してユーザー画像データＰ１を検査装置２に送信する。
　なお、撮影装置制御部１００は、画像出力部１０３０がユーザー画像データＰ１を検査装置２に出力する前に、撮影されたユーザー画像データＰ１を表示部１３０に表示させてユーザーＵ１に確認を促してもよい。ユーザーＵ１によってユーザー画像データＰ１が承認された場合に、画像出力部１０３０は、ユーザー画像データＰ１を検査装置２に出力してもよい。ユーザーＵ１によってユーザー画像データＰ１が承認されなかった場合に、撮影装置制御部１００は、ステップＳ１０の処理を再度実行してもよい。ユーザーＵ１による承認は、操作受付部１４０からの操作として行われる。
　ステップＳ７０：予測結果取得部１０４０は、検査装置２から予測結果Ａ１を取得する。ここで予測結果取得部１０４０は、撮影装置通信部１２０を介して予測結果Ａ１を検査装置２から受信する。
　ステップＳ８０：提示部１０５０は、予測結果Ａ１を提示する。提示部１０５０は、予測結果Ａ１を表示部１３０に表示させることによって予測結果Ａ１を提示する。
　ステップＳ９０：撮影条件判定部１０１０は、表示部１３０を制御し、表示部１３０に撮影ガイドを表示させる。ステップＳ９０において表示される撮影ガイドは、例えば、所定の撮影条件のうち満たされていない撮影条件に応じた内容を含む。例えば、撮影画像Ｐ０が１つ目の撮影条件を満たしていない場合、「まぶたが黒目にかからない程度に目を開いてください。」などのテキストを表示させる。ステップＳ９０においても、ステップＳ１０において表示されたのと同様の撮影ガイドが表示されてもよい。
　撮影条件判定部１０１０がステップＳ９０の処理を終えると、撮影装置１は、ステップＳ２０の処理を再び実行する。
　以上で、撮影装置１は、目状態予測処理を終了する。
　なお、上述したように、ユーザー画像データＰ１は、所定の撮影条件を満たす撮影画像Ｐ０から生成されている。したがって、ユーザー画像データＰ１は、所定の撮影条件が満たされた状態においてユーザーＵ１の目が撮影された画像である。
　なお、ユーザー画像データＰ１は、所定の撮影条件を満たしていなくてもよい。その場合、上述したステップＳ４０の処理は省略される。また、その場合、撮影条件判定部１０１０は、撮影装置制御部１００の構成から省略されてもよい。
　ここで図２４から図２７を参照し、撮影装置１の表示部１３０が表示する各種画面について説明する。
　図２４は、第一実施例の変形例に係る撮影画面の一例を示す図である。撮影画面Ｇ１では、ユーザーＵ１の目を含む顔の画像と、撮影ガイドとが表示されている。撮影画面Ｇ１では、撮影ガイドとして、撮影の手順がテキストによって表示されている。
　図２５は、第一実施例の変形例に係る撮影画面の一例を示す図である。撮影画面Ｇ２では、ユーザーＵ１の目の撮影が完了し、撮影されたユーザー画像データＰ２が表示されている。
　撮影画面Ｇ２には、撮影されたユーザー画像データＰ２をユーザーＵ１が承認するためのボタンである「評価スタート」ボタンと、再度撮影を実行するためのボタンである「もう一度撮影」ボタンとが表示されている。
　図２６は、第一実施例の変形例に係る予測結果表示画面の一例を示す図である。予測結果表示画面Ｇ３は、予測結果Ａ１に基づいて、ユーザーＵ１の目の状態が検査された場合の結果を含む検査データが表示されている。予測結果表示画面Ｇ３では、一例として、涙液油層厚み、涙の量、ムチン層障害面積、及び角結膜障害面積のそれぞれの状態が、スコアを用いて表示されている。また、予測結果表示画面Ｇ３では、予測結果Ａ１に基づいて、ユーザーＵ１の目の健康リスクについて総合的な予測結果が表示されている。
［検査装置の予測処理］
　次に図２７を参照し、検査装置２の予測処理について説明する。図２７は、第一実施例の変形例に係る予測処理の一例を示す図である。図２７に示す予測処理は、図２３に示した目状態予測処理においてステップＳ６０の処理が実行された後に実行される。
　ステップＳ１００：画像データ取得部２０００は、撮影装置１からユーザー画像データＰ１を取得する。画像データ取得部２０００は、検査装置通信部２２０を介して、撮影装置１からユーザー画像データＰ１を受信する。画像データ取得部２０００は、取得したユーザー画像データＰ１を予測部２０１０に供給する。
　ステップＳ１１０：予測部２０１０は、記憶部２１０から学習結果Ｌ１０を取得する。
　ステップＳ１２０：予測部２０１０は、学習結果Ｌ１０と、ユーザー画像データＰ１とに基づいて、ユーザー検査データを予測する。予測部２０１０は、深層学習に基づいて予測を行う。
　上述したように学習結果Ｌ１０とは、デジタルカメラによって撮影された被検者の目の画像である被検者画像データと、被検者の目の状態が検査された結果を含む被検者検査データとの組み合わせからなるデータセットに基づいて、被検者画像データと、被検者検査データとの関係が深層学習によって学習された結果である。つまり、学習結果Ｌ１０とは、被検者画像データと、被検者検査データとの組み合わせからなるデータセットに基づいて学習が行われた結果である。したがって、予測部２０１０は、被検者画像データと、被検者検査データとの組み合わせからなるデータセットと、ユーザー画像データＰ１と、に基づいて、ユーザー検査データを予測する。
　予測部２０１０は、深層学習に用いられるニューラルネットワークの入力層にユーザー画像データＰ１を構成する画素の各画素値を入力する。ニューラルネットワークの出力層には、入力された画素値と、ウェイト及びバイアスとに応じた値が出力される。出力層に出力される値と、目の状態についてのスコアとは予め対応づけられている。
　予測部２０１０は、予測結果Ａ１を予測結果出力部２０２０に供給する。
　ステップＳ１３０：予測結果出力部２０２０は、予測結果Ａ１を撮影装置１に出力する。ここで予測結果出力部２０２０は、検査装置通信部２２０を介して予測結果Ａ１を撮影装置１に送信する。
　以上で、検査装置２は、予測処理を終了する。
［第一実施例のまとめ］
　以上に説明したように、第一実施例に係る検査装置２は、画像データ取得部２０００と、予測部２０１０とを備える。
　画像データ取得部２０００は、デジタルカメラ（第一実施例において、撮影装置１）によって撮影されたユーザーＵ１の目の画像であるユーザー画像データＰ１を取得する。
　予測部２０１０は、デジタルカメラによって撮影された被検者の目の画像である被検者画像データと、当該被検者の涙液の状態と角結膜の状態とのうち少なくとも１つ以上（第一実施例において、目の状態）が検査された結果を含む被検者検査データとの組み合わせからなるデータセット（第一実施例において、学習結果Ｌ１０）と、ユーザー画像データＰ１と、に基づいて、ユーザーＵ１の涙液の状態と角結膜の状態とのうち少なくとも１つ以上（第一実施例において、目の状態）が検査された場合の結果を含むユーザー検査データを予測する。
　この構成により、第一実施例に係る検査装置２は、デジタルカメラによって撮影されたユーザーＵ１の目の画像からユーザーＵ１の涙液の状態と角結膜の状態とのうち少なくとも１つ以上が検査された場合の結果を含むユーザー検査データを予測できるため、簡易な検査によって目の状態を検査できる。第一実施例において目の状態とは、涙液の状態と角結膜の状態とのうち少なくとも１つ以上である。検査装置２では、眼科検査機器を用いず、スマートフォンなどに付属のデジタルカメラを用いてユーザーＵ１の目を撮影することによって、簡易な検査によって目の状態を検査できる。
　また、第一実施例に係る検査装置２では、被検者の目の画像及びユーザーＵ１の目の画像はそれぞれ、目が染色されていない状態において当該目が撮影された画像である。
　この構成により、第一実施例に係る検査装置２では、染色のための薬剤を用いず、スマートフォンなどに付属のデジタルカメラを用いてユーザーＵ１の目を撮影することによって、簡易な検査によって目の状態を検査できる。
　また、第一実施例に係る検査装置２では、被検者の目の画像及びユーザーＵ１の目の画像はそれぞれ、所定の撮影条件が満たされた状態において目が撮影された画像である。
　この構成により、第一実施例に係る検査装置２では、ユーザー検査データを予測する精度を、所定の撮影条件が満たされていない場合に比べて向上させることができる。
　また、第一実施例に係る検査装置２では、被検者の目の画像及びユーザーＵ１の目の画像はそれぞれ、目のうち白目と黒目とを合わせた部分が切り出された画像である。
　この構成により、第一実施例に係る検査装置２では、被検者の目の画像及びユーザーＵ１の目の画像において、目のうち瞼及び皮膚などの眼球以外の部分についての特徴量を除いてユーザー検査データの予測ができるため、目のうち白目と黒目とを合わせた部分を切り出さない場合に比べてユーザー検査データを予測する精度を向上させることができる。
　また、第一実施例に係る検査装置２では、予測部２０１０は、被検者画像データと、被検者検査データとの組み合わせからなるデータセットに基づいて被検者画像データと、被検者検査データとの関係が深層学習によって学習された学習結果Ｌ１０と、ユーザー画像データＰ１とに基づいて、ユーザー検査データを予測する。
　この構成により、第一実施例に係る検査装置２では、深層学習によって学習された学習結果Ｌ１０に基づいて予測を行うため、深層学習を用いない場合に比べて予測の精度を向上させることができる。
　なお、第一実施例では、検査システムＥ１において、撮影装置１と検査装置２とが別体として備えられる場合の一例について説明したが、これに限られない。撮影装置１と検査装置２とは一体の装置であってもよい。
　また、第一実施例では、撮影装置１と検査装置２とが無線通信によって通信を行う場合の一例について説明したが、これに限られない。撮影装置１と検査装置２とは、有線通信によって通信を行ってもよい。
　検査装置２の機能の一部が、撮影装置１に備えられてもよい。例えば、予測部２０１０が撮影装置１に備えられてもよい。また、学習結果Ｌ１０が撮影装置１に記憶されてもよい。
　撮影装置１の機能の一部が、検査装置２に備えられてもよい。例えば、撮影条件判定部１０１０、あるいは白目黒目部分抽出部１０２０などが検査装置２に備えられてもよい。第一実施例では、撮影条件判定部１０１０及び白目黒目部分抽出部１０２０が撮影装置１に備えられることによって、撮影条件を判定する処理、及び白目黒目部分を切り出す処理が撮影装置１によって行われる。そのため、それらの処理に伴う検査装置２（つまり、サーバ）の負荷を軽減できる。
　なお、第一実施例では、撮影装置１がスマートフォンである場合の一例について説明したが、これに限られない。撮影装置１は、ドラッグストアなどの店舗に設置されてデジタルカメラを備えるパーソナルコンピュータ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ：ＰＣ）などの端末装置であってもよい。また、撮影装置１は、デジタルカメラを備えるタブレット端末であってもよい。また、撮影装置１は、デジタルカメラを備えるゲーム機であってもよい。
　また、撮影装置１は、ユーザーＵ１が撮影装置１を使用している最中に、ユーザーＵ１の目を撮影し、予測結果Ａ１に基づいて目が疲労していることを、アラートの表示、あるいは警告音などによって報知してもよい。その場合、撮影装置１は、ユーザーＵ１の目を所定の周期において撮影する。
（第一実施例の変形例）
　図２８から図３１を参照し、上記第一実施例の変形例について説明する。上記第一実施例では、デジタルカメラによって撮影されたユーザーの目の画像であるユーザー画像データに基づいて、目の状態について予測が行われる場合について説明をした。第一実施例では、ユーザー画像データとともに、ユーザーによるアンケートへの回答結果に基づいて、目の状態について予測が行われる場合について説明をする。
　第一実施例に係る撮影装置を撮影装置１ａといい、検査装置を検査装置２ａという。なお、上述した第一実施例と同一の構成については同一の符号を付して、同一の構成及び動作についてはその説明を省略する。
　撮影装置１ａの構成と、上記第一実施例に係る撮影装置１の構成とは、撮影装置１ａがユーザー回答結果Ｑ１を取得する点以外は同様であるため、構成の詳細な説明は省略する。
　撮影装置１ａは、ユーザー回答結果Ｑ１を操作受付部１４０がユーザーＵ１の操作を受け付けることによって取得する。ユーザー回答結果Ｑ１は、ユーザーＵ１によるアンケートへの回答結果である。このアンケートは、例えば、撮影画面において表示される。このアンケートは、例えば、ユーザーＵ１の目の自覚症状に関する質問事項を含む。このアンケートでは、例えば、撮影装置１ａによってユーザーＵ１の目が撮影される時の目の自覚症状を選択肢から選択させることによって申告させる。
　図２８は、本変形例に係る検査装置２ａの構成の一例を示す図である。
本変形例に係る検査装置２ａ（図２８）と第一実施例に係る検査装置２（図２２）とを比較すると、検査装置制御部２００ａ、及び学習結果Ｌ１０ａが異なる。ここで、他の構成要素が持つ機能は第一実施例と同じである。第一実施例と同じ機能の説明は省略し、本変形例では、第一実施例と異なる部分を中心に説明する。
　検査装置制御部２００ａは、画像データ取得部２０００と、予測部２０１０ａと、予測結果出力部２０２０と、学習部２０３０ａと、回答結果取得部２０４０ａとを備える。
　学習部２０３０ａは、被検者回答結果と、被検者画像データと、被検者検査データとの関係を学習する。被検者回答結果は、被検者によるアンケートへの回答結果である。
　学習部２０３０ａは、学習に深層学習を用いる。この深層学習に用いられるニューラルネットワークには、被検者画像データを構成する画素の各画素値とともに、被検者回答結果が入力される。
　回答結果取得部２０４０ａは、撮影装置１からユーザー回答結果Ｑ１を取得する。
　予測部２０１０ａは、学習結果Ｌ１０ａと、ユーザー回答結果Ｑ１と、ユーザー画像データＰ１とに基づいて、ユーザー検査データを予測する。予測部２０１０ａは、深層学習に基づいて予測を行う。
　記憶部２１０は、学習結果Ｌ１０ａを記憶する。学習結果Ｌ１０ａは、被検者回答結果と、被検者画像データと、被検者検査データとの組み合わせからなる被検者第２データセットに基づいて、被検者回答結果及び被検者画像データと、被検者検査データとの関係が深層学習によって学習された結果である。つまり、学習結果Ｌ１０ａとは、被検者回答結果と、被検者画像データと、被検者検査データとの組み合わせからなる被検者第２データセットに基づいて学習が行われた結果である。したがって、予測部２０１０ａは、被検者回答結果と、被検者画像データと、被検者検査データとの組み合わせからなる被検者第２データセットと、ユーザー画像データＰ１と、ユーザー回答結果Ｑ１とに基づいてユーザー検査データを予測する。
　図２９に示す撮影画面Ｇ４は、撮影装置１ａが、ユーザー画像データＰ１及びユーザー回答結果Ｑ１を検査装置２に出力する前に表示される。
　撮影画面Ｇ４では、ユーザー画像データＰ２とともに、アンケートが表示されている。
　図３０に示す予測結果表示画面Ｇ６、及び図３１に示す履歴画面Ｇ７は、撮影装置１ａが、検査装置２から取得した予測結果Ａ１を提示するために表示される。
　図３０に示す予測結果表示画面Ｇ６は、予測結果Ａ１に応じて目の状態を改善するためのアドバイスが表示されている。
　図３１に示す履歴画面Ｇ７では、目の状態についてのスコアの履歴がグラフによって表示されている。
　本変形例に係る検査装置２ａは、回答結果取得部２０４０ａを備える。回答結果取得部２０４０ａは、ユーザーＵ１によるアンケートへの回答結果であるユーザー回答結果Ｑ１を取得する。予測部２０１０ａは、被検者によるアンケートへの回答結果である被検者回答結果と、被検者画像データと、被検者検査データとの組み合わせからなる被検者第２データセットと、ユーザー画像データＰ１と、ユーザー回答結果Ｑ１とに基づいてユーザー検査データを予測する。
　この構成により、本変形例に係る検査装置２ａでは、ユーザー回答結果Ｑ１に基づいて、予測の精度を向上させることができる。また、検査装置２ａでは、予測結果Ａ１に応じて目の状態を改善するためのユーザーＵ１へのアドバイスを生成できる。
　なお、上述した第一実施例及び変形例において、被検者とユーザーＵ１とは同一の人物であってもよい。被検者とユーザーＵ１とは同一の人物である場合、被検者画像データは、ユーザー画像データＰ１として用いられるユーザーＵ１の目の画像が撮像されるより以前の時期にデジタルカメラによって撮影されたユーザーＵ１の目の画像である。また、被検者とユーザーＵ１とは同一の人物である場合、被検者回答結果は、ユーザー回答結果Ｑ１として用いられるユーザーＵ１によるアンケートへの回答結果が得られるより前の時期に得られたユーザーＵ１によるアンケートへの回答結果である。
　被検者とユーザーＵ１とが同一の人物である場合、検査装置２、または検査装置２ａでは、ユーザー検査データを予測する精度を、被検者とユーザーＵ１とが同一の人物でない場合に比べて向上させることができる。
　被検者とユーザーＵ１とが同一の人物である場合、検査装置２、または検査装置２ａは、ユーザーＵ１を患者として、遠隔治療及びまたは遠隔診断に好適に用いられる。
　患者であるユーザーＵ１は、１回以上、眼科に通院して、自身の目の画像データと検査データと（データセット）を取得し蓄積する。ユーザーＵ１は、その後通院せずとも、撮影装置１（例えばスマートフォン）に備えられるデジタルカメラによって自身の目の画像を撮影して、眼科医に当該画像を送信するだけで、涙液角膜状態を判定することができる。検査装置２、または検査装置２ａを用いることによって、ユーザーＵ１は、遠隔の場合などの通院の負担を軽減することができる。また、ユーザーＵ１は、眼科医に自身の目の画像を送信しなくても、自分で症状の経過観察をすることができる。そのため、ユーザーＵ１は、症状が悪化した場合に通院すればよく、医療費を軽減することができる。
　なお、上述した第一実施例における撮影装置１、１ａ、または検査装置２、２ａの一部、例えば、撮影装置制御部１００、及び検査装置制御部２００、２００ａをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、撮影装置１、１ａ、または検査装置２、２ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　また、上述した第一実施例における撮影装置１、１ａ及び検査装置２、２ａの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。撮影装置１、１ａ及び検査装置２、２ａの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　次に、図３２から図３８を参照しながら上述した実施形態の第二実施例の具体例について説明する。
　図３２は、第二実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。図３２に示した機械学習実行装置１０ｂは、後述する機械学習装置７００ｂの学習フェーズにおいて機械学習装置７００ｂに機械学習を実行させる装置である。また、図３２に示すように、機械学習実行装置１０ｂは、プロセッサ１１ｂと、主記憶装置１２ｂと、通信インターフェース１３ｂと、補助記憶装置１４ｂと、入出力装置１５ｂと、バス１６ｂとを備える。
　プロセッサ１１ｂは、例えば、ＣＰＵであり、後述する機械学習実行プログラム１００ｂを読み出して実行し、機械学習実行プログラム１００ｂが有する各機能を実現させる。また、プロセッサ１１ｂは、機械学習実行プログラム１００ｂ以外のプログラムを読み出して実行し、機械学習実行プログラム１００ｂが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置１２ｂは、例えば、ＲＡＭであり、プロセッサ１１ｂにより読み出されて実行される機械学習実行プログラム１００ｂその他プログラムを予め記憶している。
　通信インターフェース１３ｂは、図３２に示したネットワークＮＷを介して、機械学習装置７００ｂその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置１４ｂは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置１５ｂは、例えば、入出力ポートである。入出力装置１５ｂは、例えば、図３２に示したキーボード８１１ｂ、マウス８１２ｂ、ディスプレイ９１０ｂが接続される。キーボード８１１ｂ及びマウス８１２ｂは、例えば、機械学習実行装置１０ｂを操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０ｂは、例えば、機械学習実行装置１０ｂのグラフィカルユーザインターフェースを表示する。
　バス１６ｂは、プロセッサ１１ｂ、主記憶装置１２ｂ、通信インターフェース１３ｂ、補助記憶装置１４ｂ及び入出力装置１５ｂを互いにデータの送受信が可能なように接続している。
　図３３は、第二実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。機械学習実行装置１０ｂは、プロセッサ１１ｂを使用して機械学習実行プログラム１００ｂを読み出して実行し、図３３に示した教師データ取得機能１０１ｂ及び機械学習実行機能１０２ｂを実現させる。
　教師データ取得機能１０１ｂは、一つの学習用画像データ及び学習用充血データを問題とし、一つの学習用検査画像データ及び学習用検査結果データの少なくとも一方を答えとする教師データを取得する。
　学習用画像データは、教師データの問題の一部を構成しており、学習用被検体の目を描出している学習用画像を示すデータである。学習用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　学習用充血データは、教師データの問題の一部を構成しており、学習用被検体の目の充血の度合いを示すデータである。
　例えば、学習用充血データは、学習用画像データに基づいて算出されており、学習用被検体の目の充血の度合いを表す値を示していてもよい。具体的には、学習用充血データは、学習用被検体の目をカラーで描出している学習用画像を緑だけの配列の画像に変換し、当該画像に含まれている各画素に割り当てられている輝度を反転させたグレースケール画像のうち結膜の血管を白色で描出している領域の面積に応じた値を示していてもよい。
　さらに、当該値は、当該面積が評価される前に当該グレースケール画像から結膜を描出している領域が切り出されることにより生成された画像を使用して算出されてもよい。当該値は、結膜の血管を描出している領域の面積が大きい程、目の充血の程度が大きいことを示し、結膜の血管を描出している領域の面積が小さい程、目の充血の程度が小さいことを示す値である。
　或いは、学習用充血データは、ユーザインターフェースを使用して入力されており、学習用被検体の目の充血の度合いを表す値を示していてもよい。当該ユーザインターフェースは、例えば、図３２に示したディスプレイ９１０ｂに表示される。或いは、当該ユーザインターフェースは、学習用被検体が契約しているスマートフォンに搭載されているタッチパネルディスプレイに表示される。
　学習用検査画像データは、教師データの答えの一部を構成しており、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している学習用検査画像を示すデータである。このような検査としては、例えば、フルオレセイン染色試薬を使用した角結膜上皮障害の程度の検査、リサミングリーン染色試薬を使用したムチン障害の程度の検査が挙げられる。したがって、例えば、学習用検査画像データは、フルオレセイン又はリサミングリーンにより染色されている目を描出している画像を示すデータとなる。
　学習用検査結果データは、教師データの答えの一部を構成しており、ドライアイの症状に関する検査の結果を示すデータである。このような検査の結果としては、例えば、フルオレセイン染色試薬を使用した検査に基づいて角結膜上皮障害の程度を表している０以上１以下の数値が挙げられる。或いは、このような検査の結果としては、例えば、リサミングリーン染色試薬を使用した検査に基づいてムチン障害の程度を表している０以上１以下の数値が挙げられる。
　これら二つの数値は、０以上０．５未満である場合、フルオレセイン染色試薬又はリサミングリーン染色試薬により染色された角結膜上皮障害又はムチン障害の面積が目全体の面積の３０％未満であるため、学習用被検体の目が正常であり、眼科医による診察が不要であることを表している。また、これら二つの数値は、０．５以上１以下である場合、フルオレセイン染色試薬又はリサミングリーン染色試薬により染色された角結膜上皮障害又はムチン障害の面積が目全体の面積の３０％以上であるため、学習用被検体の目が異常であり、眼科医による診察が必要であることを表している。
　例えば、教師データ取得機能１０１ｂは、１２８０個の教師データを取得する。この場合、１２８０個の学習用画像データは、それぞれ８名の学習用被検体の２つの目それぞれをスマートフォンに搭載されているカメラを使用して２０回撮影する処理を４セット実施することにより取得された１２８０枚の学習用画像を示している。また、この場合、１２８０個の学習用充血データは、それぞれ学習用画像データに基づいて算出されており、学習用被検体の目の充血の度合いを表す値を示している１２８０個の値を示している。
　また、この場合、１２８０個の学習用検査画像データは、それぞれ上述した１２８０枚の学習用画像それぞれに描出されている学習用被検体の目についてドライアイの症状に関する検査が実施された際に撮影された学習用検査画像を示している。また、１２８０個の学習用検査結果データは、それぞれ１２８０枚の学習用検査画像が撮影された際に実施されたドライアイの症状に関する検査の結果を示す０以上１以下の数値１２８０個を示している。
　なお、以下の説明では、１２８０個の学習用検査結果データが、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している６４０個の学習用検査結果データと、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している６４０個の学習用検査結果データとを含んでいる場合を例に挙げて説明する。
　機械学習実行機能１０２ｂは、機械学習装置７００ｂに実装されている機械学習プログラム７５０ｂに教師データを入力し、機械学習プログラム７５０ｂを学習させる。例えば、機械学習実行機能１０２ｂは、畳み込みニューラルネットワークを含んでいる機械学習プログラム７５０ｂをバックプロパゲーションにより学習させる。
　例えば、機械学習実行機能１０２ｂは、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している学習用検査結果データを含んでいる５６０個の教師データを機械学習プログラム７５０ｂに入力する。この５６０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｂは、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している学習用検査結果データを含んでいる５６０個の教師データを機械学習プログラム７５０ｂに入力する。この５６０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　そして、機械学習実行機能１０２ｂは、これら１０８０個の教師データにより機械学習プログラム７５０ｂを学習させる。
　また、例えば、機械学習実行機能１０２ｂは、学習用被検体の目が正常であることを表しており、機械学習プログラム７５０ｂの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｂに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｂは、学習用被検体の目が異常であることを表しており、機械学習プログラム７５０ｂの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｂに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　これにより、機械学習実行機能１０２ｂは、上述した１０８０個の教師データにより機械学習プログラム７５０ｂを学習させることにより得られた機械学習プログラム７５０ｂの特性を評価してもよい。
　なお、機械学習実行機能１０２ｂは、テストデータを使用して機械学習プログラム７５０ｂの特性を評価する際に、例えば、クラス活性化マッピング（ＣＡＭ：Class　Activation　Mapping）を使用してもよい。クラス活性化マッピングは、ニューラルネットワークに入力されたデータのうちニューラルネットワークにより出力された結果の根拠となった部分を明らかにする技術である。クラス活性化マッピングとしては、例えば、勾配加重クラス活性化マッピングが挙げられる。勾配加重クラス活性化マッピングは、畳み込みニューラルネットワークにより実行される畳み込みの特徴に関する分類スコアの勾配を利用し、畳み込みニューラルネットワークに入力された画像のうち分類に一定以上の影響を与えた領域を特定する技術である。
　図３４は、第二実施例に係る機械学習プログラムが角膜上皮障害に関する検査の結果を予測する際に学習用被検体の目の画像のうち重点的に考慮した部分の一例を示す図である。例えば、機械学習実行機能１０２ｂは、勾配加重クラス活性化マッピングを使用して図３４に示した学習用画像のうち図３４に示した楕円Ｃ３６で囲まれている領域が機械学習プログラム７５０ｂによる角膜上皮障害に関する検査の結果の予測に一定以上の影響を与えていると評価する。また、図３４に示した楕円Ｃ３６で囲まれている領域に含まれている三段階のグレースケールは、角膜上皮障害に関する検査の結果の予測に影響を与えた度合いを示しており、いずれも学習用被検体の目の結膜の血管を描出している領域の上に重ねて表示されている。
　次に、図３５を参照しながら第二実施例に係る機械学習実行プログラム１００ｂが実行する処理の一例を説明する。図３５は、第二実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。機械学習実行プログラム１００ｂは、図３５に示した処理を少なくとも一回実行する。
　ステップＳ３１において、教師データ取得機能１０１ｂは、学習用画像データと、学習用充血データとを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。
　ステップＳ３２において、機械学習実行機能１０２ｂは、教師データを機械学習プログラム７５０ｂに入力し、機械学習プログラム７５０ｂを学習させる。
　次に、図３６及び図３７を参照しながら第二実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法の具体例について説明する。
　図３６は、第二実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。図３６に示したドライアイ検査装置２０ｂは、機械学習実行プログラム１００ｂにより学習済みの機械学習装置７００ｂの推論フェーズにおいて機械学習装置７００ｂを使用して推論用被検体の目に現れているドライアイの症状を推定させる装置である。また、図３６に示すように、ドライアイ検査装置２０ｂは、プロセッサ２１ｂと、主記憶装置２２ｂと、通信インターフェース２３ｂと、補助記憶装置２４ｂと、入出力装置２５ｂと、バス２６ｂとを備える。
　プロセッサ２１ｂは、例えば、ＣＰＵであり、後述するドライアイ検査プログラム２００ｂを読み出して実行し、ドライアイ検査プログラム２００ｂが有する各機能を実現させる。また、プロセッサ２１ｂは、ドライアイ検査プログラム２００ｂ以外のプログラムを読み出して実行し、ドライアイ検査プログラム２００ｂが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置２２ｂは、例えば、ＲＡＭであり、プロセッサ２１ｂにより読み出されて実行されるドライアイ検査プログラム２００ｂその他プログラムを予め記憶している。
　通信インターフェース２３ｂは、図３６に示したネットワークＮＷを介して、機械学習装置７００ｂその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置２４ｂは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置２５ｂは、例えば、入出力ポートである。入出力装置２５ｂは、例えば、図３６に示したキーボード８２１ｂ、マウス８２２ｂ、ディスプレイ９２０ｂが接続される。キーボード８２１ｂ及びマウス８２２ｂは、例えば、ドライアイ検査装置２０ｂを操作するために必要なデータを入力する作業に使用される。ディスプレイ９２０ｂは、例えば、ドライアイ検査装置２０ｂのグラフィカルユーザインターフェースを表示する。
　バス２６ｂは、プロセッサ２１ｂ、主記憶装置２２ｂ、通信インターフェース２３ｂ、補助記憶装置２４ｂ及び入出力装置２５ｂを互いにデータの送受信が可能なように接続している。
　図３７は、第二実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。ドライアイ検査装置２０ｂは、プロセッサ２１ｂを使用してドライアイ検査プログラム２００ｂを読み出して実行し、図３７に示したデータ取得機能２０１ｂ及び症状推定機能２０２ｂを実現させる。
　データ取得機能２０１ｂは、推論用画像データと、推論用充血データとを取得する。
　推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　推論用充血データは、推論用被検体の目の充血の度合いを示すデータである。例えば、推論用充血データは、推論用画像データに基づいて算出されており、推論用被検体の目の充血の度合いを表す値を示していてもよい。具体的には、推論用充血データは、推論用被検体の目をカラーで描出している推論用画像を緑だけの配列の画像に変換し、当該画像に含まれている各画素に割り当てられている輝度を反転させたグレースケール画像のうち結膜の血管を白色で描出している領域の面積に応じた値を示していてもよい。
　さらに、当該値は、当該面積が評価される前に当該グレースケール画像から結膜を描出している領域が切り出されることにより生成された画像を使用して算出されてもよい。当該値は、結膜の血管を描出している領域の面積が大きい程、目の充血の程度が大きいことを示し、結膜の血管を描出している領域の面積が小さい程、目の充血の程度が小さいことを示す値である。
　或いは、推論用充血データは、ユーザインターフェースを使用して入力されており、推論用被検体の目の充血の度合いを表す値を示していてもよい。当該ユーザインターフェースは、例えば、図３６に示したディスプレイ９２０ｂに表示される。或いは、当該ユーザインターフェースは、推論用被検体が契約しているスマートフォンに搭載されているタッチパネルディスプレイに表示される。
　症状推定機能２０２ａは、機械学習実行機能１０２ｂにより学習済みの機械学習プログラム７５０ｂに推論用画像データ及び推論用充血データを入力し、機械学習プログラム７５０ｂに推論用被検体の目に現れているドライアイの症状を推定させる。例えば、症状推定機能２０２ｂは、機械学習プログラム７５０ｂにこれら二つのデータを入力し、推論用被検体の目に現れている角結膜上皮障害の程度を表す数値を推定させる。
　そして、症状推定機能２０２ｂは、機械学習プログラム７５０ｂに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。例えば、症状推定機能２０２ｂは、機械学習プログラム７５０ｂに推論用被検体の目に現れている角結膜上皮障害の程度を表す数値を示す症状データを出力させる。この場合、症状データは、例えば、自身が示しており、推論用被検体の目に現れている角結膜上皮障害の程度を表す数値をディスプレイ９２０ｂに表示するために使用される。
　次に、図３８を参照しながら第二実施例に係るドライアイ検査プログラム２００ｂが実行する処理の一例を説明する。図３８は、第二実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
　ステップＳ４１において、データ取得機能２０１ｂは、推論用画像データと、推論用充血データとを取得する。
　ステップＳ４２において、症状推定機能２０２ｂは、学習済みの機械学習プログラム７５０ｂに、推論用画像データ及び推論用充血データを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、機械学習プログラム７５０ｂに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　以上、第二実施例に係る機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置、ドライアイ検査装置、機械学習実行方法及びドライアイ検査方法について説明した。
　機械学習実行プログラム１００ｂは、教師データ取得機能１０１ｂと、機械学習実行機能１０２ｂとを備える。
　教師データ取得機能１０１ｂは、学習用画像データと、学習用充血データとを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。学習用画像データは、学習用被検体の目を描出している画像を示すデータである。学習用充血データは、学習用被検体の目の充血の度合いを示すデータである。学習用検査画像データは、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している画像を示すデータである。学習用検査結果データは、ドライアイの症状に関する検査の結果を示すデータである。
　機械学習実行機能１０２ｂは、教師データを機械学習プログラム７５０ｂに入力し、機械学習プログラム７５０ｂを学習させる。
　これにより、機械学習実行プログラム１００ｂは、学習用画像データ及び学習用充血データに基づいてドライアイの症状に関する検査の結果を予測する機械学習プログラム７５０ｂを生成することができる。
　また、機械学習実行プログラム１００ｂは、学習用画像データだけではなく、学習用充血データを問題として含んでいる教師データを使用して機械学習プログラム７５０ｂを学習させる。したがって、機械学習実行プログラム１００ｂは、ドライアイの症状に関する検査の結果を更に精度良く予測することができる機械学習プログラム７５０ｂを生成することができる。
　また、機械学習実行プログラム１００ｂは、学習用画像データに基づいて算出されており、学習用被検体の目の充血の度合いを表す値を示す学習用充血データを問題の一部としている教師データを取得する。これにより、機械学習実行プログラム１００ｂは、学習用被検体その他の者が学習用被検体の目の充血の度合いを目視で確認する労力を省くことができる。
　また、機械学習実行プログラム１００ｂは、ユーザインターフェースを使用して入力された学習用充血データを問題の一部としている教師データを取得する。これにより、機械学習実行プログラム１００ｂは、学習用画像データに基づいて学習用被検体の目の充血の度合いを表す値を算出する処理を省くことができる。
　ドライアイ検査プログラム２００ｂは、データ取得機能２０１ｂと、症状推定機能２０２ｂとを備える。
　データ取得機能２０１ｂは、推論用画像データと、推論用充血データとを取得する。推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用充血データは、推論用被検体の目の充血の度合いを示すデータである。
　症状推定機能２０２ｂは、機械学習実行プログラム１００ｂにより学習済みの機械学習プログラム７５０ｂに推論用画像データ及び推論用充血データを入力し、推論用被検体の目に現れているドライアイの症状を推定させる。そして、症状推定機能２０２ｂは、機械学習プログラム７５０ｂに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　これにより、ドライアイ検査プログラム２００ｂは、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる。
　また、ドライアイ検査プログラム２００ｂは、推論用画像データに基づいて算出されており、推論用被検体の目の充血の度合いを表す値を示す推論用充血データを取得する。これにより、ドライアイ検査プログラム２００ｂは、推論用被検体その他の者が推論用被検体の目の充血の度合いを目視で確認する労力を省くことができる。
　また、ドライアイ検査プログラム２００ｂは、ユーザインターフェースを使用して入力された推論用充血データを取得する。これにより、ドライアイ検査プログラム２００ｂは、推論用画像データに基づいて推論用被検体の目の充血の度合いを表す値を算出する処理を省くことができる。
　次に、機械学習プログラム７５０ｂを実際に学習させ、ドライアイの症状を推定させた例を挙げて、機械学習実行プログラム１００ｂにより奏される効果の具体例を比較例と第二実施例に係る実施例とを対比させて説明する。
　第一に、フルオレセイン染色試薬を使用した検査が実施された場合に機械学習実行プログラム１００ｂにより奏される効果の具体例について説明する。
　この場合の比較例は、上述した学習用被検体の目が正常であることを表している５６０個の教師データ及び学習用被検体の目が異常であることを表している５６０個の教師データから学習用充血データが除かれているデータを教師データとして機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータ及び学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度７３％及び偽陰性率３４％を示した。
　一方、機械学習実行プログラム１００ｂにより学習した機械学習プログラム７５０ｂは、同じテストデータを使用して特性を評価すると、予測精度７８％及び偽陰性率１１％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
　また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
　第二に、リサミングリーン染色試薬を使用した検査が実施された場合に機械学習実行プログラム１００ｂにより奏される効果の具体例について説明する。
　この場合の比較例は、上述した学習用被検体の目が正常であることを表している５４０個の教師データ及び学習用被検体の目が異常であることを表している５８０個の教師データから学習用充血データが除かれているデータを教師データとして機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータ及び学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度７３％及び偽陰性率３４％を示した。
　一方、機械学習実行プログラム１００ｂにより学習した機械学習プログラム７５０ｂは、同じテストデータを使用して特性を評価すると、予測精度７８％及び偽陰性率１１％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　なお、機械学習実行プログラム１００ｂが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。同様に、ドライアイ検査プログラム２００ｂが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。また、このようなハードウェアは，例えば、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵである。
　また、機械学習実行プログラム１００ｂが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。同様に、ドライアイ検査プログラム２００ｂが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　また、第二実施例では、機械学習実行装置１０ｂと、機械学習装置７００ｂと、ドライアイ検査装置２０ｂとが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これらの装置は、一つの装置として実現されていてもよい。
　次に、図３９から図４４を参照しながら上述した実施形態の第三実施例の具体例について説明する。
　まず、図３９及び図４０を参照しながら第三実施例に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法の具体例について説明する。第三実施例に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法は、第二実施例に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法と異なり、学習用充血データではなく、後述する学習用回答データを問題として含む教師データを使用する。
　図３９は、第三実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。図３９に示した機械学習実行装置１０ｃは、後述する機械学習装置７００ｃの学習フェーズにおいて機械学習装置７００ｃに機械学習を実行させる装置である。また、図３９に示すように、機械学習実行装置１０ｃは、プロセッサ１１ｃと、主記憶装置１２ｃと、通信インターフェース１３ｃと、補助記憶装置１４ｃと、入出力装置１５ｃと、バス１６ｃとを備える。
　プロセッサ１１ｃは、例えば、ＣＰＵであり、後述する機械学習実行プログラム１００ｃを読み出して実行し、機械学習実行プログラム１００ｃが有する各機能を実現させる。また、プロセッサ１１ｃは、機械学習実行プログラム１００ｃ以外のプログラムを読み出して実行し、機械学習実行プログラム１００ｃが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置１２ｃは、例えば、ＲＡＭであり、プロセッサ１１ｃにより読み出されて実行される機械学習実行プログラム１００ｃその他プログラムを予め記憶している。
　通信インターフェース１３ｃは、図３９に示したネットワークＮＷを介して、機械学習装置７００ｃその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置１４ｃは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置１５ｃは、例えば、入出力ポートである。入出力装置１５ｃは、例えば、図１に示したキーボード８１１ｃ、マウス８１２ｃ、ディスプレイ９１０ｃが接続される。キーボード８１１ｃ及びマウス８１２ｃは、例えば、機械学習実行装置１０ｃを操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０ｃは、例えば、機械学習実行装置１０ｃのグラフィカルユーザインターフェースを表示する。
　バス１６ｃは、プロセッサ１１ｃ、主記憶装置１２ｃ、通信インターフェース１３ｃ、補助記憶装置１４ｃ及び入出力装置１５ｃを互いにデータの送受信が可能なように接続している。
　図４０は、第三実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。機械学習実行装置１０ｃは、プロセッサ１１ｃを使用して機械学習実行プログラム１００ｃを読み出して実行し、図４０に示した教師データ取得機能１０１ｃ及び機械学習実行機能１０２ｃを実現させる。
　教師データ取得機能１０１ｃは、一つの学習用画像データ及び学習用回答データを問題とし、一つの学習用検査画像データ及び学習用検査結果データの少なくとも一方を答えとする教師データを取得する。
　学習用画像データは、教師データの問題の一部を構成しており、学習用被検体の目を描出している学習用画像を示すデータである。学習用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　学習用回答データは、学習用被検体が抱えている目の自覚症状に関する質問に回答した結果を示すデータである。
　例えば、学習用回答データにより示される質問としては、例えば、学習用被検体が「目がぼやける」、「目がかすむ」、「目を開けているのが辛い」、「目に異物感を感じる」、「目に不快感がある」という質問が挙げられる。或いは、学習用回答データにより示される質問としては、「目が疲れる」、「目が乾く」、「目が重い」、「目が充血する」という質問が挙げられる。
　また、例えば、目の自覚症状に関する質問への回答は、「０点：全く症状が無い」、「１点：あまり気にならない」、「２点：やや気にならない」、「３点：気になる」及び「４点：非常に気になる」の五段階の中から選択する方式であってもよい。或いは、目の自覚症状に関する質問への回答は、「はい」と「いいえ」の二つから選択する方式であってもよい。
　学習用検査画像データは、教師データの答えの一部を構成しており、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している学習用検査画像を示すデータである。このような検査としては、例えば、フルオレセイン染色試薬を使用した角結膜上皮障害の程度の検査、リサミングリーン染色試薬を使用したムチン障害の程度の検査が挙げられる。したがって、例えば、学習用検査画像データは、フルオレセイン又はリサミングリーンにより染色されている目を描出している画像を示すデータとなる。
　学習用検査結果データは、教師データの答えの一部を構成しており、ドライアイの症状に関する検査の結果を示すデータである。このような検査の結果としては、例えば、フルオレセイン染色試薬を使用した検査に基づいて角結膜上皮障害の程度を表している０以上１以下の数値が挙げられる。或いは、このような検査の結果としては、例えば、リサミングリーン染色試薬を使用した検査に基づいてムチン障害の程度を表している０以上１以下の数値が挙げられる。
　これら二つの数値は、０以上０．５未満である場合、フルオレセイン染色試薬又はリサミングリーン染色試薬により染色された角結膜上皮障害又はムチン障害の面積が目全体の面積の３０％未満であるため、学習用被検体の目が正常であり、眼科医による診察が不要であることを表している。また、これら二つの数値は、０．５以上１以下である場合、フルオレセイン染色試薬又はリサミングリーン染色試薬により染色された角結膜上皮障害又はムチン障害の面積が目全体の面積の３０％以上であるため、学習用被検体の目が異常であり、眼科医による診察が必要であることを表している。
　例えば、教師データ取得機能１０１ｃは、１２８０個の教師データを取得する。この場合、１２８０個の学習用画像データは、それぞれ８名の学習用被検体の２つの目それぞれをスマートフォンに搭載されているカメラを使用して２０回撮影する処理を４セット実施することにより取得された１２８０枚の学習用画像を示している。また、この場合、１２８０個の学習用回答データは、それぞれ学習用被検体が抱えている目の自覚症状に関する質問に回答した結果１２８０通りの結果を示している。
　また、この場合、１２８０個の学習用検査画像データは、それぞれ上述した１２８０枚の学習用画像それぞれに描出されている学習用被検体の目についてドライアイの症状に関する検査が実施された際に撮影された学習用検査画像を示している。また、１２８０個の学習用検査結果データは、それぞれ１２８０枚の学習用検査画像が撮影された際に実施されたドライアイの症状に関する検査の結果を示す０以上１以下の数値１２８０個を示している。
　なお、以下の説明では、１２８０個の学習用検査結果データが、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している６４０個の学習用検査結果データと、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している６４０個の学習用検査結果データとを含んでいる場合を例に挙げて説明する。
　機械学習実行機能１０２ｃは、機械学習装置７００ｃに実装されている機械学習プログラム７５０ｃに教師データを入力し、機械学習プログラム７５０ｃを学習させる。例えば、機械学習実行機能１０２ｃは、畳み込みニューラルネットワークを含んでいる機械学習プログラム７５０ｃをバックプロパゲーションにより学習させる。
　例えば、機械学習実行機能１０２ｃは、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している学習用検査結果データを含んでいる５６０個の教師データを機械学習プログラム７５０ｃに入力する。この５６０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｃは、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している学習用検査結果データを含んでいる５６０個の教師データを機械学習プログラム７５０ｃに入力する。この５６０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　そして、機械学習実行機能１０２ｃは、これら１０８０個の教師データにより機械学習プログラム７５０ｃを学習させる。
　また、例えば、機械学習実行機能１０２ｃは、学習用被検体の目が正常であることを表しており、機械学習プログラム７５０ｃの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｃに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｃは、学習用被検体の目が異常であることを表しており、機械学習プログラム７５０ｃの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｃに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　これにより、機械学習実行機能１０２ｃは、上述した１０８０個の教師データにより機械学習プログラム７５０ｃを学習させることにより得られた機械学習プログラム７５０ｃの特性を評価してもよい。
　なお、機械学習実行機能１０２ｃは、テストデータを使用して機械学習プログラム７５０ｃの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。クラス活性化マッピングは、ニューラルネットワークに入力されたデータのうちニューラルネットワークにより出力された結果の根拠となった部分を明らかにする技術である。クラス活性化マッピングとしては、例えば、勾配加重クラス活性化マッピングが挙げられる。勾配加重クラス活性化マッピングは、畳み込みニューラルネットワークにより実行される畳み込みの特徴に関する分類スコアの勾配を利用し、畳み込みニューラルネットワークに入力された画像のうち分類に一定以上の影響を与えた領域を特定する技術である。
　次に、図４１を参照しながら第三実施例に係る機械学習実行プログラム１００ｃが実行する処理の一例を説明する。図４１は、第三実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。機械学習実行プログラム１００ｃは、図４１に示した処理を少なくとも一回実行する。
　ステップＳ５１において、教師データ取得機能１０１ｃは、学習用画像データと、学習用回答データとを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。
　ステップＳ５２において、機械学習実行機能１０２ａは、教師データを機械学習プログラム７５０ｃに入力し、機械学習プログラム７５０ｃを学習させる。
　次に、図４２及び図４３を参照しながら第三実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法の具体例について説明する。第三実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、第二実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法と異なり、推論用充血データではなく、後述する推論用回答データを取得する。
　図４２は、第三実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。図４２に示したドライアイ検査装置２０ｃは、機械学習実行プログラム１００ｃにより学習済みの機械学習装置７００ｃの推論フェーズにおいて機械学習装置７００ｃを使用して推論用被検体の目に現れているドライアイの症状を推定させる装置である。また、図４２に示すように、ドライアイ検査装置２０ｃは、プロセッサ２１ｃと、主記憶装置２２ｃと、通信インターフェース２３ｃと、補助記憶装置２４ｃと、入出力装置２５ｃと、バス２６ｃとを備える。
　プロセッサ２１ｃは、例えば、ＣＰＵであり、後述するドライアイ検査プログラム２００ｃを読み出して実行し、ドライアイ検査プログラム２００ｃが有する各機能を実現させる。また、プロセッサ２１ｃは、ドライアイ検査プログラム２００ｃ以外のプログラムを読み出して実行し、ドライアイ検査プログラム２００ｃが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置２２ｃは、例えば、ＲＡＭであり、プロセッサ２１ｃにより読み出されて実行されるドライアイ検査プログラム２００ｃその他プログラムを予め記憶している。
　通信インターフェース２３ｃは、図４２に示したネットワークＮＷを介して、機械学習装置７００ｃその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置２４ｃは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置２５ｃは、例えば、入出力ポートである。入出力装置２５ｃは、例えば、図４２に示したキーボード８２１ｃ、マウス８２２ｃ、ディスプレイ９２０ｃが接続される。キーボード８２１ｃ及びマウス８２２ｃは、例えば、ドライアイ検査装置２０ｃを操作するために必要なデータを入力する作業に使用される。ディスプレイ９２０ｃは、例えば、ドライアイ検査装置２０ｃのグラフィカルユーザインターフェースを表示する。
　バス２６ｃは、プロセッサ２１ｃ、主記憶装置２２ｃ、通信インターフェース２３ｃ、補助記憶装置２４ｃ及び入出力装置２５ｃを互いにデータの送受信が可能なように接続している。
　図４３は、第三実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。ドライアイ検査装置２０ｃは、プロセッサ２１ｃを使用してドライアイ検査プログラム２００ｃを読み出して実行し、図４３に示したデータ取得機能２０１ｃ及び症状推定機能２０２ｃを実現させる。
　データ取得機能２０１ｃは、推論用画像データと、推論用回答データとを取得する。
　推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　推論用回答データは、推論用被検体が抱えている目の自覚症状に関する質問に回答した結果を示すデータである。
　例えば、推論用回答データにより示される質問としては、例えば、推論用被検体が「目がぼやける」、「目がかすむ」、「目を開けているのが辛い」、「目に異物感を感じる」、「目に不快感がある」という質問が挙げられる。或いは、推論用回答データにより示される質問としては、「目が疲れる」、「目が乾く」、「目が重い」、「目が充血する」という質問が挙げられる。
　また、例えば、目の自覚症状に関する質問への回答は、「０点：全く症状が無い」、「１点：あまり気にならない」、「２点：やや気にならない」、「３点：気になる」及び「４点：非常に気になる」の五段階の中から選択する方式であってもよい。或いは、目の自覚に関する質問への回答は、「はい」と「いいえ」の二つから選択する方式であってもよい。
　症状推定機能２０２ｃは、機械学習実行機能１０２ｃにより学習済みの機械学習プログラム７５０ｃに推論用画像データ及び推論用回答データを入力し、機械学習プログラム７５０ｃに推論用被検体の目に現れているドライアイの症状を推定させる。例えば、症状推定機能２０２ｃは、機械学習プログラム７５０ｃにこれら二つのデータを入力し、推論用被検体の目に現れている角結膜上皮障害の程度を表す数値を推定させる。
　そして、症状推定機能２０２ｃは、機械学習プログラム７５０ｃに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。例えば、症状推定機能２０２ｃは、機械学習プログラム７５０ｃに推論用被検体の目に現れている角結膜上皮障害の程度を表す数値を示す症状データを出力させる。この場合、症状データは、例えば、自身が示しており、推論用被検体の目に現れている角結膜上皮障害の程度を表す数値をディスプレイ９２０ｃに表示するために使用される。
　次に、図４４を参照しながら第三実施例に係るドライアイ検査プログラム２００ｃが実行する処理の一例を説明する。図４４は、第三実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
　ステップＳ６１において、データ取得機能２０１ｃは、推論用画像データと、推論用回答データとを取得する。
　ステップＳ６２において、症状推定機能２０２ｃは、学習済みの機械学習プログラム７５０ｃに、推論用画像データ及び推論用回答データを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、機械学習プログラム７５０ｃに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　以上、第三実施例に係る機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置、ドライアイ検査装置、機械学習実行方法及びドライアイ検査方法について説明した。
　機械学習実行プログラム１００ｃは、教師データ取得機能１０１ｃと、機械学習実行機能１０２ｃとを備える。
　教師データ取得機能１０１ｃは、学習用画像データと、学習用回答データとを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。学習用画像データは、学習用被検体の目を描出している画像を示すデータである。学習用回答データは、学習用被検体が抱えている目の自覚症状に関する質問に回答した結果を示すデータである。学習用検査画像データは、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している画像を示すデータである。学習用検査結果データは、ドライアイの症状に関する検査の結果を示すデータである。
　機械学習実行機能１０２ｃは、教師データを機械学習プログラム７５０ｃに入力し、機械学習プログラム７５０ｃを学習させる。
　これにより、機械学習実行プログラム１００ｃは、学習用画像データ及び学習用回答データに基づいてドライアイの症状に関する検査の結果を予測する機械学習プログラム７５０ｃを生成することができる。
　また、機械学習実行プログラム１００ｃは、学習用画像データだけではなく、学習用充血データを問題として含んでいる教師データを使用して機械学習プログラム７５０ｃを学習させる。したがって、機械学習実行プログラム１００ｃは、ドライアイの症状に関する検査の結果を更に精度良く予測することができる機械学習プログラム７５０ｃを生成することができる。
　ドライアイ検査プログラム２００ｃは、データ取得機能２０１ｃと、症状推定機能２０２ｃとを備える。
　データ取得機能２０１ｃは、推論用画像データと、推論用回答データとを取得する。推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用回答データは、推論用被検体が抱えている目の自覚症状に関する質問に回答した結果を示すデータである。
　症状推定機能２０２ｃは、機械学習実行プログラム１００ｃにより学習済みの機械学習プログラム７５０ｃに推論用画像データ及び推論用回答データを入力し、推論用被検体の目に現れているドライアイの症状を推定させる。そして、症状推定機能２０２ｃは、機械学習プログラム７５０ｃに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　これにより、ドライアイ検査プログラム２００ｃは、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる。
　次に、機械学習プログラム７５０ｃを実際に学習させ、ドライアイの症状を推定させた例を挙げて、機械学習実行プログラム１００ｃにより奏される効果の具体例を比較例と第三実施例に係る実施例とを対比させて説明する。
　第一に、フルオレセイン染色試薬を使用した検査が実施された場合に機械学習実行プログラム１００ｃにより奏される効果の具体例について説明する。
　この場合の比較例は、上述した学習用被検体の目が正常であることを表している５６０個の教師データ及び学習用被検体の目が異常であることを表している５６０個の教師データから学習用回答データが除かれているデータを教師データとして機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータ及び学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度７３％及び偽陰性率３４％を示した。
　一方、機械学習実行プログラム１００ｂにより学習した機械学習プログラム７５０ｂは、同じテストデータを使用して特性を評価すると、予測精度７７％及び偽陰性率１２％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。また、この場合、学習用回答データにより示されている質問は、「目がぼやける」、「目がかすむ」、「目を開けているのが辛い」、「目に異物感を感じる」及び「目に不快感がある」の五つの質問である。
　なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
　また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
　第二に、リサミングリーン染色試薬を使用した検査が実施された場合に機械学習実行プログラム１００ｃにより奏される効果の具体例について説明する。
　この場合の比較例は、上述した学習用被検体の目が正常であることを表している５４０個の教師データ及び学習用被検体の目が異常であることを表している５８０個の教師データから学習用回答データが除かれているデータを教師データとして機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータ及び学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度７３％及び偽陰性率３４％を示した。
　一方、機械学習実行プログラム１００ｂにより学習した機械学習プログラム７５０ｂは、同じテストデータを使用して特性を評価すると、予測精度７７％及び偽陰性率１２％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。また、この場合、学習用回答データにより示されている質問は、「目がぼやける」、「目がかすむ」、「目を開けているのが辛い」、「目に異物感を感じる」及び「目に不快感がある」の五つの質問である。
　なお、機械学習実行プログラム１００ｃが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。同様に、ドライアイ検査プログラム２００ｂが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。また、このようなハードウェアは，例えば、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵである。
　また、機械学習実行プログラム１００ｃが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。同様に、ドライアイ検査プログラム２００ｃが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　また、第三実施例では、機械学習実行装置１０ｃと、機械学習装置７００ｃと、ドライアイ検査装置２０ｃとが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これらの装置は、一つの装置として実現されていてもよい。
　［第二実施例及び第三実施例の変形例］
　上述した第二実施例では、教師データ取得機能１０１ｂが第三実施例で説明した学習用回答データを問題の一部に含まない教師データを取得する場合を例に挙げたが、これに限定されない。教師データ取得機能１０１ｂは、学習用充血データに加え、学習用回答データを問題として含んでいる教師データを取得してもよい。また、この場合、データ取得機能２０１ｂは、推論用充血データに加え、推論用回答データを取得する。そして、この場合、症状推定機能２０２ｂは、機械学習プログラム７５０ｂに、推論用充血データに加え、推論用回答データに基づいて推論用被検体の目に現れているドライアイの症状を推定させる。
　また、上述した第三実施例では、教師データ取得機能１０１ｃが第二実施例で説明した学習用充血データを問題の一部に含まない教師データを取得する場合を例に挙げたが、これに限定されない。教師データ取得機能１０１ｃは、学習用回答データに加え、学習用充血データを問題として含んでいる教師データを取得してもよい。また、この場合、データ取得機能２０１ｃは、推論用回答データに加え、推論用充血データを取得する。そして、この場合、症状推定機能２０２ｃは、機械学習プログラム７５０ｃに、推論用回答データに加え、推論用充血データに基づいて推論用被検体の目に現れているドライアイの症状を推定させる。
　次に、学習用充血データ及び学習用回答データの両方を問題として含んでいる教師データを使用して学習させ、推論用充血データ及び推論用回答データの両方に基づいて推論用被検体の目に現れているドライアイの症状を推定させる場合に奏される効果の具体例について説明する。また、以下の説明では、教師データ取得機能１０１ｂが学習用回答データを取得し、データ取得機能２０１ｂが推論用回答データを取得する場合を例に挙げて説明する。
　第一に、フルオレセイン染色試薬を使用した検査が実施された場合に機械学習実行プログラム１００ｂにより奏される効果の具体例について説明する。
　この場合の比較例は、上述した学習用被検体の目が正常であることを表している５６０個の教師データ及び学習用被検体の目が異常であることを表している５６０個の教師データから学習用充血データ及び学習用回答データが除かれているデータを教師データとして機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータ及び学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度７３％及び偽陰性率３４％を示した。
　一方、機械学習実行プログラム１００ｂにより学習した機械学習プログラム７５０ｂは、同じテストデータを使用して特性を評価すると、予測精度８４％及び偽陰性率５％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。また、この場合、学習用回答データにより示されている質問は、「目がぼやける」、「目がかすむ」、「目を開けているのが辛い」、「目に異物感を感じる」及び「目に不快感がある」の五つの質問である。
　なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
　また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
　第二に、リサミングリーン染色試薬を使用した検査が実施された場合に機械学習実行プログラム１００ｂにより奏される効果の具体例について説明する。
　この場合の比較例は、上述した学習用被検体の目が正常であることを表している５４０個の教師データ及び学習用被検体の目が異常であることを表している５８０個の教師データから学習用充血データ及び学習用回答データが除かれているデータを教師データとして機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータ及び学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度７３％及び偽陰性率３４％を示した。
　一方、機械学習実行プログラム１００ｂにより学習した機械学習プログラム７５０ｂは、同じテストデータを使用して特性を評価すると、予測精度８４％及び偽陰性率５％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。また、この場合、学習用回答データにより示されている質問は、「目がぼやける」、「目がかすむ」、「目を開けているのが辛い」、「目に異物感を感じる」及び「目に不快感がある」の五つの質問である。
　なお、上述したドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、推論用被検体の目にドライアイ点眼薬が点眼される前後で使用されてもよい。上述したドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、このようなタイミングで使用されることにより、推論用被検体が抱えるドライアイの症状に対して当該ドライアイ点眼薬が有している有効性を検証する手段ともなり得る。
　次に、図４５から図５０を参照しながら上述した実施形態の第四実施例の具体例について説明する。
　図４５は、第四実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。図４５に示した機械学習実行装置１０ｄは、後述する機械学習装置７００ｄの学習フェーズにおいて機械学習装置７００ｄに機械学習を実行させる装置である。また、図４５に示すように、機械学習実行装置１０ｄは、プロセッサ１１ｄと、主記憶装置１２ｄと、通信インターフェース１３ｄと、補助記憶装置１４ｄと、入出力装置１５ｄと、バス１６ｄとを備える。
　プロセッサ１１ｄは、例えば、ＣＰＵであり、後述する機械学習実行プログラム１００ｄを読み出して実行し、機械学習実行プログラム１００ｄが有する各機能を実現させる。また、プロセッサ１１ｄは、機械学習実行プログラム１００ｄ以外のプログラムを読み出して実行し、機械学習実行プログラム１００ｄが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置１２ｄは、例えば、ＲＡＭであり、プロセッサ１１ｄにより読み出されて実行される機械学習実行プログラム１００ｄその他プログラムを予め記憶している。
　通信インターフェース１３ｄは、図４５に示したネットワークＮＷを介して、機械学習装置７００ｄその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置１４ｄは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置１５ｄは、例えば、入出力ポートである。入出力装置１５ｄは、例えば、図４５に示したキーボード８１１ｄ、マウス８１２ｄ、ディスプレイ９１０ｄが接続される。キーボード８１１ｄ及びマウス８１２ｄは、例えば、機械学習実行装置１０ｄを操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０ｄは、例えば、機械学習実行装置１０ｄのグラフィカルユーザインターフェースを表示する。
　バス１６ｄは、プロセッサ１１ｄ、主記憶装置１２ｄ、通信インターフェース１３ｄ、補助記憶装置１４ｄ及び入出力装置１５ｄを互いにデータの送受信が可能なように接続している。
　図４６は、第四実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。機械学習実行装置１０ｄは、プロセッサ１１ｄを使用して機械学習実行プログラム１００ｄを読み出して実行し、図４６に示した教師データ取得機能１０１ｄ及び機械学習実行機能１０２ｄを実現させる。
　教師データ取得機能１０１ｄは、一つの学習用画像データ及び学習用開瞼データを問題とし、一つの学習用検査画像データ及び学習用検査結果データの少なくとも一方を答えとする教師データを取得する。
　学習用画像データは、教師データの問題の一部を構成しており、学習用被検体の目を描出している学習用画像を示すデータである。学習用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　学習用開瞼データは、教師データの問題の一部を構成しており、学習用画像が撮影された目を学習用被検体が連続して開けることができた時間である最大開瞼時間を示すデータである。
　例えば、学習用開瞼データは、学習用被検体が瞬きをして目を開けた直後から次に瞬きをするまでの間を少なくとも撮影している動画に映し出されている瞼の動きに基づいて算出されている最大開瞼時間を示していてもよい。
　或いは、学習用開瞼データは、学習用被検体の自己申告に基づいており、ユーザインターフェースを使用して入力された最大開瞼時間を示していてもよい。当該ユーザインターフェースは、例えば、図４５に示したディスプレイ９１０ｄに表示される。或いは、当該ユーザインターフェースは、学習用被検体が契約しているスマートフォンに搭載されているタッチパネルディスプレイに表示される。
　学習用検査画像データは、教師データの答えの一部を構成しており、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している学習用検査画像を示すデータである。このような検査としては、例えば、フルオレセイン染色試薬を点眼し、スリットランプを使用して目を観察して涙液層破壊時間を調べる検査が挙げられる。したがって、例えば、学習用検査画像データは、フルオレセインにより染色され、スリットランプを使用して観察されている目を描出している画像又は動画を示すデータとなる。
　学習用検査結果データは、教師データの答えの一部を構成しており、ドライアイの症状に関する検査の結果を示すデータである。このような検査の結果としては、例えば、フルオレセイン染色試薬を点眼し、スリットランプを使用して目を観察して涙液層破壊時間を調べる検査に基づいて涙液層破壊時間の長さを表している０以上１以下の数値が挙げられる。
　この数値は、０以上０．５未満である場合、涙液層破壊時間が１０秒以上であるため、学習用被検体の目が正常であり、眼科医による診察が不要であることを表している。また、この数値は、０．５以上１以下である場合、涙液層破壊時間が１０秒未満であるため、学習用被検体の目が異常であり、眼科医による診察が必要であることを表している。
　例えば、教師データ取得機能１０１ｄは、１２８０個の教師データを取得する。この場合、１２８０個の学習用画像データは、それぞれ８名の学習用被検体の２つの目それぞれをスマートフォンに搭載されているカメラを使用して２０回撮影する処理を４セット実施することにより取得された１２８０枚の学習用画像を示している。また、この場合、１２８０個の学習用開瞼データは、それぞれ学習用被検体の最大開瞼時間を表す値を示している１２８０個の値を示している。
　また、この場合、１２８０個の学習用検査画像データは、それぞれ上述した１２８０枚の学習用画像それぞれに描出されている学習用被検体の目についてドライアイの症状に関する検査が実施された際に撮影された学習用検査画像を示している。また、１２８０個の学習用検査結果データは、それぞれ１２８０枚の学習用検査画像が撮影された際に実施されたドライアイの症状に関する検査の結果を示す０以上１以下の数値１２８０個を示している。
　なお、以下の説明では、１２８０個の学習用検査結果データが、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している６２０個の学習用検査結果データと、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している６６０個の学習用検査結果データとを含んでいる場合を例に挙げて説明する。
　機械学習実行機能１０２ｄは、機械学習装置７００ｄに実装されている機械学習プログラム７５０ｄに教師データを入力し、機械学習プログラム７５０ｄを学習させる。例えば、機械学習実行機能１０２ｄは、畳み込みニューラルネットワークを含んでいる機械学習プログラム７５０ｄをバックプロパゲーションにより学習させる。
　例えば、機械学習実行機能１０２ｄは、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している学習用検査結果データを含んでいる５４０個の教師データを機械学習プログラム７５０ｄに入力する。この５４０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｄは、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している学習用検査結果データを含んでいる５８０個の教師データを機械学習プログラム７５０ｄに入力する。この５８０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　そして、機械学習実行機能１０２ｄは、これら１１２０個の教師データにより機械学習プログラム７５０ｄを学習させる。
　また、例えば、機械学習実行機能１０２ｄは、学習用被検体の目が正常であることを表しており、機械学習プログラム７５０ｄの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｄに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｄは、学習用被検体の目が異常であることを表しており、機械学習プログラム７５０ｄの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｄに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　これにより、機械学習実行機能１０２ｄは、上述した１１２０個の教師データにより機械学習プログラム７５０ｄを学習させることにより得られた機械学習プログラム７５０ｄの特性を評価してもよい。
　なお、機械学習実行機能１０２ｄは、テストデータを使用して機械学習プログラム７５０ｄの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。クラス活性化マッピングは、ニューラルネットワークに入力されたデータのうちニューラルネットワークにより出力された結果の根拠となった部分を明らかにする技術である。クラス活性化マッピングとしては、例えば、勾配加重クラス活性化マッピングが挙げられる。勾配加重クラス活性化マッピングは、畳み込みニューラルネットワークにより実行される畳み込みの特徴に関する分類スコアの勾配を利用し、畳み込みニューラルネットワークに入力された画像のうち分類に一定以上の影響を与えた領域を特定する技術である。
　次に、図４７を参照しながら第四実施例に係る機械学習実行プログラム１００ｄが実行する処理の一例を説明する。図４７は、第四実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。機械学習実行プログラム１００ｄは、図４７に示した処理を少なくとも一回実行する。
　ステップＳ７１において、教師データ取得機能１０１ｄは、学習用画像データと、学習用開瞼データとを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。
　ステップＳ７２において、機械学習実行機能１０２ｄは、教師データを機械学習プログラム７５０ｄに入力し、機械学習プログラム７５０ｄを学習させる。
　次に、図４８から図５０を参照しながら第四実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法の具体例について説明する。
　図４８は、第四実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。図４８に示したドライアイ検査装置２０ｄは、機械学習実行プログラム１００ｄにより学習済みの機械学習装置７００ｄの推論フェーズにおいて機械学習装置７００ｄを使用して推論用被検体の目に現れているドライアイの症状を推定させる装置である。また、図４８に示すように、ドライアイ検査装置２０ｄは、プロセッサ２１ｄと、主記憶装置２２ｄと、通信インターフェース２３ｄと、補助記憶装置２４ｄと、入出力装置２５ｄと、バス２６ｄとを備える。
　プロセッサ２１ｄは、例えば、ＣＰＵであり、後述するドライアイ検査プログラム２００ｄを読み出して実行し、ドライアイ検査プログラム２００ｄが有する各機能を実現させる。また、プロセッサ２１ｄは、ドライアイ検査プログラム２００ｄ以外のプログラムを読み出して実行し、ドライアイ検査プログラム２００ｄが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置２２ｄは、例えば、ＲＡＭであり、プロセッサ２１ｄにより読み出されて実行されるドライアイ検査プログラム２００ｄその他プログラムを予め記憶している。
　通信インターフェース２３ｄは、図４８に示したネットワークＮＷを介して、機械学習装置７００ｄその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置２４ｄは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置２５ｄは、例えば、入出力ポートである。入出力装置２５ｄは、例えば、図４８に示したキーボード８２１ｄ、マウス８２２ｄ、ディスプレイ９２０ｄが接続される。キーボード８２１ｄ及びマウス８２２ｄは、例えば、ドライアイ検査装置２０ｄを操作するために必要なデータを入力する作業に使用される。ディスプレイ９２０ｄは、例えば、ドライアイ検査装置２０ｄのグラフィカルユーザインターフェースを表示する。
　バス２６ｄは、プロセッサ２１ｄ、主記憶装置２２ｄ、通信インターフェース２３ｄ、補助記憶装置２４ｄ及び入出力装置２５ｄを互いにデータの送受信が可能なように接続している。
　図４９は、第四実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。ドライアイ検査装置２０ｄは、プロセッサ２１ｄを使用してドライアイ検査プログラム２００ｄを読み出して実行し、図４９に示したデータ取得機能２０１ｄ及び症状推定機能２０２ｄを実現させる。
　データ取得機能２０１ｄは、推論用画像データと、推論用開瞼データとを取得する。
　推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　推論用開瞼データは、推論用画像が撮影された目を推論用被検体が連続して開けることができた時間である最大開瞼時間を示すデータである。
　例えば、推論用開瞼データは、推論用被検体が瞬きをして目を開けた直後から次に瞬きをするまでの間を少なくとも撮影している動画に映し出されている瞼の動きに基づいて算出されている最大開瞼時間を示していてもよい。
　或いは、推論用開瞼データは、推論用被検体の自己申告に基づいており、ユーザインターフェースを使用して入力された最大開瞼時間を示していてもよい。当該ユーザインターフェースは、例えば、図４８に示したディスプレイ９２０ｄに表示される。或いは、当該ユーザインターフェースは、推論用被検体が契約しているスマートフォンに搭載されているタッチパネルディスプレイに表示される。
　症状推定機能２０２ｄは、機械学習実行機能１０２ｄにより学習済みの機械学習プログラム７５０ｄに推論用画像データ及び推論用開瞼データを入力し、機械学習プログラム７５０ｄに推論用被検体の目に現れているドライアイの症状を推定させる。例えば、症状推定機能２０２ｄは、機械学習プログラム７５０ｄにこれら二つのデータを入力し、推論用被検体の目の涙液層破壊時間の長さを表す数値を推定させる。
　そして、症状推定機能２０２ｄは、機械学習プログラム７５０ｄに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。例えば、症状推定機能２０２ｄは、機械学習プログラム７５０ｄに推論用被検体の目の涙液層破壊時間の長さを表す数値を示す症状データを出力させる。この場合、症状データは、例えば、自身が示しており、推論用被検体の目の涙液層破壊時間の長さを表す数値をディスプレイ９２０ｄに表示するために使用される。
　次に、図５０を参照しながら第四実施例に係るドライアイ検査プログラム２００ｄが実行する処理の一例を説明する。図５０は、第四実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
　ステップＳ８１において、データ取得機能２０１ｄは、推論用画像データと、推論用開瞼データとを取得する。
　ステップＳ８２において、症状推定機能２０２ｄは、学習済みの機械学習プログラム７５０ｄに、推論用画像データ及び推論用開瞼データを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、機械学習プログラム７５０ｄに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　以上、第四実施例に係る機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置、ドライアイ検査装置、機械学習実行方法及びドライアイ検査方法について説明した。
　機械学習実行プログラム１００ｄは、教師データ取得機能１０１ｄと、機械学習実行機能１０２ｄとを備える。
　教師データ取得機能１０１ｄは、学習用画像データと、学習用開瞼データとを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。学習用画像データは、学習用被検体の目を描出している画像を示すデータである。学習用開瞼データは、学習用画像が撮影された目を学習用被検体が連続して開けることができた時間である最大開瞼時間を示すデータである。学習用検査画像データは、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している画像を示すデータである。学習用検査結果データは、ドライアイの症状に関する検査の結果を示すデータである。
　機械学習実行機能１０２ｄは、教師データを機械学習プログラム７５０ｄに入力し、機械学習プログラム７５０ｄを学習させる。
　これにより、機械学習実行プログラム１００ｄは、学習用画像データ及び学習用開瞼データに基づいてドライアイの症状に関する検査の結果を予測する機械学習プログラム７５０ｄを生成することができる。
　また、機械学習実行プログラム１００ｄは、学習用画像データだけではなく、学習用開瞼データを問題として含んでいる教師データを使用して機械学習プログラム７５０ｄを学習させる。したがって、機械学習実行プログラム１００ｄは、ドライアイの症状に関する検査の結果を更に精度良く予測することができる機械学習プログラム７５０ｄを生成することができる。
　ドライアイ検査プログラム２００ｄは、データ取得機能２０１ｄと、症状推定機能２０２ｄとを備える。
　データ取得機能２０１ｄは、推論用画像データと、推論用開瞼データとを取得する。推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用開瞼データは、推論用画像が撮影された目を推論用被検体が連続して開けることができた時間である最大開瞼時間を示すデータである。
　症状推定機能２０２ｄは、機械学習実行プログラム１００ｄにより学習済みの機械学習プログラム７５０ｄに推論用画像データ及び推論用開瞼データを入力し、推論用被検体の目に現れているドライアイの症状を推定させる。そして、症状推定機能２０２ｄは、機械学習プログラム７５０ｄに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　これにより、ドライアイ検査プログラム２００ｄは、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる。
　次に、機械学習プログラム７５０ｄを実際に学習させ、ドライアイの症状を推定させた例を挙げて、機械学習実行プログラム１００ｄにより奏される効果の具体例を比較例と第四実施例に係る実施例とを対比させて説明する。
　この場合の比較例は、上述した学習用被検体の目が正常であることを表している５４０個の教師データ及び学習用被検体の目が異常であることを表している５８０個の教師データから学習用開瞼データが除かれているデータを教師データとして機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータ及び学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度７２％及び偽陰性率２８％を示した。
　一方、機械学習実行プログラム１００ｄにより学習した機械学習プログラム７５０ａは、同じテストデータを使用して特性を評価すると、予測精度８０％及び偽陰性率２０％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
　また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
　なお、機械学習実行プログラム１００ｄが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。同様に、ドライアイ検査プログラム２００ｄが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。また、このようなハードウェアは，例えば、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵである。
　また、機械学習実行プログラム１００ｄが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。同様に、ドライアイ検査プログラム２００ｄが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　また、第四実施形態では、機械学習実行装置１０ｄと、機械学習装置７００ｄと、ドライアイ検査装置２０ｄとが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これらの装置は、一つの装置として実現されていてもよい。
　次に、図５１から図５９を参照しながら上述した実施形態の第五実施例の具体例について説明する。第五実施例に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法は、第四実施例に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法と異なり、後述する学習用画像データから切り出した学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方を問題として含む教師データを使用する。
　図５１は、第五実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。図５１に示した機械学習実行装置１０ｅは、後述する機械学習装置７００ｅの学習フェーズにおいて機械学習装置７００ｅに機械学習を実行させる装置である。また、図５１に示すように、機械学習実行装置１０ｅは、プロセッサ１１ｅと、主記憶装置１２ｅと、通信インターフェース１３ｅと、補助記憶装置１４ｅと、入出力装置１５ｅと、バス１６ｅとを備える。
　プロセッサ１１ｅは、例えば、ＣＰＵであり、後述する機械学習実行プログラム１００ｅを読み出して実行し、機械学習実行プログラム１００ｅが有する各機能を実現させる。また、プロセッサ１１ｅは、機械学習実行プログラム１００ｅ以外のプログラムを読み出して実行し、機械学習実行プログラム１００ｅが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置１２ｅは、例えば、ＲＡＭであり、プロセッサ１１ｅにより読み出されて実行される機械学習実行プログラム１００ｅその他プログラムを予め記憶している。
　通信インターフェース１３ｅは、図５１に示したネットワークＮＷを介して、機械学習装置７００ｅその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置１４ｅは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置１５ｅは、例えば、入出力ポートである。入出力装置１５ｅは、例えば、図５１に示したキーボード８１１ｅ、マウス８１２ｅ、ディスプレイ９１０ｅが接続される。キーボード８１１ｅ及びマウス８１２ｅは、例えば、機械学習実行装置１０ｅを操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０ｅは、例えば、機械学習実行装置１０ｅのグラフィカルユーザインターフェースを表示する。
　バス１６ｅは、プロセッサ１１ｅ、主記憶装置１２ｅ、通信インターフェース１３ｅ、補助記憶装置１４ｅ及び入出力装置１５ｅを互いにデータの送受信が可能なように接続している。
　図５２は、第五実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。機械学習実行装置１０ｅは、プロセッサ１１ｅを使用して機械学習実行プログラム１００ｅを読み出して実行し、図５２に示した教師データ取得機能１０１ｅ及び機械学習実行機能１０２ｅを実現させる。
　教師データ取得機能１０１ｅは、一つの学習用涙液メニスカス画像データ及び一つの学習用照明画像データの少なくとも一方を問題とし、一つの学習用検査画像データ及び学習用検査結果データの少なくとも一方を答えとする教師データを取得する。
　学習用画像データは、学習用被検体の目を描出している学習用画像を示すデータである。学習用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　学習用涙液メニスカス画像データは、学習用被検体の目を描出している学習用画像から学習用被検体の涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像を示すデータであり、学習用画像の一種である。涙液メニスカスは、角膜と下瞼との間に形成される涙の層であり、涙液の量を反映している。涙液メニスカスが低い場合、涙液が少なく、涙液メニスカスが高い場合、涙液が多い。また、学習用涙液メニスカス画像は、例えば、学習用画像のうち涙液メニスカスが描出されている領域を切り出すことにより生成される。図５３は、第五実施例に係る学習用画像から涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像の一例を示す図である。教師データ取得機能１０１ｅは、例えば、図５３に示した学習用涙液メニスカス画像を示す学習用涙液メニスカス画像データを取得する。
　学習用照明画像データは、学習用被検体の目を描出している学習用画像から学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像を示すデータであり、学習用画像の一種である。このような照明は、例えば、学習用画像が撮影される部屋の天井に設置された蛍光灯である。また、学習用照明画像は、例えば、学習用画像のうち学習用被検体の角膜に映り込んでいる照明が描出されている領域を切り出すことにより生成される。図５４は、第五実施例に係る学習用画像から学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像の一例を示す図である。教師データ取得機能１０１ｅは、例えば、図５４に示した学習用照明画像を示す学習用照明画像データを取得する。
　学習用検査画像データは、教師データの答えの一部を構成しており、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している学習用検査画像を示すデータである。このような検査としては、例えば、フルオレセイン染色試薬を点眼し、スリットランプを使用して目を観察して涙液層破壊時間を調べる検査が挙げられる。したがって、例えば、学習用検査画像データは、フルオレセインにより染色され、スリットランプを使用して観察されている目を描出している画像又は動画を示すデータとなる。
　学習用検査結果データは、教師データの答えの一部を構成しており、ドライアイの症状に関する検査の結果を示すデータである。このような検査の結果としては、例えば、フルオレセイン染色試薬を点眼し、スリットランプを使用して目を観察して涙液層破壊時間を調べる検査に基づいて涙液層破壊時間の長さを表している０以上１以下の数値が挙げられる。
　この数値は、０以上０．５未満である場合、涙液層破壊時間が１０秒以上であるため、学習用被検体の目が正常であり、眼科医による診察が不要であることを表している。また、この数値は、０．５以上１以下である場合、涙液層破壊時間が１０秒未満であるため、学習用被検体の目が異常であり、眼科医による診察が必要であることを表している。
　例えば、教師データ取得機能１０１ｅは、１２８０個の教師データを取得する。この場合、１２８０個の学習用涙液メニスカス画像データおよび学習用照明画像データは、それぞれ８名の学習用被検体の２つの目それぞれをスマートフォンに搭載されているカメラを使用して２０回撮影する処理を４セット実施することにより取得された１２８０枚の学習用画像の涙液メニスカスが描出されている領域及び角膜に映りこんでいる照明が描出されている領域を切り出すことにより生成された画像を示している。
　また、この場合、１２８０個の学習用検査画像データは、それぞれ上述した１２８０枚の学習用画像それぞれに描出されている学習用被検体の目についてドライアイの症状に関する検査が実施された際に撮影された学習用検査画像を示している。また、１２８０個の学習用検査結果データは、それぞれ１２８０枚の学習用検査画像が撮影された際に実施されたドライアイの症状に関する検査の結果を示す０以上１以下の数値１２８０個を示している。
　なお、以下の説明では、１２８０個の学習用検査結果データが、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している６２０個の学習用検査結果データと、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している６６０個の学習用検査結果データとを含んでいる場合を例に挙げて説明する。
　機械学習実行機能１０２ｅは、機械学習装置７００ｅに実装されている機械学習プログラム７５０ｅに教師データを入力し、機械学習プログラム７５０ｅを学習させる。例えば、機械学習実行機能１０２ｅは、畳み込みニューラルネットワークを含んでいる機械学習プログラム７５０ｅをバックプロパゲーションにより学習させる。
　例えば、機械学習実行機能１０２ｅは、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している学習用検査結果データを含んでいる５４０個の教師データを機械学習プログラム７５０ｅに入力する。この５４０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｅは、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している学習用検査結果データを含んでいる５８０個の教師データを機械学習プログラム７５０ｅに入力する。この５８０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　そして、機械学習実行機能１０２ｅは、これら１１２０個の教師データにより機械学習プログラム７５０ｅを学習させる。
　また、例えば、機械学習実行機能１０２ｅは、学習用被検体の目が正常であることを表しており、機械学習プログラム７５０ｅの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｅに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｅは、学習用被検体の目が異常であることを表しており、機械学習プログラム７５０ｅの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｅに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　これにより、機械学習実行機能１０２ｅは、上述した１１２０個の教師データにより機械学習プログラム７５０ｅを学習させることにより得られた機械学習プログラム７５０ｅの特性を評価してもよい。
　なお、機械学習実行機能１０２ｅは、テストデータを使用して機械学習プログラム７５０ｅの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。クラス活性化マッピングは、ニューラルネットワークに入力されたデータのうちニューラルネットワークにより出力された結果の根拠となった部分を明らかにする技術である。クラス活性化マッピングとしては、例えば、勾配加重クラス活性化マッピングが挙げられる。勾配加重クラス活性化マッピングは、畳み込みニューラルネットワークにより実行される畳み込みの特徴に関する分類スコアの勾配を利用し、畳み込みニューラルネットワークに入力された画像のうち分類に一定以上の影響を与えた領域を特定する技術である。
　次に、図５５を参照しながら第五実施例に係る機械学習実行プログラム１００ｅが実行する処理の一例を説明する。図５５は、第五実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。機械学習実行プログラム１００ｅは、図５５に示した処理を少なくとも一回実行する。
　ステップＳ９１において、教師データ取得機能１０１ｅは、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方とを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。
　ステップＳ９２において、機械学習実行機能１０２ｅは、教師データを機械学習プログラム７５０ｅに入力し、機械学習プログラム７５０ｅを学習させる。
　次に、図５６から図５８を参照しながら第五実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法の具体例について説明する。第五実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、第四実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法と異なり、後述する推論用学習用画像データから切り出した推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方を取得する。
　図５６は、第五実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。図５６に示したドライアイ検査装置２０ｅは、機械学習実行プログラム１００ｅにより学習済みの機械学習装置７００ｅの推論フェーズにおいて機械学習装置７００ｅを使用して推論用被検体の目に現れているドライアイの症状を推定させる装置である。また、図５６に示すように、ドライアイ検査装置２０ｅは、プロセッサ２１ｅと、主記憶装置２２ｅと、通信インターフェース２３ｅと、補助記憶装置２４ｅと、入出力装置２５ｅと、バス２６ｅとを備える。
　プロセッサ２１ｅは、例えば、ＣＰＵであり、後述するドライアイ検査プログラム２００ｅを読み出して実行し、ドライアイ検査プログラム２００ｅが有する各機能を実現させる。また、プロセッサ２１ｅは、ドライアイ検査プログラム２００ｅ以外のプログラムを読み出して実行し、ドライアイ検査プログラム２００ｅが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置２２ｅは、例えば、ＲＡＭであり、プロセッサ２１ｅにより読み出されて実行されるドライアイ検査プログラム２００ｅその他プログラムを予め記憶している。
　通信インターフェース２３ｅは、図５６に示したネットワークＮＷを介して、機械学習装置７００ｅその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置２４ｅは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置２５ｅは、例えば、入出力ポートである。入出力装置２５ｅは、例えば、図５６に示したキーボード８２１ｅ、マウス８２２ｅ、ディスプレイ９２０ｅが接続される。キーボード８２１ｅ及びマウス８２２ｅは、例えば、ドライアイ検査装置２０ｅを操作するために必要なデータを入力する作業に使用される。ディスプレイ９２０ｅは、例えば、ドライアイ検査装置２０ｅのグラフィカルユーザインターフェースを表示する。
　バス２６ｅは、プロセッサ２１ｅ、主記憶装置２２ｅ、通信インターフェース２３ｅ、補助記憶装置２４ｅ及び入出力装置２５ｅを互いにデータの送受信が可能なように接続している。
　図５７は、第五実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。ドライアイ検査装置２０ｅは、プロセッサ２１ｅを使用してドライアイ検査プログラム２００ｅを読み出して実行し、図５７に示したデータ取得機能２０１ｅ及び症状推定機能２０２ｅを実現させる。
　データ取得機能２０１ｅは、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを取得する。
　推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　推論用涙液メニスカス画像データは、推論用被検体の目を描出している推論用画像から推論用被検体の涙液メニスカスを描出している領域を切り出した推論用涙液メニスカス画像を示すデータである。また、推論用涙液メニスカス画像は、例えば、推論用画像のうち涙液メニスカスが描出されている領域を切り出すことにより生成される。
　推論用照明画像データは、推論用被検体の目を描出している推論用画像から推論用被検体の角膜に映り込んでいる照明を描出している領域を切り出した推論用照明画像を示すデータである。また、推論用照明画像は、例えば、推論用画像のうち推論用被検体の角膜に映り込んでいる照明が描出されている領域を切り出すことにより生成される。
　症状推定機能２０２ｅは、機械学習実行機能１０２ｅにより学習済みの機械学習プログラム７５０ｅに推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを入力し、機械学習プログラム７５０ｅに推論用被検体の目に現れているドライアイの症状を推定させる。例えば、症状推定機能２０２ｅは、機械学習プログラム７５０ｅにこれらのデータを入力し、推論用被検体の目の涙液層破壊時間の長さを表す数値を推定させる。
　そして、症状推定機能２０２ｅは、機械学習プログラム７５０ｅに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。例えば、症状推定機能２０２ｅは、機械学習プログラム７５０ｅに推論用被検体の目の涙液層破壊時間の長さを表す数値を示す症状データを出力させる。この場合、症状データは、例えば、自身が示しており、推論用被検体の目の涙液層破壊時間の長さを表す数値をディスプレイ９２０ｅに表示するために使用される。
　次に、図５８を参照しながら第五実施例に係るドライアイ検査プログラム２００ｅが実行する処理の一例を説明する。図５８は、第五実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
　ステップＳ１０１において、データ取得機能２０１ｅは、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを取得する。
　ステップＳ１０２において、症状推定機能２０２ｅは、学習済みの機械学習プログラムに、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、機械学習プログラムに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　以上、第五実施例に係る機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置、ドライアイ検査装置、機械学習実行方法及びドライアイ検査方法について説明した。
　機械学習実行プログラム１００ｅは、教師データ取得機能１０１ｅと、機械学習実行機能１０２ｅとを備える。
　教師データ取得機能１０１ｅは、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方とを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。学習用涙液メニスカス画像データは、学習用被検体の涙液メニスカスを描出している学習用涙液メニスカス画像を示すデータである。学習用照明画像データは、学習用被検体の角膜に映り込んでいる照明を描出している学習用照明画像を示すデータである。学習用検査画像データは、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している画像を示すデータである。学習用検査結果データは、ドライアイの症状に関する検査の結果を示すデータである。
　機械学習実行機能１０２ｅは、教師データを機械学習プログラム７５０ｅに入力し、機械学習プログラム７５０ｅを学習させる。
　これにより、機械学習実行プログラム１００ｅは、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方とに基づいてドライアイの症状に関する検査の結果を予測する機械学習プログラム７５０ｅを生成することができる。
　また、機械学習実行プログラム１００ｅは、学習用画像データから切り出された学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方を問題として含んでいる教師データを使用して機械学習プログラム７５０ｅを学習させる。したがって、機械学習実行プログラム１００ｅは、ドライアイの症状に関する検査の結果を更に精度良く予測することができる機械学習プログラム７５０ｅを生成することができる。
　ドライアイ検査プログラム２００ｅは、データ取得機能２０１ｅと、症状推定機能２０２ｅとを備える。
　データ取得機能２０１ｅは、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを取得する。推論用涙液メニスカス画像データは、推論用被検体の涙液メニスカスを描出している推論用涙液メニスカス画像を示すデータである。推論用照明画像データは、推論用被検体の角膜に映り込んでいる照明を描出している推論用照明画像を示すデータである。
　症状推定機能２０２ｅは、機械学習実行プログラム１００ｅにより学習済みの機械学習プログラム７５０ｅに推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを入力し、推論用被検体の目に現れているドライアイの症状を推定させる。そして、症状推定機能２０２ｅは、機械学習プログラム７５０ｅに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　これにより、ドライアイ検査プログラム２００ｅは、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる。
　次に、機械学習プログラム７５０ｅを実際に学習させ、ドライアイの症状を推定させた例を挙げて、機械学習実行プログラム１００ｅにより奏される効果の具体例を比較例と第五実施例に係る実施例とを対比させて説明する。
　この場合の比較例は、上述した学習用被検体の目が正常であることを表している５４０個の教師データ及び学習用被検体の目が異常であることを表している５８０個の教師データから学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータを教師データとして機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータから学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータ及び学習用被検体の目が異常であることを表している８０個のテストデータから学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータを使用して特性を評価すると、予測精度７２％及び偽陰性率２８％を示した。
　一方、機械学習実行プログラム１００ｅにより学習用涙液メニスカス画像データを使用して学習した機械学習プログラム７５０ｅは、学習用涙液メニスカス画像データのみを含むテストデータを使用して特性を評価すると、予測精度７７％及び偽陰性率２３％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　また、機械学習実行プログラム１００ｅにより学習用照明画像データを使用して学習した機械学習プログラム７５０ｅは、学習用照明画像データのみを含むテストデータを使用して特性を評価すると、予測精度７７％及び偽陰性率２３％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　また、機械学習実行プログラム１００ｅにより学習用涙液メニスカス画像データ及び学習用照明画像データを使用して学習した機械学習プログラム７５０ｅは、学習用涙液メニスカス画像データ及び学習用照明画像データを含むテストデータを使用して特性を評価すると、予測精度８２％及び偽陰性率１８％を示した。この特性は、比較例に係る機械学習プログラムの特性、学習用涙液メニスカス画像データを使用して学習した機械学習プログラム７５０ｅの特性及び学習用照明画像データを使用して学習した機械学習プログラム７５０ｅの特性を上回っている。
　なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
　また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
　なお、機械学習実行プログラム１００ｅが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。同様に、ドライアイ検査プログラム２００ｅが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。また、このようなハードウェアは，例えば、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵである。
　また、機械学習実行プログラム１００ｅが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。同様に、ドライアイ検査プログラム２００ｅが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　また、第五実施例では、機械学習実行装置１０ｅと、機械学習装置７００ｅと、ドライアイ検査装置２０ｅとが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これらの装置は、一つの装置として実現されていてもよい。
　［第四実施例及び第五実施例の変形例］
　上述した第四実施例では、教師データ取得機能１０１ｄが第五実施例で説明した学習用涙液メニスカス画像データ及び学習用照明画像データを問題の一部に含まない教師データを取得する場合を例に挙げたが、これに限定されない。教師データ取得機能１０１ｄは、学習用開瞼データに加え、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方を上述した学習用画像データとしている教師データを取得してもよい。また、この場合、データ取得機能２０１ｄは、推論用開瞼データに加え、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方を上述した推論用画像データとして取得する。そして、この場合、症状推定機能２０２ｄは、機械学習プログラム７５０ｄに、推論用開瞼データに加え、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方に基づいて推論用被検体の目に現れているドライアイの症状を推定させる。
　また、上述した第五実施例では、教師データ取得機能１０１ｅが第四実施例で説明した学習用開瞼データを問題の一部に含まない教師データを取得する場合を例に挙げたが、これに限定されない。教師データ取得機能１０１ｅは、学習用涙液メニスカス画像データ及び学習用照明画像データに加え、学習用開瞼データを問題としている教師データを取得してもよい。また、この場合、データ取得機能２０１ｅは、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方に加え、更に推論用開瞼データを取得する。そして、この場合、症状推定機能２０２ｅは、機械学習プログラム７５０ｅに、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方に加え、推論用開瞼データに基づいて推論用被検体の目に現れているドライアイの症状を推定させる。
　さらに、第四実施例及び第五実施例の変形例に係る機械学習実行機能１０２ｄは、テストデータを使用して機械学習プログラム７５０ｄの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。同様に、第四実施例及び第五実施例の変形例に係る機械学習実行機能１０２ｅは、テストデータを使用して機械学習プログラム７５０ｅの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。
　図５９は、第四実施例及び第五実施例の変形例に係る機械学習プログラムが涙液層破壊時間を調べる検査の結果を予測する際に学習用被検体の目を描出している学習用画像のうち重点的に考慮した部分の一例を示す図である。例えば、第四実施例及び第五実施例の変形例に係る機械学習実行機能１０２ｄは、勾配加重クラス活性化マッピングを使用して図５９に示した学習用画像のうち楕円Ｃ６１１で囲まれている領域、楕円Ｃ６１２で囲まれている領域及び楕円Ｃ６１で囲まれている領域が機械学習プログラム７５０ｄによる涙液層破壊時間を調べる検査の予測に一定以上の影響を与えていると評価する。また、図５９を参照しながら説明した事項は、第四実施例及び第五実施例の変形例に係る機械学習実行機能１０２ｅについても当てはまる。
　なお、これらの楕円で囲まれている領域に含まれている三段階のグレースケールは、角膜上皮障害に関する検査の結果の予測に影響を与えた度合いを示している。楕円Ｃ６１１で囲まれている領域及び楕円Ｃ６１２で囲まれている領域は、いずれも学習用被検体の涙液メニスカスを描出している領域の上に重ねて表示されている。楕円Ｃ６１で囲まれている領域は、学習用被検体の角膜に映り込んでいる照明を描出している領域の上に重ねて表示されている。
　次に、学習用開瞼データと、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方とを問題として含んでいる教師データを使用して学習させ、推論用開瞼データと、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とに基づいて推論用被検体の目に現れているドライアイの症状を推定させる場合に奏される効果の具体例について説明する。また、以下の説明では、教師データ取得機能１０１ｄが学習用開瞼データを取得し、データ取得機能２０１ｄが推論用開瞼データを取得する場合を例に挙げて説明する。
　この場合の比較例は、上述した学習用被検体の目が正常であることを表している５４０個の教師データ及び学習用被検体の目が異常であることを表している５８０個の教師データから学習用開瞼データ、学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータを教師データとして機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータから学習用開瞼データ、学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータ及び学習用被検体の目が異常であることを表している８０個のテストデータから学習用開瞼データ、学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータを使用して特性を評価すると、予測精度７２％及び偽陰性率２８％を示した。
　一方、機械学習実行プログラム１００ｄにより学習用開瞼データ、学習用涙液メニスカス画像データ及び学習用照明画像データを使用して学習した機械学習プログラム７５０ｄは、学習用涙液メニスカス画像データ及び学習用照明画像データを含むテストデータを使用して特性を評価すると、予測精度９０％及び偽陰性率１０％を示した。この特性は、比較例に係る機械学習プログラムの特性、第四実施例に係る機械学習プログラム７５０ｄの特性及び第五実施例に係る機械学習プログラム７５０ｅの特性を上回っている。
　なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
　また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
　なお、上述したドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、推論用被検体の目にドライアイ点眼薬が点眼される前後で使用されてもよい。上述したドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、このようなタイミングで使用されることにより、推論用被検体が抱えるドライアイの症状に対して当該ドライアイ点眼薬が有している有効性を検証する手段ともなり得る。
　次に、図６０から図６６を参照しながら上述した実施形態の第六実施例の具体例について説明する。
　図６０は、第六実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。図６０に示した機械学習実行装置１０ｆは、後述する機械学習装置７００ｆの学習フェーズにおいて機械学習装置７００ｆに機械学習を実行させる装置である。また、図６０に示すように、機械学習実行装置１０ｆは、プロセッサ１１ｆと、主記憶装置１２ｆと、通信インターフェース１３ｆと、補助記憶装置１４ｆと、入出力装置１５ｆと、バス１６ｆとを備える。
　プロセッサ１１ｆは、例えば、ＣＰＵであり、後述する機械学習実行プログラム１００ｆを読み出して実行し、機械学習実行プログラム１００ｆが有する各機能を実現させる。また、プロセッサ１１ｆは、機械学習実行プログラム１００ｆ以外のプログラムを読み出して実行し、機械学習実行プログラム１００ｆが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置１２ｆは、例えば、ＲＡＭであり、プロセッサ１１ｆにより読み出されて実行される機械学習実行プログラム１００ｆその他プログラムを予め記憶している。
　通信インターフェース１３ｆは、図１に示したネットワークＮＷを介して、機械学習装置７００ｆその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置１４ｆは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置１５ｆは、例えば、入出力ポートである。入出力装置１５ｆは、例えば、図１に示したキーボード８１１ｆ、マウス８１２ｆ、ディスプレイ９１０ｆが接続される。キーボード８１１ｆ及びマウス８１２ｆは、例えば、機械学習実行装置１０ｆを操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０ｆは、例えば、機械学習実行装置１０ｆのグラフィカルユーザインターフェースを表示する。
　バス１６ｆは、プロセッサ１１ｆ、主記憶装置１２ｆ、通信インターフェース１３ｆ、補助記憶装置１４ｆ及び入出力装置１５ｆを互いにデータの送受信が可能なように接続している。
　図６１は、第六実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。機械学習実行装置１０ｆは、プロセッサ１１ｆを使用して機械学習実行プログラム１００ｆを読み出して実行し、図６１に示した教師データ取得機能１０１ｆ及び機械学習実行機能１０２ｆを実現させる。
　教師データ取得機能１０１ｆは、一つの学習用画像データを問題とし、一つの学習用検査結果データを答えとする教師データを取得する。
　学習用画像データは、学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の目を描出している学習用画像を示すデータである。このような学習用画像は、例えば、実際には色温度４０００Ｋを有する光で照らされている学習用被検体の目を描出している画像のホワイトバランスを調整することにより生成され、色温度３０００Ｋを有する光で照らされている当該目を擬似的に描出している画像である。また、学習用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　学習用検査結果データは、教師データの答えの一部を構成しており、ドライアイの症状に関する検査の結果を示すデータである。このような検査の結果としては、例えば、光干渉計を使用して涙液油層の厚みを評価する検査に基づいて涙液油層の厚みを表している０以上１以下の数値が挙げられる。
　この数値は、０以上０．５未満である場合、光干渉計を使用して評価された涙液油層の厚みが７５μｍ未満であるため、学習用被検体の目が正常であり、眼科医による診察が不要であることを表している。また、この数値は、０．５以上１以下である場合、光干渉計を使用して評価された涙液油層の厚みが７５μｍ以上であるため、学習用被検体の目が異常であり、眼科医による診察が必要であることを表している。
　例えば、教師データ取得機能１０１ｆは、１２８０個の教師データを取得する。この場合、１２８０個の学習用画像データは、それぞれ８名の学習用被検体の２つの目それぞれをスマートフォンに搭載されているカメラを使用して２０回撮影する処理を４セット実施することにより取得された１２８０枚の学習用画像を示している。また、この場合、１２８０個の学習用検査結果データは、それぞれ光干渉計を使用して評価された涙液油層の厚みを示す０以上１以下の数値１２８０個を示している。
　なお、以下の説明では、１２８０個の学習用検査結果データが、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している６００個の学習用検査結果データと、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している６８０個の学習用検査結果データとを含んでいる場合を例に挙げて説明する。
　機械学習実行機能１０２ｆは、機械学習装置７００ｆに実装されている機械学習プログラム７５０ｆに教師データを入力し、機械学習プログラム７５０ｆを学習させる。例えば、機械学習実行機能１０２ｆは、畳み込みニューラルネットワークを含んでいる機械学習プログラム７５０ｆをバックプロパゲーションにより学習させる。
　例えば、機械学習実行機能１０２ｆは、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している学習用検査結果データを含んでいる５２０個の教師データを機械学習プログラム７５０ｆに入力する。この５２０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｆは、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している学習用検査結果データを含んでいる６００個の教師データを機械学習プログラム７５０ｆに入力する。この６００個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　そして、機械学習実行機能１０２ｆは、これら１１２０個の教師データにより機械学習プログラム７５０ｆを学習させる。
　また、例えば、機械学習実行機能１０２ｆは、学習用被検体の目が正常であることを表しており、機械学習プログラム７５０ｆの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｆに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｆは、学習用被検体の目が異常であることを表しており、機械学習プログラム７５０ｆの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｆに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　これにより、機械学習実行機能１０２ｆは、上述した１０８０個の教師データにより機械学習プログラム７５０ｆを学習させることにより得られた機械学習プログラム７５０ｆの特性を評価してもよい。
　なお、機械学習実行機能１０２ｆは、テストデータを使用して機械学習プログラム７５０ｆの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。クラス活性化マッピングは、ニューラルネットワークに入力されたデータのうちニューラルネットワークにより出力された結果の根拠となった部分を明らかにする技術である。クラス活性化マッピングとしては、例えば、勾配加重クラス活性化マッピングが挙げられる。勾配加重クラス活性化マッピングは、畳み込みニューラルネットワークにより実行される畳み込みの特徴に関する分類スコアの勾配を利用し、畳み込みニューラルネットワークに入力された画像のうち分類に一定以上の影響を与えた領域を特定する技術である。
　図６２は、第六実施例に係る機械学習プログラムが涙液油層の厚みに関する検査の結果を予測する際に学習用被検体の目の画像のうち重点的に考慮した部分の一例を示す図である。例えば、機械学習実行機能１０２ｆは、勾配加重クラス活性化マッピングを使用して図６２に示した学習用画像のうち図６２に示した楕円Ｃ６４で囲まれている領域が機械学習プログラム７５０ｆによる涙液油層の厚みに関する検査の結果の予測に一定以上の影響を与えていると評価する。また、図６２に示した楕円Ｃ６４で囲まれている領域に含まれている三段階のグレースケールは、涙液油層の厚みに関する検査の結果の予測に影響を与えた度合いを示しており、学習用被検体の目の角膜の下瞼に近い部分を描出している領域の上に重ねて表示されている。さらに、このグレースケールは、学習用被検体の目の角膜のうち下瞼側の約半分の上に重なっている。
　次に、図６３は、第六実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。図６３は、第六実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。機械学習実行プログラム１００ｆは、図６３に示した処理を少なくとも一回実行する。
　ステップＳ１１１において、教師データ取得機能１０１ｆは、学習用画像データを問題とし、学習用検査結果データとを答えとする教師データを取得する。
　ステップＳ１１２において、機械学習実行機能１０２ｆは、教師データを機械学習プログラム７５０ｆに入力し、機械学習プログラム７５０ｆを学習させる。
　次に、図６４から図６６を参照しながら第六実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法の具体例について説明する。
　図６４は、第六実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。図６４に示したドライアイ検査装置２０ｆは、機械学習実行プログラム１００ｆにより学習済みの機械学習装置７００ｆの推論フェーズにおいて機械学習装置７００ｆを使用して推論用被検体の目に現れているドライアイの症状を推定させる装置である。また、図６４に示すように、ドライアイ検査装置２０ｆは、プロセッサ２１ｆと、主記憶装置２２ｆと、通信インターフェース２３ｆと、補助記憶装置２４ｆと、入出力装置２５ｆと、バス２６ｆとを備える。
　プロセッサ２１ｆは、例えば、ＣＰＵであり、後述するドライアイ検査プログラム２００ｆを読み出して実行し、ドライアイ検査プログラム２００ｆが有する各機能を実現させる。また、プロセッサ２１ｆは、ドライアイ検査プログラム２００ｆ以外のプログラムを読み出して実行し、ドライアイ検査プログラム２００ｆが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置２２ｆは、例えば、ＲＡＭであり、プロセッサ２１ｆにより読み出されて実行されるドライアイ検査プログラム２００ｆその他プログラムを予め記憶している。
　通信インターフェース２３ｆは、図６４に示したネットワークＮＷを介して、機械学習装置７００ｆその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＦＮ、イントラネットである。
　補助記憶装置２４ｆは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置２５ｆは、例えば、入出力ポートである。入出力装置２５ｆは、例えば、図５に示したキーボード８２１ｆ、マウス８２２ｆ、ディスプレイ９２０ｆが接続される。キーボード８２１ｆ及びマウス８２２ｆは、例えば、ドライアイ検査装置２０ｆを操作するために必要なデータを入力する作業に使用される。ディスプレイ９２０ｆは、例えば、ドライアイ検査装置２０ｆのグラフィカルユーザインターフェースを表示する。
　バス２６ｆは、プロセッサ２１ｆ、主記憶装置２２ｆ、通信インターフェース２３ｆ、補助記憶装置２４ｆ及び入出力装置２５ｆを互いにデータの送受信が可能なように接続している。
　図６５は、第六実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。ドライアイ検査装置２０ｆは、プロセッサ２１ｆを使用してドライアイ検査プログラム２００ｆを読み出して実行し、図６５に示したデータ取得機能２０１ｆ及び症状推定機能２０２ｆを実現させる。
　データ取得機能２０１ｆは、推論用画像データを取得する。推論用画像データは、推論用被検体の目を照らしている光よりも色温度が低い光で推論用被検体の目が照らされていると仮定した場合における推論用被検体の目を描出している推論用画像を示すデータである。このような推論用画像は、例えば、実際には色温度４０００Ｋを有する光で照らされている推論用被検体の目を描出している画像のホワイトバランスを調整することにより生成され、色温度３０００Ｋを有する光で照らされている当該目を擬似的に描出している画像である。また、推論用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　症状推定機能２０２ｆは、機械学習実行機能１０２ｆにより学習済みの機械学習プログラム７５０ｆに推論用画像データを入力し、機械学習プログラム７５０ｆに推論用被検体の目に現れているドライアイの症状を推定させる。例えば、症状推定機能２０２ｆは、機械学習プログラム７５０ｆに推論用画像データを入力し、推論用被検体の目の涙液油層の厚みを表す数値を推定させる。
　そして、症状推定機能２０２ｆは、機械学習プログラム７５０ｆに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。例えば、症状推定機能２０２ｆは、機械学習プログラム７５０ｆに推論用被検体の目の涙液油層の厚みを表す数値を示す症状データを出力させる。この場合、症状データは、例えば、自身が示しており、推論用被検体の目の涙液油層の厚みを表す数値をディスプレイ９２０ｆに表示するために使用される。
　次に、図６６を参照しながら第六実施例に係るドライアイ検査プログラム２００ｆが実行する処理の一例を説明する。図６６は、第六実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
　ステップＳ１２１において、データ取得機能２０１ｆは、推論用画像データを取得する。
　ステップＳ１２２において、症状推定機能２０２ｆは、学習済みの機械学習プログラム７５０ｆに、推論用画像データを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、機械学習プログラム７５０ｆに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　以上、第六実施例に係る機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置、ドライアイ検査装置、機械学習実行方法及びドライアイ検査方法について説明した。
　機械学習実行プログラム１００ｆは、教師データ取得機能１０１ｆと、機械学習実行機能１０２ｆとを備える。
　教師データ取得機能１０１ｆは、学習用画像データを問題とし、学習用検査結果データを答えとする教師データを取得する。学習用画像データは、学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の目を描出している学習用画像を示すデータである。学習用検査結果データは、学習用被検体の目の涙液油層の厚みを調べる検査の結果を示すデータである。
　機械学習実行機能１０２ｆは、教師データを機械学習プログラム７５０ｆに入力し、機械学習プログラム７５０ｆを学習させる。
　これにより、機械学習実行プログラム１００ｆは、学習用画像データに基づいてドライアイの症状に関する検査の結果を予測する機械学習プログラム７５０ｆを生成することができる。
　ドライアイ検査プログラム２００ｆは、データ取得機能２０１ｆと、症状推定機能２０２ｆとを備える。
　データ取得機能２０１ｆは、推論用画像データを取得する。推論用画像データは、推論用被検体の目を照らしている光よりも色温度が低い光で推論用被検体の目が照らされていると仮定した場合における推論用被検体の目を描出している推論用画像を示すデータである。
　症状推定機能２０２ｆは、機械学習実行プログラム１００ｆにより学習済みの機械学習プログラム７５０ｆに推論用画像データを入力し、推論用被検体の目に現れているドライアイの症状を推定させる。そして、症状推定機能２０２ｆは、機械学習プログラム７５０ｆに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　これにより、ドライアイ検査プログラム２００ｆは、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる。
　次に、機械学習プログラム７５０ｆを実際に学習させ、ドライアイの症状を推定させた例を挙げて、機械学習実行プログラム１００ｆにより奏される効果の具体例を比較例と第六実施例に係る実施例とを対比させて説明する。
　この場合の比較例では、学習用画像データではなく、学習用被検体の目を照らしている光と色温度が等しい光で学習用被検体の目が照らされている場合における学習用被検体の目を描出している画像を示す画像データが教師データに含まれる問題となる。また、この場合の比較例では、上述した学習用被検体の目が正常であることを表している５２０個の教師データ及び学習用被検体の目が異常であることを表している６００個の教師データを使用して機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した画像データを含んでおり、学習用被検体の目が正常であることを表している８０個のテストデータ及び上述した画像データを含んでおり、学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度５０％及び偽陰性率５０％を示した。
　一方、機械学習実行プログラム１００ｆにより学習した機械学習プログラム７５０ｆは、学習用画像データを含んでいるテストデータを使用して特性を評価すると、予測精度７４％及び偽陰性率２６％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
　また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
　なお、機械学習実行プログラム１００ｆが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。同様に、ドライアイ検査プログラム２００ｆが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。また、このようなハードウェアは，例えば、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵである。
　また、機械学習実行プログラム１００ｆが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。同様に、ドライアイ検査プログラム２００ｆが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　また、第六実施例では、機械学習実行装置１０ｆと、機械学習装置７００ｆと、ドライアイ検査装置２０ｆとが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これらの装置は、一つの装置として実現されていてもよい。
　次に、図６７から図７２を参照しながら上述した実施形態の第七実施例の具体例について説明する。第七実施例に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法は、第六実施例に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法と異なり、学習用画像データではなく、後述する学習用角膜画像データを問題として含む教師データを使用する。
　図６７は、第七実施例に係る機械学習実行装置のハードウェア構成の一例を示す図である。図６７に示した機械学習実行装置１０ｇは、後述する機械学習装置７００ｇの学習フェーズにおいて機械学習装置７００ｇに機械学習を実行させる装置である。また、図６７に示すように、機械学習実行装置１０ｇは、プロセッサ１１ｇと、主記憶装置１２ｇと、通信インターフェース１３ｇと、補助記憶装置１４ｇと、入出力装置１５ｇと、バス１６ｇとを備える。
　プロセッサ１１ｇは、例えば、ＣＰＵであり、後述する機械学習実行プログラム１００ｇを読み出して実行し、機械学習実行プログラム１００ｇが有する各機能を実現させる。また、プロセッサ１１ｇは、機械学習実行プログラム１００ｇ以外のプログラムを読み出して実行し、機械学習実行プログラム１００ｇが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置１２ｇは、例えば、ＲＡＭであり、プロセッサ１１ｇにより読み出されて実行される機械学習実行プログラム１００ｇその他プログラムを予め記憶している。
　通信インターフェース１３ｇは、図８に示したネットワークＮＷを介して、機械学習装置７００ｇその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置１４ｇは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置１５ｇは、例えば、入出力ポートである。入出力装置１５ｇは、例えば、図１に示したキーボード８１１ｇ、マウス８１２ｇ、ディスプレイ９１０ｇが接続される。キーボード８１１ｇ及びマウス８１２ｇは、例えば、機械学習実行装置１０ｇを操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０ｇは、例えば、機械学習実行装置１０ｇのグラフィカルユーザインターフェースを表示する。
　バス１６ｇは、プロセッサ１１ｇ、主記憶装置１２ｇ、通信インターフェース１３ｇ、補助記憶装置１４ｇ及び入出力装置１５ｇを互いにデータの送受信が可能なように接続している。
　図６８は、第七実施例に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。機械学習実行装置１０ｇは、プロセッサ１１ｇを使用して機械学習実行プログラム１００ｇを読み出して実行し、図６８に示した教師データ取得機能１０１ｇ及び機械学習実行機能１０２ｇを実現させる。
　教師データ取得機能１０１ｇは、一つの学習用角膜画像データを問題とし、一つの学習用検査結果データを答えとする教師データを取得する。
　学習用角膜画像データは、学習用被検体の目の角膜の少なくとも一部を描出している学習用角膜画像を示すデータである。学習用角膜画像は、学習用被検体の目の角膜の少なくとも一部のみを描出している画像であってもよいし、学習用被検体の目の角膜以外の部分も描出している画像であってもよい。また、学習用角膜画像は、学習用被検体の目を描写している学習用画像から学習用被検体の目の角膜の少なくとも一部を描出している領域を切り出した画像であってもよい。
　また、学習用角膜画像は、学習用被検体の目の角膜のうち学習用被検体の上瞼に近い部分及び下瞼に近い部分の両方を描出している場合よりも学習用被検体の下瞼に近い部分のみを描出している場合の方が機械学習プログラム７５０ｇの予測精度を向上させ得る。例えば、学習用角膜画像は、学習用被検体の目の角膜のうち下瞼側の半分の部分のみを描出している場合、機械学習プログラム７５０ｇを使用したドライアイの症状の予測精度を更に向上させ得る。なお、学習用角膜画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　学習用検査結果データは、教師データの答えの一部を構成しており、ドライアイの症状に関する検査の結果を示すデータである。このような検査の結果としては、例えば、光干渉計を使用して涙液油層の厚みを評価する検査に基づいて涙液油層の厚みを表している０以上１以下の数値が挙げられる。
　この数値は、０以上０．５未満である場合、光干渉計を使用して評価された涙液油層の厚みが７５μｍ未満であるため、学習用被検体の目が正常であり、眼科医による診察が不要であることを表している。また、この数値は、０．５以上１以下である場合、光干渉計を使用して評価された涙液油層の厚みが７５μｍ以上であるため、学習用被検体の目が異常であり、眼科医による診察が必要であることを表している。
　例えば、教師データ取得機能１０１ｇは、１２８０個の教師データを取得する。この場合、１２８０個の学習用角膜画像データは、それぞれ８名の学習用被検体の２つの目それぞれをスマートフォンに搭載されているカメラを使用して２０回撮影する処理を４セット実施することにより取得された１２８０枚の学習用画像を示している。また、この場合、１２８０個の学習用検査結果データは、それぞれ光干渉計を使用して評価された涙液油層の厚みを示す０以上１以下の数値１２８０個を示している。
　なお、以下の説明では、１２８０個の学習用検査結果データが、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している６００個の学習用検査結果データと、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している６８０個の学習用検査結果データとを含んでいる場合を例に挙げて説明する。
　機械学習実行機能１０２ｇは、機械学習装置７００ｇに実装されている機械学習プログラム７５０ｇに教師データを入力し、機械学習プログラム７５０ｇを学習させる。例えば、機械学習実行機能１０２ｇは、畳み込みニューラルネットワークを含んでいる機械学習プログラム７５０ｇをバックプロパゲーションにより学習させる。
　例えば、機械学習実行機能１０２ｇは、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している学習用検査結果データを含んでいる５２０個の教師データを機械学習プログラム７５０ｇに入力する。この５２０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｇは、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している学習用検査結果データを含んでいる６００個の教師データを機械学習プログラム７５０ｇに入力する。この６００個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
　そして、機械学習実行機能１０２ｇは、これら１１２０個の教師データにより機械学習プログラム７５０ｇを学習させる。
　また、機械学習実行機能１０２ｇは、学習用被検体の目の角膜のうち学習用被検体の下瞼に近い部分を描出している学習用角膜画像を示す学習用角膜画像データを含んでいる教師データである程、機械学習プログラムに優先的に入力してもよい。これは、上述した通り、学習用角膜画像が学習用被検体の目の角膜のうち学習用被検体の上瞼に近い部分及び下瞼に近い部分の両方を描出している場合よりも学習用被検体の下瞼に近い部分のみを描出している場合の方が機械学習プログラム７５０ｇの予測精度を向上させ得るからである。
　また、例えば、機械学習実行機能１０２ｇは、学習用被検体の目が正常であることを表しており、機械学習プログラム７５０ｇの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｇに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　また、例えば、機械学習実行機能１０２ｇは、学習用被検体の目が異常であることを表しており、機械学習プログラム７５０ｇの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｇに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
　これにより、機械学習実行機能１０２ｇは、上述した１０８０個の教師データにより機械学習プログラム７５０ｇを学習させることにより得られた機械学習プログラム７５０ｇの特性を評価してもよい。
　なお、機械学習実行機能１０２ｇは、テストデータを使用して機械学習プログラム７５０ｇの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。クラス活性化マッピングは、ニューラルネットワークに入力されたデータのうちニューラルネットワークにより出力された結果の根拠となった部分を明らかにする技術である。クラス活性化マッピングとしては、例えば、勾配加重クラス活性化マッピングが挙げられる。勾配加重クラス活性化マッピングは、畳み込みニューラルネットワークにより実行される畳み込みの特徴に関する分類スコアの勾配を利用し、畳み込みニューラルネットワークに入力された画像のうち分類に一定以上の影響を与えた領域を特定する技術である。
　次に、図６９を参照しながら第七実施例に係る機械学習実行プログラム１００ｇが実行する処理の一例を説明する。図６９は、第七実施例に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。機械学習実行プログラム１００ｇは、図６９に示した処理を少なくとも一回実行する。
　ステップＳ１３１において、教師データ取得機能１０１ｇは、学習用角膜画像データを問題とし、学習用検査結果データを答えとする教師データを取得する。
　ステップＳ１３２において、機械学習実行機能１０２ｇは、教師データを機械学習プログラム７５０ｇに入力し、機械学習プログラム７５０ｇを学習させる。
　次に、図７０から図７２を参照しながら第七実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法の具体例について説明する。第七実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、第六実施例に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法と異なり、推論用画像データではなく、後述する推論用角膜画像データを取得する。
　図７０は、第七実施例に係るドライアイ検査装置のハードウェア構成の一例を示す図である。図７０に示したドライアイ検査装置２０ｇは、機械学習実行プログラム１００ｇにより学習済みの機械学習装置７００ｇの推論フェーズにおいて機械学習装置７００ｇを使用して推論用被検体の目に現れているドライアイの症状を推定させる装置である。また、図７０に示すように、ドライアイ検査装置２０ｇは、プロセッサ２１ｇと、主記憶装置２２ｇと、通信インターフェース２３ｇと、補助記憶装置２４ｇと、入出力装置２５ｇと、バス２６ｇとを備える。
　プロセッサ２１ｇは、例えば、ＣＰＵであり、後述するドライアイ検査プログラム２００ｇを読み出して実行し、ドライアイ検査プログラム２００ｇが有する各機能を実現させる。また、プロセッサ２１ｇは、ドライアイ検査プログラム２００ｇ以外のプログラムを読み出して実行し、ドライアイ検査プログラム２００ｇが有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置２２ｇは、例えば、ＲＡＭであり、プロセッサ２１ｇにより読み出されて実行されるドライアイ検査プログラム２００ｇその他プログラムを予め記憶している。
　通信インターフェース２３ｇは、図７０に示したネットワークＮＷを介して、機械学習装置７００ｇその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
　補助記憶装置２４ｇは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置２５ｇは、例えば、入出力ポートである。入出力装置２５ｇは、例えば、図７０に示したキーボード８２１ｇ、マウス８２２ｇ、ディスプレイ９２０ｇが接続される。キーボード８２１ｇ及びマウス８２２ｇは、例えば、ドライアイ検査装置２０ｇを操作するために必要なデータを入力する作業に使用される。ディスプレイ９２０ｇは、例えば、ドライアイ検査装置２０ｇのグラフィカルユーザインターフェースを表示する。
　バス２６ｇは、プロセッサ２１ｇ、主記憶装置２２ｇ、通信インターフェース２３ｇ、補助記憶装置２４ｇ及び入出力装置２５ｇを互いにデータの送受信が可能なように接続している。
　図７１は、第七実施例に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。ドライアイ検査装置２０ｇは、プロセッサ２１ｇを使用してドライアイ検査プログラム２００ｇを読み出して実行し、図７１に示したデータ取得機能２０１ｇ及び症状推定機能２０２ｇを実現させる。
　データ取得機能２０１ｇは、推論用角膜画像データを取得する。推論用角膜画像データは、推論用被検体の目の角膜の少なくとも一部を描出している推論用角膜画像を示すデータである。推論用角膜画像は、推論用被検体の目の角膜の少なくとも一部のみを描出している画像であってもよいし、推論用被検体の目の角膜以外の部分も描出している画像であってもよい。また、推論用角膜画像は、推論用被検体の目を描写している推論用画像から推論用被検体の目の角膜の少なくとも一部を描出している領域を切り出した画像であってもよい。
　また、推論用角膜画像は、機械学習プログラム７５０ｇが学習用被検体の下瞼に近い部分のみを描出している学習用角膜画像を示す学習用角膜画像データを問題とする教師データを使用して学習している場合、推論用被検体の下瞼に近い部分のみを描出していることが好ましい。これにより、ドライアイ検査プログラム２００ｇは、機械学習プログラム７５０ｇを使用して推論用被検体のドライアイの症状を更に高い精度で予測することが可能となる。例えば、推論用角膜画像は、推論用被検体の目の角膜のうち下瞼側の半分の部分のみを描出している場合、機械学習プログラム７５０ｇを使用したドライアイの症状の予測精度を更に向上させ得る。なお、推論用角膜画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
　症状推定機能２０２ｇは、機械学習実行機能１０２ｇにより学習済みの機械学習プログラム７５０ｇに推論用角膜画像データを入力し、機械学習プログラム７５０ｇに推論用被検体の目に現れているドライアイの症状を推定させる。例えば、症状推定機能２０２ｇは、機械学習プログラム７５０ｇに推論用角膜画像データを入力し、推論用被検体の目の涙液油層の厚みを表す数値を推定させる。
　また、症状推定機能２０２ｇは、学習用被検体の目の角膜のうち学習用被検体の下瞼に近い部分を描出している学習用角膜画像を示す学習用角膜画像データを含んでいる教師データである程、優先的に入力された機械学習プログラムに推論用角膜画像データを入力してもよい。
　そして、症状推定機能２０２ｇは、機械学習プログラム７５０ｇに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。例えば、症状推定機能２０２ｇは、機械学習プログラム７５０ｇに推論用被検体の目の涙液油層の厚みを示す数値を示す症状データを出力させる。この場合、症状データは、例えば、自身が示しており、推論用被検体の目の涙液油層の厚みを表す数値をディスプレイ９２０ｇに表示するために使用される。
　次に、図７２を参照しながら第七実施例に係るドライアイ検査プログラム２００ｇが実行する処理の一例を説明する。図７２は、第七実施例に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
　ステップＳ１４１において、データ取得機能２０１ｇは、推論用角膜画像データを取得する。
　ステップＳ１４２において、症状推定機能２０２ｇは、学習済みの機械学習プログラム７５０ｇに、推論用角膜画像データを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、機械学習プログラム７５０ｇに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　以上、第七実施例に係る機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置、ドライアイ検査装置、機械学習実行方法及びドライアイ検査方法について説明した。
　機械学習実行プログラム１００ｇは、教師データ取得機能１０１ｇと、機械学習実行機能１０２ｇとを備える。
　教師データ取得機能１０１ｇは、学習用角膜画像データを問題とし、学習用検査結果データを答えとする教師データを取得する。学習用角膜画像データは、学習用被検体の目の角膜の少なくとも一部を描出している学習用角膜画像を示すデータである。学習用検査結果データは、学習用被検体の目の涙液油層の厚みを調べる検査の結果を示すデータである。
　機械学習実行機能１０２ｇは、教師データを機械学習プログラム７５０ｇに入力し、機械学習プログラム７５０ｇを学習させる。
　これにより、機械学習実行プログラム１００ｇは、学習用角膜画像データに基づいてドライアイの症状に関する検査の結果を予測する機械学習プログラム７５０ｇを生成することができる。
　また、機械学習実行プログラム１００ｇは、学習用被検体の目の角膜のうち学習用被検体の下瞼に近い部分を描出している学習用角膜画像を示す学習用角膜画像データを含んでいる教師データである程、機械学習プログラムに優先的に入力してもよい。
　これにより、機械学習実行プログラム１００ｇは、学習用角膜画像データに基づいてドライアイの症状に関する検査の結果を更に精度良く予測する機械学習プログラム７５０ｇを生成することができる。
　ドライアイ検査プログラム２００ｇは、データ取得機能２０１ｇと、症状推定機能２０２ｇとを備える。
　データ取得機能２０１ｇは、推論用角膜画像データを取得する。推論用角膜画像データは、推論用被検体の目の角膜の少なくとも一部を描出している推論用角膜画像を示すデータである。
　症状推定機能２０２ｇは、機械学習実行プログラム１００ｇにより学習済みの機械学習プログラム７５０ｇに推論用角膜画像データを入力し、推論用被検体の目に現れているドライアイの症状を推定させる。そして、症状推定機能２０２ｇは、機械学習プログラム７５０ｇに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
　これにより、ドライアイ検査プログラム２００ｇは、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる。
　また、ドライアイ検査プログラム２００ｇは、学習用被検体の目の角膜のうち学習用被検体の下瞼に近い部分を描出している学習用角膜画像を示す学習用角膜画像データを含んでいる教師データである程、優先的に入力された機械学習プログラム７５０ｇに推論用角膜画像データを入力する。そして、ドライアイ検査プログラム２００ｇは、機械学習プログラム７５０ｇに推論用被検体の目に現れているドライアイの症状を推定させる。
　これにより、ドライアイ検査プログラム２００ｇは、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を更に精度良く予測することができる。
　次に、機械学習プログラム７５０ｇを実際に学習させ、ドライアイの症状を推定させた例を挙げて、機械学習実行プログラム１００ｇにより奏される効果の具体例を比較例と第七実施例に係る実施例とを対比させて説明する。
　この場合の比較例では、学習用角膜画像データではなく、学習用被検体の目を描出している画像を示す画像データが教師データに含まれる問題となる。また、この場合の比較例では、上述した学習用被検体の目が正常であることを表している５２０個の教師データ及び学習用被検体の目が異常であることを表している６００個の教師データを使用して機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した画像データを含んでおり、学習用被検体の目が正常であることを表している８０個のテストデータ及び上述した画像データを含んでおり、学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度５０％及び偽陰性率５０％を示した。
　一方、機械学習実行プログラム１００ｇが学習用被検体の目の角膜全体のみを描出している学習用角膜画像データのみを使用して学習させた機械学習プログラム７５０ｇは、同様の学習用角膜画像データを含んでいるテストデータを使用して特性を評価すると、予測精度６９％及び偽陰性率３１％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　また、機械学習実行プログラム１００ｇが学習用被検体の目の角膜のうち下瞼側の半分のみを描出している学習用角膜画像データのみを使用して学習させた機械学習プログラム７５０ｇは、同様の学習用角膜画像データを含んでいるテストデータを使用して特性を評価すると、予測精度７８％及び偽陰性率２２％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
　また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
　なお、機械学習実行プログラム１００ｇが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。同様に、ドライアイ検査プログラム２００ｇが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。また、このようなハードウェアは，例えば、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵである。
　また、機械学習実行プログラム１００ｇが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。同様に、ドライアイ検査プログラム２００ｇが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　また、第七実施例では、機械学習実行装置１０ｇと、機械学習装置７００ｇと、ドライアイ検査装置２０ｇとが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これらの装置は、一つの装置として実現されていてもよい。
　［第六実施例及び第七実施例の変形例］
　上述した第六実施例では、教師データ取得機能１０１ｆが第七実施例で説明した学習用角膜画像データを問題に含まない教師データを取得する場合を例に挙げたが、これに限定されない。教師データ取得機能１０１ｆは、学習用画像データに代わり、学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の角膜を描出している学習用角膜画像データを問題として含んでいる教師データを取得してもよい。また、この場合、データ取得機能２０１ｆは、推論用画像データに代わり、推論用被検体の目を照らしている光よりも色温度が低い光で推論用被検体の目が照らされていると仮定した場合における推論用被検体の角膜を描出している推論用角膜画像データを取得する。そして、この場合、症状推定機能２０２ｆは、機械学習プログラム７５０ｆに、推論用画像データに代わり、推論用被検体の目を照らしている光よりも色温度が低い光で推論用被検体の目が照らされていると仮定した場合における推論用被検体の角膜を描出している推論用角膜画像データに基づいて推論用被検体の目に現れているドライアイの症状を推定させる。
　また、上述した第七実施例では、教師データ取得機能１０１ｇが第六実施例で説明した学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の目を描出している学習用画像データを問題に含まない教師データを取得する場合を例に挙げたが、これに限定されない。教師データ取得機能１０１ｇは、学習用角膜画像データに代わり、学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の角膜を描出している学習用角膜画像データを問題として含んでいる教師データを取得してもよい。また、この場合、データ取得機能２０１ｇは、推論用被検体の目を照らしている光よりも色温度が低い光で推論用被検体の目が照らされていると仮定した場合における推論用被検体の角膜を描出している推論用角膜画像データを取得する。そして、この場合、症状推定機能２０２ｇは、機械学習プログラム７５０ｇに、推論用被検体の目を照らしている光よりも色温度が低い光で推論用被検体の目が照らされていると仮定した場合における推論用被検体の角膜を描出している推論用角膜画像データに基づいて推論用被検体の目に現れているドライアイの症状を推定させる。
　次に、学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の角膜を描出している学習用角膜画像データを問題として含んでいる教師データを使用して学習させ、推論用被検体の目を照らしている光よりも色温度が低い光で推論用被検体の目が照らされていると仮定した場合における推論用被検体の角膜を描出している推論用角膜画像データに基づいて推論用被検体の目に現れているドライアイの症状を推定させる場合に奏される効果の具体例について説明する。また、以下の説明では、教師データ取得機能１０１ｆが学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の角膜を描出している学習用角膜画像データを取得し、データ取得機能２０１ｆが推論用被検体の目を照らしている光よりも色温度が低い光で推論用被検体の目が照らされていると仮定した場合における推論用被検体の角膜を描出している推論用角膜画像データを取得する場合を例に挙げて説明する。
　この場合の比較例では、学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の角膜を描出している学習用角膜画像データではなく、学習用被検体の目を照らしている光と色温度が等しい光で学習用被検体の目が照らされている場合における学習用被検体の角膜を描出している画像を示す画像データが教師データに含まれる問題となる。また、この場合の比較例では、上述した学習用被検体の目が正常であることを表している５２０個の教師データ及び学習用被検体の目が異常であることを表している６００個の教師データを使用して機械学習プログラムを学習させた例である。
　このように学習した機械学習プログラムは、上述した画像データを含んでおり、学習用被検体の目が正常であることを表している８０個のテストデータ及び述した画像データを含んでおり、学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度５０％及び偽陰性率５０％を示した。
　一方、機械学習実行プログラム１００ｆが学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の目の角膜全体のみを描出している学習用角膜画像データを使用して学習させた機械学習プログラム７５０ｆは、同様の学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の角膜を描出している学習用角膜画像データを含んでいるテストデータを使用して特性を評価すると、予測精度８１％及び偽陰性率１５％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　また、機械学習実行プログラム１００ｆが学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の目の角膜のうち下瞼側の半分のみを描出している学習用角膜画像データを使用して学習させた機械学習プログラム７５０ｆは、同様の学習用被検体の目を照らしている光よりも色温度が低い光で学習用被検体の目が照らされていると仮定した場合における学習用被検体の角膜を描出している学習用角膜画像データを含んでいるテストデータを使用して特性を評価すると、予測精度８９％及び偽陰性率５％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
　なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
　また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
　なお、上述したドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、推論用被検体の目にドライアイ点眼薬が点眼される前後で使用されてもよい。上述したドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、このようなタイミングで使用されることにより、推論用被検体が抱えるドライアイの症状に対して当該ドライアイ点眼薬が有している有効性を検証する手段ともなり得る。
　１０…機械学習実行装置、１００…機械学習実行プログラム、１０１…教師データ取得機能、１０２…機械学習実行機能、２０…検査装置、２００…検査プログラム、２０１…データ取得機能、２０２…推定機能

Claims (15)

  1. 　推論用被検体の目を描出している推論用画像を示す推論用画像データを取得し、
    　学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを使用して学習した機械学習プログラムに前記推論用画像データを入力し、前記機械学習プログラムに前記推論用被検体の目の状態を推定させ、前記機械学習プログラムに前記推論用被検体の目の状態を示す推論用データを出力させる、
    　検査方法。
  2. 　前記推論用画像に描出されている前記推論用被検体の目のうち所定の条件を満たす領域の表示の態様と、前記所定の条件を満たさない領域の表示の態様とが異なる画像を示す前記推論用データを出力させる、
    　請求項１に記載の検査方法。
  3. 　前記学習用被検体の目の状態を改善する施策を示す学習用施策データを前記答えの一部として更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目の状態を改善する施策を示す前記推論用データを出力させる、
    　請求項１又は請求項２に記載の検査方法。
  4. 　前記推論用被検体の目の角膜の少なくとも一部を描出している前記推論用画像を示す前記推論用画像データを取得し、
    　前記学習用被検体の目の角膜の少なくとも一部を描出している前記学習用画像を示す前記学習用画像データを前記問題とする前記教師データを使用して学習した前記機械学習プログラムに前記推論用データを出力させる、
    　請求項１から請求項３のいずれか一つに記載の検査方法。
  5. 　前記学習用被検体の目の涙液油層の厚みを調べる検査の結果を示す学習用検査結果データを前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに前記推論用データを出力させる、
    　請求項４に記載の検査方法。
  6. 　前記推論用被検体の目の結膜の少なくとも一部を描出している前記推論用画像を示す前記推論用画像データを取得し、
    　前記学習用被検体の目の結膜の少なくとも一部を描出している前記学習用画像を示す前記学習用画像データを前記問題とする前記教師データを使用して学習した前記機械学習プログラムに前記推論用データを出力させる、
    　請求項１から請求項５のいずれか一つに記載の検査方法。
  7. 　前記推論用被検体の目の充血の度合いを示す推論用充血データを更に取得し、
    　前記学習用被検体の目の充血の度合いを示す学習用充血データを前記問題の一部として更に含んでおり、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、前記検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
    　請求項１から請求項６のいずれか一つに記載の検査方法。
  8. 　前記推論用被検体が抱えている目の自覚症状に関する質問に回答した結果を示す推論用回答データを更に取得し、
    　前記学習用被検体が抱えている目の自覚症状に関する質問に回答した結果を示す学習用回答データを前記問題の一部として更に含んでおり、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、前記検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
    　請求項１から請求項７のいずれか一つに記載の検査方法。
  9. 　前記推論用画像が撮影された目を前記推論用被検体が連続して開けることができた時間である最大開瞼時間を示す推論用開瞼データを更に取得し、
    　前記学習用画像が撮影された目を前記学習用被検体が連続して開けることができた時間である最大開瞼時間を示す学習用開瞼データを前記問題の一部として更に含んでおり、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
    　請求項１から請求項６のいずれか一つに記載の検査方法。
  10. 　前記推論用被検体の目の涙液メニスカスを描出している前記推論用画像から前記推論用被検体の涙液メニスカスを描出している領域を切り出した推論用涙液メニスカス画像を示す推論用涙液メニスカス画像データを前記推論用画像データとして取得し、
    　前記学習用被検体の目の涙液メニスカスを描出している前記学習用画像から前記学習用被検体の涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像を示す学習用涙液メニスカス画像データを前記学習用画像データを前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
    　請求項１から請求項６及び請求項９のいずれか一つに記載の検査方法。
  11. 　前記推論用被検体の角膜に映り込んでいる照明を描出している前記推論用画像から前記推論用被検体の角膜に映り込んでいる照明を描出している領域を切り出した推論用照明画像を示す推論用照明画像データを前記推論用画像データとして取得し、
    　前記学習用被検体の角膜に映り込んでいる照明を描出している前記学習用画像から前記学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像を示す学習用照明画像データを前記学習用画像データを前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
    　請求項１から請求項６、請求項９及び請求項１０のいずれか一つに記載の検査方法。
  12. 　前記推論用被検体の目を照らしている光よりも色温度が低い光で前記推論用被検体の目が照らされていると仮定した場合における前記推論用被検体の目を描出している前記推論用画像を示す前記推論用画像データを取得し、
    　前記学習用被検体の目を照らしている光よりも色温度が低い光で前記学習用被検体の目が照らされていると仮定した場合における前記学習用被検体の目を描出している前記学習用画像を示す前記学習用画像データを前記問題とし、前記学習用被検体の目の涙液油層の厚みを調べる検査の結果を示す学習用検査結果データを前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
    　請求項１から請求項６のいずれか一つに記載の検査方法。
  13. 　学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを取得し、
    　前記教師データを機械学習プログラムに入力し、前記機械学習プログラムを学習させる、
    　機械学習実行方法。
  14. 　推論用被検体の目を描出している推論用画像を示す推論用画像データを取得するデータ取得部と、
    　学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを使用して学習した機械学習プログラムに前記推論用画像データを入力し、前記機械学習プログラムに前記推論用被検体の目の状態を推定させ、前記機械学習プログラムに前記推論用被検体の目の状態を示す推論用データを出力させる推定部と、
    　を備える検査装置。
  15. 　学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを取得する教師データ取得部と、
    　前記教師データを機械学習プログラムに入力し、前記機械学習プログラムを学習させる機械学習実行部と、
    　を備える機械学習実行装置。
PCT/JP2021/039589 2020-10-28 2021-10-27 検査方法、機械学習実行方法、検査装置及び機械学習実行方法 WO2022092134A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237003200A KR20230096957A (ko) 2020-10-28 2021-10-27 검사 방법, 기계 학습 실행 방법, 검사 장치, 및 기계 학습 실행 방법

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2020-180593 2020-10-28
JP2020180593A JP2022071558A (ja) 2020-10-28 2020-10-28 涙液角結膜状態検査装置、涙液角結膜状態検査方法、及びプログラム
JP2020217684A JP2022102758A (ja) 2020-12-25 2020-12-25 機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置及びドライアイ検査装置
JP2020217685A JP2022102759A (ja) 2020-12-25 2020-12-25 機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置及びドライアイ検査装置
JP2020-217684 2020-12-25
JP2020-217685 2020-12-25
JP2020217683A JP2022102757A (ja) 2020-12-25 2020-12-25 機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置及びドライアイ検査装置
JP2020-217683 2020-12-25

Publications (1)

Publication Number Publication Date
WO2022092134A1 true WO2022092134A1 (ja) 2022-05-05

Family

ID=81382585

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/039589 WO2022092134A1 (ja) 2020-10-28 2021-10-27 検査方法、機械学習実行方法、検査装置及び機械学習実行方法

Country Status (3)

Country Link
KR (1) KR20230096957A (ja)
TW (1) TW202222245A (ja)
WO (1) WO2022092134A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024069762A1 (ja) * 2022-09-27 2024-04-04 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273171A1 (en) * 2007-05-04 2008-11-06 Advanced Medical Optics, Inc. Methods and devices for measuring tear film and diagnosing tear disorders
US20170188805A1 (en) * 2015-12-31 2017-07-06 Anantha Pradeep System and method for analyzing eye and contact lens condition
WO2019031424A1 (ja) * 2017-08-07 2019-02-14 興和株式会社 涙液状態評価方法、コンピュータプログラム、装置
WO2019168142A1 (ja) * 2018-03-02 2019-09-06 興和株式会社 画像分類方法、装置及びプログラム
JP2019155011A (ja) * 2018-03-16 2019-09-19 株式会社トプコン 携帯端末及び携帯端末の制御方法
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
EP3666177A1 (en) * 2017-10-31 2020-06-17 Samsung Electronics Co., Ltd. Electronic device and method for determining degree of conjunctival hyperemia by using same
CN111700582A (zh) * 2020-06-23 2020-09-25 温州医科大学附属眼视光医院 一种基于智能终端的常见眼表疾病诊断系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036835A (ja) 2018-09-05 2020-03-12 株式会社クレスコ 眼科診断支援装置、眼科診断支援方法、及び眼科診断支援プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273171A1 (en) * 2007-05-04 2008-11-06 Advanced Medical Optics, Inc. Methods and devices for measuring tear film and diagnosing tear disorders
US20170188805A1 (en) * 2015-12-31 2017-07-06 Anantha Pradeep System and method for analyzing eye and contact lens condition
WO2019031424A1 (ja) * 2017-08-07 2019-02-14 興和株式会社 涙液状態評価方法、コンピュータプログラム、装置
EP3666177A1 (en) * 2017-10-31 2020-06-17 Samsung Electronics Co., Ltd. Electronic device and method for determining degree of conjunctival hyperemia by using same
WO2019168142A1 (ja) * 2018-03-02 2019-09-06 興和株式会社 画像分類方法、装置及びプログラム
JP2019155011A (ja) * 2018-03-16 2019-09-19 株式会社トプコン 携帯端末及び携帯端末の制御方法
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN111700582A (zh) * 2020-06-23 2020-09-25 温州医科大学附属眼视光医院 一种基于智能终端的常见眼表疾病诊断系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024069762A1 (ja) * 2022-09-27 2024-04-04 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
KR20230096957A (ko) 2023-06-30
TW202222245A (zh) 2022-06-16

Similar Documents

Publication Publication Date Title
Gunasekeran et al. Artificial intelligence for diabetic retinopathy screening, prediction and management
Rajalakshmi et al. Review of retinal cameras for global coverage of diabetic retinopathy screening
Pieczynski et al. The role of telemedicine, in-home testing and artificial intelligence to alleviate an increasingly burdened healthcare system: Diabetic retinopathy
JP2018005553A (ja) 医療支援方法及び医療支援システム
EP4025114A1 (en) Machine learning methods for creating structure-derived visual field priors
Villarruel et al. Anterior lamina cribrosa surface position in idiopathic intracranial hypertension and glaucoma
WO2022092134A1 (ja) 検査方法、機械学習実行方法、検査装置及び機械学習実行方法
Chen et al. Early detection of visual impairment in young children using a smartphone-based deep learning system
Shi et al. Assessment of image quality on color fundus retinal images using the automatic retinal image analysis
Nderitu et al. Deep learning for gradability classification of handheld, non-mydriatic retinal images
KR20210096737A (ko) 안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템
WO2021132307A1 (ja) 眼科画像処理方法、眼科画像処理装置及び眼科画像処理プログラム
Manivannan et al. Clinical investigation of a true color scanning laser ophthalmoscope
Zhu et al. Tortuosity of retinal main and branching arterioles, venules in patients with type 2 diabetes and diabetic retinopathy in China
US20220328186A1 (en) Automatic cervical cancer diagnosis system
JPWO2020116351A1 (ja) 診断支援装置、および診断支援プログラム
Shroff et al. Agreement of a novel artificial intelligence software with optical coherence tomography and manual grading of the optic disc in glaucoma
Yeh et al. Evaluation of a remote telemedicine platform using a novel handheld fundus camera: Physician and patient perceptions from real-world experience
Banaee et al. Distribution of different sized ocular surface vessels in diabetics and normal individuals
Kumar et al. Fundus Imaging-Based Healthcare: Present and Future
KR20220158957A (ko) 시선추적과 실시간 표정분석을 이용한 개인성향 예측 시스템 및 그 방법
JP2022071558A (ja) 涙液角結膜状態検査装置、涙液角結膜状態検査方法、及びプログラム
Quintero et al. Distinguishing glaucoma, cataract, and glaucoma suspect based on visual symptoms
JP7094468B1 (ja) 検査方法
Selvin et al. Comprehensive Eye Telehealth

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21886252

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21886252

Country of ref document: EP

Kind code of ref document: A1