WO2021020444A1 - 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 - Google Patents
情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 Download PDFInfo
- Publication number
- WO2021020444A1 WO2021020444A1 PCT/JP2020/029058 JP2020029058W WO2021020444A1 WO 2021020444 A1 WO2021020444 A1 WO 2021020444A1 JP 2020029058 W JP2020029058 W JP 2020029058W WO 2021020444 A1 WO2021020444 A1 WO 2021020444A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information processing
- image data
- eye
- processing device
- information
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 333
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000003745 diagnosis Methods 0.000 claims abstract description 267
- 230000005540 biological transmission Effects 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims description 216
- 238000012937 correction Methods 0.000 claims description 52
- 238000012360 testing method Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 29
- 208000017442 Retinal disease Diseases 0.000 claims description 19
- 206010038923 Retinopathy Diseases 0.000 claims description 19
- 238000002059 diagnostic imaging Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000002207 retinal effect Effects 0.000 claims description 4
- 238000003325 tomography Methods 0.000 claims description 4
- 206010002329 Aneurysm Diseases 0.000 claims description 3
- 206010012689 Diabetic retinopathy Diseases 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 206010047571 Visual impairment Diseases 0.000 claims 1
- 230000003902 lesion Effects 0.000 claims 1
- 230000002792 vascular Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 description 82
- 238000010586 diagram Methods 0.000 description 20
- 210000004204 blood vessel Anatomy 0.000 description 16
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000012217 deletion Methods 0.000 description 8
- 230000037430 deletion Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Definitions
- the present invention relates to an information processing system, an information processing device, an information processing method, and an information processing program.
- An ophthalmic information processing server capable of performing a wide variety of ophthalmic image analysis is known. However, the handling of patient consent information is not considered.
- the information processing system of the first disclosure technology includes an image acquisition device that acquires the eye test image data of the patient, a first information processing device that can communicate with the image acquisition device and stores the eye test image data, and the first information processing device.
- An information processing system including a second information processing device capable of communicating with one information processing device and performing image diagnosis using the eye-tested image data, and the image acquisition device transfers to the first information processing device.
- the first consent information indicating permission or disapproval of transmission of the eye test image data and the reuse of the eye test image data in the second information processing device after the image diagnosis by the second information processing device.
- the patient information of the patient, the eye image data to be examined, and the second consent information are used.
- the first transmission process of transmitting the included first transmission data to the first information processing device is executed and the first information processing device receives the first transmission data from the image acquisition device, the first transmission data is received.
- a storage process for storing the eye examination image data, a second generation process for generating identification information unique to the eye examination image data when the first transmission data is received, the identification information, the eye examination image data, and the first 2 The second transmission process of transmitting the second transmission data including the consent information to the second information processing device is executed, and the second information processing device executes the second transmission data from the first information processing device.
- the image diagnosis process for image diagnosis based on the eye test image data and the second consent information indicate disapproval of reuse of the eye test image data
- the eye test image data is subjected to the image diagnosis.
- the second consent information is deleted after the processing and the second consent information indicates permission to reuse the eye test image data
- the data processing for storing the eye test image data and the image diagnosis result by the image diagnosis process in the database and the identification is executed.
- the information processing system of the second disclosure technology is an information processing system capable of communicating between a first information processing device that stores patient eye image data and a second information processing device that can communicate with the first information processing device.
- the first information processing device converts the eye-tested image data into the second information processing device based on consent information regarding consent to use the patient's eye-tested image data in the second information processing device.
- the second information processing apparatus executes the first transmission process of transmitting to, and the second information processing apparatus performs an image diagnosis process of performing an image diagnosis based on the eye-tested image data transmitted by the first transmission process, and the image diagnosis.
- the second transmission process of transmitting the image diagnosis result by the process to the first information processing apparatus is executed.
- the information processing device of the third disclosure technology is an information processing device capable of communicating with another information processing device, and includes a processor that executes a program and a storage device that stores the program. Based on the acquisition process for acquiring consent information regarding consent for use of the patient's eye test image data in the other information processing apparatus, and the consent information acquired by the acquisition process, the eye test image data is obtained from the other. The transmission process to be transmitted to the information processing device of the above is executed.
- the information processing device of the fourth disclosure technology is an information processing device capable of communicating with another information processing device that stores the patient's eye image data, and includes a processor that executes a program and a storage device that stores the program. , And access to a database that stores training data, the processor agrees to indicate permission or disapproval of the eye test image data and the reuse of the eye test image data in the information processing apparatus.
- the reception process of receiving information from the other information processing device, the image diagnosis process of performing image diagnosis based on the eye-tested eye image data received by the reception process, and the image diagnosis result of the image diagnosis process of the other Based on the consent information received by the reception process, the transmission process to be transmitted to the information processing apparatus of the above is executed, and the data process related to the deletion of the eye-tested image data or the storage in the database is executed.
- the information processing device of the fifth disclosure technology is an information processing device capable of communicating with another first information processing device that stores the patient's eye image data and another second information processing device that has a database that stores learning data. It has a processor that executes a program and a storage device that stores the program, and the processor permits the reuse of the eye test image data and the eye test image data in the information processing apparatus.
- a reception process for receiving consent information indicating disapproval from the other first information processing device an image diagnosis process for performing image diagnosis based on the eye-tested eye image data received by the reception process, and the image diagnosis.
- the eye-tested image data is deleted or the other second information processing device is used. Data processing that executes transmission to and executes.
- the information processing program of the sixth disclosure technology acquires consent information regarding consent for use of the patient's eye image data in the other information processing device from the processor of the information processing device capable of communicating with the other information processing device.
- the acquisition process and the transmission process of transmitting the eye-tested image data to the other information processing apparatus based on the consent information acquired by the acquisition process are executed.
- the information processing program of the seventh disclosure technology is capable of communicating with another information processing device that stores the patient's eye test image data, and is connected to the processor of the information processing device that can access the database that stores the learning data.
- the reception process of receiving the image data and the consent information indicating the permission or disapproval of the reuse of the eye test image data in the information processing device from the other information processing device, and the reception process received by the reception process.
- the transmission process that transmits the image diagnosis result by the image diagnosis process to the other information processing device, and the consent information received by the reception process.
- Data processing related to erasing the eye-tested image data or saving in the database is executed.
- the information processing program of the eighth disclosure technique is an information processing device capable of communicating with another first information processing device that stores the patient's eye image data and another second information processing device that has a database that stores the learning data.
- a reception process for receiving the eye-tested image data and consent information indicating permission or disapproval of reuse of the eye-tested image data in the information processing device from the other first information processing device to the processor.
- An image diagnosis process for performing image diagnosis based on the eye-tested image data received by the reception process, a transmission process for transmitting the image diagnosis result by the image diagnosis process to the other information processing device, and reception by the reception process.
- the data processing related to the erasure of the eye-tested image data or the transmission to the other second information processing apparatus is executed.
- the information processing method of the ninth disclosure technique is an information processing method executed by an information processing device capable of communicating with another information processing device, and relates to the use of the patient's eye image data in the other information processing device. It includes an acquisition process for acquiring consent information regarding consent, and a transmission process for transmitting the eye-tested image data to the other information processing device based on the consent information acquired by the acquisition process.
- the information processing method of the tenth disclosure technique is an information processing method executed by an information processing device that can communicate with another information processing device that stores the patient's eye image data and has access to a database that stores the learning data.
- a reception process for receiving the eye-tested image data and consent information indicating permission or disapproval of reuse of the eye-tested image data in the information processing device from the other information processing device, and the above-mentioned An image diagnosis process for performing image diagnosis based on the eye image data to be inspected received by the reception process, a transmission process for transmitting the image diagnosis result by the image diagnosis process to the other information processing apparatus, and a reception process received by the reception process.
- a data control process for controlling the erasure of the eye image data to be inspected or the storage in the database based on the consent information is included.
- the information processing method of the eleventh disclosure technique includes an information processing device capable of communicating with another first information processing device that stores the patient's eye image data and another second information processing device that has a database that stores learning data.
- the information processing method to be executed is the other first information processing apparatus, wherein the information processing device includes the eye-tested image data and consent information indicating permission or disapproval of reuse of the eye-tested image data in the information processing device.
- a reception process for receiving from, an image diagnosis process for performing image diagnosis based on the eye-tested image data received by the reception process, and a transmission process for transmitting the image diagnosis result by the image diagnosis process to the other information processing apparatus.
- a data control process for controlling the erasure of the eye image data to be inspected or the transmission to the other second information processing apparatus based on the consent information received by the reception process.
- FIG. 1 is an explanatory diagram showing an example of diagnostic imaging using consent information.
- FIG. 2 is a block diagram showing an example of a computer hardware configuration.
- FIG. 3 is an explanatory diagram showing an example of stored contents of the patient information DB.
- FIG. 4 is an explanatory diagram showing an example of an operation sequence of the information processing system according to the first embodiment.
- FIG. 5 is a flowchart showing a detailed processing procedure example of the diagnostic data transmission determination process (step S414) shown in FIG.
- FIG. 6 is a flowchart showing a detailed processing procedure example 1 of the fundus image data handling process (step S433) shown in FIG.
- FIG. 7 is a flowchart showing a detailed processing procedure example 2 of the fundus image data handling process (step S433) shown in FIG.
- FIG. 8 is an explanatory diagram showing Example 1 of the fundus image data correction process (step S702).
- FIG. 9 is an explanatory diagram showing Example 2 of the fundus image data correction process (step S702).
- FIG. 10 is a flowchart showing a detailed processing procedure example 3 of the fundus image data handling process (step S433) shown in FIG.
- FIG. 11 is a flowchart showing another detailed processing procedure example of the fundus image data correction processing (step S702) shown in FIGS. 7 and 9.
- FIG. 12 is an explanatory diagram showing an example of the severity of diabetic retinopathy.
- FIG. 13 is a block diagram showing a functional configuration example of the information processing system according to the first embodiment.
- FIG. 13 is a block diagram showing a functional configuration example of the information processing system according to the first embodiment.
- FIG. 14 is an explanatory diagram showing an example of an operation sequence of the information processing system according to the second embodiment.
- FIG. 15 is a flowchart showing a detailed processing procedure example of the fundus image data handling process (step S432) shown in FIG.
- FIG. 16 is a block diagram showing a functional configuration example of the information processing system according to the second embodiment.
- FIG. 1 is an explanatory diagram showing an example of fundus image diagnosis using consent information.
- the fundus image diagnosis using the consent information is executed by the information processing system 100.
- the information processing system 100 includes an in-hospital system 101, a management server 120, and an AI (Artificial Intelligence) server 130.
- the in-hospital system 101 and the management server 120 are communicably connected.
- the management server 120 and the AI server 130 are communicably connected to each other.
- the in-hospital system 101 is provided in, for example, a hospital or a clinic (ophthalmologist, internist, diabetic internist, etc.).
- the in-hospital system 101 includes an ophthalmic apparatus 111, a terminal 112, and an in-hospital server 113.
- the ophthalmic apparatus 111 is communicably connected to the terminal 112.
- the ophthalmologic apparatus 111 includes a fundus camera, a scanning laser ophthalmoscope that scans a laser beam on the eye to be inspected and generates an image based on the reflected light from the fundus, and an optical coherence tomography. Tomography) or the like, and generates fundus image data 102R, 102L of the eye to be inspected.
- the ophthalmic apparatus 111 transmits the generated fundus image data 102 to the terminal 112.
- the fundus image data 102 includes the shooting date.
- the fundus image data is any one of fundus image data taken by a fundus camera, fundus image data of the fundus taken by a scanning laser ophthalmoscope, or tomographic data of the fundus taken by an optical interference tomometer. It may be there. Alternatively, it may be a fundus image data set that is a combination of two or more of them.
- the ophthalmologic apparatus 111 is composed of, for example, at least one of a fundus camera, a scanning laser ophthalmoscope, and an optical interference tomography meter. Therefore, the fundus image data 102 is a combination of any one or more of the fundus image data by the fundus camera, the fundus image data by the scanning laser ophthalmoscope, and the tomographic data by the optical interference tomography.
- the terminal 112 is a computer capable of communicating with the ophthalmic apparatus 111 and the in-hospital server 113.
- the terminal 112 may be capable of directly communicating with the management server 120.
- the terminal 112 is used, for example, by a doctor.
- the terminal 112 is, for example, a personal computer or a tablet.
- the terminal 112 transfers the fundus image data 102 from the ophthalmic apparatus 111 to the in-hospital server 113.
- the terminal 112 transmits the consent information 103 to the in-hospital server 113.
- the consent information 103 is information indicating whether or not the patient i consents to the use of the fundus image data 102 of his / her own eye to be used outside the in-hospital system 101.
- the consent information 103 includes the first consent information 103a and the second consent information 103b.
- the first consent information 103a is, for example, an external storage flag indicating permission or disapproval of transmission of fundus image data 102 to the management server 120 outside the hospital system 101.
- the external storage flag indicates permission (OK) to transmit the fundus image data 102 to the management server 120 outside the hospital system 101, and when it is "0", it indicates disapproval (NG).
- the second consent information 103b is, for example, a secondary use flag indicating permission or disapproval of reuse of the fundus image data 102 on the AI server 130 after the image diagnosis on the AI server 130 outside the hospital system 101.
- the secondary use flag is "1"
- the permission (OK) for the secondary use of the fundus image data 102 on the AI server 130 is indicated, and when it is "0", the permission (NG) is indicated.
- Consent information 103 exists for each patient i. Further, the consent information 103 may be provided with an expiration date. Further, the consent information 103 may be present for each patient i for each imaging time.
- the data format of the consent information 103 may be any data format as long as it can be recognized by the hospital server 113, the management server 120, and the AI server 130.
- the terminal 112 receives the patient information and the diagnosis result data 105 from the in-hospital server 113 and displays them on the display screen.
- the fundus image data 102 from the ophthalmic apparatus 111, the patient information from the hospital server 113, the diagnosis result included in the diagnosis result data 105, and the consent information 103 have the same ID (for example, the same ID (for example) by the terminal 112 or the hospital server 113. It shall be associated with the patient ID).
- the in-hospital server 113 is a computer capable of communicating with the terminal 112 and the management server 120.
- the in-hospital server 113 has a patient information DB 114.
- the patient information DB 114 is a database that stores patient information.
- the in-hospital server 113 receives the patient ID and the fundus image data 102 from the terminal 112.
- the in-hospital server 113 stores the fundus image data 102, the diagnosis result included in the diagnosis result data, and the consent information 103 in the patient information DB 114 in association with the patient information specified by the patient ID.
- the hospital server 113 transmits diagnostic data 104 to the management server 120 and indicates disapproval. Do not send.
- the in-hospital server 113 can comply with the first consent information 103a of the patient i.
- the diagnostic data 104 includes patient information of patient i, fundus image data 102, and second consent information 103b.
- the in-hospital server 113 receives the diagnosis result data 105 from the management server 120.
- the in-hospital server 113 stores the diagnosis result included in the received diagnosis result data 105 in the patient information DB 114.
- the management server 120 is a computer capable of communicating with the hospital server 113 and the AI server 130.
- the management server 120 receives the diagnostic data 104 from the hospital server 113.
- the management server 120 anonymizes the received diagnostic data 104. Specifically, for example, the management server 120 issues a new ID (hereinafter, anonymized ID) and associates it with the patient information in the received diagnostic data 104. Then, the management server 120 sets the combination of the anonymization ID and the fundus image data 102 as the anonymization diagnosis data 106.
- anonymized ID a new ID
- the management server 120 sets the combination of the anonymization ID and the fundus image data 102 as the anonymization diagnosis data 106.
- the patient ID in the patient information may be used as the anonymized ID.
- the anonymized diagnostic data 106 is composed of the patient ID, which is the anonymized ID, the fundus image data 102, and the second consent information 103b.
- the patient information is anonymized.
- the management server 120 may include the patient information in the anonymized diagnostic data 106 as long as the information does not uniquely identify the patient i.
- Information that does not uniquely identify patient i includes, for example, the visual acuity, gender, age, and nationality of patient i.
- the management server 120 may encrypt the patient information.
- the management server 120 transmits the combination of the encrypted patient information and the fundus image data 102 to the AI server 130 as anonymized diagnostic data.
- the management server 120 receives the anonymization diagnosis result data 107 from the AI server 130.
- the anonymized diagnosis result data 107 includes an anonymized ID included in the anonymized diagnosis data 106 and a diagnosis result which is the severity (also referred to as progression) of the symptom of the eye to be examined.
- the management server 120 converts the received anonymization diagnosis result data 107 into the diagnosis result data 105.
- the management server 120 acquires the patient information associated with the anonymization ID included in the received anonymization diagnosis result data 107, and replaces the anonymization ID with the acquired patient information. , Generate diagnosis result data 105 including patient information and diagnosis result.
- the management server 120 transmits the anonymized diagnostic data 106, which is a combination of the encrypted patient information, the fundus image data 102, and the second consent information 103b, the management server 120 encrypts the encrypted patient information.
- the anonymized diagnosis result data 107 including the patient information and the diagnosis result will be received from the AI server 130.
- the management server 120 converts the anonymized diagnosis result data 107 into the diagnosis result data 105 by decrypting the encrypted patient information. In this way, the management server 120 can conceal the patient information by anonymization or encryption, and can protect the personal information. After that, the management server 120 transmits the generated diagnosis result data 105 to the in-hospital server 113.
- the AI server 130 is a computer that executes fundus image diagnosis by AI using learning parameters obtained by machine learning or deep learning.
- the AI server 130 learns the combination of the past fundus image data 103 and its progress as training data, and generates learning parameters.
- the training data set and the learning parameters are stored in the learning DB 1131. Further, the learning DB 1131 stores the findings 105 corresponding to the degree of progress.
- the features of the fundus image are extracted using a convolutional neural network (CNN). Then, the symptom of the input fundus image is estimated based on the feature amount.
- CNN convolutional neural network
- the AI server 130 receives the anonymized diagnostic data 106.
- the AI server 130 inputs the fundus image data 102 included in the anonymized diagnostic data 106 into a learning model in which learning parameters are applied to CNN, and outputs the severity.
- the AI server 130 generates anonymization diagnosis result data 107 including the anonymization ID included in the anonymization diagnosis data 106 and the severity output from the learning model.
- the AI server 130 transmits the generated anonymization diagnosis result data 107 to the management server 120.
- the AI server 130 determines the severity and the severity thereof.
- the combination with the fundus image data 102 that is the output source is added as training data to the training data set of the learning DB, and if it indicates disapproval, it is not added.
- the AI server 130 can comply with the second consent information 103 of the patient i. In this way, the information processing system 100 can protect the personal information of the patient i.
- FIG. 2 is a block diagram showing a hardware configuration example of a computer (terminal 112, hospital server 113, management server 120, AI server 130, DB server 1400).
- the computer 200 has a processor 201, a storage device 202, an input device 203, an output device 204, and a communication interface (communication IF) 205.
- the processor 201, the storage device 202, the input device 203, the output device 204, and the communication IF 205 are connected by the bus 206.
- the processor 201 controls the computer 200.
- the storage device 202 serves as a work area for the processor 201. Further, the storage device 202 is a non-temporary or temporary recording medium for storing various programs and data. Examples of the storage device 202 include a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), and a flash memory.
- ROM Read Only Memory
- RAM Random Access Memory
- HDD Hard Disk Drive
- the input device 203 inputs data.
- the input device 203 includes, for example, a keyboard, a mouse, an input pen, a touch panel, a numeric keypad, and a scanner.
- the output device 204 outputs data.
- the output device 204 includes, for example, a display and a printer.
- the communication IF205 connects to the network and transmits / receives data.
- FIG. 3 is an explanatory diagram showing an example of stored contents of the patient information DB 114.
- the patient information DB 114 has a patient information field 301 and a diagnostic information field 302.
- the patient information field has 301, and as subfields, it has a patient ID field 311 and a name field 312, a gender field 313, a date of birth field 314, and a contact field 315. It is the patient information of the patients i (i is, for example, an integer of 1 or more) in the subfields 311 to 315 in the same line.
- the patient ID field 311 is a storage area for storing the patient ID.
- the patient IDPi is identification information that uniquely identifies the patient i.
- the name field 312 is a storage area for storing the patient i's name FNi.
- the gender field 313 is a storage area for storing the gender Si of the patient i.
- the date of birth field 314 is a storage area for storing the date of birth DOBi of patient i.
- the contact field 315 is a storage area for storing the contact ADi of the patient i.
- the diagnostic information field 302 is a storage area for storing the diagnostic information Di1 to Dij up to the jth time (j is an integer of 1 or more) of the patient i.
- the diagnostic information Dij includes fundus image data 102, a diagnostic result Rij, a photographing date Tij, and consent information 103.
- the diagnostic result Rij includes the severity from the AI server 130.
- the imaging date Tij is the date on which the fundus image data 102 was generated by imaging the eye to be inspected with the ophthalmic apparatus 111.
- the consent information 103 includes the first consent information 103a (external storage flag) and the second consent information 103b (secondary use flag) described above.
- FIG. 4 is an explanatory diagram showing an example of an operation sequence of the information processing system 100 according to the first embodiment.
- the image acquisition device 400 acquires the patient information of the patient i who is the subject from the patient information DB 114 (step S411).
- the image acquisition device 400 acquires the fundus image data 102 of the patient i via the terminal 112 (step S412).
- the in-hospital server 113 acquires the consent information 103 of the patient i via the terminal 112 (step S413).
- the image acquisition device 400 transmits the diagnostic data 104 including the patient information acquired in step S411, the fundus image data 102 acquired in step S412, and the second consent information 103b acquired in step S413.
- the determination process is executed (step S414).
- the transmission determination process (step S414) of the diagnostic data 104 is a process of determining whether or not to transmit the diagnostic data 104 according to the contents of the first consent information 103a.
- the image acquisition device 400 determines to transmit the diagnostic data 104 when the first consent information 103a indicates transmission permission, and determines not to transmit the diagnostic data 104 when the first consent information 103a indicates transmission disapproval. ..
- the details of the transmission determination process (step S414) of the diagnostic data 104 will be described later.
- the image acquisition device 400 transmits the diagnostic data 104 to the management server 120 only when it is determined in step S414 to transmit the diagnostic data 104 (step S415).
- the management server 120 receives the diagnostic data 104 (step S421).
- the management server 120 anonymizes the patient information included in the diagnostic data 104 (step S422).
- the management server 120 transmits the anonymization diagnosis data 106 including the anonymization ID associated with the patient information, the fundus image data 102, and the second consent information 103b (secondary use flag) to the AI server 130. (Step S423).
- the AI server 130 receives the anonymization diagnosis data 106 (step S431).
- the AI server 130 executes the fundus image diagnosis by inputting the fundus image data 102 included in the anonymized diagnosis data 106 into the learning model (step S432).
- the AI server 130 executes the handling process of the fundus image data 102 after the fundus image diagnosis (step S432) (step S433).
- the handling process of the fundus image data 102 (step S433) will be based on the content of the second consent information 103b, and the future of the fundus image data 102 that has undergone the fundus image diagnosis (step S432), such as whether or not to use it as learning data. This is the process of determining the handling.
- the details of the handling process (step S433) of the fundus image data 102 will be described later.
- the AI server 130 transmits the anonymization diagnosis result data 107 including the anonymization ID and the diagnosis result Rij which is the severity output by the fundus image diagnosis to the management server 120 (step S434).
- the AI server 130 executes the learning process (step S435). Specifically, for example, in the handling process of the fundus image data 102 (step S433), the AI server 130 includes the fundus image data 102 included in the anonymized diagnostic data received in step S431 and the diagnosis output in step S432. Only when the combination of the severity of the result Rij and the combination is permitted to be treated as learning data (when the second consent information 103b (secondary use flag) indicates the secondary use OK), the learning data of the learning DB 131 Add to the set and update the training model with the added training data set.
- the management server 120 receives the anonymization diagnosis result data 107 (step S424). At this time, the management server 120 may transmit the completion information indicating that the reception of the anonymization diagnosis result data 107 is completed to the image acquisition device 400. Next, the management server 120 restores the patient information based on the anonymization ID included in the anonymization diagnosis result data 107 (step S425).
- the management server 120 reads out the patient information including the patient ID associated with the anonymization ID held in step S422. Then, the management server 120 generates the diagnosis result data 105 including the acquired patient information and the diagnosis result Rij (step S426), and transmits the diagnosis result data 105 to the image acquisition device 400 (step S427).
- the image acquisition device 400 may send a request for acquisition of the diagnosis result data 105 to the management server 120.
- the management server 120 transmits the diagnosis result data 105 to the image acquisition device 400.
- the management server 120 saves the diagnosis result data 105 (step S428). Then, the processing of the management server 120 is terminated.
- the image acquisition device 400 receives the diagnosis result data 105 (step S416).
- the terminal 112 can display the fundus image data 102, the severity, and the patient information on the display screen by using the diagnosis result data 105 and the fundus image data 102 from the in-hospital server 113. Then, the display process is terminated by operating the end button (not shown) according to the user's instruction.
- FIG. 5 is a flowchart showing a detailed processing procedure example of the transmission determination process (step S414) of the diagnostic data 104 shown in FIG.
- the external storage flag which is the first consent information 103a
- the image acquisition device 400 determines the diagnostic data 104 as the transmission target, and determines the diagnostic data 104 as the transmission target.
- the transmission determination process (step S414) of the diagnostic data 104 is terminated.
- the external storage flag of the first consent information 103a is "0" indicating the disapproval of external storage (NG) (step S501: No)
- the in-hospital server 113 determines that the diagnostic data 104 is not to be transmitted.
- step S414 the transmission determination process (step S414) of the diagnostic data 104 is completed. That is, when the external storage flag, which is the first consent information 103a, is not permitted for external storage (NG), the captured fundus image is stored only on the in-hospital server, and the image diagnosis by AI is not performed.
- the external storage flag which is the first consent information 103a
- FIG. 6 is a flowchart showing a detailed processing procedure example 1 of the handling process (step S433) of the fundus image data 102 shown in FIG.
- the AI server 130 determines the fundus image data 102 and the diagnosis result Rij. The combination is stored in the learning DB 131 as learning data, and the handling process (step S433) of the fundus image data 102 is completed.
- the secondary use flag of the second consent information 103b is "0" indicating the disapproval of secondary use (NG) (step S601: No)
- the AI server 130 erases the fundus image data 102. Then, the processing of handling the fundus image data 102 (step S433) is completed.
- FIG. 7 is a flowchart showing a detailed processing procedure example 2 of the handling process (step S433) of the fundus image data 102 shown in FIG.
- the AI server 130 modifies the fundus image data 102 and then stores it in the learning DB 131 as learning data.
- the same steps as those in FIG. 6 are assigned the same step numbers, and the description thereof will be omitted.
- the AI server 130 executes the correction process of the fundus image data 102.
- Step S702 an example of the correction process (step S702) of the fundus image data 102 will be described.
- the correction process (step S702) is an image process for preventing the fundus image data from being illegally used when the fundus image data leaks to the outside. For example, it is a process aimed at preventing unauthorized use of the fundus image data in the retinal authentication system and unauthorized registration in the fundus image database.
- FIG. 8 is an explanatory diagram showing Example 1 of the correction process (step S702) of the fundus image data 102.
- the AI server 130 flips the fundus image data 102R of the right eye left and right and newly converts it into the fundus image data 802L of the left eye, and flips the fundus image data 102L of the left eye left and right and newly right eye. It is converted into the fundus image data 802R.
- the AI server 130 also changes the diagnosis result RijR to the diagnosis result RijL, and also changes the diagnosis result RijL to the diagnosis result RijR.
- FIG. 9 is an explanatory diagram showing Example 2 of the correction process (step S702) of the fundus image data 102.
- FIG. 9 shows a correction example of the fundus image data 102 of the left eye, but the same correction can be performed for the right eye.
- the AI server 130 can modify the fundus image data 102L to the fundus image data 102L1 by adding the shape data of the blood vessel to the fundus image data 102L.
- the AI server 130 can modify the fundus image data 102L to the fundus image data 102L2 by changing the path of the blood vessel shape data to the fundus image data 102L. Further, the AI server 130 can modify the fundus image data 102L to the fundus image data 102L3 by deleting the blood vessel shape data in the fundus image data 102L. In the case of addition, change, or deletion of blood vessel data, the diagnosis result Rij is not replaced, unlike the left-right reversal.
- the AI server 130 refers to the diagnosis result Rij and corrects the image data in the healthy region of the fundus image data 102L which is not related to the abnormal region. Is preferable.
- the healthy region is, for example, a region in which no capillary aneurysm exists if the diagnosis result Rij is mild nonproliferative retinopathy (Mild; hereinafter, first retinopathy), and the diagnosis result Rij is moderate or severe nonproliferative retinopathy (Mid.
- second retinopathy Moderate or Severe
- diagnosis result Rij Proliferate retinopathy (hereinafter, third retinopathy)
- third retinopathy Proliferate retinopathy
- the fundus image data 102 as shown in FIGS. 9 and 10, even if the corrected fundus image data 802 leaks to the outside, it will not be authenticated even if it is misused by the retinal authentication. In this way, the Meng Huo authentication can be invalidated by the modification, and the security can be improved. Further, the security may be further improved by not only modifying the fundus image data 102 but also encrypting the fundus image.
- the AI server 130 stores the combination of the fundus image data 802 corrected in step S702 and the diagnosis result Rij as learning data in the learning DB 131 (step S704), and handles the fundus image data 102 (step). S433) is finished.
- the corrected fundus image data 802 can be secondarily used in consideration of the privacy of the patient i.
- FIG. 10 is a flowchart showing a detailed processing procedure example 3 of the handling process (step S433) of the fundus image data 102 shown in FIG.
- the diagnosis result Rij may be different from the diagnosis result Rij before the modification.
- the AI server 130 executes the fundus image diagnosis of the corrected fundus image data 802 again, and if the diagnosis result is the same as the fundus image data 102 before the correction, it is secondarily used as training data. In order to do so, it is saved in the learning DB 131 to achieve both the protection of personal information and the same diagnosis result before and after the correction.
- step S702 the AI server 130 re-executes the fundus image diagnosis on the corrected fundus image data 802 (step S1001).
- the AI server 130 determines whether or not the re-diagnosis result Rij in step S1001 and the diagnosis result Rij before the change match (step S1002). Specifically, for example, when the fundus image data 102 is flipped left and right as shown in FIG. 8 in step S702, the AI server 130 sets the rediagnosis result RijR of the right eye and the diagnosis result RijL of the left eye before correction. It is determined whether or not the rediagnosis result RijL of the left eye and the diagnosis result RijR of the right eye before correction match.
- step S702 when the shape data of the blood vessel is added, changed, or deleted as shown in FIG. 9 instead of flipping the fundus image data 102 left and right, the AI server 130 rediagnoses the right eye result RijR. And whether or not the diagnosis result RijR of the right eye before correction matches, and whether or not the rediagnosis result RijL of the left eye and the diagnosis result RijL of the left eye before correction match.
- step S1002 If neither eye matches (step S1002: No), the process returns to step S702, and the AI server 130 re-executes the correction process (step S702) of the fundus image data 102.
- the AI server 130 executes a modification different from the modification already executed, such as adding, changing, or deleting the shape data of the blood vessel.
- the shape data of the blood vessel to be added, changed, or deleted is different from the already executed addition, change, or deletion target, the modification will be different.
- step S1002 when both eyes match (step S1002: Yes), the AI server 130 saves the combination of the latest fundus image data 802 and the diagnosis result Rij corrected in step S702 in the learning DB 131 as learning data (step S1002: Yes).
- step S704 the process of handling the fundus image data 102 (step S433) is completed.
- the diagnosis result Rij is not changed by making the diagnosis result Rij before and after the correction while considering the unauthorized use of the fundus image data of the patient i and the privacy protection of the patient i. Secondary use of fundus image data 802 can be performed. Further, this makes it possible to suppress a decrease in prediction accuracy due to the learning model used for fundus image diagnosis by the AI server 130 when the combination of the corrected fundus image data 802 and the diagnosis result Rij is used as the learning data.
- FIG. 11 is a flowchart showing another detailed processing procedure example of the fundus image data correction processing (step S702) shown in FIGS. 7 and 9.
- FIG. 11 shows an example of a processing procedure in which the AI server 130 corrects the shape data of blood vessels in the retina according to the severity of the diagnosis result Rij.
- FIG. 12 is an explanatory diagram showing an example of the severity of diabetic retinopathy.
- the AI server 130 determines whether or not the diagnosis result Rij has no change (No DR) (step S1101).
- the AI server 130 corrects the blood vessel shape data of the fundus image data 102 as shown in FIG. 8 or 9 (step). S1102). Then, the fundus image data correction process (step S702) is completed, and the process proceeds to the next process.
- the AI server 130 determines whether the diagnosis result Rij is first retinopathy (Mild) or third retinopathy (Proliferate). Is determined (step S1103).
- the AI server 130 is the fundus image data 102 as shown in FIG. 8 or FIG.
- the shape data of the blood vessel is corrected (step S1104).
- step S702 the fundus image data correction process
- the AI server 130 corrects the blood vessel shape data of the fundus image data 102 as shown in FIG. 8 or 9 (step S1105).
- step S702 the fundus image data correction process
- the AI server 130 can prevent the diagnosis result Rij from being changed before and after the correction by executing the correction of the shape data indicating the eye tissue according to the diagnosis result Rij. Thereby, by making the diagnosis result Rij the same before and after the correction while considering the privacy of the patient i, it is possible to perform the secondary use of the corrected fundus image data 802 with no change in the diagnosis result Rij. Further, this makes it possible to suppress a decrease in prediction accuracy due to the learning model used for fundus image diagnosis by the AI server 130 when the combination of the corrected fundus image data 802 and the diagnosis result Rij is used as the learning data.
- FIG. 13 is a block diagram showing a functional configuration example of the information processing system according to the first embodiment.
- the information processing device 1300 is a computer including an image acquisition device 400 (terminal 112, hospital server 113) and a management server 120.
- the information processing device 1300 includes an acquisition unit 1301, a first transmission unit 1302, and a first reception unit 1303.
- the acquisition unit 1301, the first transmission unit 1302, and the first reception unit 1303 are specifically realized, for example, by causing the processor 201 to execute a program stored in the storage device 202 shown in FIG.
- the acquisition unit 1301 acquires various data by the image acquisition device 400. Specifically, for example, as shown in steps S411 to S413 of FIG. 4, the acquisition unit 1301 acquires the patient information and the diagnostic information Dij of the target patient i from the patient information DB 114 by the image acquisition device 400. ..
- the diagnostic information Dij includes consent information 103.
- the acquisition unit 1301 acquires the anonymization ID as the identification information unique to the fundus image data 102 by executing the anonymization process of the patient information by the management server 120 as shown in step S422 of FIG. ..
- the acquisition unit 1301 has the patient information specified from the anonymization ID included in the anonymization diagnosis result data 107 from the AI server 130 and the anonymization diagnosis result data. Based on the diagnosis result Rij included in 107, the diagnosis result data 105 of the patient i is acquired and stored in the management server 120.
- the first transmission unit 1302 transmits various data by the image acquisition device 400. Specifically, for example, as shown in step S415 of FIG. 4, when the first consent information 103a indicates transmission permission, the first transmission unit 1302 uses the image acquisition device 400 to display the patient information of the patient i and the fundus of the eye. The diagnostic data 104 including the image data 102 and the second consent information 103b is transmitted to the management server 120. Further, as shown in step S423 of FIG. 4, the first transmission unit 1302 uses the management server 120 to send the anonymization diagnostic data 106 including the anonymization ID, the fundus image data 102, and the second consent information 103b to the AI server. Send to 130.
- the first receiving unit 1303 receives various data by the image acquisition device 400. Specifically, for example, the first receiving unit 1303 receives the anonymization diagnosis result data 107 from the AI server 130 as shown in step S424 of FIG. Further, the first receiving unit 1303 receives the completion information indicating that the reception of the anonymization diagnosis result data 107 is completed in step S424 by the image acquisition device 400. Further, the first receiving unit 1303 receives the diagnosis result data 105 from the management server 120 by the image acquisition device 400.
- the AI server 130 has a second receiving unit 1311, an diagnostic imaging unit 1312, a second transmitting unit 1313, a data control unit 1314, a learning unit 1315, a correction unit 1316, and a learning DB 131.
- the second receiving unit 1311, the diagnostic imaging unit 1312, the second transmitting unit 1313, the data control unit 1314, the learning unit 1315, and the correction unit 1316 are stored in the storage device 202 shown in FIG. 2, for example. This is realized by having the processor 201 execute the program.
- the learning DB 131 is realized by, for example, the storage device 202 shown in FIG.
- the second receiving unit 1311 receives the anonymized diagnostic data 106 transmitted from the first transmitting unit 1302 of the information processing apparatus 1300.
- the image diagnosis unit 1312 is machine learning or deep learning, and more specifically, for example, the image diagnosis unit 1312 is a learning model in which the updated learning parameters are applied to the CNN.
- the fundus image data is input to the fundus, the fundus image diagnosis is executed, and the severity is output to the second transmission unit 1313 as the diagnosis result Rij.
- the second transmission unit 1313 transmits the anonymized diagnosis result data including the diagnosis result Rij to the first reception unit 1303 of the information processing apparatus 1300.
- the data control unit 1314 executes the processing of handling the fundus image data of FIGS. 7 and 10.
- the data control unit 1314 has a storage unit 1341 and an erasing unit 1342. If the secondary use flag is OK, the storage unit 1341 stores the learning data which is a combination of the fundus image data 102 diagnosed by the diagnostic imaging unit 1312 and the diagnosis result Rij, and the erasing unit 1342 has the secondary use flag set. If it is NG, the fundus image data 102 diagnosed by the diagnostic imaging unit 1312 is deleted.
- the learning unit 1315 generates a learning model by giving a learning data set in the learning DB 131 to the CNN and updating the learning parameters of the CNN.
- the correction unit 1316 corrects the fundus image data 102 diagnosed by the image diagnosis unit 1312 as shown in step S702 of FIGS. 7 and 10.
- the storage unit 1341 stores the learning data which is a combination of the corrected fundus image data 802 corrected by the correction unit 1316 and the diagnosis result Rij.
- the correction unit 1316 obtains the diagnosis result Rij for the corrected fundus image data 802 by inputting the corrected fundus image data 802 into the latest learning model by the learning unit 1315.
- the correction unit 1316 may perform correction of the fundus image data 102 until the diagnosis results Rij before and after the correction match.
- the image acquisition device 400 generates the first consent information 103a and the second consent information 103b when the image diagnosis of the patient i is the first time, and the first generation when the image diagnosis of the patient i is the second time or later.
- 1 Consent information 103a and 2nd consent information 103b may be used. As a result, it is not necessary to reset the consent information 103, and the convenience can be improved.
- the image acquisition device 400 generates the first consent information 103a and the second consent information 103b when the image diagnosis of the patient i is the first time, and the first generation when the image diagnosis of the patient i is the second time or later.
- the consent information 103a may be used to output an update request for the second consent information 103b.
- the update request is displayed, for example, on the display screen of the terminal 112.
- the patient i or the doctor sets the secondary use flag, which is the second consent information 103b, to "1" (OK) or "0" (NG).
- the hospital server 113 determines whether or not to transmit to the management server 120 with reference to the first consent information 103a, and when transmitting, transmits the diagnostic data 104 to the management server 120.
- Example 2 will be described.
- the AI server 130 has the learning DB 131, but in the second embodiment, an example in which the AI server 130 and the learning DB 131 are separated will be described.
- the learning DB 131 is owned by a DB server 1400 different from the AI server 130.
- the management server 120 may take charge of the function of the DB server 1400.
- the same contents as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted in order to focus on the differences from the first embodiment.
- FIG. 14 is an explanatory diagram showing an example of an operation sequence of the information processing system 100 according to the second embodiment.
- the AI server 130 acquires learning parameters from the DB server 1400 and executes fundus image diagnosis (step S1432).
- the difference from step S432 is that the learning parameters are acquired from the DB server 1400.
- the AI server 130 After executing the fundus image diagnosis (step S1432), the AI server 130 transmits the anonymized diagnosis data 106 to the DB server 1400 (step S1401). In this case, the DB server 1400 executes the handling process of the fundus image data 102 (step S1433). On the other hand, the AI server 130 erases the fundus image data 102 in order to prevent leakage (step S1402). Further, the AI server 130 acquires a learning data set from the learning DB 131 and executes the learning process (step S1434). The difference from step S434 is that the learning data set is acquired from the DB server 1400. Then, the AI server 130 ends the processing on the received fundus image, and is in a standby state for receiving the next received fundus image.
- FIG. 15 is a flowchart showing a detailed processing procedure example of the handling process (step S432) of the fundus image data 102 shown in FIG.
- the DB server 1400 receives the anonymization diagnostic data 106 and the secondary use flag, which is the second consent information 103b, is "0" indicating disapproval of secondary use (NG) (step S601: No)
- the fundus image data 102 is erased, and the process of handling the fundus image data 102 (step S1433) is completed.
- the DB server 1400 corrects the fundus image data 102. Is executed (step S702). Then, the DB server 1400 transmits the corrected fundus image data 802 to the AI server 130 (step S1511).
- the AI server 130 When the AI server 130 receives the corrected fundus image data 802 from the DB server 1400, the AI server 130 inputs the corrected fundus image data 802 into the learning model and re-executes the fundus image diagnosis (step S1501). Then, the AI server 130 transmits the re-diagnosis result Rij to the DB server 1400 (step S1502).
- the DB server 1400 receives the rediagnosis result Rij from the AI server 130 (step S1512). Then, the DB server 1400 determines whether or not the re-diagnosis result Rij and the diagnosis result Rij of the fundus image data 102 before correction match (step S1002). If they do not match (step S1002: No), the process returns to step S702, and the DB server 1400 re-corrects the fundus image data 102 (step S702). If they match (step S1002: Yes), the DB server 1400 stores the corrected fundus image data 802 and the rediagnosis result Rij as learning data in the learning DB 131 (step S704). As a result, the processing of handling the fundus image data 102 (step S1433) is completed.
- FIG. 16 is a block diagram showing a functional configuration example of the information processing system according to the second embodiment.
- the data control unit 1600 of the AI server 130 has an erasing unit 1342 and a third transmitting unit 1601
- the DB server 1400 has a learning DB 131 and a storage unit 1602.
- the third transmission unit 1601 transmits the corrected fundus image data 802 and the diagnosis result Rij to the DB server 1400.
- the storage unit 1602 stores the corrected fundus image data 802 from the third transmission unit 1601 and the diagnosis result Rij as learning data in the learning data set of the learning DB 131.
- Example 2 the secondary of the corrected fundus image data 802 in which the diagnosis result Rij is unchanged by making the diagnosis result Rij the same before and after the correction while considering the privacy of the patient i. Can be used. Further, this makes it possible to suppress a decrease in prediction accuracy due to the learning model used for fundus image diagnosis by the AI server 130 when the combination of the corrected fundus image data 802 and the diagnosis result Rij is used as the learning data.
- the present invention is not limited to the above contents, and may be any combination thereof.
- other aspects considered within the scope of the technical idea of the present invention are also included in the scope of the present invention.
- 100 information processing system 101 in-hospital system, 102 fundus image data, 103 consent information, 103a first consent information, 103b second consent information, 104 diagnostic data, 105 diagnostic result data, 106 anonymized diagnostic data, 107 anonymized diagnostic result Data, 111 ophthalmic device, 112 terminal, 113 in-hospital server, 114 patient information DB, 120 management server, 130 AI server, 131 learning DB, 201 processor, 202 storage device, 400 image acquisition device, 802 modified fundus image data, 1300 Information processing device, 1301 acquisition unit, 1302 first transmission unit, 1303 first reception unit, 1311 second reception unit, 1312 diagnostic imaging unit, 1313 second transmission unit, 1314 data control unit, 1315 learning unit, 1316 correction unit, 1341 storage unit, 1342 erasing unit, 1400 DB server, 1601 third transmission unit, 1602 storage unit, Dij diagnostic information, Rij diagnostic result
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
画像取得装置は、被検眼画像データの送信の許可又は不許可を示す第1同意情報と、被検眼画像データの再使用の許可又は不許可を示す第2同意情報とを生成し、第1同意情報が送信許可を示す場合、患者情報、被検眼画像データ及び第2同意情報を含む第1送信データを送信し、第1情報処理装置は、第1送信データを受信すると被検眼画像データを記憶し、第1送信データを受信すると被検眼画像データに固有な識別情報を生成し、識別情報、被検眼画像データ及び第2同意情報を含む第2送信データを送信し、第2情報処理装置は、第2送信データを受信すると被検眼画像データを画像診断し、第2同意情報が被検眼画像データの再使用の不許可を示す場合、被検眼画像データを画像診断後に消去し、第2同意情報が被検眼画像データの再使用の許可を示す場合、被検眼画像データ及び画像診断による診断結果を保存し、識別情報と診断結果とを含む第3送信データを送信する。
Description
本出願は、2019年7月31日に出願された米国特許仮出願62/880,975の優先権を主張し、その内容を参照することにより、本出願に取り込む。
本発明は、情報処理システム、情報処理装置、情報処理方法および情報処理プログラムに関する。
多種多様な眼科画像解析を実施することが可能な眼科情報処理サーバが知られている。しかしながら、患者の同意情報の取扱いについては考慮されていない。
第1開示技術の情報処理システムは、患者の被検眼画像データを取得する画像取得装置と、前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、前記第1情報処理装置と通信可能であり前記被検眼画像データを使用して画像診断する第2情報処理装置と、を有する情報処理システムであって、前記画像取得装置は、前記第1情報処理装置への前記被検眼画像データの送信の許可または不許可を示す第1同意情報と、前記第2情報処理装置での画像診断後における前記第2情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す第2同意情報とを生成する第1生成処理と、前記第1同意情報が送信許可を示す場合、前記患者の患者情報、前記被検眼画像データおよび前記第2同意情報を含む第1送信データを、前記第1情報処理装置に送信する第1送信処理と、を実行し、前記第1情報処理装置は、前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、前記第1送信データを受信すると、前記被検眼画像データに固有な識別情報を生成する第2生成処理と、前記識別情報、前記被検眼画像データおよび前記第2同意情報を含む第2送信データを、前記第2情報処理装置に送信する第2送信処理と、を実行し、前記第2情報処理装置は、前記第1情報処理装置から前記第2送信データを受信すると、前記被検眼画像データに基づいて画像診断する画像診断処理と、前記第2同意情報が前記被検眼画像データの再使用の不許可を示す場合、前記被検眼画像データを前記画像診断処理後に消去し、前記第2同意情報が前記被検眼画像データの再使用の許可を示す場合、前記被検眼画像データおよび前記画像診断処理による画像診断結果をデータベースに保存するデータ処理と、前記識別情報と前記画像診断結果とを含む第3送信データを、前記第1情報処理装置に送信する第3送信処理と、を実行する。
第2開示技術の情報処理システムは、患者の被検眼画像データを記憶する第1情報処理装置と、前記第1情報処理装置と通信可能な第2情報処理装置と、が通信可能な情報処理システムであって、前記第1情報処理装置は、患者の被検眼画像データについて前記第2情報処理装置での使用についての同意に関する同意情報に基づいて、前記被検眼画像データを前記第2情報処理装置に送信する第1送信処理と、を実行し、前記第2情報処理装置は、前記第1送信処理によって送信されてくる前記被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記第1情報処理装置に送信する第2送信処理と、を実行する。
第3開示技術の情報処理装置は、他の情報処理装置と通信可能な情報処理装置であって、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、前記プロセッサは、患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、を実行する。
第4開示技術の情報処理装置は、患者の被検眼画像データを記憶する他の情報処理装置と通信可能な情報処理装置であって、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、学習データを記憶するデータベースにアクセス可能であり、前記プロセッサは、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存に関するデータ処理と、を実行する。
第5開示技術の情報処理装置は、患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置であって、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、前記プロセッサは、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の第1情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を実行するデータ処理と、を実行する。
第6開示技術の情報処理プログラムは、他の情報処理装置と通信可能な情報処理装置のプロセッサに、患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、を実行させる。
第7開示技術の情報処理プログラムは、患者の被検眼画像データを記憶する他の情報処理装置と通信可能であり、学習データを記憶するデータベースにアクセス可能な情報処理装置のプロセッサに、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存に関するデータ処理と、を実行させる。
第8開示技術の情報処理プログラムは、患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置のプロセッサに、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信に関するデータ処理と、を実行させる。
第9開示技術の情報処理方法は、他の情報処理装置と通信可能な情報処理装置が実行する情報処理方法であって、患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、を含む。
第10開示技術の情報処理方法は、患者の被検眼画像データを記憶する他の情報処理装置と通信可能であり、学習データを記憶するデータベースにアクセス可能な情報処理装置が実行する情報処理方法であって、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存を制御するデータ制御処理と、を含む。
第11開示技術の情報処理方法は、患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置が実行する情報処理方法であって、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を制御するデータ制御処理と、を含む。
<同意情報を用いた画像診断例>
図1は、同意情報を用いた眼底画像診断例を示す説明図である。同意情報を用いた眼底画像診断は、情報処理システム100により実行される。情報処理システム100は、院内システム101と、管理サーバ120と、AI(Artificial Intelligence)サーバ130と、を含む。院内システム101と管理サーバ120とは、通信可能に接続されている。管理サーバ120とAIサーバ130とは、通信可能に接続されている。
図1は、同意情報を用いた眼底画像診断例を示す説明図である。同意情報を用いた眼底画像診断は、情報処理システム100により実行される。情報処理システム100は、院内システム101と、管理サーバ120と、AI(Artificial Intelligence)サーバ130と、を含む。院内システム101と管理サーバ120とは、通信可能に接続されている。管理サーバ120とAIサーバ130とは、通信可能に接続されている。
院内システム101は、たとえば、病院やクリニック(眼科医、内科医、糖尿病内科医など)に設けられる。院内システム101は、眼科装置111と、端末112と、院内サーバ113と、を有する。眼科装置111は、端末112と通信可能に接続される。眼科装置111は、眼底カメラ(Fundus Camera)、被検眼にレーザ光を走査し眼底からの反射光に基づいて画像を生成する走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)や光干渉断層計(Optical Coherence Tomography)などであり、被検眼の眼底画像データ102R,102Lを生成する。右眼の眼底画像データ102Rおよび左眼の眼底画像データ102Lを区別しない場合は、眼底画像データ102と表記する。末尾に「R」、「L」を有する他の符号についても同様である。眼科装置111は、生成した眼底画像データ102を端末112に送信する。眼底画像データ102には撮影年月日が含まれる。
眼底画像データは、眼底カメラにより撮影された眼底画像データ、走査型レーザ検眼鏡による撮影された眼底の眼底画像データ、あるいは、光干渉断層計による撮影された眼底の断層データのいずれか1つであってよい。またはそれらの2以上の組み合わせである眼底画像データセットであってもよい。
眼底画像データは、眼底カメラにより撮影された眼底画像データ、走査型レーザ検眼鏡による撮影された眼底の眼底画像データ、あるいは、光干渉断層計による撮影された眼底の断層データのいずれか1つであってよい。またはそれらの2以上の組み合わせである眼底画像データセットであってもよい。
眼科装置111は、たとえば、眼底カメラ、走査型レーザ検眼鏡および光干渉断層計の少なくとも1つにより構成される。したがって、眼底画像データ102は、眼底カメラによる眼底画像データ、走査型レーザ検眼鏡による眼底画像データ、または、光干渉断層計による断層データのいずれか1つまたは2以上の組み合わせとなる。
端末112は、眼科装置111および院内サーバ113と通信可能なコンピュータである。端末112は、管理サーバ120と直接通信可能としてもよい。端末112は、たとえば、医師により使用される。端末112は、たとえば、パーソナルコンピュータやタブレットである。端末112は、眼科装置111からの眼底画像データ102を院内サーバ113に転送する。
また、端末112は、同意情報103を院内サーバ113に送信する。同意情報103とは、患者iが、自身の被検眼の眼底画像データ102について院内システム101外での利用に同意するか否かを示す情報である。具体的には、たとえば、同意情報103は、第1同意情報103aと、第2同意情報103bと、を含む。
第1同意情報103aは、たとえば、院内システム101外の管理サーバ120への眼底画像データ102の送信の許可または不許可を示す外部保存フラグである。外部保存フラグが「1」の場合、院内システム101外の管理サーバ120への眼底画像データ102の送信の許可(OK)を示し、「0」の場合、不許可(NG)を示す。
第2同意情報103bは、たとえば、院内システム101外のAIサーバ130での画像診断後におけるAIサーバ130での眼底画像データ102の再使用の許可または不許可を示す二次使用フラグである。二次使用フラグが「1」の場合、AIサーバ130での眼底画像データ102の二次使用の許可(OK)を示し、「0」の場合、不許可(NG)を示す。同意情報103は、患者iごとに存在する。また、同意情報103には、有効期限が設けられてもよい。また、同意情報103は、各患者iについて撮影回ごとに存在してもよい。同意情報103のデータ形式は、院内サーバ113、管理サーバ120、およびAIサーバ130が認識可能であれば、どのようなデータ形式でもよい。
また、端末112は、院内サーバ113から患者情報や診断結果データ105を受信して、表示画面に表示する。なお、眼科装置111からの眼底画像データ102、院内サーバ113からの患者情報、診断結果データ105に含まれる診断結果、および同意情報103は、端末112または院内サーバ113により、同一のID(たとえば、患者ID)で関連付けられるものとする。
院内サーバ113は、端末112および管理サーバ120と通信可能なコンピュータである。院内サーバ113は、患者情報DB114を有する。患者情報DB114は、患者情報を格納するデータベースである。院内サーバ113は、端末112から患者IDおよび眼底画像データ102を受信する。院内サーバ113は、患者IDで特定される患者情報に関連付けて眼底画像データ102、診断結果データに含まれる診断結果、および同意情報103を患者情報DB114に格納する。
院内サーバ113は、第1同意情報103aが院内システム101外の管理サーバ120への眼底画像データ102の送信の許可を示す場合、診断データ104を管理サーバ120に送信し、不許可を示す場合、送信しない。これにより、院内サーバ113は、患者iの第1同意情報103aを遵守することができる。診断データ104は、患者iの患者情報と眼底画像データ102と第2同意情報103bとを含む。院内サーバ113は、管理サーバ120から診断結果データ105を受信する。院内サーバ113は、受信した診断結果データ105に含まれる診断結果を患者情報DB114に格納する。
管理サーバ120は、院内サーバ113およびAIサーバ130と通信可能なコンピュータである。管理サーバ120は、院内サーバ113から診断データ104を受信する。管理サーバ120は、受信した診断データ104を匿名化する。具体的には、たとえば、管理サーバ120は、新規なID(以下、匿名化ID)を発行して、受信した診断データ104内の患者情報と関連付ける。そして、管理サーバ120は、当該匿名化IDと眼底画像データ102との組み合わせを、匿名化診断データ106とする。
なお、患者情報内の患者IDを匿名化IDとして使用してもよい。この場合、匿名化診断データ106は、匿名化IDである患者IDと眼底画像データ102と第2同意情報103bとにより構成される。これにより、患者情報が匿名化される。なお、管理サーバ120は、患者情報のうち患者iを一意に特定しない情報であれば、匿名化診断データ106に含めてもよい。患者iを一意に特定しない情報としては、たとえば、患者iの視力、性別、年齢、国籍がある。
また、管理サーバ120は、患者情報を暗号化してもよい。この場合、管理サーバ120は、暗号化した患者情報と、眼底画像データ102との組み合わせを、匿名化診断データとしてAIサーバ130に送信する。
管理サーバ120は、AIサーバ130から匿名化診断結果データ107を受信する。匿名化診断結果データ107は、匿名化診断データ106に含まれる匿名化IDと、被検眼の症状の重症度(進行度ともいう)である診断結果と、を含む。管理サーバ120は、受信した匿名化診断結果データ107を診断結果データ105に変換する。
具体的には、たとえば、管理サーバ120は、受信した匿名化診断結果データ107に含まれる匿名化IDに関連付けされている患者情報を取得し、匿名化IDから当該取得した患者情報に付け替えることにより、患者情報と診断結果とを含む診断結果データ105を生成する。
管理サーバ120が、暗号化した患者情報と眼底画像データ102と第2同意情報103bとの組み合わせである匿名化診断データ106を、AIサーバ130に送信した場合、管理サーバ120は、当該暗号化した患者情報と診断結果とを含む匿名化診断結果データ107を、AIサーバ130から受信することになる。
この場合、管理サーバ120は、暗号化した患者情報を復号することで、匿名化診断結果データ107を診断結果データ105に変換する。このようにして、管理サーバ120は、匿名化や暗号化により患者情報を秘匿化することができ、個人情報を保護することができる。このあと、管理サーバ120は、生成した診断結果データ105を院内サーバ113に送信する。
AIサーバ130は、機械学習や深層学習により得られた学習パラメータを用いて、AIにより眼底画像診断を実行するコンピュータである。AIサーバ130は、過去の眼底画像データ103とその進行度との組み合わせを訓練データとして学習し、学習パラメータを生成する。訓練データ集合および学習パラメータは、学習DB1131に格納される。また、学習DB1131は、進行度に対応する所見105を記憶する。この学習パラメータを用いて、眼底画像の特徴量を、コンボリューションニューラルネットワーク(CNN)を用いて抽出する。そして、特徴量に基づいて入力された眼底画像の症状を推定する。
AIサーバ130は、匿名化診断データ106を受信する。AIサーバ130は、匿名化診断データ106に含まれる眼底画像データ102を、CNNに学習パラメータが適用された学習モデルに入力し、重症度を出力する。
AIサーバ130は、匿名化診断データ106に含まれていた匿名化IDと、学習モデルから出力された重症度と、を含む匿名化診断結果データ107を生成する。AIサーバ130は、生成した匿名化診断結果データ107を管理サーバ120に送信する。
AIサーバ130は、第2同意情報103が、院内システム101外のAIサーバ130での画像診断後におけるAIサーバ130での眼底画像データの再使用の許可を示す場合、重症度と当該重症度の出力元になった眼底画像データ102との組み合わせを学習データとして学習DBの学習データ集合に追加し、不許可を示す場合、追加しない。これにより、AIサーバ130は、患者iの第2同意情報103を遵守することができる。このようにして、情報処理システム100は、患者iの個人情報を保護することができる。
<コンピュータのハードウェア構成例>
図2は、コンピュータ(端末112、院内サーバ113、管理サーバ120、AIサーバ130、DBサーバ1400)のハードウェア構成例を示すブロック図である。コンピュータ200は、プロセッサ201と、記憶デバイス202と、入力デバイス203と、出力デバイス204と、通信インターフェース(通信IF)205と、を有する。プロセッサ201、記憶デバイス202、入力デバイス203、出力デバイス204、および通信IF205は、バス206により接続される。プロセッサ201は、コンピュータ200を制御する。
図2は、コンピュータ(端末112、院内サーバ113、管理サーバ120、AIサーバ130、DBサーバ1400)のハードウェア構成例を示すブロック図である。コンピュータ200は、プロセッサ201と、記憶デバイス202と、入力デバイス203と、出力デバイス204と、通信インターフェース(通信IF)205と、を有する。プロセッサ201、記憶デバイス202、入力デバイス203、出力デバイス204、および通信IF205は、バス206により接続される。プロセッサ201は、コンピュータ200を制御する。
記憶デバイス202は、プロセッサ201の作業エリアとなる。また、記憶デバイス202は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス202としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。
入力デバイス203は、データを入力する。入力デバイス203としては、たとえば、キーボード、マウス、入力ペン、タッチパネル、テンキー、スキャナがある。出力デバイス204は、データを出力する。出力デバイス204としては、たとえば、ディスプレイ、プリンタがある。通信IF205は、ネットワークと接続し、データを送受信する。
<患者情報DB114>
図3は、患者情報DB114の記憶内容例を示す説明図である。患者情報DB114は、患者情報フィールド301と、診断情報フィールド302と、を有する。患者情報フィールドは301、サブフィールドとして、患者IDフィールド311と、氏名フィールド312と、性別フィールド313と、生年月日フィールド314と、連絡先フィールド315と、を有する。同一行におけるサブフィールド311~315の患者i(iは、たとえば、1以上の整数)の患者情報となる。
図3は、患者情報DB114の記憶内容例を示す説明図である。患者情報DB114は、患者情報フィールド301と、診断情報フィールド302と、を有する。患者情報フィールドは301、サブフィールドとして、患者IDフィールド311と、氏名フィールド312と、性別フィールド313と、生年月日フィールド314と、連絡先フィールド315と、を有する。同一行におけるサブフィールド311~315の患者i(iは、たとえば、1以上の整数)の患者情報となる。
患者IDフィールド311は、患者IDを格納する記憶領域である。患者IDPiは、患者iを一意に特定する識別情報である。氏名フィールド312は、患者iの氏名FNiを格納する記憶領域である。性別フィールド313は、患者iの性別Siを格納する記憶領域である。生年月日フィールド314は、患者iの生年月日DOBiを格納する記憶領域である。連絡先フィールド315は、患者iの連絡先ADiを格納する記憶領域である。
診断情報フィールド302は、患者iのj回目(jは1以上の整数)までの診断情報Di1~Dijを格納する記憶領域である。診断情報Dijは、眼底画像データ102と、診断結果Rijと、撮影年月日Tijと、同意情報103と、を含む。診断結果Rijは、AIサーバ130からの重症度を含む。撮影年月日Tijは、眼科装置111での被検眼の撮影により眼底画像データ102が生成された年月日である。同意情報103は、上述した第1同意情報103a(外部保存フラグ)と第2同意情報103b(二次使用フラグ)とを含む。
<情報処理システム100の動作シーケンス例>
図4は、実施例1にかかる情報処理システム100の動作シーケンス例を示す説明図である。端末112および院内サーバ113を区別しない場合、画像取得装置400と称す。画像取得装置400は、患者情報DB114から、被検者となる患者iの患者情報を取得する(ステップS411)。画像取得装置400は、患者iの眼底画像データ102を端末112を介して取得する(ステップS412)。また、院内サーバ113は、患者iの同意情報103を、端末112を介して取得する(ステップS413)。
図4は、実施例1にかかる情報処理システム100の動作シーケンス例を示す説明図である。端末112および院内サーバ113を区別しない場合、画像取得装置400と称す。画像取得装置400は、患者情報DB114から、被検者となる患者iの患者情報を取得する(ステップS411)。画像取得装置400は、患者iの眼底画像データ102を端末112を介して取得する(ステップS412)。また、院内サーバ113は、患者iの同意情報103を、端末112を介して取得する(ステップS413)。
そして、画像取得装置400は、ステップS411によって取得された患者情報と、ステップS412によって取得された眼底画像データ102と、ステップS413で取得した第2同意情報103bと、を含む診断データ104について、送信決定処理を実行する(ステップS414)。この診断データ104の送信決定処理(ステップS414)とは、第1同意情報103aの内容にしたがって、診断データ104を送信するか否かを決定する処理である。
画像取得装置400は、第1同意情報103aが送信許可を示す場合、診断データ104を送信する決定をし、第1同意情報103aが送信不許可を示す場合、診断データ104を送信しない決定をする。診断データ104の送信決定処理(ステップS414)の詳細については後述する。これにより、画像取得装置400は、ステップS414で診断データ104を送信する決定をした場合に限り、診断データ104を、管理サーバ120に送信する(ステップS415)。
管理サーバ120は、画像取得装置400から診断データ104が送信されてくると、診断データ104を受信する(ステップS421)。つぎに、管理サーバ120は、診断データ104に含まれている患者情報を匿名化する(ステップS422)。そして、管理サーバ120は、患者情報に関連付けされた匿名化IDと、眼底画像データ102と、第2同意情報103b(二次使用フラグ)とを含む匿名化診断データ106を、AIサーバ130に送信する(ステップS423)。
AIサーバ130は、管理サーバ120から匿名化診断データ106が送信されてくると、匿名化診断データ106を受信する(ステップS431)。つぎに、AIサーバ130は、匿名化診断データ106に含まれる眼底画像データ102を学習モデルに入力することにより、眼底画像診断を実行する(ステップS432)。
AIサーバ130は、眼底画像診断(ステップS432)後、眼底画像データ102の取扱い処理を実行する(ステップS433)。眼底画像データ102の取扱い処理(ステップS433)は、第2同意情報103bの内容に基づいて、学習データとして使用するか否かなど、眼底画像診断(ステップS432)された眼底画像データ102の今後の取扱いを決定する処理である。眼底画像データ102の取扱い処理(ステップS433)の詳細については後述する。
そして、AIサーバ130は、匿名化IDと、眼底画像診断により出力された重症度である診断結果Rijと、を含む匿名化診断結果データ107を、管理サーバ120に送信する(ステップS434)。
このあと、AIサーバ130は、学習処理を実行する(ステップS435)。具体的には、たとえば、AIサーバ130は、眼底画像データ102の取扱い処理(ステップS433)において、ステップS431で受信した匿名化診断データに含まれる眼底画像データ102と、ステップS432で出力された診断結果Rijである重症度と、の組み合わせを学習データとして取り扱うことが許可された場合(第2同意情報103b(二次使用フラグ)が二次使用OKを示す場合)に限り、学習DB131の学習データ集合に追加し、追加後の学習データ集合で学習モデルを更新する。
また、管理サーバ120は、AIサーバ130から匿名化診断結果データ107が送信されてくると、匿名化診断結果データ107を受信する(ステップS424)。このとき、管理サーバ120は、匿名化診断結果データ107の受信が完了したことを示す完了情報を画像取得装置400に送信してもよい。つぎに、管理サーバ120は、匿名化診断結果データ107に含まれている匿名化IDに基づいて、患者情報を復元する(ステップS425)。
たとえば、管理サーバ120は、ステップS422で保持しておいた、匿名化IDに関連付けられている患者IDを含む患者情報を読み出す。そして、管理サーバ120は、取得した患者情報と、診断結果Rijと、を含む診断結果データ105を生成し(ステップS426)、診断結果データ105を画像取得装置400に送信する(ステップS427)。
画像取得装置400は、管理サーバ120から完了情報を受信した場合、管理サーバ120に診断結果データ105の取得要求を送信してもよい。これにより、管理サーバ120は、当該取得要求を受信した場合に、画像取得装置400に診断結果データ105を送信する。このあと、管理サーバ120は、診断結果データ105を保存する(ステップS428)。そして、管理サーバ120の処理を終了する。
画像取得装置400は、管理サーバ120から診断結果データ105が送信されてくると、診断結果データ105を受信する(ステップS416)。これにより、端末112は、院内サーバ113からの診断結果データ105および眼底画像データ102を用いて、眼底画像データ102や重症度、患者情報を表示画面に表示することができる。そして、ユーザの指示により終了ボタン(図示せぬ)が操作されることにより、表示処理を終了する。
図5は、図4に示した診断データ104の送信決定処理(ステップS414)の詳細な処理手順例を示すフローチャートである。第1同意情報103aである外部保存フラグが外部保存の許可(OK)を示す「1」である場合(ステップS501:Yes)、画像取得装置400は、診断データ104を送信対象に決定して、診断データ104の送信決定処理(ステップS414)を終了する。一方、第1同意情報103aである外部保存フラグが外部保存の不許可(NG)を示す「0」である場合(ステップS501:No)、院内サーバ113は、診断データ104を送信非対象に決定して、診断データ104の送信決定処理(ステップS414)を終了する。つまり、第1同意情報103aである外部保存フラグが外部保存の不許可(NG)の場合は、撮影された眼底画像を院内サーバのみで保管し、AIによる画像診断は行われない。
図6は、図4に示した眼底画像データ102の取扱い処理(ステップS433)の詳細な処理手順例1を示すフローチャートである。第2同意情報103bである二次使用フラグが二次使用存の許可(OK)を示す「1」である場合(ステップS601:Yes)、AIサーバ130は、眼底画像データ102および診断結果Rijの組み合わせを学習データとして学習DB131に保存して、眼底画像データ102の取扱い処理(ステップS433)を終了する。一方、第2同意情報103bである二次使用フラグが二次使用の不許可(NG)を示す「0」である場合(ステップS601:No)、AIサーバ130は、眼底画像データ102を消去して、眼底画像データ102の取扱い処理(ステップS433)を終了する。
図7は、図4に示した眼底画像データ102の取扱い処理(ステップS433)の詳細な処理手順例2を示すフローチャートである。図6では、二次使用フラグがOKであれば、眼底画像データ102および診断結果Rijをそのまま学習データとして学習DB131に保存したが、図7では、たとえ、二次使用フラグがOKであったとしても、個人情報保護に配慮して、AIサーバ130は、眼底画像データ102を修正してから学習データとして学習DB131に保存する。図6と同一ステップには同一ステップ番号を付し、その説明を省略する。
第2同意情報103bである二次利用フラグが二次利用存の許可(OK)を示す「1」である場合(ステップS601:Yes)、AIサーバ130は、眼底画像データ102の修正処理を実行する(ステップS702)。ここで、眼底画像データ102の修正処理(ステップS702)の例について説明する。修正処理(ステップS702)は、眼底画像データが外部へ流出した場合に眼底画像データが不正利用されないようにするための画像処理である。例えば、眼底画像データを用いた網膜認証システムへの不正利用や、眼底画像データベースへの不正登録を防止することを目的とした処理である。
図8は、眼底画像データ102の修正処理(ステップS702)の例1を示す説明図である。図8では、AIサーバ130は、右眼の眼底画像データ102Rを左右反転してあらたに左眼の眼底画像データ802Lに変換し、左眼の眼底画像データ102Lを左右反転してあらたに右眼の眼底画像データ802Rに変換する。この場合、AIサーバ130は、診断結果RijRも診断結果RijLに変更し、診断結果RijLも診断結果RijRに変更する。
図9は、眼底画像データ102の修正処理(ステップS702)の例2を示す説明図である。図9では、左眼の眼底画像データ102の修正例を示すが、右眼についても同様の修正が可能である。AIサーバ130は、眼底画像データ102Lに血管の形状データを追加することで眼底画像データ102Lを眼底画像データ102L1に修正することが可能である。
また、AIサーバ130は、眼底画像データ102Lに血管の形状データの経路を変更することで眼底画像データ102Lを眼底画像データ102L2に修正することが可能である。また、AIサーバ130は、眼底画像データ102Lに血管の形状データを削除することで眼底画像データ102Lを眼底画像データ102L3に修正することが可能である。血管データの追加、変更、削除の場合は、左右反転とは異なり、診断結果Rijは入れ替わらない。
なお、図9に示した追加、変更および削除においては、AIサーバ130は、診断結果Rijを参照して、眼底画像データ102Lのうち異常な領域に関連しない健常な領域内の画像データを修正するのが好ましい。健常な領域とは、たとえば、診断結果Rijが軽傷非増殖網膜症(Mild。以下、第1網膜症)であれば毛細血管瘤が存在しない領域、診断結果Rijが中等または重症非増殖網膜症(ModerateまたはSevere。以下、第2網膜症)であれば無血管野ではない領域、診断結果Rijが増殖網膜症(Proliferative。以下、第3網膜症)であれば新生血管が発生していない領域である。健常な領域の修正は、診断結果Rijに影響を及ぼさない。これにより、眼底画像データ102の修正後においても修正前の診断結果を維持することができる。
また、図9および図10のように眼底画像データ102を修正することにより、修正後の眼底画像データ802が外部に流出したとしても、網膜認証で悪用されても認証されなくなる。このように、修正により孟獲認証を無効化することができ、セキュリティの向上を図ることができる。また、眼底画像データ102を修正だけでなく、眼底画像を暗号化を施すことにより、さらなるセキュリティの向上を図るようにしてもよい。
図7に戻り、AIサーバ130は、ステップS702で修正済みの眼底画像データ802および診断結果Rijの組み合わせを学習データとして学習DB131に保存して(ステップS704)、眼底画像データ102の取扱い処理(ステップS433)を終了する。これにより、患者iのプライバシーに配慮して、修正後の眼底画像データ802の二次使用を行うことができる。
図10は、図4に示した眼底画像データ102の取扱い処理(ステップS433)の詳細な処理手順例3を示すフローチャートである。図7~図9では、眼底画像データ102に修正をおこなった例を挙げたが、修正の程度によっては、修正前の診断結果Rijとは異なる診断結果Rijになってしまう場合がある。
したがって、図10では、AIサーバ130は、修正後の眼底画像データ802について再度、眼底画像診断を実行し、修正前の眼底画像データ102と同じ診断結果Rijであれば、学習データとして二次使用するために学習DB131に保存して、個人情報保護と、修正前後の診断結果の同一性と、の両立を図る。
図6および図7と同一ステップには同一ステップ番号を付し、その説明を省略する。図7に示した眼底画像データ102の修正処理(ステップS702)のあと、AIサーバ130は、修正済みの眼底画像データ802について眼底画像診断を再実行する(ステップS1001)。
そして、AIサーバ130は、ステップS1001による再診断結果Rijと、変更前の診断結果Rijと、が一致するか否かを判断する(ステップS1002)。具体的には、たとえば、ステップS702において図8に示したように眼底画像データ102を左右反転した場合、AIサーバ130は、右眼の再診断結果RijRと修正前の左眼の診断結果RijLとが一致するか否か、および、左眼の再診断結果RijLと修正前の右眼の診断結果RijRとが一致するか否かを判断する。
なお、ステップS702で、眼底画像データ102の左右反転ではなく、図9に示したように血管の形状データの追加、変更、または削除である場合、AIサーバ130は、右眼の再診断結果RijRと修正前の右眼の診断結果RijRとが一致するか否か、および、左眼の再診断結果RijLと修正前の左眼の診断結果RijLとが一致するか否かを判断する。
両眼とも一致しない場合(ステップS1002:No)、ステップS702に戻り、AIサーバ130は、眼底画像データ102の修正処理(ステップS702)を再実行する。この場合、AIサーバ130は、血管の形状データの追加、変更、削除など、既に実行した修正とは異なる修正を実行する。ただし、追加、変更、削除の対象となる血管の形状データが既に実行した追加、変更、削除の対象と異なれば、異なる修正となる。
一方、両眼とも一致する場合(ステップS1002:Yes)、AIサーバ130は、ステップS702で修正済みの最新の眼底画像データ802および診断結果Rijの組み合わせを学習データとして学習DB131に保存して(ステップS704)、眼底画像データ102の取扱い処理(ステップS433)を終了する。
これにより、患者iの眼底画像データの不正利用を防止や、患者iのプライバシー保護に配慮しつつ、修正前後の診断結果Rijの同一性を図ることにより、診断結果Rijに変更がない修正後の眼底画像データ802の二次使用を行うことができる。またこれにより、修正後の眼底画像データ802およびその診断結果Rijの組み合わせを学習データとした場合に、AIサーバ130による眼底画像診断に用いる学習モデルによる予測精度低下を抑制することができる。
図11は、図7および図9に示した眼底画像データ修正処理(ステップS702)の詳細な他の処理手順例を示すフローチャートである。図11では、AIサーバ130が診断結果Rijである重症度によって網膜内の血管の形状データを修正する処理手順例を示す。図12は、糖尿病網膜症の重症度例を示す説明図である。
図11において、AIサーバ130は、診断結果Rijが異変なし(No DR)であるか否かを判断する(ステップS1101)。診断結果Rijが異常なし(No DR)である場合(ステップS1101:Yes)、AIサーバ130は、図8または図9に示したように、眼底画像データ102の血管の形状データを修正する(ステップS1102)。そして、眼底画像データ修正処理(ステップS702)を終了して次の処理に移行する。
一方、診断結果Rijが異常なし(No DR)でない場合(ステップS1101:No)、AIサーバ130は、診断結果Rijが第1網膜症(Mild)または第3網膜症(Proliferative)であるか否かを判断する(ステップS1103)。診断結果Rijが第1網膜症(Mild)または第3網膜症(Proliferative)である場合(ステップS1103:Yes)、AIサーバ130は、図8または図9に示したように、眼底画像データ102の血管の形状データを修正する(ステップS1104)。
第1網膜症(Mild)では毛細血管溜が発生する。第3網膜症(Proliferative)では新生血管が発生する。したがって、毛細血管溜や新生血管の形状データの削除を防止するため、ステップS1104の修正では、追加、変更、および削除のうち形状データの削除は不可である。そして、眼底画像データ修正処理(ステップS702)を終了して次の処理に移行する。
一方、診断結果Rijが第1網膜症(Mild)および第3網膜症(Proliferative)のいずれでもない場合(ステップS1103:No)、診断結果Rijは第2網膜症(ModerateまたはSevere)に該当する。したがって、AIサーバ130は、図8または図9に示したように、眼底画像データ102の血管の形状データを修正する(ステップS1105)。
第2網膜症(ModerateまたはSevere)では所定範囲の無血管野が存在する。したがって、無血管野への血管の形状データの追加を防止するため、ステップS1105の修正では、追加、変更、および削除のうち形状データの追加は不可である。なお、変更により無血管野に血管の形状データが追加される場合も、形状データの追加に該当するため、そのような修正は不可である。そして、眼底画像データ修正処理(ステップS702)を終了して次の処理に移行する。
このように、AIサーバ130は、診断結果Rijに応じて眼の組織を示す形状データの修正を実行することで、修正前後での診断結果Rijの変更を防止することができる。これにより、患者iのプライバシーに配慮しつつ、修正前後の診断結果Rijの同一性を図ることにより、診断結果Rijに変更がない修正後の眼底画像データ802の二次使用を行うことができる。またこれにより、修正後の眼底画像データ802およびその診断結果Rijの組み合わせを学習データとした場合に、AIサーバ130による眼底画像診断に用いる学習モデルによる予測精度低下を抑制することができる。
<情報処理システムの機能的構成例>
図13は、実施例1にかかる情報処理システムの機能的構成例を示すブロック図である。図13において、情報処理装置1300は、画像取得装置400(端末112、院内サーバ113)および管理サーバ120を包含するコンピュータである。情報処理装置1300は、取得部1301と、第1送信部1302と、第1受信部1303と、を有する。取得部1301、第1送信部1302および第1受信部1303は、具体的には、たとえば、図2に示した記憶デバイス202に記憶されたプログラムをプロセッサ201に実行させることにより実現される。
図13は、実施例1にかかる情報処理システムの機能的構成例を示すブロック図である。図13において、情報処理装置1300は、画像取得装置400(端末112、院内サーバ113)および管理サーバ120を包含するコンピュータである。情報処理装置1300は、取得部1301と、第1送信部1302と、第1受信部1303と、を有する。取得部1301、第1送信部1302および第1受信部1303は、具体的には、たとえば、図2に示した記憶デバイス202に記憶されたプログラムをプロセッサ201に実行させることにより実現される。
取得部1301は、画像取得装置400により各種データを取得する。具体的には、たとえば、取得部1301は、図4のステップS411~S413に示したように、画像取得装置400により、患者情報DB114から対象となる患者iの患者情報および診断情報Dijを取得する。診断情報Dijには同意情報103が含まれる。また、取得部1301は、管理サーバ120により、図4のステップS422に示したように患者情報の匿名化処理を実行することにより、眼底画像データ102に固有な識別情報として匿名化IDを取得する。
また、取得部1301は、図4のステップS425、S426に示したように、AIサーバ130からの匿名化診断結果データ107に含まれる匿名化IDから特定される患者情報と、匿名化診断結果データ107に含まれる診断結果Rijと、に基づいて、患者iの診断結果データ105を取得して、管理サーバ120内に記憶する。
第1送信部1302は、画像取得装置400により各種データを送信する。具体的には、たとえば、第1送信部1302は、図4のステップS415に示したように、第1同意情報103aが送信許可を示す場合、画像取得装置400により、患者iの患者情報、眼底画像データ102および第2同意情報103bを含む診断データ104を、管理サーバ120に送信する。また、第1送信部1302は、図4のステップS423に示したように、管理サーバ120により、匿名化ID、眼底画像データ102および第2同意情報103bを含む匿名化診断データ106を、AIサーバ130に送信する。
第1受信部1303は、画像取得装置400により各種データを受信する。具体的には、たとえば、第1受信部1303は、図4のステップS424に示したように、AIサーバ130から匿名化診断結果データ107を受信する。また、第1受信部1303は、画像取得装置400により、ステップS424で匿名化診断結果データ107の受信が完了したことを示す完了情報を受信する。また、第1受信部1303は、画像取得装置400により、管理サーバ120からの診断結果データ105を受信する。
AIサーバ130は、第2受信部1311と、画像診断部1312と、第2送信部1313と、データ制御部1314と、学習部1315と、修正部1316と、学習DB131と、を有する。第2受信部1311、画像診断部1312、第2送信部1313、データ制御部1314、学習部1315、および修正部1316は、具体的には、たとえば、図2に示した記憶デバイス202に記憶されたプログラムをプロセッサ201に実行させることにより実現される。学習DB131は、具体的には、たとえば、図2に示した記憶デバイス202により実現される。
第2受信部1311は、図4のステップS431に示したように、情報処理装置1300の第1送信部1302から送信されてくる匿名化診断データ106を受信する。
画像診断部1312は、図4のステップS432に示したように、機械学習や深層学習、より具体的には、たとえば、画像診断部1312は、CNNに更新後の学習パラメータが適用された学習モデルに、眼底画像データを入力して、眼底画像診断を実行し、診断結果Rijとして重症度を第2送信部1313に出力する。
第2送信部1313は、図4のステップS434に示したように、診断結果Rijを含む匿名化診断結果データを情報処理装置1300の第1受信部1303に送信する。
データ制御部1314は、図4のステップS433に示したように、図7および図10の眼底画像データの取扱い処理を実行する。具体的には、たとえば、データ制御部1314は、保存部1341と消去部1342とを有する。保存部1341は、二次使用フラグがOKであれば画像診断部1312で診断された眼底画像データ102および診断結果Rijの組み合わせである学習データを保存し、消去部1342は、二次使用フラグがNGであれば画像診断部1312で診断された眼底画像データ102を消去する。
学習部1315は、学習DB131内の学習データ集合をCNNに与えて、CNNの学習パラメータを更新することにより、学習モデルを生成する。
修正部1316は、図7および図10のステップS702に示したように、画像診断部1312で診断された眼底画像データ102を修正する。この場合、保存部1341は、二次使用フラグがOKであれば修正部1316で修正された修正済みの眼底画像データ802および診断結果Rijの組み合わせである学習データを保存する。また、修正部1316は、学習部1315による最新の学習モデルに修正後の眼底画像データ802を入力することにより、修正後の眼底画像データ802についての診断結果Rijを得る。この場合、修正前後の診断結果Rijが一致するまで修正部1316は眼底画像データ102の修正を実行してもよい。
このように、実施例1では、患者iのプライバシーに配慮しつつ、修正前後の診断結果Rijの同一性を図ることにより、診断結果Rijに変更がない修正後の眼底画像データ802の二次使用を行うことができる。またこれにより、修正後の眼底画像データ802およびその診断結果Rijの組み合わせを学習データとした場合に、AIサーバ130による眼底画像診断に用いる学習モデルによる予測精度低下を抑制することができる。
なお、画像取得装置400は、患者iの画像診断が初回の場合、第1同意情報103aおよび第2同意情報103bを生成し、患者iの画像診断が二回目以降の場合、初回に生成した第1同意情報103aおよび第2同意情報103bを用いてもよい。これにより、同意情報103を再設定する必要がなくなり、利便性の向上を図ることができる。
また、画像取得装置400は、患者iの画像診断が初回の場合、第1同意情報103aおよび第2同意情報103bを生成し、患者iの画像診断が二回目以降の場合、初回に生成した第1同意情報103aを用い、第2同意情報103bの更新要求を出力してもよい。更新要求は、たとえば、端末112の表示画面に表示される。患者iまたは医師は、更新要求が表示画面に表示されると、第2同意情報103bである二次使用フラグを「1」(OK)または「0」(NG)に設定する。設定後、院内サーバ113は、第1同意情報103aを参照して管理サーバ120に送信するか否かを判断し、送信する場合、診断データ104を管理サーバ120に送信する。
これにより、第1同意情報103aを再設定する必要がなくなり、利便性の向上を図ることができるとともに、第2同意情報103bの再確認を患者iに促すことで、プライバシー保護の向上を図ることができる。
つぎに、実施例2について説明する。実施例1では、AIサーバ130が学習DB131を有していたが、実施例2では、AIサーバ130と学習DB131とを分離した例について説明する。学習DB131は、AIサーバ130とは異なるDBサーバ1400が保有する。DBサーバ1400の機能は、管理サーバ120が担ってもよい。なお、実施例2では、実施例1との相違点に着目して説明するため、実施例1と同一内容については同一符号を付し、その説明を省略する。
図14は、実施例2にかかる情報処理システム100の動作シーケンス例を示す説明図である。AIサーバ130は、DBサーバ1400から学習パラメータを取得して、眼底画像診断を実行する(ステップS1432)。ステップS432との相違は、DBサーバ1400から学習パラメータを取得する点である。
眼底画像診断を実行した(ステップS1432)後、AIサーバ130は、匿名化診断データ106をDBサーバ1400に送信する(ステップS1401)。この場合、DBサーバ1400は、眼底画像データ102の取扱い処理を実行する(ステップS1433)。一方、AIサーバ130は、漏洩防止のため、眼底画像データ102を消去する(ステップS1402)。また、AIサーバ130は、学習DB131から学習データ集合を取得して学習処理を実行する(ステップS1434)。ステップS434との相違は、DBサーバ1400から学習データ集合を取得する点である。そして、AIサーバ130は、受信した眼底画像における処理を終了し、次に受信する眼底画像を受ける待機状態となる。
図15は、図14に示した眼底画像データ102の取扱い処理(ステップS432)の詳細な処理手順例を示すフローチャートである。DBサーバ1400は、匿名化診断データ106を受信すると、第2同意情報103bである二次使用フラグが二次使用の不許可(NG)を示す「0」である場合(ステップS601:No)、眼底画像データ102を消去して、眼底画像データ102の取扱い処理(ステップS1433)を終了する。
一方、第2同意情報103bである二次利用フラグが二次利用存の許可(OK)を示す「1」である場合(ステップS601:Yes)、DBサーバ1400は、眼底画像データ102の修正処理を実行する(ステップS702)。そして、DBサーバ1400は、修正済み眼底画像データ802をAIサーバ130に送信する(ステップS1511)。
AIサーバ130は、DBサーバ1400から修正済み眼底画像データ802を受信すると、修正済み眼底画像データ802を学習モデルに入力して眼底画像診断を再実行する(ステップS1501)。そして、AIサーバ130は、再診断結果RijをDBサーバ1400に送信する(ステップS1502)。
DBサーバ1400は、AIサーバ130から再診断結果Rijを受信する(ステップS1512)。そして、DBサーバ1400は、再診断結果Rijと修正前の眼底画像データ102の診断結果Rijとが一致するか否かを判断する(ステップS1002)。一致しない場合(ステップS1002:No)、ステップS702に戻り、DBサーバ1400は、眼底画像データ102を再修正する(ステップS702)。一致する場合(ステップS1002:Yes)、DBサーバ1400は、修正済み眼底画像データ802および再診断結果Rijを学習データとして学習DB131に保存する(ステップS704)。これにより、眼底画像データ102の取扱い処理(ステップS1433)を終了する。
<情報処理システムの機能的構成例>
図16は、実施例2にかかる情報処理システムの機能的構成例を示すブロック図である。図16において、AIサーバ130のデータ制御部1600は、消去部1342および第3送信部1601を有し、DBサーバ1400は、学習DB131および保存部1602を有する。第3送信部1601は、二次使用フラグがOKである場合、修正済み眼底画像データ802および診断結果RijをDBサーバ1400に送信する。保存部1602は、第3送信部1601からの修正済み眼底画像データ802および診断結果Rijを学習データとして学習DB131の学習データ集合に保存する。
図16は、実施例2にかかる情報処理システムの機能的構成例を示すブロック図である。図16において、AIサーバ130のデータ制御部1600は、消去部1342および第3送信部1601を有し、DBサーバ1400は、学習DB131および保存部1602を有する。第3送信部1601は、二次使用フラグがOKである場合、修正済み眼底画像データ802および診断結果RijをDBサーバ1400に送信する。保存部1602は、第3送信部1601からの修正済み眼底画像データ802および診断結果Rijを学習データとして学習DB131の学習データ集合に保存する。
このように、実施例2においても、患者iのプライバシーに配慮しつつ、修正前後の診断結果Rijの同一性を図ることにより、診断結果Rijに変更がない修正後の眼底画像データ802の二次使用を行うことができる。またこれにより、修正後の眼底画像データ802およびその診断結果Rijの組み合わせを学習データとした場合に、AIサーバ130による眼底画像診断に用いる学習モデルによる予測精度低下を抑制することができる。
なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
100 情報処理システム、101 院内システム、102 眼底画像データ、103 同意情報、103a 第1同意情報、103b 第2同意情報、104 診断データ、105 診断結果データ、106 匿名化診断データ、107 匿名化診断結果データ、111 眼科装置、112 端末、113 院内サーバ、114 患者情報DB、120 管理サーバ、130 AIサーバ、131 学習DB、201 プロセッサ、202 記憶デバイス、400 画像取得装置、802 修正済み眼底画像データ、1300 情報処理装置、1301 取得部、1302 第1送信部、1303 第1受信部、1311 第2受信部、1312 画像診断部、1313 第2送信部、1314 データ制御部、1315 学習部、1316 修正部、1341 保存部、1342 消去部、1400 DBサーバ、1601 第3送信部、1602 保存部、Dij 診断情報、Rij 診断結果
Claims (48)
- 患者の被検眼画像データを取得する画像取得装置と、前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、前記第1情報処理装置と通信可能であり前記被検眼画像データを使用して画像診断する第2情報処理装置と、を有する情報処理システムであって、
前記画像取得装置は、
前記第1情報処理装置への前記被検眼画像データの送信の許可または不許可を示す第1同意情報と、前記第2情報処理装置での画像診断後における前記第2情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す第2同意情報とを生成する第1生成処理と、
前記第1同意情報が送信許可を示す場合、前記患者の患者情報、前記被検眼画像データおよび前記第2同意情報を含む第1送信データを、前記第1情報処理装置に送信する第1送信処理と、を実行し、
前記第1情報処理装置は、
前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、
前記第1送信データを受信すると、前記被検眼画像データに固有な識別情報を生成する第2生成処理と、
前記識別情報、前記被検眼画像データおよび前記第2同意情報を含む第2送信データを、前記第2情報処理装置に送信する第2送信処理と、を実行し、
前記第2情報処理装置は、
前記第1情報処理装置から前記第2送信データを受信すると、前記被検眼画像データに基づいて画像診断する画像診断処理と、
前記第2同意情報が前記被検眼画像データの再使用の不許可を示す場合、前記被検眼画像データを前記画像診断処理後に消去し、前記第2同意情報が前記被検眼画像データの再使用の許可を示す場合、前記被検眼画像データおよび前記画像診断処理による画像診断結果をデータベースに保存するデータ処理と、
前記識別情報と前記画像診断結果とを含む第3送信データを、前記第1情報処理装置に送信する第3送信処理と、
を実行する情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第1情報処理装置は、
前記第3送信処理によって送信されてくる前記第3送信データに含まれる前記識別情報から特定される前記患者情報と、前記第3送信データに含まれる診断結果と、に基づいて、前記患者の診断結果データを生成する第3生成処理と、
前記識別情報から特定される前記被検眼画像データとともに前記診断結果データを記憶する第2記憶処理と、
を実行する情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第1情報処理装置は、
前記第3送信データが受信されると、前記識別情報から特定される前記被検眼画像データの画像診断が完了したことを示す完了情報を、前記画像取得装置に送信する第4送信処理を実行する情報処理システム。 - 請求項2に記載の情報処理システムであって、
前記画像取得装置は、
前記診断結果データの取得要求を前記第1情報処理装置に送信する第5送信処理を実行し、
前記第1情報処理装置は、
前記取得要求が受信されると、前記診断結果データを前記画像取得装置に送信する第6送信処理と、
を実行する情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第2情報処理装置は、
前記データベースに保存済みの被検眼画像データおよび前記画像診断結果を用いて機械学習を実行して学習パラメータを生成する学習処理を実行し、
前記画像診断処理では、前記第2情報処理装置は、前記学習処理によって生成された学習パラメータを用いて、前記被検眼画像データを画像診断する、情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記被検眼画像データは、眼底カメラによる眼底画像データ、走査型レーザ検眼鏡による眼底画像データ、または、光干渉断層計による断層データのいずれか1つまたは2以上の組み合わせである、情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記画像診断処理では、前記第2情報処理装置は、前記被検眼画像データを用いて眼底の病変を診断する、情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記画像診断処理では、前記第2情報処理装置は、前記被検眼画像データを用いて糖尿病網膜症を診断する、情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第2情報処理装置は、
前記データベースに前記被検眼画像データを保存する際に、前記被検眼画像データを用いた網膜認証を無効にする無効化処理を実行する情報処理システム。 - 請求項9に記載の情報処理システムであって、
前記無効化処理では、前記第2情報処理装置は、前記被検眼画像データに網膜認証を無効にするデータを埋め込む、情報処理システム。 - 請求項9に記載の情報処理システムであって、
前記無効化処理では、前記第2情報処理装置は、両眼の被検眼画像データの各々を左右反転する、情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第1生成処理では、前記画像取得装置は、前記患者の画像診断が初回の場合、前記第1同意情報および前記第2同意情報を生成し、前記患者の画像診断が二回目の場合、初回に生成した前記第1同意情報および前記第2同意情報を用いる、情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第1生成処理では、前記画像取得装置は、前記患者の画像診断が初回の場合、前記第1同意情報および前記第2同意情報を生成し、前記患者の画像診断が二回目の場合、初回に生成した前記第1同意情報を用い、前記第2同意情報の更新要求を出力する、情報処理システム。 - 患者の被検眼画像データを記憶する第1情報処理装置と、前記第1情報処理装置と通信可能な第2情報処理装置と、が通信可能な情報処理システムであって、
前記第1情報処理装置は、
患者の被検眼画像データについて前記第2情報処理装置での使用についての同意に関する同意情報に基づいて、前記被検眼画像データを前記第2情報処理装置に送信する第1送信処理と、を実行し、
前記第2情報処理装置は、
前記第1送信処理によって送信されてくる前記被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記第1情報処理装置に送信する第2送信処理と、を実行する、情報処理システム。 - 請求項14に記載の情報処理システムであって、
前記同意情報は、前記画像診断処理後における前記第2情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す情報であり、
前記第1送信処理は、前記同意情報と前記被検眼画像データとを前記第2情報処理装置に送信する、情報処理システム。 - 請求項14に記載の情報処理システムであって、
前記同意情報は、前記画像診断処理での前記被検眼画像データの使用許可または不許可を示す第1同意情報と、前記画像診断処理後における前記第2情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す第2同意情報と、を含む、情報処理システム。 - 請求項16に記載の情報処理システムであって、
前記第1送信処理では、前記第1情報処理装置は、前記第1同意情報が前記被検眼画像データの使用不許可を示す場合、前記被検眼画像データを、前記第2情報処理装置に送信しない、情報処理システム。 - 請求項16に記載の情報処理システムであって、
前記第1送信処理では、前記第1情報処理装置は、前記第1同意情報が前記被検眼画像データの使用許可を示す場合、前記被検眼画像データおよび前記第2同意情報を前記第2情報処理装置に送信する、情報処理システム。 - 請求項18に記載の情報処理システムであって、
前記第2情報処理装置は、
前記第2同意情報が前記被検眼画像データの再使用の不許可を示す場合、前記被検眼画像データを前記画像診断処理後に消去する消去処理を実行する、情報処理システム。 - 請求項18に記載の情報処理システムであって、
前記第2情報処理装置は、
前記第2同意情報が前記被検眼画像データの再使用の許可を示す場合、前記被検眼画像データおよび前記画像診断結果をデータベースに保存する保存処理を実行する、情報処理システム。 - 請求項20に記載の情報処理システムであって、
前記第2情報処理装置は、
前記データベースに保存された被検眼画像データおよび前記画像診断結果を用いて機械学習を実行して学習パラメータを生成する学習処理を実行し、
前記画像診断処理では、前記第2情報処理装置は、前記学習処理によって生成された学習パラメータを用いて画像診断する、情報処理システム。 - 請求項21に記載の情報処理システムであって、
前記第2情報処理装置は、
前記被検眼画像データを異なる被検眼画像データに変更する修正処理を実行し、
前記保存処理では、前記第2情報処理装置は、前記修正処理による変更後の被検眼画像データおよび前記画像診断結果を前記データベースに保存する、情報処理システム。 - 請求項22に記載の情報処理システムであって、
前記画像診断処理では、前記第2情報処理装置は、前記修正処理による修正後の被検眼画像データに基づいて画像診断し、
前記修正処理では、前記第2情報処理装置は、前記修正後の被検眼画像データに基づく画像診断結果が修正前の被検眼画像データに基づく画像診断結果と同一でない場合に再修正し、
前記保存処理では、前記第2情報処理装置は、前記修正後の被検眼画像データに基づく画像診断結果が修正前の被検眼画像データに基づく画像診断結果と同一診断結果となった場合、前記同一診断結果となった前記修正後の被検眼画像データおよび前記修正前の被検眼画像データに基づく画像診断結果を前記データベースに保存する、情報処理システム。 - 請求項23に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、右眼の被検眼画像データを反転させることにより修正後の左眼の被検眼画像データとし、左眼の被検眼画像データを反転させることにより修正後の右眼の被検眼画像データとする、情報処理システム。 - 請求項23に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、前記被検眼画像データのうち異常な領域に関連しない健常な領域内の画像データを修正する、情報処理システム。 - 請求項25に記載の情報処理システムであって、
前記健常な領域内の画像データは、前記健常な領域に存在する眼の組織を示す形状データである、情報処理システム。 - 請求項26に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、前記画像診断結果に基づいて、前記健常な領域に存在する眼の組織を示す形状データを修正する、情報処理システム。 - 請求項27に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、前記画像診断結果が毛細血管瘤の存在が診断された第1網膜症である場合、前記健常な領域に存在する眼の組織を示す形状データを削除しないように修正する、情報処理システム。 - 請求項27に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、前記画像診断結果が毛細血管瘤の存在が診断された第1網膜症よりも進行したことにより所定範囲の無血管野の存在が診断された第2網膜症である場合、前記健常な領域に存在する眼の組織を示す形状データに他の形状データを追加しないように修正する、情報処理システム。 - 請求項21に記載の情報処理システムであって、
前記第2情報処理装置と通信可能で、かつ、前記データベースを有する第3情報処理装置を有し、
前記学習処理では、前記第2情報処理装置は、前記第3情報処理装置にアクセスすることにより前記データベースに保存された被検眼画像データおよび前記画像診断結果を用いて機械学習を実行して前記学習パラメータを生成して、前記第3情報処理装置に送信し、
前記画像診断処理では、前記第2情報処理装置は、前記第3情報処理装置にアクセスすることにより前記第3情報処理装置から前記学習パラメータを取得して、前記学習パラメータを用いて画像診断する、情報処理システム。 - 請求項22に記載の情報処理システムであって、
前記第2情報処理装置と通信可能で、かつ、前記データベースを有する第3情報処理装置を有し、
前記第2情報処理装置は、
前記変更後の被検眼画像データおよび前記画像診断結果を、前記第3情報処理装置に送信する第3送信処理を実行し、
前記第3情報処理装置は、
前記第2情報処理装置から送信されてきた前記変更後の被検眼画像データおよび前記画像診断結果を、前記データベースに保存する保存処理を実行する、情報処理システム。 - 請求項23に記載の情報処理システムであって、
前記第2情報処理装置と通信可能で、かつ、前記データベースを有する第3情報処理装置を有し、
前記第2情報処理装置は、
前記同一診断結果となった前記変更後の被検眼画像データおよび前記修正前の被検眼画像データに基づく画像診断結果を、前記第3情報処理装置に送信する第3送信処理を実行し、
前記第3情報処理装置は、
前記第2情報処理装置から送信されてきた前記同一診断結果となった前記修正後の被検眼画像データおよび前記修正前の被検眼画像データに基づく画像診断結果を、前記データベースに保存する保存処理を実行する、情報処理システム。 - 請求項30に記載の情報処理システムであって、
前記第3情報処理装置は、前記第1情報処理装置である、情報処理システム。 - 他の情報処理装置と通信可能な情報処理装置であって、
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、
前記プロセッサは、
患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、
前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、
を実行する情報処理装置。 - 請求項34に記載の情報処理装置であって、
前記同意情報は、前記他の情報処理装置での前記被検眼画像データに基づく画像診断処理後における前記他の情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す情報を含む、情報処理装置。 - 請求項34に記載の情報処理装置であって、
前記同意情報は、前記他の情報処理装置での前記被検眼画像データの使用許可または不許可を示す第1同意情報と、前記被検眼画像データの使用後における前記他の情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す第2同意情報と、を含む、情報処理装置。 - 請求項36に記載の情報処理装置であって、
前記送信処理では、前記情報処理装置は、前記第1同意情報が前記被検眼画像データの使用不許可を示す場合、前記被検眼画像データを前記他の情報処理装置に送信しない、情報処理装置。 - 請求項36に記載の情報処理装置であって、
前記送信処理では、前記情報処理装置は、前記第1同意情報が前記被検眼画像データの使用許可を示す場合、前記被検眼画像データおよび前記第2同意情報を前記他の情報処理装置に送信する、情報処理装置。 - 患者の被検眼画像データを記憶する他の情報処理装置と通信可能な情報処理装置であって、
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、学習データを記憶するデータベースにアクセス可能であり、
前記プロセッサは、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存を制御するデータ制御処理と、
を実行する情報処理装置。 - 請求項39に記載の情報処理装置であって、
前記データ制御処理では、前記プロセッサは、前記同意情報が前記被検眼画像データの再使用の不許可を示す場合、前記被検眼画像データを消去する、情報処理装置。 - 請求項39に記載の情報処理装置であって、
前記データ制御処理では、前記プロセッサは、前記同意情報が前記被検眼画像データの再使用の許可を示す場合、前記被検眼画像データおよび前記画像診断結果を前記学習データとして前記データベースに保存する、情報処理装置。 - 患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置であって、
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、
前記プロセッサは、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の第1情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を実行するデータ処理と、
を実行する情報処理装置。 - 他の情報処理装置と通信可能な情報処理装置のプロセッサに、
患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、
前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、
を実行させる情報処理プログラム。 - 患者の被検眼画像データを記憶する他の情報処理装置と通信可能であり、学習データを記憶するデータベースにアクセス可能な情報処理装置のプロセッサに、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存を制御するデータ制御処理と、
を実行させる情報処理プログラム。 - 患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置のプロセッサに、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を制御するデータ制御処理と、
を実行させる情報処理プログラム。 - 他の情報処理装置と通信可能な情報処理装置が実行する情報処理方法であって、
患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、
前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、
を含む情報処理方法。 - 患者の被検眼画像データを記憶する他の情報処理装置と通信可能であり、学習データを記憶するデータベースにアクセス可能な情報処理装置が実行する情報処理方法であって、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存を制御するデータ制御処理と、
を含む情報処理方法。 - 患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置が実行する情報処理方法であって、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を制御するデータ制御処理と、
を含む情報処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021535386A JP7558948B2 (ja) | 2019-07-31 | 2020-07-29 | 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 |
US17/631,242 US20220280034A1 (en) | 2019-07-31 | 2020-07-29 | Information processing system, information processing apparatus, information processing program, and information processing method |
CN202080065409.5A CN114450753A (zh) | 2019-07-31 | 2020-07-29 | 信息处理系统、信息处理装置、信息处理程序及信息处理方法 |
EP20845931.3A EP4006915A4 (en) | 2019-07-31 | 2020-07-29 | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROGRAM AND INFORMATION PROCESSING METHOD |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962880975P | 2019-07-31 | 2019-07-31 | |
US62/880,975 | 2019-07-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021020444A1 true WO2021020444A1 (ja) | 2021-02-04 |
Family
ID=74229194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/029058 WO2021020444A1 (ja) | 2019-07-31 | 2020-07-29 | 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220280034A1 (ja) |
EP (1) | EP4006915A4 (ja) |
JP (1) | JP7558948B2 (ja) |
CN (1) | CN114450753A (ja) |
WO (1) | WO2021020444A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5951086B2 (ja) * | 1977-11-30 | 1984-12-12 | 松下電器産業株式会社 | 誘電体磁器材料 |
JPH11338950A (ja) * | 1998-05-29 | 1999-12-10 | Hitachi Ltd | 診療情報の管理方法及びこれを用いた地域医療情報システム |
JP2006201830A (ja) * | 2005-01-18 | 2006-08-03 | Toshiba Corp | 医療情報管理システム及び医療情報管理方法 |
JP2008204378A (ja) * | 2007-02-22 | 2008-09-04 | Fujifilm Corp | 診療データ共有サーバ、診療データ共有方法、及び診療データファイリング装置 |
WO2014157729A1 (ja) * | 2013-03-29 | 2014-10-02 | 三菱化学メディエンス株式会社 | 情報提供システム及び情報提供システムの制御方法 |
JP2015221276A (ja) | 2015-08-06 | 2015-12-10 | 株式会社トプコン | 眼科情報処理システム、眼科情報処理サーバー及び眼科情報処理方法 |
JP2018013826A (ja) * | 2016-07-19 | 2018-01-25 | 株式会社トプコン | 医療情報処理システム及び医療情報処理方法 |
JP2018106402A (ja) * | 2016-12-26 | 2018-07-05 | 大日本印刷株式会社 | 遠隔診療システム、予約申込装置、予約受付装置及びコンピュータプログラム |
WO2018201632A1 (zh) * | 2017-05-04 | 2018-11-08 | 深圳硅基仿生科技有限公司 | 用于识别眼底图像病变的人工神经网络及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004070562A (ja) * | 2002-08-05 | 2004-03-04 | Hitachi Medical Corp | 医用画像処理クライアント/認証サーバ・システム及び認証サーバ |
JP4295304B2 (ja) * | 2006-09-19 | 2009-07-15 | シャープ株式会社 | 画像処理装置 |
JP6594033B2 (ja) * | 2015-05-14 | 2019-10-23 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10052016B2 (en) * | 2015-12-03 | 2018-08-21 | The Cleveland Clinic Foundation | Automated clinical evaluation of the eye |
JP6878923B2 (ja) * | 2017-01-31 | 2021-06-02 | 株式会社ニデック | 画像処理装置、画像処理システム、および画像処理プログラム |
KR101977645B1 (ko) * | 2017-08-25 | 2019-06-12 | 주식회사 메디웨일 | 안구영상 분석방법 |
-
2020
- 2020-07-29 EP EP20845931.3A patent/EP4006915A4/en active Pending
- 2020-07-29 WO PCT/JP2020/029058 patent/WO2021020444A1/ja active Application Filing
- 2020-07-29 CN CN202080065409.5A patent/CN114450753A/zh active Pending
- 2020-07-29 JP JP2021535386A patent/JP7558948B2/ja active Active
- 2020-07-29 US US17/631,242 patent/US20220280034A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5951086B2 (ja) * | 1977-11-30 | 1984-12-12 | 松下電器産業株式会社 | 誘電体磁器材料 |
JPH11338950A (ja) * | 1998-05-29 | 1999-12-10 | Hitachi Ltd | 診療情報の管理方法及びこれを用いた地域医療情報システム |
JP2006201830A (ja) * | 2005-01-18 | 2006-08-03 | Toshiba Corp | 医療情報管理システム及び医療情報管理方法 |
JP2008204378A (ja) * | 2007-02-22 | 2008-09-04 | Fujifilm Corp | 診療データ共有サーバ、診療データ共有方法、及び診療データファイリング装置 |
WO2014157729A1 (ja) * | 2013-03-29 | 2014-10-02 | 三菱化学メディエンス株式会社 | 情報提供システム及び情報提供システムの制御方法 |
JP2015221276A (ja) | 2015-08-06 | 2015-12-10 | 株式会社トプコン | 眼科情報処理システム、眼科情報処理サーバー及び眼科情報処理方法 |
JP2018013826A (ja) * | 2016-07-19 | 2018-01-25 | 株式会社トプコン | 医療情報処理システム及び医療情報処理方法 |
JP2018106402A (ja) * | 2016-12-26 | 2018-07-05 | 大日本印刷株式会社 | 遠隔診療システム、予約申込装置、予約受付装置及びコンピュータプログラム |
WO2018201632A1 (zh) * | 2017-05-04 | 2018-11-08 | 深圳硅基仿生科技有限公司 | 用于识别眼底图像病变的人工神经网络及系统 |
Non-Patent Citations (1)
Title |
---|
See also references of EP4006915A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4006915A1 (en) | 2022-06-01 |
US20220280034A1 (en) | 2022-09-08 |
JPWO2021020444A1 (ja) | 2021-02-04 |
CN114450753A (zh) | 2022-05-06 |
JP7558948B2 (ja) | 2024-10-01 |
EP4006915A4 (en) | 2023-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101401104B (zh) | 用于从服务器取回医疗数据的数字权利管理 | |
US20220248219A1 (en) | Medical image transfer system | |
JP4896054B2 (ja) | 個人情報管理装置,個人情報管理プログラムおよび個人情報管理システム | |
JP5887098B2 (ja) | 眼科情報処理システム、眼科情報処理サーバー及び眼科情報処理方法 | |
CN110210234B (zh) | 转诊时医疗信息的迁移方法、装置、计算机设备和存储介质 | |
JP5615880B2 (ja) | 遠隔読影システム及び遠隔読影方法 | |
JP5640841B2 (ja) | 医用情報管理システム及びプログラム | |
JP5951086B2 (ja) | 眼科情報処理システム、眼科情報処理サーバー及び眼科情報処理方法 | |
JP2002092186A (ja) | 医療情報共有化方法及び医療情報共有化システム | |
JP7558947B2 (ja) | 情報処理システム、情報処理装置、画像取得装置、情報処理方法、画像取得方法、及びプログラム | |
JP6894001B2 (ja) | 診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラム | |
JP6032396B2 (ja) | 非公開情報閲覧方法及び非公開情報閲覧システム | |
JP2018005317A (ja) | 医療データ処理装置、端末装置、情報処理方法、およびシステム | |
WO2021020444A1 (ja) | 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 | |
US20080109261A1 (en) | Method and apparatus for providing information, and computer product | |
US12062431B1 (en) | Cross-validation of data derived from images captured during diagnostic sessions | |
JP2007325779A (ja) | 医用画像管理システム、医用画像再生装置及びプログラム | |
JP2016224793A (ja) | 医用診断支援システム、医用情報表示装置、医用情報管理装置及び医用画像処理プログラム | |
JP2006279407A (ja) | 医用画像管理システム | |
JP6633247B1 (ja) | 診断情報提供装置、方法及びシステム | |
JP2006024048A (ja) | 医用情報イベント処理システム、医用情報イベント処理方法 | |
JP2012194824A (ja) | 医用画像表示システム及びプログラム | |
JP4091794B2 (ja) | 電子カルテ管理システムと電子カルテ管理方法 | |
KR20210000572A (ko) | 망막치료컨텐츠제공장치 및 그 동작 방법 | |
Gao et al. | TRAC: A Therapeutic Regimen-Oriented Access Control Model in Healthcare |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20845931 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2021535386 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020845931 Country of ref document: EP Effective date: 20220228 |