WO2020202680A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2020202680A1
WO2020202680A1 PCT/JP2019/051072 JP2019051072W WO2020202680A1 WO 2020202680 A1 WO2020202680 A1 WO 2020202680A1 JP 2019051072 W JP2019051072 W JP 2019051072W WO 2020202680 A1 WO2020202680 A1 WO 2020202680A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
imaging
display
information processing
Prior art date
Application number
PCT/JP2019/051072
Other languages
English (en)
French (fr)
Inventor
理宇眞 ▲高▼橋
律也 富田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019220765A external-priority patent/JP7406901B2/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN201980094710.6A priority Critical patent/CN113631080A/zh
Publication of WO2020202680A1 publication Critical patent/WO2020202680A1/ja
Priority to US17/480,739 priority patent/US20220005584A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning

Definitions

  • the disclosed technology relates to information processing devices and information processing methods.
  • Patent Document 1 there is known an ophthalmologic imaging apparatus in which the optical paths of two optical systems, an fundus camera and an optical coherence tomography (OCT), are partially shared.
  • different types of information processing devices include information processing devices including a plurality of optical systems for performing different types of shooting, and different types of information processing devices are used depending on the information processing device inside the shooting device.
  • Settings related to shooting and settings related to shooting data may be made.
  • various settings and the like as described above can be made by an information processing device capable of communicably connecting at least one of a plurality of imaging devices for performing different types of imaging, such as a fundus camera and an OCT device. May be done.
  • an information processing device capable of communicably connecting at least one of a plurality of imaging devices for performing different types of imaging, such as a fundus camera and an OCT device. May be done.
  • One of the purposes of the disclosed technology is to be able to individually set settings for different types of shooting data.
  • it is also an action and effect derived by each configuration shown in the embodiment for carrying out the invention described later, and it is also another purpose of the present invention to exert an action and effect which cannot be obtained by the conventional technique. It can be positioned as one.
  • One of the disclosed information processing devices is As transmission settings for a plurality of shooting data obtained by a plurality of shootings of different types, a storage means for storing information individually set for each of the plurality of shootings of different types, and a storage means. It has a transmission means for transmitting the imaging data of the subject obtained by imaging of any of the plurality of imaging of different types according to the stored information.
  • FIG. It is a figure which shows schematic the structure of the ophthalmologic imaging system which concerns on Example 1.
  • FIG. It is a figure which shows an example of the automatic transfer setting screen of the ophthalmologic imaging system which concerns on Example 1.
  • FIG. It is a figure which shows an example of the imaging screen of the ophthalmologic imaging system which concerns on Example 1.
  • FIG. It is a figure which shows an example of the imaging screen of the ophthalmologic imaging system which concerns on Example 1.
  • FIG. It is a figure which shows an example of the flowchart of the operation of the ophthalmologic imaging system which concerns on Example 1.
  • FIG. It is a figure which shows an example of the report screen displayed on the display part which concerns on Example 2.
  • FIG. It is a figure which shows schematic the structure of the ophthalmologic imaging system which concerns on Example 1.
  • FIG. It is a figure which shows an example of the automatic transfer setting screen of the ophthalmologic imaging system which concerns on Example 1.
  • FIG. It is a figure which
  • FIG. It is a figure which shows an example of the report screen displayed on the display part which concerns on Example 2.
  • FIG. It is a figure which shows an example of the image quality improvement processing which concerns on Example 2.
  • FIG. It is a figure which shows an example of the user interface which concerns on Example 2.
  • FIG. It is a figure which shows an example of the structure of the neural network used as the machine learning engine which concerns on the modification 6. It is a figure which shows an example of the structure of the neural network used as the machine learning engine which concerns on the modification 6. It is a figure which shows an example of the structure of the neural network used as the machine learning engine which concerns on the modification 6. It is a figure which shows an example of the structure of the neural network used as the machine learning engine which concerns on the modification 6.
  • the ophthalmologic imaging system 100 of this embodiment which is an example of the information processing apparatus, will be described with reference to FIGS. 1 to 5.
  • the ophthalmologic imaging system 100 of this embodiment can convert imaging data into a preset data format and automatically transfer the data according to the ophthalmologic imaging apparatus that has performed the imaging.
  • a fundus camera and an optical coherence tomography (OCT) will be described as an example.
  • FIG. 1 schematically shows the configuration of the ophthalmologic imaging system 100.
  • the ophthalmologic imaging system 100 is provided with an imaging data acquisition unit 101, an imaging data storage unit 102, a display control unit 103, an operation unit 104, an automatic transfer information storage unit 105, and an automatic transfer execution unit 106.
  • the “transfer” in the present embodiment or the like may mean, for example, a case where a photographing signal from an imaging device (for example, an interference signal of OCT) is transmitted as it is as imaging data.
  • the “transfer” in the present embodiment or the like may be a case of transmitting the photographed data processed as an image generated from the photographed signal.
  • transfer in the present embodiment or the like may mean that data processed as a report image corresponding to a report screen including an image generated from a shooting signal may be transmitted as shooting data.
  • the image generated from the imaging signal is, for example, at least one tomographic image (B scan image) or at least a part of a plurality of tomographic image data (three-dimensional tomographic image data, volume data) obtained at different positions. It may be a front image (En-Face image) obtained by using the depth range.
  • the depth range may be set according to an instruction from the examiner. At this time, the depth range may be set by changing the position of the layer boundary obtained by the segmentation process of the tomographic image on the tomographic image according to the instruction from the examiner.
  • the "automatic transfer" in the present embodiment and the like does not mean that the instruction from the examiner is not triggered at all as the trigger for starting the transmission of the shooting data.
  • another instruction for example, an inspection end instruction
  • the shooting data is the shooting data. It is intended to also serve as an instruction to start transmission of. That is, the "automatic transfer” in the present embodiment or the like may be anything as long as another instruction not directly intended to start transmission of shooting data is configured to also serve as an instruction to start transmission of shooting data.
  • the imaging data acquisition unit 101 can receive imaging data photographed from at least two or more ophthalmologic imaging devices 110.
  • the imaging data acquisition unit 101 in this embodiment can receive the fundus image and the retinal tomographic data from the fundus camera and the optical interference tomography, respectively.
  • a plurality of photographing devices for performing different types of photographing can be connected to the information processing device at the same time so as to be communicable, but in the present embodiment and the like, at least one is connected. Applicable. That is, in a situation where any one of the photographing devices is communicably connected to the information processing device, it is possible to individually set transmission for the photographing data by the plurality of photographing devices.
  • the information processing device of the present embodiment is an information processing device in which an imaging device including a plurality of optical systems for performing different types of imaging is communicably connected, or an information processing device inside the imaging device. You may. Further, the information processing apparatus of this embodiment may be, for example, a personal computer, or a desktop PC, a notebook PC, or a tablet PC (portable information terminal) may be used.
  • the shooting data storage unit 102 receives and records the shooting data acquired by the shooting data acquisition unit 101.
  • patient information such as patient (subject) name, date of birth, gender, patient ID, race data, examination information such as examination date and time, reception number, examination identification ID, and examination information, and Add and register shooting information such as shooting time, shooting mode name, shooting parameters, device name, and shooting judgment.
  • the display control unit 103 is a shooting operation screen of the ophthalmologic imaging device 110 when acquiring imaging data, and a confirmation screen for displaying the imaging data acquired by the imaging data acquisition unit 101 and recorded in the imaging data storage unit 102. Is displayed on a monitor (not shown), which is an example of the display unit.
  • the operation unit 104 performs imaging with the ophthalmologic imaging apparatus 110 on the imaging operation screen via the mouse or keyboard, selects the determination of success / failure of imaging of the imaging data displayed on the imaging result confirmation screen, and the like. Can be done. Regarding the judgment of shooting success / failure of the shooting data, for example, the operator confirms the shooting data displayed on the shooting result confirmation screen and presses the success / failure button displayed on the screen to judge the shooting. You can enter information. Further, automatic transfer (automatic transmission) can be started via the operation unit 104. For example, by transitioning to a screen other than the shooting operation screen, the automatic transfer start trigger can be used, or by pressing the inspection completion button displayed on the shooting operation screen, the automatic transfer start trigger can be used.
  • the display unit may be a touch panel type display, and in this case, the display unit is also used as the operation unit 104.
  • the automatic transfer information storage unit 105 stores settings prepared in advance for automatically transferring shooting data. As settings, the ophthalmic device to be automatically transferred, the automatic transfer destination, the data format of the imaged data to be transferred, etc. are stored.
  • the automatic transfer execution unit 106 receives an automatic transfer start trigger instructed by the operation unit 104 via the display control unit 103, and becomes an automatic transfer destination based on the automatic transfer information acquired from the automatic transfer information storage unit 105. Transfer shooting data is transferred to the transfer data storage system 120. At this time, the automatic transfer execution unit 106 confirms which imaging device the imaging data is targeted for, converts the corresponding imaging data into the data format specified by the automatic transfer information, and transfers data storage system. Transfer to 120.
  • FIG. 2 shows an example of a screen for setting the contents of automatic transfer (automatic transmission) according to this embodiment.
  • This screen is a screen for setting one automatic transfer. If the settings are different for each shooting device, or if automatic transfer is performed to multiple transfer destinations (destination), you can set them individually. A plurality of automatic transfer settings can be registered in the automatic transfer storage information storage unit 105.
  • the transfer setting screen 200 has a common setting area 210, an OCT examination setting area 220, and a fundus examination area 230.
  • the OCT examination setting area 220 and the fundus examination area 230 are examples of individual setting areas.
  • the common setting area 210 is an area for setting items common to OCT examination and fundus examination in the transfer setting (transmission setting), and has a transfer content setting 211, a transfer type setting 212, a transfer destination setting 213, and an anonymization setting 214.
  • the transfer content setting 211 transmission content setting
  • "image” or “report” can be selected as the content of the data to be sent to the transfer destination (destination).
  • the ophthalmologic imaging device 110 is set to transfer the image of the imaging data obtained by photographing the subject's eye. For example, in the case of photographed data obtained by photographing the eye to be inspected with the fundus camera, the fundus camera image is transferred, and in the case of the photographed data obtained by photographing the eye to be inspected by OCT, at least one tomographic image (B scan image). ) Is transferred (transmitted).
  • the frontal retina image such as SLO may be captured at the same time, and in that case, the frontal retina image may be transferred together.
  • the frontal image of the retina reconstructed from the photographed data of OCT may be transferred together. Further, it may be set to make an image in which the tomographic image and the frontal image of the retina are arranged in one image and transfer the image showing the imaging position of the tomographic image on the frontal image of the retina.
  • Report data related to the shooting data is placed in a specific layout, such as displaying multiple shooting data side by side or displaying analysis information of the shooting data side by side. It will be set to transfer the reported report image.
  • a report image in which a plurality of captured images are arranged in a grid pattern is transferred, and in the case of OCT, in addition to the tomographic image and the anterior retina image, the network thickness of each position on the anterior retina image is displayed on a color scale.
  • the report image that displays the map image shown may be transferred.
  • the report image may also include patient information, examination information, and imaging information registered in the imaging data storage unit 102 as additional information to the imaging data.
  • the transfer content (transmission content) selection item is not limited to two-dimensional images such as various two-dimensional medical images and report images, and for example, OCT three-dimensional structure data may be transferred.
  • the data transfer method and image format of the content set in the transfer content setting 211 can be selected.
  • the transfer destination (destination) is a DICOM storage server
  • select DICOM communication for storage such as hard disk or NAS
  • select bitmap, JPEG, or DICOM for file save select the image format you want to save. That is, if the transmission type is different, the content (incidental information, etc.) of the transmitted shooting data also differs depending on the storage format.
  • the transfer destination of the shooting data can be set.
  • the transfer destination setting method differs depending on whether the data transfer method is DICOM communication or file saving in the transfer type setting 212, and the input items on the screen change according to the selection.
  • DICOM communication is selected, the host name, port number, and server AE title required for communicating with the transfer destination DICOM storage server can be entered.
  • a function for confirming whether or not communication with the input transfer destination may be possible may be provided on this screen. If you choose to save the file, you can enter the save destination path.
  • the anonymization setting 214 can select whether to anonymize the personal information contained in the transferred data.
  • personal information such as the patient's name included in the report image, DICOM or JPEG tag information, and the file name is anonymized and transferred.
  • the anonymization setting may be anonymized by a predetermined method, an anonymization setting screen may be provided to set the anonymization method in detail, or the anonymization setting may be provided directly on the transfer setting screen.
  • the OCT inspection setting area 220 is an area for setting items to be applied when transferring imaging data captured by OCT, and has an OCT inspection image size setting 221 and an OCT inspection automatic transfer setting 222.
  • the OCT inspection image size setting 221 is an item that becomes effective when the transfer content setting 211 is an image, and the image size of the tomographic image to be transferred can be set. Select the original size when transferring the captured data captured by the OCT as it is, and select resizing as the display size when transferring the size displayed by the ophthalmologic imaging system 100 on the monitor.
  • the OCT inspection automatic transfer setting 222 can select the automatic transfer of the OCT inspection. For example, if you check Auto Send, Auto Send is set to On. Then, in the case of automatic transfer, when the automatic transfer execution unit 106 receives the automatic transfer start trigger and the ophthalmologic imaging device in which the imaging data is captured is OCT, the content set on the transfer setting screen 200 is displayed. It will be transferred automatically.
  • the fundus examination setting area 230 is an area for setting items to be applied when transferring the photographed data photographed by the fundus camera, and has the fundus examination image size setting 231 and the fundus examination automatic transfer 232.
  • the fundus examination shooting size setting 231 is an item that becomes effective when the transfer content setting 211 is an image, and the image size of the fundus camera image to be transferred can be set. Select the original size if you want to transfer the fundus camera image as it is, and select an item with a specific width if you want to change the size and transfer it. When transferring an image with a width smaller than the width selected at the time of transfer, the original size is set to be transferred.
  • the fundus examination automatic transfer setting 232 can select the automatic transfer (automatic transmission) of the fundus examination. For example, if you check Auto Send, Auto Send is set to On. Then, in the case of automatic transfer, when the automatic transfer execution unit 106 receives the automatic transfer start trigger and the ophthalmologic imaging device in which the imaging data is captured is the fundus camera, the contents set on the transfer setting screen 200. Will automatically transfer.
  • FIG. 3 and 4 show an example of a screen for inspecting the ophthalmologic imaging apparatus displayed by the display control unit 103.
  • the screen that triggers the start of automatic transfer when the ophthalmologic imaging device 110 moves from the imaging screen to another screen is an example of the screen.
  • the ophthalmologic imaging system screen 300 can display a plurality of screens, and the screens can be switched in a tab format.
  • FIG. 3 shows an example of a screen for performing OCT imaging and is displayed when the OCT imaging tab 301 is selected.
  • FIG. 4 shows an example of a screen for taking a picture of the fundus camera and is displayed when the fundus photography tab 302 is selected.
  • the OCT imaging screen 310 is displayed in the tab, and OCT imaging and imaging results can be displayed.
  • the preview screen as shown in FIG.
  • the moving image of the anterior segment is displayed in the upper left display area
  • the SLO moving image of the fundus is displayed in the lower left display area
  • the moving image of the OCT tomographic image is on the right side. It is displayed in the display area of.
  • the display may be changed to a imaging confirmation screen (not shown). If the OCT shooting is OK on the shooting confirmation screen, the display may be changed to the preview screen. Further, when the fundus photography tab 302 is selected, the fundus camera photography screen 320 is displayed in the tab, and the image photographed by the fundus camera can be displayed.
  • Tabs other than the imaging screen include the report tab 303, which displays the reporting screen that displays the imaging data of the patient that was photographed, and the patient to start the examination of another patient or display the imaging data of another patient.
  • a patient tab 304 that displays a patient screen for creating and selecting.
  • various display screens such as a follow-up observation display screen and a three-dimensional volume rendering display screen may be configured to be changeable.
  • any display screen among the various display screens as described above may be configured to be configurable.
  • the initial display of the report screen not only the initial display screen but also the presence / absence of high image quality processing, the presence / absence of display of the analysis result, the depth range for generating the front image, and the like may be set.
  • the report image generated based on the content set as the initial display of the report screen may be transmitted.
  • the report screen may be a display screen used in a use case such as OCT imaging after fundus imaging, and may be a display screen for displaying the fundus image and the OCT image together.
  • the transmission means can transmit the report image corresponding to the report screen on which the medical image obtained by the high image quality processing is displayed as the photographing data.
  • a logout button 305 for logging out and displaying the login screen in order to end the use of the ophthalmologic imaging system.
  • Automatic transfer is started by selecting a tab other than these shooting screens or the logout button 305.
  • the OCT imaging tab 301 is moved to the fundus photography tab 302 and when the fundus photography tab 302 is moved to the OCT imaging tab 301, automatic transfer is not performed, so that both after both the fundus photography and the OCT imaging are performed. It is an operation to automatically transfer the shooting data of. In this way, by not performing automatic transfer between the shooting tabs, it is possible to prevent the operator from being hindered by the automatic transfer process.
  • the automatic transfer process when the automatic transfer process is performed in parallel with the screen operation, it is possible to avoid the processing on the shooting operation side from failing due to the load of the automatic transfer process, and after the automatic transfer process is completed in parallel with the screen operation, the next step.
  • the imaging screen When the imaging screen is displayed, it is possible to avoid having the patient wait by the automatic transfer process in a series of imaging to the patient.
  • the automatic transfer process is performed in parallel with the screen operation and the system has sufficient performance, when the OCT imaging tab 301 is moved to the fundus photography tab 302 and the fundus photography tab 302 is used for OCT imaging. When moving to tab 301, it may be treated as a trigger for starting automatic transfer.
  • the imaging data of the ophthalmologic imaging device to be automatically transferred is always automatically transferred with the imaging data of one ophthalmologic imaging device.
  • the case of transitioning to the report screen is not treated as a trigger for starting automatic transfer, but only the patient tab 304 and the logout button 305 are treated as a trigger for starting automatic transfer, and automatic transfer is performed in units from one patient to another patient. You may go.
  • the information added / edited in the report screen can also be treated as one of the information added at the time of automatic transfer.
  • FIG. 5 shows a flowchart of the operation of the automatic transfer process according to the present embodiment.
  • the target ophthalmic imaging device for automatic transfer may differ depending on the transfer settings. Therefore, when performing automatic transfer, the automatic transfer executing unit 106 confirms the automatic transfer setting contents of the automatic transfer information storage unit 105 and the ophthalmic imaging device 110 to be automatically transferred by the imaging data storage unit 102, and the ophthalmic imaging device 110. Only when 110 is the target of automatic transfer, it is automatically transferred to the transfer data storage system 120.
  • step S500 the operator shoots using the ophthalmologic imaging device 110, and the imaging data acquisition unit 101 acquires the imaging data from the imaging device 110.
  • the shooting data acquisition unit displays the shooting data via the display control unit 103, and the operator inputs the success / failure of the shooting.
  • step S501 the shooting data acquisition unit 101 saves the shooting data acquired in step S500 and the result of success / failure of shooting input by the operator together with additional information in the shooting data storage unit 102. If it is input that shooting has failed, the shooting data may not be saved or may be stored in a place other than the shooting data storage unit 102.
  • step S502 if the operator continues the inspection, shooting is performed and the process returns to step S500.
  • the operator selects (presses) a tab other than the imaging tabs such as the OCT imaging tab 301 and the ophthalmic imaging tab 302 on the ophthalmologic imaging system screen 300, these imaging screens are changed to other display screens.
  • the automatic transfer start trigger is sent to the automatic transfer executing unit 106 to the automatic transfer executing unit 106.
  • the processing during the OCT preview (for example, the moving image of the anterior segment, the SLO moving image of the fundus, the moving image of the OCT tomographic image, each optics The burden of adjustment) is large. Therefore, if the fundus photography data is transmitted during the OCT preview, the processing during the OCT preview may not be successful. Therefore, it may be configured so that automatic transfer is not performed not only when the current shooting tab but also when another shooting tab is selected. However, in the present embodiment and the like, even if it is a shooting tab, it may be configured so that automatic transfer is performed when a tab other than the currently selected tab is selected. If the logout button 305 is selected while the shooting screen is being displayed, the display screen may be changed to the login screen, and it may be determined that the inspection has been completed. In this case, the selection of the logout button 305 can be the trigger for starting automatic transfer.
  • step S503 the automatic transfer execution unit 106 reads the transfer settings one by one from the automatic transfer information storage unit 105 and confirms whether or not there is an automatic transfer setting. If there is an automatic transfer setting, the process proceeds to step S504, and if there is no automatic transfer setting, the automatic transfer executing unit 106 ends the automatic transfer process. If only one transfer setting can be registered, the steps after step S503 are not essential. As described above, the transfer setting may allow registration of a plurality of patterns. At this time, if there are a plurality of registered transfer settings, in step S503, information (data) corresponding to the setting contents of the transfer settings of the plurality of patterns may be transmitted in order. For example, even if the first transfer setting and the second transfer setting are inconsistent with each other, data may be transmitted in order according to these settings.
  • step S504 the automatic transfer storage unit 106 confirms the ophthalmologic imaging device that is the target of automatic transfer of the automatic transfer setting confirmed in step S503 and the ophthalmologic imaging device of the imaging data saved in step S501, and automatically transfers the imaging data into the imaging data. Determine if the target ophthalmologic imaging device is included. For the ophthalmologic imaging device settings to be automatically transferred, the setting contents of the OCT examination automatic transfer setting 222 and the fundus examination automatic transfer setting 232 in the transfer setting screen 200 are confirmed.
  • step S505 If there is an automatic transfer target in the shooting data, proceed to step S505 to enter the automatic transfer process, and if there is no shooting data shot by the ophthalmologic imaging device to be automatically transferred, return to step S503 and set the next automatic transfer. Check for the presence or absence of.
  • step S505 the imaging data of the ophthalmologic imaging apparatus to be automatically transferred is read in order from the imaging data stored in the imaging data storage unit 102.
  • step S506 the shooting data read in step S505 is converted into data according to the transfer setting contents.
  • the image is taken by the fundus camera
  • the image is selected in the transfer content setting 211 and 1600 pixels (width) is selected in the image size setting 231
  • the image taken by the fundus camera is an image having a width of 1600 pixels.
  • the transfer type setting 212 is a JPEG file save
  • data conversion in JPEG format is performed, and patient information, examination information, and imaging information are added to the JPEG tag.
  • the anonymization setting 214 is set, the personal information is anonymized and added from the JPEG tag information.
  • step S507 the data converted in step S506 is transferred to the transfer destination set in the transfer destination setting 213. If save file is selected in transfer type setting 212, save the file to the specified path. When DICOM communication is selected, data is transferred to the transfer data storage system at the transfer destination.
  • step S508 the result of the data transfer performed in step S507 is confirmed. If the transfer is completed normally, the process proceeds to step S510, and if the transfer fails, the retransfer process is performed in step S509.
  • step S509 the data that failed to be transferred is recorded as a retransfer target. For example, if the storage destination capacity is insufficient, or if the save destination or communication destination cannot be accessed due to a network error, register the setting to re-execute the automatic transfer at the next login or after a certain period of time. Note that the retransfer may be manually executed by the operator instead of automatically.
  • step S510 it is confirmed whether there is any other shooting data that is a candidate for the automatic transfer setting confirmed in step S503. If there is, the process proceeds to step S505 to automatically transfer the next shooting data. If not, the process proceeds to step S503 to check if there are any other automatic transfer settings. At this time, if all the automatic transfers are completed in step S503, the automatic transfers are terminated. At that time, the result of automatic transfer may be notified. As the content of the notification, it notifies whether or not the automatic transfer of the shooting data that is the target of all the automatic transfer settings is successful. The operator may be notified of the information of the shooting data registered for re-transfer in step S509.
  • the automatic transfer processing is performed in parallel with the screen display on the display control unit 103.
  • the operator may perform the screen layer by performing the screen layering, or may display and present a transfer message on the screen so that the screen is not operated until the automatic transfer process is completed.
  • the result display area is prepared on the screen for the notification of the automatic transfer result after the automatic transfer process is completed, and only the result is displayed when the automatic transfer is completed.
  • the details of the automatic transfer result may be displayed by displaying the result and then selecting the result display area.
  • the transfer content may be changed and the imaging data may be automatically transferred according to the type of the ophthalmologic imaging device. it can.
  • the imaging data required by the ophthalmologic imaging apparatus was properly transferred to the automatic transfer destination, which was very favorable.
  • the automatic transfer is started when the imaging with the ophthalmologic imaging device is completed and the screen is moved to another screen, but it may be every one imaging. In that case, after saving the shooting data in step S501, the process proceeds to step S503 to perform automatic transfer. At this time, in the automatic transfer that requires a plurality of shooting data such as a report image, the automatic transfer is performed when it is determined that the necessary shooting data are available. Further, in this embodiment, automatic transfer is performed using the imaging data acquired from each of the two devices, the fundus camera and the OCT, but the present invention is not limited to this.
  • the start of automatic transfer is used as the start trigger of automatic transfer after shooting, but the present invention is not limited to this. It is also possible to prepare a button for collectively transferring on a screen other than the imaging screen, start the transfer at an arbitrary timing of the operator, and transfer according to the ophthalmologic imaging device to be automatically transferred. In that case, you can present information such as automatic transfer settings and shooting data to the operator, or change the target automatic transfer settings and shooting data range for the operator to start automatic transfer. You may.
  • the information processing device includes a high image quality unit (not shown) for applying high image quality processing by machine learning as a high image quality means for improving the image quality of motion contrast data.
  • the high image quality section of the information processing device inputs a low-quality motion contrast image generated from a small number of tomographic images into the machine learning model, so that the image quality is as high as that generated from a large number of tomographic images.
  • the machine learning model is input data which is a low-quality image acquired under predetermined shooting conditions assumed as a processing target, and output data (correct answer data) which is a high-quality image corresponding to the input data. It refers to a function generated by performing machine learning using training data composed of pairs.
  • the predetermined shooting conditions include a shooting portion, a shooting method, a shooting angle of view, an image size, and the like.
  • the low-quality motion contrast image is acquired as follows, for example.
  • the control unit (not shown) in the information processing apparatus instructs the optical coherence tomography (OCT) to perform OCTA imaging based on the setting instructed by the operator, and the OCT fault corresponding to the OCT. Get an image.
  • the OCT also acquires an SLO image using an SLO optical system whose optical path is separated by using a dichroic mirror which is an example of a wavelength separation member, and executes tracking processing based on the SLO moving image.
  • the setting of the imaging conditions is, for example, 1) registration of the Macular Disease inspection set, 2) selection of the OCTA scan mode, 3) setting of the following imaging parameters, and the like.
  • the imaging parameters include, for example, 3-1) scanning pattern: 300A scan (book) x 300B scan (sheets), 3-2) scanning area size: 3x3 mm, 3-3) main scanning direction: horizontal direction, etc. Is set. Further, as imaging parameters, for example, 3-4) scanning interval: 0.01 mm, 3-5) fixation lamp position: macula (fovea centralis), 3-6) number of B scans per cluster: 4 , 3-7) Coherence gate position: Glass side, 3-8) Default display Report type: Monocular examination report, etc. are set.
  • the imaging data acquisition unit 101 generates a motion contrast image (motion contrast data) based on the acquired OCT tomographic image.
  • the correction unit (not shown) may execute a process of suppressing the projection artifact generated on the motion contrast image.
  • the display control unit 103 causes the display unit (not shown) to display the generated tomographic image, the three-dimensional motion contrast image, the motion contrast front image, information on the shooting conditions, and the like.
  • the button 911 an example of the high image quality button
  • the high image quality section performs the high image quality processing on the motion contrast image.
  • the high image quality button is a button for instructing the execution of the high image quality processing.
  • the high image quality button may be a button for instructing the display of the high image quality image (generated before pressing the high image quality button).
  • the input data used as the training data is a low-quality motion contrast image generated from a single cluster with a small number of tomographic images.
  • the output data (correct answer data) used as the learning data is a high-quality motion contrast image obtained by adding and averaging a plurality of aligned motion contrast data.
  • the output data used as the training data is not limited to this, and may be, for example, a high-quality motion contrast image generated from a single cluster composed of a large number of tomographic images.
  • the output data used as the training data may be a high-quality motion contrast image obtained by setting a motion contrast image having a higher resolution (higher magnification) than the input image to the same resolution (same magnification) as the input image.
  • the pair of the input image and the output image used for training the machine learning model is not limited to the above, and any known image combination may be used.
  • an image obtained by adding the first noise component to a motion contrast image acquired by the tomographic image capturing device 100 or another device is used as an input image
  • the motion contrast image (acquired by the tomographic image capturing device 100 or another device) is used as an input image.
  • An image to which a second noise component (different from the first noise component) is added may be used as an output image for training a machine learning model. That is, the high image quality unit improves the image quality of the motion contrast data input as the input image by using the learned model for high image quality obtained by learning the learning data including the motion contrast data of the fundus. Anything is fine as long as it is.
  • FIG. 7 shows a configuration example of a machine learning model in the high image quality section according to this embodiment.
  • the machine learning model is a convolutional neural network (CNN), and is composed of a plurality of layers responsible for processing input value groups and outputting them.
  • the types of layers included in the above configuration include a convolution layer, a downsampling layer, an upsampling layer, and a merger layer.
  • the convolution layer is a layer that performs convolution processing on the input value group according to parameters such as the kernel size of the set filter, the number of filters, the stride value, and the dilation value.
  • the number of dimensions of the kernel size of the above filter may be changed according to the number of dimensions of the input image.
  • the downsampling layer is a process of reducing the number of output value groups to be smaller than the number of input value groups by thinning out or synthesizing input value groups. Specifically, for example, there is a Max Polling process.
  • the upsampling layer is a process of increasing the number of output value groups to be larger than the number of input value groups by duplicating the input value group or adding the interpolated value from the input value group. Specifically, for example, there is a linear interpolation process.
  • the composite layer is a layer in which a value group such as an output value group of a certain layer or a pixel value group constituting an image is input from a plurality of sources, and the processing is performed by concatenating or adding them.
  • the value group in which the pixel value group constituting the input image 1301 is output through the convolution processing block and the pixel value group constituting the input image 1301 are combined in the composite layer. After that, the combined pixel value group is formed into a high-quality image 1302 in the final convolution layer.
  • a batch normalization layer or an activation layer using a rectifier liner unit may be incorporated after the convolution layer. You may.
  • the image to be processed is described as a two-dimensional image in FIG. 7 for the sake of simplicity, the present invention is not limited to this.
  • the present invention also includes a case where a three-dimensional low-quality motion contrast image is input to the high-quality image section and a three-dimensional high-quality motion contrast image is output.
  • the GPU can perform efficient calculations by processing more data in parallel. Therefore, when learning is performed a plurality of times using a learning model such as deep learning, it is effective to perform processing on the GPU. Therefore, in this embodiment, a GPU is used in addition to the CPU for processing by the information processing device, which is an example of the learning unit (not shown). Specifically, when executing a learning program including a learning model, learning is performed by the CPU and the GPU collaborating to perform calculations. The processing of the learning unit may be performed only by the CPU or GPU. Further, the GPU may be used for the high image quality unit as well as the learning unit. Further, the learning unit may include an error detecting unit and an updating unit (not shown).
  • the error detection unit obtains an error between the output data output from the output layer of the neural network and the correct answer data according to the input data input to the input layer.
  • the error detection unit may calculate the error between the output data from the neural network and the correct answer data by using the loss function.
  • the update unit updates the coupling weighting coefficient between the nodes of the neural network based on the error obtained by the error detection unit so that the error becomes small.
  • This updating unit updates the coupling weighting coefficient and the like by using, for example, the error back propagation method.
  • the error back propagation method is a method of adjusting the coupling weighting coefficient between the nodes of each neural network so that the above error becomes small.
  • the operator can instruct the start of the OCTA analysis process by using the operation unit 104.
  • the process shifts (screen transition) to FIG. 6A, which is an example of the report screen.
  • the motion contrast image is enlarged and displayed, and analysis processing can be performed using an information processing device.
  • Arbitrary analysis processing may be performed as the type of analysis processing.
  • the type of analysis shown in item 905 displayed by selecting Density Analysis 903 or Tools button 904 in FIG. 6A, and analysis if necessary.
  • the desired type of analysis can be specified.
  • the analysis process in the above-described embodiment can be executed by using the motion contrast image whose high image quality is improved by the learned model for high image quality in response to the instruction from the operator. Therefore, for example, the accuracy of the analysis process in the above-described embodiment can be improved.
  • FIG. 6A is an example of a report screen in which the OCTA image in FIG. 6B is enlarged and displayed. Also in FIG. 6A, the button 911 is displayed in the same manner as in FIG. 6B.
  • the screen transition from FIG. 6B to FIG. 6A is made by, for example, double-clicking the OCTA image, and the transition from FIG. 6A to FIG. 6B is made with a close button (not shown). Note that the screen transition is not limited to the method shown here, and a user interface (not shown) may be used.
  • buttons 911 If execution of high image quality processing is specified at the time of screen transition (button 911 is active), that state is maintained even at the time of screen transition. That is, when transitioning to the screen of FIG. 6A while displaying the high-quality image on the screen of FIG. 6B, the high-quality image is also displayed on the screen of FIG. 6A. Then, the button 911 is activated. The same applies to the transition from FIG. 6A to FIG. 6B. In FIG. 6A, the button 911 can be specified to switch the display to a low-quality image.
  • the display state of the high-quality image was maintained if the transition was to a screen that displays the same shooting data, such as a display screen for follow-up observation or a display screen for panorama.
  • the high image quality button for example, button 3420 in FIG. 8 described later
  • the high image quality button becomes active
  • it is obtained at different dates and times (different inspection dates) displayed side by side on the follow-up display screen.
  • the plurality of images may be switched to high-quality images. That is, when the high image quality button on the display screen for follow-up observation becomes active, it may be configured to be reflected collectively on a plurality of images obtained at different dates and times.
  • FIG. 3 An example of a display screen for follow-up observation is shown in FIG.
  • the depth range of the analysis target area can be changed by the examiner selecting from the default depth range sets (3802 and 3803) displayed in the list box.
  • the list box 3802 the surface layer of the retina is selected, and in the list box 3803, the deep layer of the retina is selected.
  • the analysis result of the motion contrast image of the surface layer of the retina is displayed in the upper display area, and the analysis result of the motion contrast image of the deep layer of the retina is displayed in the lower display area. That is, when the depth range is selected, the analysis results of the plurality of motion contrast images in the selected depth range are collectively displayed in parallel for the plurality of images having different dates and times.
  • the display of the analysis result may be changed to the parallel display of a plurality of motion contrast images at different dates and times at once.
  • the button 3420 is specified in response to the instruction from the examiner, the display of the plurality of motion contrast images is changed to the display of the plurality of high-quality images at once.
  • the button 3420 is an example of a high image quality button, similar to the button 911 of FIGS. 6A and 6B described above.
  • the display of the analysis result of the plurality of motion contrast images is the analysis result of the plurality of high-quality images. It is changed to the display of.
  • the analysis result may be displayed by superimposing the analysis result on the image with arbitrary transparency.
  • the change to the display of the analysis result may be changed to a state in which the analysis result is superimposed on the displayed image with arbitrary transparency, for example.
  • the change to the display of the analysis result may be, for example, a change to the display of an image (for example, a two-dimensional map) obtained by blending the analysis result and the image with an arbitrary transparency.
  • the type of layer boundary and the offset position used to specify the depth range can be changed collectively from a user interface such as 3805 and 3806, respectively.
  • the depth range of multiple motion contrast images at different dates and times can be changed at once. May be done.
  • the layer boundary data may be similarly moved on another tomographic image.
  • the presence / absence of the image projection method or the projection artifact suppression process may be changed by selecting from a user interface such as a context menu.
  • the selection button 3807 may be selected to display the selection screen, and the image selected from the image list displayed on the selection screen may be displayed.
  • the arrow 3804 displayed at the upper part of FIG. 8 is a mark indicating that the inspection is currently selected, and the reference inspection (Baseline) is the inspection selected at the time of Follow-up imaging (one of FIG. 8). The image on the far left).
  • a mark indicating the standard inspection may be displayed on the display unit.
  • the analysis value distribution (map or sector map) for the reference image is displayed on the reference image. Further, in this case, a differential analysis value map between the analysis value distribution calculated for the reference image and the analysis value distribution calculated for the image displayed in the area is displayed in the area corresponding to the other inspection dates. To do.
  • a trend graph (a graph of the analysis value for the image of each inspection day obtained by the time-dependent change analysis) may be displayed on the report screen. That is, time-series data (for example, a time-series graph) of a plurality of analysis results corresponding to a plurality of images having different dates and times may be displayed.
  • the analysis results related to the date and time other than the plurality of date and time corresponding to the plurality of displayed images can be distinguished from the plurality of analysis results corresponding to the plurality of displayed images (for example, time series).
  • the color of each point on the graph differs depending on whether or not the image is displayed). It may be displayed as time series data.
  • the regression line (curve) of the trend graph and the corresponding mathematical formula may be displayed on the report screen.
  • the motion contrast image has been described, but the present invention is not limited to this.
  • the image related to processing such as display, high image quality, and image analysis according to this embodiment may be a tomographic image. Further, not only a tomographic image but also a different image such as an SLO image, a fundus photograph, or a fluorescent fundus photograph may be used.
  • the user interface for executing the high image quality processing is one that instructs the execution of the high image quality processing for a plurality of different types of images, and an arbitrary image is selected from a plurality of different types of images. There may be something that instructs the execution of the high image quality processing.
  • the target image of the high image quality processing is not a plurality of OCTA front images (corresponding to a plurality of depth ranges) (OCTA En-Face image, motion contrast En-Face image), but one depth range, for example. It may be one OCTA front image corresponding to.
  • the target image of the high image quality processing is, for example, a front image of luminance (En-Face image of luminance), an OCT tomographic image of B scan, or a tomographic image of motion contrast data (OCTA) instead of the OCTA front image. It may be a tomographic image).
  • the target image of the high image quality processing is not only the OCTA front image, but also various medical images such as a brightness front image, an OCT tomographic image which is a B scan, and a tomographic image of motion contrast data (OCTA tomographic image). It may be. That is, the target image for the high image quality processing may be, for example, at least one of various medical images displayed on the display screen of the display unit. At this time, for example, since the feature amount of the image may be different for each type of image, a trained model for high image quality corresponding to each type of the target image for high image quality processing may be used.
  • the OCTA front image is not only processed to be high quality by using the trained model for high image quality corresponding to the OCTA front image, but also the height corresponding to the OCT tomographic image is high.
  • the OCT tomographic image may also be configured to be image-enhanced using the trained model for image-improvement.
  • the display is not only changed to the display of the high-quality OCTA front image generated by using the trained model for high image quality corresponding to the OCTA front image.
  • the display of the high-quality OCT tomographic image generated by using the trained model for high image quality corresponding to the OCT tomographic image may be changed.
  • the line indicating the position of the OCT tomographic image may be superimposed and displayed on the OCTA front image.
  • the line may be configured to be movable on the OCTA front image according to an instruction from the examiner.
  • the high-quality OCT obtained by performing high-quality processing on the OCT tomographic image corresponding to the position of the current line after the line is moved. It may be configured to be modified to display a tomographic image. Further, by displaying the high image quality button corresponding to the button 3420 for each target image of the high image quality processing, the high image quality processing may be independently enabled for each image.
  • information indicating the blood vessel region (for example, motion contrast data equal to or higher than the threshold value) in the OCTA tomographic image may be superimposed and displayed on the OCT tomographic image which is a B scan at the corresponding position.
  • the image quality of the OCTA tomographic image is improved
  • the image quality of the OCTA tomographic image at the corresponding position may be improved.
  • the information indicating the blood vessel region in the OCTA tomographic image obtained by improving the image quality may be superimposed and displayed on the OCTA tomographic image obtained by improving the image quality.
  • the information indicating the blood vessel region may be any identifiable information such as color.
  • the superimposed display and non-display of the information indicating the blood vessel region may be configured to be changeable according to an instruction from the examiner. Further, when the line indicating the position of the OCT tomographic image is moved on the OCTA front image, the display of the OCT tomographic image may be updated according to the position of the line. At this time, since the OCTA tomographic image at the corresponding position is also updated, the superimposed display of the information indicating the blood vessel region obtained from the OCTA tomographic image may be updated. Thereby, for example, the three-dimensional distribution and state of the blood vessel region can be effectively confirmed while easily confirming the positional relationship between the blood vessel region and the region of interest at an arbitrary position.
  • the image quality of the OCTA tomographic image may be improved by an addition averaging process or the like of a plurality of OCTA tomographic images acquired at the corresponding positions instead of using the trained model for the image quality improvement.
  • the OCT tomographic image may be a pseudo OCT tomographic image reconstructed as a cross section at an arbitrary position in the OCT volume data.
  • the OCTA tomographic image may be a pseudo OCTA tomographic image reconstructed as a cross section at an arbitrary position in the OCTA volume data.
  • the arbitrary position may be at least one arbitrary position, and may be configured to be changeable according to an instruction from the examiner. At this time, a plurality of pseudo tomographic images corresponding to a plurality of positions may be reconstructed.
  • tomographic image for example, OCT tomographic image or OCTA tomographic image
  • a plurality of tomographic images may be displayed.
  • the tomographic images acquired at positions in different sub-scanning directions may be displayed, or the plurality of tomographic images obtained by, for example, cross-scanning may be displayed in high quality.
  • images in different scanning directions may be displayed.
  • a plurality of tomographic images obtained by, for example, a radial scan with high image quality a plurality of partially selected tomographic images (for example, two tomographic images at positions symmetrical with respect to a reference line) are displayed. ) May be displayed respectively.
  • a plurality of tomographic images are displayed on a display screen for follow-up observation as shown in FIG. 8, and instructions for improving the image quality and analysis results (for example, the thickness of a specific layer, etc.) are obtained by the same method as the above method. ) May be displayed. Further, the tomographic image may be subjected to high image quality processing based on the information stored in the database by the same method as the above method.
  • the SLO fundus image displayed on the same display screen may be displayed with high image quality.
  • the front image of the brightness is displayed with high image quality, for example, the front image of the brightness displayed on the same display screen may be displayed with high image quality.
  • a plurality of SLO fundus images and frontal images of luminance are displayed on a display screen for follow-up observation as shown in FIG. The thickness of the layer, etc.) may be displayed.
  • the image quality improving process may be executed on the SLO fundus image and the front image of the brightness based on the information stored in the database by the same method as the above method.
  • the display of the tomographic image, the SLO fundus image, and the front image of the brightness is an example, and these images may be displayed in any manner depending on the desired configuration. Further, at least two or more of the OCTA front image, the tomographic image, the SLO fundus image, and the brightness front image may be displayed with high image quality by one instruction.
  • the display control unit 103 can display the image processed by the image quality improving unit (not shown) according to the present embodiment on the display unit. At this time, as described above, when at least one of a plurality of conditions relating to the display of the high-quality image, the display of the analysis result, the depth range of the displayed front image, and the like is selected, the display screen is displayed. Even if it is transitioned, the selected state may be maintained.
  • the display control unit 103 responds to an instruction from the examiner (for example, when the button 911 or the button 3420 is specified) to obtain the analysis result of the low-quality image.
  • the display may be changed to display the analysis result of a high-quality image.
  • the display control unit 103 analyzes the high-quality image according to the instruction from the examiner (for example, when the designation of the button 911 or the button 3420 is canceled) when the display of the analysis result is in the selected state.
  • the display of the result may be changed to the display of the analysis result of the low-quality image.
  • the display control unit 103 responds to an instruction from the examiner (for example, when the designation of displaying the analysis result is canceled) when the display of the high-quality image is not selected, and the display control unit 103 determines the low-quality image.
  • the display of the analysis result may be changed to the display of a low-quality image.
  • the display control unit 103 displays the low-quality image in response to an instruction from the examiner (for example, when the display of the analysis result is specified) when the display of the high-quality image is not selected. You may change to display the analysis result of the low-quality image.
  • the display control unit 103 analyzes the high-quality image in response to an instruction from the examiner (for example, when the designation of displaying the analysis result is canceled) when the display of the high-quality image is in the selected state.
  • the display of the result may be changed to the display of a high-quality image.
  • the display control unit 103 increases the display of the high-quality image according to the instruction from the examiner (for example, when the display of the analysis result is specified). You may change to display the analysis result of the image quality image.
  • the display control unit 103 responds to the instruction from the examiner (for example, when the display of the analysis result of the second type is specified), and the display control unit 103 of the analysis result of the first type of the low-quality image.
  • the display may be changed to display the analysis result of the second type of the low image quality image.
  • the display of the high-quality image is in the selected state and the display of the analysis result of the first type is in the selected state.
  • the display control unit 103 responds to the instruction from the examiner (for example, when the display of the second type of analysis result is specified), and the display control unit 103 determines the analysis result of the first type of the high-quality image.
  • the display may be changed to display the analysis result of the second type of the high-quality image.
  • the display screen for follow-up observation may be configured so that these display changes are collectively reflected on a plurality of images obtained at different dates and times.
  • the analysis result may be displayed by superimposing the analysis result on the image with arbitrary transparency.
  • the change to the display of the analysis result may be changed to a state in which the analysis result is superimposed on the displayed image with arbitrary transparency, for example.
  • the change to the display of the analysis result may be, for example, a change to the display of an image (for example, a two-dimensional map) obtained by blending the analysis result and the image with an arbitrary transparency.
  • the display control unit 103 causes the display unit to display an image selected in response to an instruction from the examiner among the high-quality image and the input image generated by the high-quality image unit. Can be done. Further, the display control unit 103 may switch the display on the display screen in the display unit from the captured image (input image) to the high-quality image in response to the instruction from the examiner. That is, the display control unit 103 may change the display of the low-quality image to the display of the high-quality image in response to an instruction from the examiner. Further, the display control unit 103 may change the display of the high-quality image to the display of the low-quality image in response to an instruction from the examiner.
  • the high image quality unit in the information processing device instructs the examiner to start the high image quality processing (input of the image to the high image quality engine) by the high image quality engine (learned model for high image quality).
  • the display control unit 103 may display the high-quality image generated by the high-quality image-enhancing unit on the display unit.
  • the image quality improving engine automatically generates a high image quality image based on the input image, and the display control unit 103 receives an instruction from the examiner.
  • a high-quality image may be displayed on the display unit accordingly.
  • the high image quality engine includes a trained model that performs the above-mentioned image quality improvement processing (high image quality processing).
  • the display control unit 103 may change the display of the analysis result of the low-quality image to the display of the analysis result of the high-quality image in response to the instruction from the examiner. Further, the display control unit 103 may change the display of the analysis result of the high-quality image to the display of the analysis result of the low-quality image in response to the instruction from the examiner. Of course, the display control unit 103 may change the display of the analysis result of the low-quality image to the display of the low-quality image in response to the instruction from the examiner. Further, the display control unit 103 may change the display of the low-quality image to the display of the analysis result of the low-quality image in response to an instruction from the examiner.
  • the display control unit 103 may change the display of the analysis result of the high-quality image to the display of the high-quality image in response to an instruction from the examiner. Further, the display control unit 103 may change the display of the high-quality image to the display of the analysis result of the high-quality image in response to an instruction from the examiner.
  • the display control unit 103 may change the display of the analysis result of the low-quality image to the display of the analysis result of another type of the low-quality image in response to the instruction from the examiner. Further, the display control unit 103 may change the display of the analysis result of the high-quality image to the display of the analysis result of another type of the high-quality image in response to the instruction from the examiner.
  • the display of the analysis result of the high-quality image may be a superposition display of the analysis result of the high-quality image on the high-quality image with arbitrary transparency.
  • the analysis result of the low-quality image may be displayed by superimposing the analysis result of the low-quality image on the low-quality image with arbitrary transparency.
  • the change to the display of the analysis result may be changed to a state in which the analysis result is superimposed on the displayed image with arbitrary transparency, for example.
  • the change to the display of the analysis result may be, for example, a change to the display of an image (for example, a two-dimensional map) obtained by blending the analysis result and the image with an arbitrary transparency.
  • the information processing apparatus of the above-described embodiment is provided with an automatic transfer function that automatically transfers the imaging data or the data converted into the specified format to a storage destination specified in advance for the imaging data captured by the ophthalmologic imaging apparatus.
  • an automatic transfer function that automatically transfers the imaging data or the data converted into the specified format to a storage destination specified in advance for the imaging data captured by the ophthalmologic imaging apparatus.
  • PACS record storage system
  • diagnostic system such as an electronic medical record.
  • a fundus camera often transfers a fundus image
  • an OCT transfers a tomographic image.
  • a fundus camera When transferring to a diagnostic system, a fundus camera often transfers a fundus image, and an OCT transfers a report image including analysis results such as a network thickness map instead of a tomographic image.
  • the information processing apparatus of the above-described embodiment can support such a use case, for example.
  • the examiner may manually transmit (manually transfer) individual shooting data on a display screen such as a report screen.
  • a report image when the button for manual transmission is pressed in response to an instruction from the examiner, the image displayed on the report screen and the report image corresponding to the report screen are transmitted as shooting data.
  • imaging data related to the specified examination can be transmitted according to the instruction from the examiner. May be.
  • imaging data related to at least one examination of the designated patient is obtained according to the instruction from the examiner. It may be possible to send.
  • the button for instructing the display of a high-quality image (high-quality button) is set as the initial display screen of the report screen by default so as to be in the active state (high-quality processing is on).
  • the report image corresponding to the report screen including the high-quality image and the like may be transmitted to the server according to the instruction from the examiner. If the button for instructing the display of a high-quality image is set to be active by default, the shooting confirmation screen or preview screen is displayed at the end of the inspection (for example, according to the instruction from the inspector). When the screen is changed to the report screen), the report image corresponding to the report screen including the high-quality image and the like may be (automatically) sent to the server.
  • various settings in the default settings for example, the depth range for generating the En-Face image on the initial display screen of the report screen, the presence / absence of superimposition of the analysis map, whether or not the image is high quality, and the display screen for follow-up observation.
  • the report image generated based on may be configured to be transmitted to the server.
  • the type of image that can be transmitted in the transmission setting may be not only at least one tomographic image (B scan image) but also a front image (En-Face image).
  • a high-quality image (second) obtained from a low-quality image (first medical image) corresponding to the captured data by using a trained model for high image quality (high image quality model, high image quality engine).
  • Medical image and the low-quality image may be transmitted as a set of data.
  • the above set can be easily used as training data when generating a trained model for high image quality.
  • the trained model for high image quality is a trained model (machine learning model, machine) obtained by machine learning learning data using a low image quality image as input data and a high image quality image as correct answer data (teacher data). It may be a learning engine).
  • the trained model can be obtained by machine learning using the training data.
  • Machine learning includes, for example, deep learning consisting of a multi-layer neural network. Further, for at least a part of the multi-layer neural network, for example, a convolutional neural network (CNN) can be used as a machine learning model. Further, a technique related to an autoencoder (self-encoder) may be used for at least a part of a multi-layer neural network. Further, a technique related to backpropagation (error backpropagation method) may be used for learning.
  • the machine learning is not limited to deep learning, and any learning using a model capable of extracting (expressing) the features of learning data such as images by learning may be used.
  • the trained model is a model in which a machine learning model by an arbitrary machine learning algorithm is trained (learned) in advance using appropriate learning data.
  • the trained model does not require further learning, and additional learning can be performed.
  • the learning data is composed of a pair of input data and output data (correct answer data).
  • the learning data may be referred to as teacher data, or the correct answer data may be referred to as teacher data.
  • the high image quality engine may be a trained model obtained by additionally learning learning data including at least one high image quality image generated by the high image quality engine. At this time, it may be configured so that whether or not to use the high-quality image as the learning data for additional learning can be selected according to the instruction from the examiner.
  • the display control unit 103 in the various examples and modifications described above may display analysis results such as a layer thickness of a desired layer and various blood vessel densities on the report screen of the display screen.
  • the value (distribution) of the parameter relating to the site of interest including at least one such as the blood vessel wall, the blood vessel inner wall boundary, the blood vessel outer boundary, the ganglion cell, the corneal region, the corner region, and the Schrem canal may be displayed as the analysis result.
  • the artifacts are, for example, a false image region generated by light absorption by a blood vessel region or the like, a projection artifact, a band-shaped artifact in a front image generated in the main scanning direction of the measured light depending on the state of the eye to be inspected (movement, blinking, etc.). You may. Further, the artifact may be any image loss region as long as it is randomly generated for each image taken on a medical image of a predetermined portion of the subject.
  • the value (distribution) of the parameter relating to the region including at least one of the various artifacts (copy loss region) as described above may be displayed as the analysis result.
  • the value (distribution) of the parameter relating to the region including at least one such as an abnormal site such as drusen, new blood vessel, vitiligo (hard vitiligo), and pseudo-drusen may be displayed as an analysis result.
  • the comparison result obtained by comparing the standard value or standard range obtained by using the standard database with the analysis result may be displayed.
  • the analysis result may be displayed in an analysis map, a sector showing statistical values corresponding to each divided area, or the like.
  • the analysis result may be generated by using a trained model (analysis result generation engine, trained model for analysis result generation) obtained by learning the analysis result of the medical image as training data. ..
  • the trained model is trained using training data including a medical image and an analysis result of the medical image, training data including a medical image and an analysis result of a medical image of a type different from the medical image, and the like. It may be obtained by.
  • the trained model is obtained by training using training data including input data in which a plurality of medical images of different types of predetermined parts are set, such as a luminance front image (luminance tomographic image) and a motion contrast front image. It may be an image.
  • the luminance front image corresponds to the En-Face image of the tomographic image
  • the motion contrast front image corresponds to the En-Face image of OCTA.
  • the analysis result obtained by using the high-quality image generated by the high-quality engine may be displayed.
  • the trained model for high image quality is obtained by learning training data using the first image as input data and the second image having higher image quality than the first image as correct answer data. You may.
  • the second image is subjected to, for example, a superposition process of a plurality of first images (for example, an averaging process of a plurality of first images obtained by alignment) to increase the contrast and reduce noise. It may be a high-quality image in which the above is performed.
  • the input data included in the learning data may be a high-quality image generated by the high-quality engine, or may be a set of a low-quality image and a high-quality image.
  • the training data includes, for example, at least analysis values (for example, average value, median value, etc.) obtained by analyzing the analysis area, a table including the analysis values, an analysis map, the position of the analysis area such as a sector in the image, and the like.
  • the information including one may be the data labeled (annotated) with the input data as the correct answer data (for supervised learning).
  • the analysis result obtained by the trained model for generating the analysis result may be displayed.
  • the display control unit 103 in the various examples and modifications described above may display various diagnostic results such as glaucoma and age-related macular degeneration on the report screen of the display screen.
  • various diagnostic results such as glaucoma and age-related macular degeneration
  • the position of the specified abnormal portion may be displayed on the image, or the state of the abnormal portion may be displayed by characters or the like.
  • the classification result of the abnormal part or the like (for example, Curtin classification) may be displayed as the diagnosis result.
  • information indicating the certainty of each abnormal part for example, a numerical value indicating the ratio
  • the display control unit 103 in the various examples and modifications described above may display various diagnostic results such as glaucoma and age-related macular degeneration on the report screen of the display screen.
  • diagnosis result information necessary for the doctor to confirm the diagnosis may be displayed as a diagnosis result.
  • advice such as additional shooting can be considered.
  • the diagnosis result may be information on the future medical treatment policy of the subject.
  • the diagnosis result is, for example, the diagnosis name, the type and state (degree) of the lesion (abnormal site), the position of the lesion in the image, the position of the lesion with respect to the region of interest, the findings (interpretation findings, etc.), and the basis of the diagnosis name (affirmation).
  • Medical support information, etc.), grounds for denying the diagnosis name (negative medical support information, etc.), etc. may be included in the information.
  • a diagnosis result that is more probable than the diagnosis result such as the diagnosis name input in response to the instruction from the examiner may be displayed as medical support information.
  • the types of medical images that can be the basis of the diagnosis result may be displayed in an identifiable manner.
  • the diagnosis result may be generated by using a trained model (diagnosis result generation engine, trained model for generation of diagnosis result) obtained by learning the diagnosis result of the medical image as training data. .. Further, the trained model is based on training using training data including a medical image and a diagnosis result of the medical image, and training data including a medical image and a diagnosis result of a medical image of a type different from the medical image. It may be obtained. Further, the diagnosis result obtained by using the high-quality image generated by the high-quality engine may be displayed.
  • a trained model diagnosis result generation engine, trained model for generation of diagnosis result
  • the input data included in the learning data may be a high-quality image generated by the high-quality engine, or may be a set of a low-quality image and a high-quality image.
  • the learning data includes, for example, the diagnosis name, the type and state (degree) of the lesion (abnormal site), the position of the lesion in the image, the position of the lesion with respect to the region of interest, the findings (interpretation findings, etc.), and the basis of the diagnosis name (affirmation).
  • Information including at least one such as (general medical support information, etc.) and grounds for denying the diagnosis name (negative medical support information), etc. are labeled (annotated) in the input data as correct answer data (for supervised learning). It may be data.
  • the diagnosis result obtained by the trained model for generating the diagnosis result may be displayed.
  • the learning of the various trained models described above may be not only supervised learning (learning with labeled learning data) but also semi-supervised learning.
  • semi-supervised learning for example, after a plurality of classifiers (classifiers) perform supervised learning, unlabeled learning data is identified (classified) and the identification result (classification result) is determined according to the reliability. This is a method in which (for example, an identification result whose certainty is equal to or higher than a threshold value) is automatically labeled (annotated) and learning is performed using the labeled learning data.
  • Semi-supervised learning may be, for example, co-training (or multi-training).
  • the trained model for generating the diagnosis result uses, for example, a first discriminator that identifies a medical image of a normal subject and a second discriminator that identifies a medical image including a specific lesion. It may be a trained model obtained by semi-supervised learning (for example, co-training). The purpose is not limited to diagnostic purposes, but may be, for example, imaging support or the like.
  • the second classifier may, for example, identify a medical image including a partial area such as a region of interest or an artifact region.
  • the display control unit 103 in the various examples and modifications described above is an object recognition result (object detection result) of a partial region such as a region of interest, an artifact region, or an abnormal region as described above on the report screen of the display screen.
  • the segmentation result may be displayed.
  • a rectangular frame or the like may be superimposed and displayed around the object on the image.
  • colors and the like may be superimposed and displayed on the object in the image.
  • the object recognition result and the segmentation result are learned models (object recognition engine, for object recognition) obtained by learning the learning data in which the information indicating the object recognition and the segmentation is used as the correct answer data and labeled (annotated) on the medical image.
  • analysis result generation and diagnosis result generation may be obtained by using the above-mentioned object recognition result and segmentation result.
  • analysis result generation or diagnosis result generation processing may be performed on a region of interest obtained by object recognition or segmentation processing.
  • the information processing apparatus may use a hostile generative network (GAN: Generative Adversarial Networks) or a variational autoencoder (VAE: Variational autoencoder).
  • GAN Generative Adversarial Networks
  • VAE Variational autoencoder
  • DCGAN DeepConvolutional GAN
  • a generator obtained by learning the generation of a tomographic image
  • a classifier obtained by learning the discrimination between a new tomographic image generated by the generator and a real tomographic image. It can be used as a machine learning model.
  • the discriminator encodes the input tomographic image into a latent variable, and the generator generates a new tomographic image based on the latent variable. After that, the difference between the input tomographic image and the generated new tomographic image can be extracted (detected) as an abnormal part.
  • VAE the input tomographic image is encoded by an encoder to be a latent variable, and the latent variable is decoded by a decoder to generate a new tomographic image. After that, the difference between the input tomographic image and the generated new tomographic image can be extracted as an abnormal part.
  • a tomographic image has been described as an example of the input data, a fundus image, a frontal image of the anterior eye, or the like may be used.
  • the information processing apparatus may detect an abnormal part by using a convolutional autoencoder (CAE).
  • CAE convolutional autoencoder
  • CAE convolutional autoencoder
  • the same image is learned as input data and output data at the time of learning.
  • CAE convolutional autoencoder
  • an image with an abnormal part is input to CAE at the time of estimation
  • an image without an abnormal part is output according to the learning tendency.
  • the difference between the image input to the CAE and the image output from the CAE can be extracted as an abnormal portion.
  • not only the tomographic image but also the fundus image, the frontal image of the anterior eye, and the like may be used as input data.
  • the information processing apparatus uses information on the difference between the medical image obtained by using the hostile generation network or the autoencoder and the medical image input to the hostile generation network or the autoencoder as information on the abnormal part. Can be generated.
  • the information processing apparatus can be expected to detect abnormal parts at high speed and with high accuracy. For example, even if it is difficult to collect many medical images including abnormal parts as learning data in order to improve the detection accuracy of abnormal parts, a relatively large number of medical images of normal subjects that are easy to collect are used as learning data. Can be used. Therefore, for example, learning for accurately detecting an abnormal portion can be performed efficiently.
  • the autoencoder includes VAE, CAE, and the like.
  • the information processing device provides information on the difference between a medical image obtained from various medical images using a hostile generation network or an autoencoder and a medical image input to the hostile generation network or the autoencoder. It can be generated as information about the abnormal part.
  • the display control unit 103 relates to a difference between a medical image obtained from various medical images by using a hostile generation network or an autoencoder and a medical image input to the hostile generation network or the autoencoder. The information can be displayed on the display unit as information on the abnormal part.
  • the trained models used in the various examples and modifications described above may be generated and prepared for each type of disease or for each abnormal site.
  • the information processing apparatus can select the trained model to be used for processing according to the input (instruction) of the type of the disease of the eye to be inspected, the abnormal part, and the like from the operator.
  • the trained model prepared for each type of disease or abnormal site is not limited to the trained model used for detecting the retinal layer and generating a region label image, for example, for an engine for evaluating an image or for analysis. It may be a trained model used in the engine of the above.
  • the information processing apparatus may identify the type of disease or abnormal site of the eye to be inspected from the image by using a separately prepared trained model.
  • the information processing apparatus can automatically select the trained model to be used for the above processing based on the type of disease and the abnormal site identified by using the trained model prepared separately.
  • the trained model for identifying the disease type and abnormal site of the eye to be inspected is the training data in which the tomographic image, the fundus image, etc. are input data, and the disease type and the abnormal site in these images are output data. Learning may be performed using pairs.
  • a tomographic image, a fundus image, or the like may be used alone as input data, or a combination thereof may be used as input data.
  • the trained model for generating the diagnosis result may be a trained model obtained by training with training data including input data in which a plurality of different types of medical images of a predetermined part of the subject are set.
  • the input data included in the training data includes, for example, input data in which a motion contrast front image and a brightness front image (or a brightness tomographic image) of the fundus are set, a tomographic image of the fundus (B scan image), and a color fundus.
  • Input data or the like set with an image (or a fluorescent fundus image) can be considered.
  • the plurality of medical images of different types may be any images obtained by different modality, different optical systems, different principles, and the like.
  • the trained model for generating the diagnosis result may be a trained model obtained by learning from the training data including the input data including a plurality of medical images of different parts of the subject.
  • the input data included in the training data is, for example, input data in which a tomographic image of the fundus (B scan image) and a tomographic image of the anterior segment of the eye (B scan image) are set, or three dimensions of the yellow spot of the fundus.
  • Input data or the like including an OCT image and a circle scan (or raster scan) tomographic image of the optic nerve head of the fundus can be considered.
  • the input data included in the learning data may be different parts of the subject and a plurality of different types of medical images.
  • the input data included in the training data may be, for example, input data in which a tomographic image of the anterior segment of the eye and a color fundus image are set.
  • the various trained models described above may be trained models obtained by learning from training data including input data including a set of a plurality of medical images having different shooting angles of view of a predetermined part of the subject. Good.
  • the input data included in the learning data may be a combination of a plurality of medical images obtained by time-dividing a predetermined portion into a plurality of regions, such as a panoramic image.
  • the input data included in the learning data may be input data in which a plurality of medical images of different dates and times of a predetermined part of the subject are set.
  • the display screen on which at least one of the above-mentioned analysis result, diagnosis result, object recognition result, and segmentation result is displayed is not limited to the report screen.
  • a display screen may be at least one display screen such as a shooting confirmation screen, a display screen for follow-up observation, and a preview screen for various adjustments before shooting (a display screen on which various live moving images are displayed). It may be displayed. For example, by displaying at least one result obtained by using the various trained models described above on the shooting confirmation screen, the examiner can confirm the accurate result even immediately after shooting. Further, for example, when a specific object is recognized, a frame surrounding the recognized object may be configured to be superimposed and displayed on the live moving image.
  • the color of the frame surrounding the object may be changed or highlighted. Good. This allows the examiner to easily identify the object on the live video.
  • the above-mentioned change in the display between the low-quality image and the high-quality image may be, for example, a change in the display between the analysis result of the low-quality image and the analysis result of the high-quality image.
  • Machine learning includes, for example, deep learning consisting of a multi-layer neural network. Further, for at least a part of the multi-layer neural network, for example, a convolutional neural network (CNN) can be used as a machine learning model. Further, a technique related to an autoencoder (self-encoder) may be used for at least a part of a multi-layer neural network. Further, a technique related to backpropagation (error backpropagation method) may be used for learning. Further, for learning, a method (dropout) in which each unit (each neuron or each node) is randomly inactivated may be used.
  • CNN convolutional neural network
  • a method may be used in which the data transmitted to each layer of the multi-layer neural network is normalized before the activation function (for example, the ReLu function) is applied.
  • the machine learning is not limited to deep learning, and any learning using a model capable of extracting (expressing) the features of learning data such as images by learning may be used.
  • the machine learning model refers to a learning model based on a machine learning algorithm such as deep learning.
  • the trained model is a model in which a machine learning model by an arbitrary machine learning algorithm is trained (learned) in advance using appropriate learning data.
  • the trained model does not require further learning, and additional learning can be performed.
  • the learning data is composed of a pair of input data and output data (correct answer data).
  • the learning data may be referred to as teacher data, or the correct answer data may be referred to as teacher data.
  • the GPU can perform efficient calculations by processing more data in parallel. Therefore, when learning is performed a plurality of times using a learning model such as deep learning, it is effective to perform processing on the GPU. Therefore, in this modification, a GPU is used in addition to the CPU for processing by the information processing device, which is an example of the learning unit (not shown). Specifically, when executing a learning program including a learning model, learning is performed by the CPU and the GPU collaborating to perform calculations. The processing of the learning unit may be performed only by the CPU or GPU. Further, the processing unit (estimation unit) that executes the processing using the various trained models described above may also use the GPU in the same manner as the learning unit. Further, the learning unit may include an error detecting unit and an updating unit (not shown).
  • the error detection unit obtains an error between the output data output from the output layer of the neural network and the correct answer data according to the input data input to the input layer.
  • the error detection unit may calculate the error between the output data from the neural network and the correct answer data by using the loss function.
  • the update unit updates the coupling weighting coefficient between the nodes of the neural network based on the error obtained by the error detection unit so that the error becomes small.
  • This updating unit updates the coupling weighting coefficient and the like by using, for example, the error back propagation method.
  • the error back propagation method is a method of adjusting the coupling weighting coefficient between the nodes of each neural network so that the above error becomes small.
  • a machine learning model used for high image quality, segmentation, etc. for example, FCN (Full Convolutional Network), SegNet, or the like can be used.
  • a machine learning model that recognizes an object in a region unit according to a desired configuration may be used.
  • RCNN Registered CNN
  • fastRCNN fastRCNN
  • fasterRCNN fasterRCNN
  • YOLO YouOonly LookOnce
  • SSD Single Shot Detector or Single Shot MultiBox Detector
  • the machine learning model may be, for example, a capsule network (Capsule Network; CapsNet).
  • each unit (each neuron or each node) is configured to output a scalar value, for example, a spatial positional relationship (relative position) between features in an image. It is configured to reduce spatial information about. Thereby, for example, learning can be performed so as to reduce the influence of local distortion and translation of the image.
  • each unit (each capsule) is configured to output spatial information as a vector, so that, for example, spatial information is retained. Thereby, for example, learning can be performed in which the spatial positional relationship between the features in the image is taken into consideration.
  • the high image quality engine (trained model for high image quality) may be a trained model obtained by additionally learning learning data including at least one high image quality image generated by the high image quality engine. Good. At this time, it may be configured so that whether or not to use the high-quality image as the learning data for additional learning can be selected according to the instruction from the examiner. It should be noted that these configurations can be applied not only to the trained model for high image quality but also to the various trained models described above. Further, in the generation of the correct answer data used for learning the various trained models described above, the trained model for generating the correct answer data such as labeling (annotation) may be used.
  • the trained model for generating correct answer data may be obtained by (sequentially) additionally learning the correct answer data obtained by labeling (annotation) by the examiner. That is, the trained model for generating correct answer data may be obtained by additional training of training data using the data before labeling as input data and the data after labeling as output data. Further, in a plurality of consecutive frames such as a moving image, the result of the frame judged to have low accuracy is corrected in consideration of the results of object recognition and segmentation of the preceding and following frames. May be good. At this time, according to the instruction from the examiner, the corrected result may be additionally learned as correct answer data.
  • a partial region of the eye to be inspected (for example, a region of interest, an artifact region, an abnormal region, etc.) is detected using a trained model for object recognition and a trained model for segmentation.
  • predetermined image processing can be performed for each detected area. For example, consider the case of detecting at least two partial regions of the vitreous region, the retinal region, and the choroid region.
  • adjustments suitable for each region can be performed by using different image processing parameters. By displaying an image adjusted suitable for each area, the operator can more appropriately diagnose a disease or the like in each area.
  • the configuration using different image processing parameters for each detected region may be similarly applied to the region of the eye to be inspected detected without using the trained model, for example.
  • the various trained models described above may be used for at least one frame of the live moving image.
  • the trained model corresponding to each live moving image may be used.
  • the processing time can be shortened, so that the examiner can obtain highly accurate information before the start of shooting. Therefore, for example, failure of re-imaging can be reduced, so that the accuracy and efficiency of diagnosis can be improved.
  • the plurality of live moving images may be, for example, a moving image of the anterior segment for alignment in the XYZ direction, a frontal moving image of the fundus for focus adjustment or OCT focus adjustment of the fundus observation optical system. Further, the plurality of live moving images may be, for example, a tomographic moving image of the fundus for coherence gate adjustment of OCT (adjustment of the optical path length difference between the measured optical path length and the reference optical path length). At this time, the above-mentioned various adjustments may be performed so that the region detected by using the above-described trained model for object recognition or the above-mentioned trained model for segmentation satisfies a predetermined condition.
  • a value for example, a contrast value or an intensity value
  • a threshold value for example.
  • it may be configured to perform various adjustments such as OCT focus adjustment so as to reach a peak value).
  • OCT focus adjustment so as to reach a peak value.
  • the OCT so that a predetermined retinal layer such as a vitreous region or RPE detected by using a trained model for object recognition or a trained model for segmentation is at a predetermined position in the depth direction.
  • Coherence gate adjustments may be configured to be performed.
  • the high image quality unit (not shown) in the information processing device can perform high image quality processing on the moving image using the trained model to generate a high image quality moving image.
  • the control unit (not shown) in the information processing device performs OCT so that one of the different areas specified by the segmentation process or the like becomes a predetermined position in the display area while the high-quality moving image is displayed. It is possible to drive and control an optical member that changes the imaging range, such as a reference mirror (not shown) in the above. In such a case, the control unit can automatically perform the alignment process so that the desired area becomes a predetermined position of the display area based on the highly accurate information.
  • the optical member for changing the imaging range may be, for example, an optical member for adjusting the coherence gate position, and specifically, a reference mirror or the like. Further, the coherence gate position can be adjusted by an optical member that changes the optical path length difference between the measurement optical path length and the reference optical path length, and the optical member can change, for example, the optical path length of the measurement light (not shown). It may be a mirror or the like.
  • the optical member for changing the photographing range may be, for example, a stage portion (not shown) of the photographing apparatus.
  • control unit has the scanning unit described above so that the partial area such as the artifact area obtained by the segmentation process or the like is photographed (rescanned) again during or at the end of the imaging in response to the instruction regarding the start of imaging. May be driven and controlled. Further, for example, when the information indicating the certainty of the object recognition result regarding the region of interest (for example, the numerical value indicating the ratio) exceeds the threshold value, each adjustment, shooting start, etc. may be automatically performed. Good. In addition, for example, when the information indicating the certainty of the object recognition result regarding the region of interest (for example, the numerical value indicating the ratio) exceeds the threshold value, each adjustment and the start of imaging can be executed according to the instruction from the examiner. It may be configured to change to the above state (release the execution prohibited state).
  • the moving image to which the various trained models described above can be applied is not limited to the live moving image, and may be, for example, a moving image stored (saved) in the storage unit.
  • a moving image obtained by aligning at least one frame of the tomographic moving image of the fundus stored (stored) in the storage unit may be displayed on the display screen.
  • a reference frame based on a condition such as the presence of the vitreous body on the frame as much as possible may be selected.
  • each frame is a tomographic image (B scan image) in the XZ direction.
  • a moving image in which another frame is aligned in the XZ direction with respect to the selected reference frame may be displayed on the display screen.
  • a high-quality image (high-quality frame) sequentially generated by the high-quality engine may be continuously displayed for each at least one frame of the moving image.
  • the same method may be applied to the alignment method in the X direction and the alignment method in the Z direction (depth direction), and all different methods may be applied. May be applied. Further, the alignment in the same direction may be performed a plurality of times by different methods, and for example, a precise alignment may be performed after performing a rough alignment. Further, as a method of alignment, for example, a plurality of alignments obtained by segmenting a tomographic image (B scan image) using a retinal layer boundary obtained by performing segmentation processing (coarse in the Z direction) and dividing the tomographic image.
  • the imaged object such as the retina of the eye to be inspected has not yet been successfully imaged. Therefore, since there is a large difference between the medical image input to the trained model and the medical image used as the training data, there is a possibility that a high-quality image cannot be obtained with high accuracy. Therefore, when the evaluation value such as the image quality evaluation of the tomographic image (B scan) exceeds the threshold value, the display of the high-quality moving image (continuous display of the high-quality frame) may be automatically started. Further, when the evaluation value such as the image quality evaluation of the tomographic image (B scan) exceeds the threshold value, the image quality enhancement button may be configured to be changed to a state (active state) that can be specified by the examiner.
  • the high image quality button is a button for designating the execution of the high image quality processing. Of course, the high image quality button may be a button for instructing the display of a high image quality image.
  • a trained model for high image quality is prepared for each shooting mode having a different scanning pattern, and the trained model for high image quality corresponding to the selected shooting mode is selected. May be good. Further, one trained model for high image quality obtained by learning learning data including various medical images obtained in different imaging modes may be used.
  • the trained model after the execution of the additional learning is evaluated, and if there is no problem, the preliminary trained model may be replaced with the trained model after the execution of the additional learning. If there is a problem, a preliminary trained model may be used.
  • a trained model for classification for classifying a high-quality image obtained by the trained model for high image quality with another type of image is used. It may be used.
  • the trained model for classification uses, for example, a plurality of images including a high-quality image and a low-quality image obtained by the trained model for high image quality as input data, and the types of these images are labeled (annotation).
  • the input data of the trained model for classification includes overlay processing of a plurality of low-quality images (for example, averaging processing of a plurality of low-quality images obtained by alignment). It may include a high-quality image in which high contrast and noise reduction are performed.
  • the trained model after the execution of the additional learning for example, the trained model after the execution of the additional learning and the trained model before the execution of the additional learning (preliminary trained model) are used and the same.
  • a plurality of high-quality images obtained from the above images may be compared, or the analysis results of the plurality of high-quality images may be compared.
  • the comparison result of the plurality of high-quality images (an example of change due to additional learning) or the comparison result of the analysis result of the plurality of high-quality images (an example of change due to additional learning) is within a predetermined range. It may be determined whether or not, and the determination result may be displayed.
  • the trained model obtained by learning for each imaging site may be selectively used. Specifically, learning including a first learned model obtained by using learning data including a first imaging site (lung, eye to be examined, etc.) and a second imaging site different from the first imaging site. It may have a selection means for selecting any of a second trained model obtained using the data and a plurality of trained models including.
  • the information processing apparatus may have a control means (not shown) that executes additional learning for the selected trained model. The control means searches for data in which the captured part corresponding to the selected trained model and the captured image of the captured part are paired in response to an instruction from the examiner, and the data obtained by the search is the learning data. Can be executed as additional training for the selected trained model.
  • the imaging region corresponding to the selected trained model may be acquired from the information in the header of the data or manually input by the examiner. Further, the data can be searched from a server of an external facility such as a hospital or a research institute via a network. As a result, additional learning can be efficiently performed for each imaged part by using the photographed image of the imaged part corresponding to the trained model.
  • the selection means and the control means may be composed of a software module executed by a processor such as a CPU or an MPU of an information processing device. Further, the selection means and the control means may be configured by a circuit that performs a specific function such as an ASIC, an independent device, or the like.
  • the validity of the learning data for additional learning may be detected by confirming the consistency by digital signature or hashing. As a result, the learning data for additional learning can be protected. At this time, if the validity of the training data for additional learning cannot be detected as a result of confirming the consistency by digital signature or hashing, a warning to that effect is given and additional learning is performed using the training data. Absent.
  • the server may be in any form such as a cloud server, a fog server, an edge server, etc., regardless of its installation location.
  • the protection of data by confirming the consistency as described above can be applied not only to the learning data for additional learning but also to the data including medical images.
  • the image management system may be configured so that the transaction of data including medical images between servers of a plurality of facilities is managed by a distributed network. Further, the image management system may be configured to connect a plurality of blocks in which the transaction history and the hash value of the previous block are recorded together in a time series.
  • a technique for confirming consistency even if a cipher that is difficult to calculate even using a quantum computer such as a quantum gate method (for example, lattice-based cryptography, quantum cryptography by quantum key distribution, etc.) is used. Good.
  • the image management system may be a device and a system that receives and stores an image taken by a photographing device or an image processed image.
  • the image management system may transmit an image in response to a request from the connected device, perform image processing on the saved image, or request another device to perform image processing. it can.
  • the image management system can include, for example, an image storage communication system (PACS).
  • PPS image storage communication system
  • the image management system according to the following embodiment includes a database capable of storing various information such as subject information and shooting time associated with the received image.
  • the image management system is connected to a network and can send and receive images, convert images, and send and receive various information associated with saved images in response to requests from other devices. ..
  • the instruction from the examiner may be an instruction by voice or the like in addition to the manual instruction (for example, the instruction using the user interface or the like).
  • a machine learning engine machine learning model
  • voice recognition engine speech recognition model, a trained model for voice recognition
  • the manual instruction may be an instruction by character input or the like using a keyboard, a touch panel or the like.
  • a machine learning engine including a character recognition engine character recognition model, trained model for character recognition
  • the instruction from the examiner may be an instruction by a gesture or the like.
  • a machine learning engine including a gesture recognition engine gesture recognition model, learned model for gesture recognition
  • the instruction from the examiner may be the result of the examiner's line-of-sight detection on the display screen (monitor) on the display unit.
  • the line-of-sight detection result may be, for example, a pupil detection result using a moving image of the examiner obtained by photographing from the periphery of the display screen (monitor) in the display unit.
  • the object recognition engine as described above may be used for the pupil detection from the moving image.
  • the instruction from the examiner may be an instruction by an electroencephalogram, a weak electric signal flowing through the body, or the like.
  • training data various trained data such as character data or voice data (waveform data) indicating instructions for displaying the results obtained by processing the various trained models as described above are used as input data. It may be learning data in which the execution instruction for actually displaying the result of the processing of the model on the display unit is the correct answer data.
  • character data or audio data indicating an instruction for displaying a high-quality image obtained by a trained model for high image quality is used as input data, and an execution command for displaying a high-quality image and a high level are used.
  • the correct answer data is an execution command for changing the button for instructing the display of the image quality image to the active state.
  • the learning data may be any data as long as the instruction content and the execution command content indicated by the character data, the voice data, or the like correspond to each other.
  • the voice data may be converted into character data by using an acoustic model, a language model, or the like.
  • the waveform data obtained by the plurality of microphones may be used to perform a process of reducing the noise data superimposed on the voice data.
  • the instruction by characters or voice and the instruction by a mouse, a touch panel or the like may be configured to be selectable according to the instruction from the examiner. In addition, on / off of instructions by characters or voice may be selectably configured according to instructions from the examiner.
  • machine learning includes deep learning as described above, and for at least a part of a multi-layered neural network, for example, a recurrent neural network (RNN: Recurrent Neural Network) can be used.
  • RNN Recurrent Neural Network
  • RNN which is a neural network that handles time series information
  • LSTM Longshort-term memory
  • FIG. 9A shows the structure of an RNN, which is a machine learning engine.
  • the RNN 3520 has a loop structure in the network, inputs data x t 3510 at time t, and outputs data h t 3530. Since the RNN3520 has a loop function in the network, the state at the current time can be inherited to the next state, so that time series information can be handled.
  • FIG. 9B shows an example of input / output of the parameter vector at time t.
  • the data x t 3510 contains N pieces of data (Params1 to ParamsN). Further, the data h t 3530 output from the RNN 3520 includes N data (Params1 to ParamsN) corresponding to the input data.
  • FIG. 10A shows the structure of the LSTM.
  • the information that the network takes over at the next time t is the internal state ct -1 of the network called the cell and the output data h t-1 .
  • the lowercase letters (c, h, x) in the figure represent vectors.
  • FIG. 10B shows the details of RSTM3540.
  • FG indicates a forgetting gate network
  • IG indicates an input gate network
  • OG indicates an output gate network, each of which is a sigmoid layer. Therefore, a vector in which each element has a value of 0 to 1 is output.
  • the oblivion gate network FG determines how much past information is retained, and the input gate network IG determines which value to update.
  • the CU is a cell update candidate network and is an activation function tanh layer. This creates a vector of new candidate values to be added to the cell.
  • the output gate network OG selects the cell candidate element and selects how much information to convey at the next time.
  • LSTM model is a basic form, it is not limited to the network shown here. You may change the coupling between the networks. QRNN (Quasi Recurrent Neural Network) may be used instead of RSTM. Further, the machine learning engine is not limited to the neural network, and boosting, support vector machines, and the like may be used. Further, when the instruction from the examiner is input by characters or voice, a technique related to natural language processing (for example, Sequence to Sequence) may be applied. At this time, as a technique related to natural language processing, for example, a model output for each input sentence may be applied. Further, the various trained models described above are not limited to the instructions from the examiner, and may be applied to the output to the examiner. Further, a dialogue engine (dialogue model, trained model for dialogue) that responds to the examiner with output in characters or voice may be applied.
  • a dialogue engine dialogue model, trained model for dialogue
  • a learned model obtained by pre-learning document data by unsupervised learning may be used.
  • a trained model obtained by further transfer learning (or fine tuning) of a trained model obtained by pre-learning may be used.
  • BERT Bidirectional Encoder Representations from Transformers
  • a model capable of extracting (expressing) the context (feature amount) by itself by predicting a specific word in a sentence from both the left and right contexts may be applied.
  • a model capable of determining the relationship (continuity) of two sequences (sentences) in the input time series data may be applied.
  • a Transformer Encoder may be used for the hidden layer, and a model in which a vector sequence is input and output may be applied.
  • the instruction from the examiner to which this modification is applicable is for changing the display of various images and analysis results as described in the various examples and modifications described above, and for generating an En-Face image. Selection of depth range, selection of whether to use as training data for additional learning, selection of trained model, output (display, transmission, etc.) and storage of results obtained using various trained models, etc. Any instruction may be used as long as it is at least one instruction.
  • the instruction from the examiner to which this modification is applicable may be an instruction before photography as well as an instruction after photography. For example, an instruction regarding various adjustments and an instruction regarding setting of various imaging conditions. , It may be an instruction regarding the start of shooting. Further, the instruction from the examiner to which this modification is applicable may be an instruction regarding a change (screen transition) of the display screen.
  • the machine learning model may be a machine learning model that combines a machine learning model related to images such as CNN and a machine learning model related to time series data such as RNN.
  • a machine learning model for example, it is possible to learn the relationship between the feature amount related to an image and the feature amount related to time series data.
  • the input layer side of the machine learning model is CNN and the output layer side is RNN, for example, a medical image is used as input data, and sentences related to the medical image (for example, presence / absence of lesion, type of lesion, recommendation of next examination). Etc.) may be used as output data for learning.
  • the input layer side of the machine learning model is RNN and the output layer side is CNN
  • texts related to medical treatment such as lesions, findings, and diagnosis are used as input data
  • medical images corresponding to the texts related to the medical treatment are output.
  • Learning may be performed using the training data as data. This makes it possible, for example, to easily search for medical images related to the case that the examiner wants to confirm.
  • machine translation engine machine translation model, trained model for machine translation
  • machine translation engine that machine translates sentences such as characters and voices into any language
  • any language may be configured to be selectable according to an instruction from the examiner.
  • the above-mentioned technology related to natural language processing for example, Sequence to Sequence
  • the machine-translated sentence may be input to the character recognition engine or the like.
  • the sentences output from the various trained models described above may be input to the machine translation engine, and the sentences output from the machine translation engine may be output.
  • the various trained models described above may be used in combination.
  • the characters corresponding to the instructions from the examiner are input to the character recognition engine, and the voice obtained from the input characters is input to another type of machine learning engine (for example, a machine translation engine). May be done.
  • characters output from other types of machine learning engines may be input to the character recognition engine, and the voice obtained from the input characters may be output.
  • the voice corresponding to the instruction from the examiner is input to the voice recognition engine, and the characters obtained from the input voice are input to another type of machine learning engine (for example, a machine translation engine). It may be configured in.
  • the voice output from another type of machine learning engine may be input to the voice recognition engine, and the characters obtained from the input voice may be displayed on the display unit.
  • the output to the examiner can be selected from the output by characters and the output by voice according to the instruction from the examiner.
  • the input by characters or the input by voice can be selected as the instruction from the examiner according to the instruction from the examiner.
  • the various configurations described above may be adopted by selection according to instructions from the examiner.
  • the high-quality image or the like may be stored in the storage unit according to an instruction from the examiner.
  • any part of the file name for example, the first part, the last part
  • a file name containing information for example, characters
  • the image is an image generated by processing using a trained model for high image quality (high image quality processing) is instructed by the examiner. It may be displayed in an editable state accordingly.
  • the displayed image is a high-quality image generated by processing using a learned model for high image quality.
  • a display indicating that there is may be displayed together with a high-quality image. In this case, the user can easily identify from the display that the displayed high-quality image is not the image itself acquired by shooting, so that false diagnosis can be reduced or diagnostic efficiency can be improved. Can be done.
  • the display indicating that the image is a high-quality image generated by processing using the trained model for high image quality is a display that can distinguish the input image and the high-quality image generated by the processing. It may be of any aspect. Further, not only the processing using the trained model for high image quality but also the processing using the various trained models as described above is the result generated by the processing using the trained model of the type. A display indicating that there is may be displayed with the result.
  • the display screen such as the report screen may be saved in the storage unit as image data according to the instruction from the examiner.
  • the report screen is stored as one image in which a high-quality image or the like and a display indicating that these images are high-quality images generated by processing using a trained model for high image quality are arranged. It may be stored in.
  • what kind of training data was used by the trained model for high image quality to learn the display indicating that it is a high quality image generated by processing using the trained model for high image quality.
  • a display indicating the presence or absence may be displayed on the display unit.
  • the display may include an explanation of the types of input data and correct answer data of the learning data, and an arbitrary display regarding correct answer data such as an imaging part included in the input data and correct answer data. It should be noted that not only the processing using the trained model for high image quality but also the processing using the various trained models as described above is trained by what kind of training data the trained model of that type uses. A display indicating whether or not the data is used may be displayed on the display unit.
  • information for example, characters
  • the portion to be superimposed on the image may be any region (for example, the edge of the image) that does not overlap with the region where the region of interest to be imaged is displayed.
  • the non-overlapping areas may be determined and superimposed on the determined areas.
  • the high image quality button when the high image quality button is set to the active state (high image quality processing is on) by default as the initial display screen of the report screen, the high image quality image is instructed by the examiner.
  • the report image corresponding to the report screen including the above may be configured to be transmitted to a server such as an external storage unit.
  • the shooting confirmation screen or preview screen is changed to the report screen at the end of the inspection (for example, according to the instruction from the inspector).
  • the report image corresponding to the report screen including the high-quality image and the like may be configured to be (automatically) transmitted to the server.
  • various settings in the default settings for example, the depth range for generating the En-Face image on the initial display screen of the report screen, the presence / absence of superimposition of the analysis map, whether or not the image is high quality, and the display screen for follow-up observation.
  • the report image generated based on may be configured to be transmitted to the server.
  • the first type is used by using the result (for example, analysis result, diagnosis result, object recognition result, segmentation result) of the processing of the first type trained model.
  • the result for example, analysis result, diagnosis result, object recognition result, segmentation result
  • From the image input to the trained model of an image to be input to the trained model of the second type different from the first type may be generated.
  • the generated image is likely to be an image suitable as an image to be processed by the second type of trained model. Therefore, an image obtained by inputting the generated image into the trained model of the second type (for example, a high-quality image, an image showing an analysis result such as an analysis map, an image showing an object recognition result, and a segmentation result are displayed. The accuracy of the image shown) can be improved.
  • the generation (or display) of each processing result using these trained models can be generated. It may be configured to run. At this time, for example, in response to an instruction from the examiner, the generation (or display) of each processing result using these learned models may be collectively (interlockedly) executed.
  • the type of image to be input for example, high-quality image, object recognition result, segmentation result, similar case image
  • the type of processing result to be generated (or displayed) for example, high-quality image, diagnosis result, analysis result, object).
  • the recognition result, the segmentation result, the similar case image), the type of input and the type of output (for example, characters, voice, language) and the like may be selectably configured according to the instruction from the examiner.
  • at least one trained model may be configured to be selected according to the selected type.
  • how to combine the plurality of trained models may be determined according to the selected type.
  • the type of the image to be input and the type of the processing result to be generated (or displayed) may be configured to be differently selectable, or if they are the same, they may be selected differently. It may be configured to output prompting information to the examiner.
  • each trained model may be executed anywhere. For example, some of the plurality of trained models may be configured to be used by a cloud server, and others may be configured to be used by another server such as a fog server or an edge server.
  • the various trained models as described above may be trained models obtained by learning learning data including a two-dimensional medical image of the subject, or may be a three-dimensional medical model of the subject. It may be a trained model obtained by learning training data including images.
  • a similar case image search using an external database stored in a server or the like may be performed using the analysis results and diagnosis results obtained by processing various learned models as described above as search keys. Further, a similar case image search using an external database stored in a server or the like may be performed using an object recognition result, a segmentation result, or the like obtained by processing various trained models as described above as a search key. If a plurality of images stored in the database are already managed by machine learning or the like with the feature amount of each of the plurality of images attached as incidental information, the image itself is used as a search key. Similar case image search engine (similar case image search model, trained model for similar case image search) may be used.
  • an information processing device uses a trained model for similar case image search (different from the trained model for high image quality) to search various medical images for similar case images related to the medical image. It can be carried out.
  • the display control unit 103 can display similar case images obtained from various medical images using a learned model for searching for similar case images on the display unit.
  • the similar case image is, for example, an image having a feature amount similar to the feature amount of the medical image input to the trained model.
  • the similar case image is, for example, an image having a feature amount similar to the feature amount of the partial area such as the abnormal part when the medical image input to the trained model includes a partial area such as an abnormal part. ..
  • a trained model for searching similar case images is additionally learned by using learning data including an image selected according to an instruction from an examiner and a feature amount of the image among a plurality of similar case images. It may be configured to be.
  • the motion contrast data generation processing in the various examples and modifications described above is not limited to the configuration performed based on the brightness value of the tomographic image.
  • Various processes include interference signals acquired by an optical interference tomography (OCT), signals obtained by subjecting the interference signals to Fourier transform, signals obtained by subjecting the signals to arbitrary processing, and tomographic data including tomographic images based on these signals. May be applied to. In these cases, the same effect can be achieved.
  • OCT optical interference tomography
  • the configuration of the OCT may be a configuration in which a part of the configuration included in the OCT is separate from the OCT.
  • the configuration of the Michelson type interferometer may be used as the interference optical system of the OCT, or the configuration of the Mach-Zehnder interferometer may be used.
  • the OCT may be a spectral domain OCT (SD-OCT) using SLD as a light source, or a wavelength sweep type OCT (SS-OCT) using a wavelength sweep light source capable of sweeping the wavelength of the emitted light. ) And other arbitrary types of OCT.
  • the present invention can also be applied to a Line-OCT apparatus (or SS-Line-OCT apparatus) using line light.
  • the present invention can also be applied to a Full Field-OCT device (or SS-Full Field-OCT device) using area light.
  • the information processing device acquires interference signals acquired by OCT, three-dimensional tomographic images generated by the information processing device, etc., but the configuration in which the information processing device acquires these signals and images is this. Not limited.
  • the information processing device may acquire these signals from a server or a photographing device connected via LAN, WAN, the Internet, or the like.
  • the trained model can be provided in the information processing device.
  • the trained model can be composed of, for example, software modules executed by a processor such as a CPU. Further, the trained model may be provided in another server or the like connected to the information processing device. In this case, the information processing device can perform high image quality processing using the trained model by connecting to the server including the trained model via an arbitrary network such as the Internet.
  • the medical image processed by the information processing apparatus (medical image processing apparatus) or the information processing method (medical image processing method) according to the various examples and modifications described above uses an arbitrary modality (imaging apparatus, imaging method). Includes acquired images.
  • the medical image to be processed may include a medical image acquired by an arbitrary imaging device or the like, or an image created by a medical image processing device or a medical image processing method.
  • the medical image to be processed is an image of a predetermined part of the subject (subject), and the image of the predetermined part includes at least a part of the predetermined part of the subject.
  • the medical image may include other parts of the subject.
  • the medical image may be a still image or a moving image, and may be a black-and-white image or a color image.
  • the medical image may be an image showing the structure (morphology) of a predetermined part or an image showing the function thereof.
  • the image showing the function includes, for example, an OCTA image, a Doppler OCT image, an fMRI image, and an image showing blood flow dynamics (blood flow volume, blood flow velocity, etc.) such as an ultrasonic Doppler image.
  • the predetermined part of the subject may be determined according to the subject to be imaged, and the human eye (eye to be examined), brain, lung, intestine, heart, pancreas, kidney, liver and other organs, head, chest, etc. Includes any part such as legs and arms.
  • the medical image may be a tomographic image of the subject or a frontal image.
  • the frontal image is, for example, a frontal image of the fundus, a frontal image of the anterior segment of the eye, a fundus image photographed by fluorescence, and data acquired by OCT (three-dimensional OCT data) in at least a part range in the depth direction of the imaged object.
  • OCT three-dimensional OCT data
  • the En-Face image is an OCTA En-Face image (motion contrast front image) generated by using data in at least a part of the depth direction of the shooting target for three-dimensional OCTA data (three-dimensional motion contrast data). ) May be.
  • three-dimensional OCT data and three-dimensional motion contrast data are examples of three-dimensional medical image data.
  • the motion contrast data is data indicating a change between a plurality of volume data obtained by controlling the measurement light to be scanned a plurality of times in the same region (same position) of the eye to be inspected.
  • the volume data is composed of a plurality of tomographic images obtained at different positions.
  • motion contrast data can be obtained as volume data by obtaining data showing changes between a plurality of tomographic images obtained at substantially the same position at different positions.
  • the motion contrast front image is also referred to as an OCTA front image (OCTA En-Face image) relating to OCTA angiography (OCTA) for measuring the movement of blood flow, and the motion contrast data is also referred to as OCTA data.
  • the motion contrast data can be obtained, for example, as a decorrelation value, a variance value, or a maximum value divided by a minimum value (maximum value / minimum value) between two tomographic images or corresponding interference signals. , It may be obtained by any known method.
  • the two tomographic images can be obtained, for example, by controlling the measurement light to be scanned a plurality of times in the same region (same position) of the eye to be inspected.
  • the En-Face image is, for example, a front image generated by projecting data in the range between two layer boundaries in the XY directions.
  • the front image is at least a part of the depth range of the volume data (three-dimensional tomographic image) obtained by using optical interference, and is the data corresponding to the depth range determined based on the two reference planes. Is projected or integrated on a two-dimensional plane.
  • the En-Face image is a frontal image generated by projecting the data corresponding to the depth range determined based on the detected retinal layer among the volume data onto a two-dimensional plane.
  • a representative value of data within the depth range is set as a pixel value on the two-dimensional plane.
  • the representative value can include a value such as an average value, a median value, or a maximum value of pixel values within a range in the depth direction of a region surrounded by two reference planes.
  • the depth range related to the En-Face image is, for example, a range including a predetermined number of pixels in a deeper direction or a shallower direction with respect to one of the two layer boundaries relating to the detected retinal layer. May be good.
  • the depth range related to the En-Face image may be, for example, a range changed (offset) according to the instruction of the operator from the range between the two layer boundaries regarding the detected retinal layer. Good.
  • the imaging device is a device for capturing an image used for diagnosis.
  • the photographing device detects, for example, a device that obtains an image of a predetermined part by irradiating a predetermined part of the subject with radiation such as light or X-rays, electromagnetic waves, ultrasonic waves, or the like, or radiation emitted from the subject.
  • the imaging devices according to the various examples and modifications described above include at least an X-ray imaging device, a CT device, an MRI device, a PET device, a SPECT device, an SLO device, an OCT device, an OCTA device, and a fundus. Includes cameras, endoscopes, etc.
  • the OCT apparatus may include a time domain OCT (TD-OCT) apparatus and a Fourier domain OCT (FD-OCT) apparatus. Further, the Fourier domain OCT apparatus may include a spectral domain OCT (SD-OCT) apparatus and a wavelength sweep type OCT (SS-OCT) apparatus. The OCT apparatus may also include a Doppler-OCT apparatus. Further, the SLO device and the OCT device may include a wave surface compensation SLO (AO-SLO) device and a wave surface compensation OCT (AO-OCT) device using an adaptive optics system.
  • TD-OCT time domain OCT
  • FD-OCT Fourier domain OCT
  • SD-OCT spectral domain OCT
  • SS-OCT wavelength sweep type OCT
  • the OCT apparatus may also include a Doppler-OCT apparatus.
  • the SLO device and the OCT device may include a wave surface compensation SLO (AO-SLO) device and a wave surface compensation OCT (AO-OCT) device using an adaptive
  • the SLO device and the OCT device may include a polarized SLO (PS-SLO) device, a polarized OCT (PS-OCT) device, and the like for visualizing information on polarization phase difference and polarization elimination.
  • the SLO device and the OCT device may include a pathological microscope SLO device, a pathological microscope OCT device, and the like.
  • the SLO device and the OCT device may include a handheld type SLO device, a handheld type OCT device, and the like.
  • the SLO device and the OCT device may include a catheter SLO device, a catheter OCT device and the like.
  • the present invention is also realized by executing the following processing. That is, software (program) that realizes one or more functions of the various examples and modifications described above is supplied to the system or device via a network or various storage media, and the computer (or CPU) of the system or device is supplied. This is a process in which a program is read and executed by an MPU or the like.
  • the present invention supplies software (program) that realizes one or more functions of the various examples and modifications described above to a system or device via a network or a storage medium, and the computer of the system or device supplies the software (program). It can also be realized by the process of reading and executing the program.
  • a computer may have one or more processors or circuits and may include multiple separate computers or a network of separate processors or circuits to read and execute computer executable instructions.
  • the processor or circuit may include a central processing unit (CPU), a microprocessing unit (MPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), or a field programmable gateway (FPGA). Also, the processor or circuit may include a digital signal processor (DSP), a data flow processor (DFP), or a neural processing unit (NPU).
  • CPU central processing unit
  • MPU microprocessing unit
  • GPU graphics processing unit
  • ASIC application specific integrated circuit
  • FPGA field programmable gateway
  • DSP digital signal processor
  • DFP data flow processor
  • NPU neural processing unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

情報処理装置は、異なる種類の複数の撮影により得た複数の撮影データの送信設定として、異なる種類の複数の撮影毎に個別に設定された情報を記憶する記憶手段と、異なる種類の複数の撮影のいずれかの撮影により得た被検体の撮影データを、記憶された情報に応じて送信する送信手段と、を有する。

Description

情報処理装置及び情報処理方法
　開示の技術は、情報処理装置及び情報処理方法に関する。
　従来、眼底カメラと光干渉断層計（Ｏｐｔｉｃａｌ　Ｃｏｈｅｒｅｎｃｅ　Ｔｏｍｏｇｒａｐｈｙ：ＯＣＴ）との２つの光学系の光路を一部共通として構成された眼科撮影装置が知られている（特許文献１）。
特開２０１１－４９７８号公報
　ここで、従来のように、異なる種類の撮影を行うための複数の光学系を含む撮影装置が通信可能に接続された情報処理装置や、該撮影装置の内部の情報処理装置により、異なる種類の撮影に関する設定や撮影データに関する設定等が行われる場合がある。また、眼底カメラやＯＣＴ装置等のような、異なる種類の撮影を行うための複数の撮影装置のうち少なくとも１つを通信可能に接続可能な情報処理装置により、上述したような種々の設定等が行われる場合がある。このとき、上述したような情報処理装置において、異なる種類の複数の撮影データに関する設定を一括して設定することしかできない場合があり、検者の利便性の向上が望まれる。
　開示の技術の目的の一つは、異なる種類の撮影データに関する設定を個別に設定可能とすることである。なお、上記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の１つとして位置付けることができる。
　開示の情報処理装置の一つは、
　異なる種類の複数の撮影により得た複数の撮影データの送信設定として、前記異なる種類の複数の撮影毎に個別に設定された情報を記憶する記憶手段と、
　前記異なる種類の複数の撮影のいずれかの撮影により得た被検体の撮影データを、前記記憶された情報に応じて送信する送信手段と、を有する。
　開示の技術の一つによれば、異なる種類の撮影データに関する設定を個別に設定可能とすることができる。
実施例１に係る眼科撮影システムの構成を概略的に示す図である。 実施例１に係る眼科撮影システムの自動転送設定画面の一例を示す図である。 実施例１に係る眼科撮影システムの撮影画面の一例を示す図である。 実施例１に係る眼科撮影システムの撮影画面の一例を示す図である。 実施例１に係る眼科撮影システムの動作のフローチャートの一例を示す図である。 実施例２に係る表示部に表示するレポート画面の一例を示す図である。 実施例２に係る表示部に表示するレポート画面の一例を示す図である。 実施例２に係る高画質化処理の一例を示す図である。 実施例２に係るユーザーインターフェースの一例を示す図である。 変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す図である。 変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す図である。 変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す図である。 変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す図である。
　以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して記載する場合がある。
　（実施例１）
　図１から図５を参照して、情報処理装置の一例である本実施例の眼科撮影システム１００について説明する。本実施例の眼科撮影システム１００は、撮影を行った眼科撮影装置に応じて、予め設定されたデータ形式に撮影データを変換して自動的にデータを転送することができる。なお、以下において、扱われる眼科装置として、眼底カメラと光干渉断層計（ＯＣＴ）を例として説明する。
　（システムの構成）
　図１を参照して、システムの構成を説明する。図１は眼科撮影システム１００の構成を概略的に示す。眼科撮影システム１００は撮影データ取得部１０１、撮影データ記憶部１０２、表示制御部１０３、操作部１０４、自動転送情報記憶部１０５、自動転送実施部１０６が設けられている。ここで、本実施例等における「転送」とは、例えば、撮影装置からの撮影信号（例えば、ＯＣＴの干渉信号）をそのまま撮影データとして送信する場合であってもよい。また、本実施例等における「転送」とは、撮影信号から生成された画像として加工された撮影データを送信する場合であってもよい。また、本実施例等における「転送」とは、撮影信号から生成された画像を含むレポート画面に対応するレポート画像として加工されたデータを撮影データとして送信してもよい。また、撮影信号から生成された画像は、例えば、少なくとも１つの断層画像（Ｂスキャン像）や、異なる位置で得た複数の断層画像データ（３次元断層画像データ、ボリュームデータ）の少なくとも一部の深度範囲を用いて得た正面画像（Ｅｎ－Ｆａｃｅ画像）であってもよい。また、検者からの指示に応じて深度範囲が設定可能なように構成されてもよい。このとき、断層画像のセグメンテーション処理により得た層境界の位置を、検者からの指示に応じて断層画像上で変更することにより、深度範囲が設定されるように構成されてもよい。また、本実施例等における「自動転送」とは、撮影データの送信開始のトリガーとして、検者からの指示を全くトリガーとしないという意味ではない。例えば、転送設定としてその撮影が自動設定されている場合には、撮影データの送信開始の指示を本来の目的とはしていない検者による別の指示（例えば、検査終了指示）が、撮影データの送信開始の指示も兼ねるということを意図している。すなわち、本実施例等における「自動転送」とは、撮影データの送信開始を直接目的としない別の指示が、撮影データの送信開始の指示も兼ねるように構成されたものであれば何でもよい。
　撮影データ取得部１０１は、少なくとも２つ以上の眼科撮影装置１１０から撮影された撮影データを受け取ることができる。本実施例での撮影データ取得部１０１では眼底カメラと光干渉断層計からそれぞれ眼底画像と網膜断層データを受け取ることができる。このとき、異なる種類の撮影を行うための複数の撮影装置は、情報処理装置に対して同時に、通信可能に接続することが可能ではあるが、本実施例等においては少なくとも１つが接続されていれば適用可能である。すなわち、いずれか１つの撮影装置が情報処理装置に通信可能に接続されている状況において、複数の撮影装置による撮影データに対して個別に送信設定することが可能に構成されている。なお、本実施例の情報処理装置は、異なる種類の撮影を行うための複数の光学系を含む撮影装置が通信可能に接続された情報処理装置や、該撮影装置の内部の情報処理装置であってもよい。また、本実施例の情報処理装置は、例えば、パーソナルコンピュータであってもよく、デスクトップＰＣ、ノート型ＰＣ、タブレット型ＰＣ（携帯型の情報端末）が用いられてもよい。
　撮影データ記憶部１０２は、撮影データ取得部１０１が取得した撮影データを受け取り、記録する。この時、撮影データの付加情報として患者（被検者）の名前、生年月日、性別、患者ＩＤ、人種データなどの患者情報と検査日時、受付番号、検査識別ＩＤなどの検査情報、及び撮影時間、撮影モード名、撮影パラメータ、装置名、撮影判定などの撮影情報を付加して登録する。
　表示制御部１０３は、撮影データを取得する際の眼科撮影装置１１０の撮影操作画面や、撮影データ取得部１０１が取得して撮影データ記憶部１０２に記録された撮影データを表示するための確認画面を表示部の一例である不図示のモニタに表示させる。
　操作部１０４は、マウスやキーボードを介して撮影操作画面上で眼科撮影装置１１０での撮影を実施することや、撮影結果確認画面上に表示された撮影データの撮影成功・失敗の判定の選択などができる。撮影データの撮影成功・失敗の判定については、例えば、操作者が撮影結果確認画面上に表示された撮影データを確認し、同画面上に表示されている成功・失敗ボタンを押すことで撮影判定情報を入力することができる。さらに操作部１０４を介して自動転送（自動送信）を開始することができる。例えば、撮影操作画面以外の画面に遷移することで、自動転送の開始トリガーにすることや、撮影操作画面上に表示された検査完了ボタンを押すことを自動転送の開始トリガーにすることができる。なお、表示部がタッチパネル式のディスプレイであってもよく、この場合には表示部は操作部１０４として兼用される。
　自動転送情報記憶部１０５は、自動的に撮影データを転送するために予め用意された設定が記憶されている。設定として自動転送する対象となる眼科装置、自動転送先や転送する撮影データのデータ形式などが記憶されている。
　自動転送実施部１０６は、表示制御部１０３を介して操作部１０４より指示された自動転送の開始トリガーを受けて、自動転送情報記憶部１０５から取得した自動転送情報に基づいて自動転送先となる転送データ保管システム１２０に撮影データを転送する。この時、自動転送実施部１０６は、自動転送情報がどの撮影装置の撮影データを対象としているかを確認し、該当する撮影データを自動転送情報が指定するデータ形式に変換して、転送データ保管システム１２０に転送を行う。
　（本実施例に係る自動転送情報）
　次に、図２を参照して、自動転送情報記憶部１０５が記憶している自動転送情報について説明する。図２は本実施例に係る自動転送（自動送信）の内容を設定する画面の例を示す。本画面は１つの自動転送の設定を行う画面で、撮影装置毎で設定が異なる場合や、複数の転送先（送信先）に自動転送を実施する場合などでは、それぞれで設定を行うことで、複数の自動転送設定を自動転送記憶情報記憶部１０５に登録することができる。
　転送設定画面２００は、共通設定領域２１０、ＯＣＴ検査設定領域２２０、眼底検査領域２３０を持つ。なお、ＯＣＴ検査設定領域２２０及び眼底検査領域２３０は、個別設定領域の一例である。
　共通設定領域２１０は、転送設定（送信設定）でＯＣＴ検査・眼底検査共通の項目を設定する領域で、転送内容設定２１１、転送タイプ設定２１２、転送先設定２１３、匿名化設定２１４を持つ。
　転送内容設定２１１（送信内容設定）は、転送先（送信先）に送るデータの内容として「画像」または「レポート」を選択することができる。転送内容設定として「画像」が選択された場合には、眼科撮影装置１１０で被検者の被検眼を撮影して得た撮影データの画像を転送する設定になる。例えば、眼底カメラで被検眼を撮影して得た撮影データの場合は眼底カメラ画像が転送され、ＯＣＴで被検眼を撮影して得た撮影データの場合は、少なくとも１つの断層画像（Ｂスキャン像）が転送（送信）される。ＯＣＴの撮影は、一度の撮影で複数の断層画像が取得できるため、その場合は複数の断層画像すべてが転送される設定としてもよい。さらに、ＯＣＴの撮影は、ＳＬＯなどの網膜正面画像も同時に撮影する場合があり、その時は、網膜正面画像も一緒に転送できる設定でもよい。また、ＯＣＴで３次元に網膜を撮影した場合には、ＯＣＴの撮影データから正面画像を再構成した網膜正面画像も一緒に転送できる設定でもよい。さらには、一枚の画像内に断層画像と網膜正面画像を並べた画像にして、網膜正面画像上に断層画像の撮像位置を示した画像を転送する設定でもよい。また、転送内容設定として「レポート」が選択された場合には、複数の撮影データを並べて表示や、撮影データの解析情報などを並べて表示する等、特定のレイアウトに撮影データと関連するデータを配置したレポート画像を転送する設定になる。例えば、眼底カメラの場合、撮影した複数の画像を格子状に並べたレポート画像が転送され、ＯＣＴの場合は断層画像と網膜正面画像以外に網膜正面画像上に各位置の網膜厚をカラースケールで示すマップ画像を表示したレポート画像が転送するなどがある。またレポート画像には、撮影データに付加情報として撮影データ記憶部１０２に登録した患者情報・検査情報・撮影情報も画像内に含まれてもよい。なお、転送内容（送信内容）の選択項目には、各種の２次元の医用画像やレポート画像などのような２次元画像に限らず、例えばＯＣＴの３次元構造データなどを転送できてもよい。
　転送タイプ設定２１２（送信タイプ設定）は、転送内容設定２１１で設定した内容のデータ転送方法及び画像形式を選択することができる。例えば、転送先（送信先）がＤＩＣＯＭストレージサーバである場合は、ＤＩＣＯＭ通信、ハードディスクやＮＡＳといったストレージの場合は、ファイル保存を選択し、ファイル保存の場合は、ビットマップ、ＪＰＥＧ、ＤＩＣＯＭの中から保存したい画像形式を選択する。すなわち、送信タイプが異なると、保存形式に応じて、送信される撮影データの内容（付帯情報等）も異なる。
　転送先設定２１３（送信先設定）では、撮影データの転送先を設定することができる。転送先の設定方法は転送タイプ設定２１２でデータの転送方法がＤＩＣＯＭ通信かファイル保存かで異なり、選択に応じて画面内の入力項目が変わる。ＤＩＣＯＭ通信を選択した場合は、転送先のＤＩＣＯＭストレージサーバと通信するために必要なホスト名、ポート番号、サーバＡＥタイトルを入力できる。その際、入力した転送先と通信ができるかを確認する機能を本画面上に有してもよい。ファイル保存を選択した場合は、保存先のパスを入力できる。
　匿名化設定２１４は、転送したデータ内に含まれる個人情報を匿名化するかを選択することができる。匿名化を設定した場合には、レポート画像内やＤＩＣＯＭやＪＰＥＧのタグ情報内、ファイル名に含まれる患者の名前などの個人情報が匿名化されて転送する設定となる。なお匿名化の設定は、予め決められた方法で匿名化してもよいし、匿名化設定画面を設けて細かく匿名化方法を設定しても、転送設定画面上に直接設けてもよい。
　ＯＣＴ検査設定領域２２０は、ＯＣＴで撮影された撮影データを転送する時に適用する項目を設定する領域で、ＯＣＴ検査画像サイズ設定２２１とＯＣＴ検査自動転送設定２２２を持つ。
　ＯＣＴ検査画像サイズ設定２２１は、転送内容設定２１１が画像だった時に有効になる項目で、転送する断層画像の画像サイズを設定することができる。ＯＣＴで撮影された撮影データそのままのサイズで転送する場合はオリジナルサイズを選択し、モニタ上で眼科撮影システム１００が表示するサイズで転送する場合は表示サイズにリサイズを選択する。
　ＯＣＴ検査自動転送設定２２２は、ＯＣＴ検査の自動転送を選択することができる。例えば、自動送信にチェックを付けると、自動送信がオンに設定される。そして、自動転送する場合は、自動転送実施部１０６が自動転送の開始トリガーを受け取った時に、撮影データが撮影された眼科撮影装置がＯＣＴだった場合に、本転送設定画面２００で設定した内容を自動的に転送するようになる。
　眼底検査設定領域２３０は、眼底カメラで撮影された撮影データを転送する時に適用する項目を設定する領域で、眼底検査撮影サイズ設定２３１と眼底検査自動転送２３２を持つ。
　眼底検査撮影サイズ設定２３１は、転送内容設定２１１が画像だった時に有効になる項目で、転送する眼底カメラ画像の画像サイズを設定することができる。眼底カメラ画像を撮影したそのままのサイズで転送する場合はオリジナルサイズを選択し、サイズを変更して転送する場合は特定の幅の項目を選択する。なお、転送の際に選択した幅以下の画像を転送する場合は、オリジナルサイズで転送する設定になる。
　眼底検査自動転送設定２３２は、眼底検査の自動転送（自動送信）を選択することができる。例えば、自動送信にチェックを付けると、自動送信がオンに設定される。そして、自動転送する場合は、自動転送実施部１０６が自動転送の開始トリガーを受け取った時に、撮影データが撮影された眼科撮影装置が眼底カメラだった場合に、本転送設定画面２００で設定した内容で自動的に転送するようになる。
　（本実施例に係る撮影画面）
　図３及び図４は、表示制御部１０３が表示する眼科撮影装置の検査を行う画面の例を示す。なお、本実施例では、眼科撮影装置１１０の撮影を行う画面から別の画面へ移動した時を自動転送の開始トリガーとする画面の例となる。
　眼科撮影システム画面３００は複数の画面を表示することができ、タブ形式で画面を切り替えることができる。図３は、ＯＣＴの撮影を行う画面の例を示しＯＣＴ撮影タブ３０１が選択されている時に表示される。また、図４は、眼底カメラの撮影を行う画面の例を示し眼底撮影タブ３０２が選択されている時に表示される。ＯＣＴ撮影タブ３０１が選択されると、ＯＣＴ撮影画面３１０がタブ内に表示され、ＯＣＴの撮影や撮影結果の表示を行うことができる。このとき、図３のようなプレビュー画面においては、前眼部の動画像が左上の表示領域に表示され、眼底のＳＬＯ動画像が左下の表示領域に表示され、ＯＣＴ断層画像の動画像が右側の表示領域に表示されている。このとき、プレビュー画面において、アライメント、フォーカス、コヒーレンスゲート等の各光学調整やＯＣＴ撮影が実行されると、不図示の撮影確認画面の表示に変更されるように構成されてもよい。なお、撮影確認画面においてＯＣＴ撮影がＯＫであれば、プレビュー画面の表示に変更されるように構成されてもよい。また、眼底撮影タブ３０２が選択されると、眼底カメラ撮影画面３２０がタブ内に表示され、眼底カメラで撮影された画像を表示することができる。
　撮影画面以外のタブとしては、撮影した患者の撮影データを表示するレポート画面を表示するレポートタブ３０３、別の患者の検査を開始したり別の患者の撮影データを表示したりするために患者を作成・選択するための患者画面を表示する患者タブ３０４がある。このとき、レポート画面においては、経過観察用の表示画面や３次元ボリュームレンダリング表示画面等の種々の表示画面が変更可能に構成されてもよい。また、レポート画面の初期表示画面として、上述したような種々の表示画面のうち、いずれかの表示画面が設定可能に構成されてもよい。また、レポート画面の初期表示として、初期表示画面だけでなく、高画質化処理の有無、解析結果の表示の有無、正面画像を生成するための深度範囲等が設定可能に構成されてもよい。このとき、上述した送信内容として「レポート」が選択された場合、レポート画面の初期表示として設定された内容に基づいて生成されたレポート画像が送信されてもよい。また、レポート画面は、眼底撮影後にＯＣＴ撮影する等のユースケースにおいて利用される表示画面であって、眼底画像とＯＣＴ画像等とを一緒に表示させる表示画面であってもよい。例えば、送信設定としてレポート画像の送信がオンに設定された情報が記憶され、且つレポート画面の初期表示の設定として高画質化処理がオンである場合を考える。この場合、送信手段は、高画質化処理して得た医用画像が表示されるレポート画面に対応するレポート画像を撮影データとして送信することができる。
　さらに、眼科撮影システムの使用を終了するためにログアウトしてログイン画面を表示するためのログアウトボタン３０５がある。これら撮影画面以外のタブ又はログアウトボタン３０５を選択することで、自動転送が開始される。その場合、ＯＣＴ撮影タブ３０１から眼底撮影タブ３０２に移動した時と眼底撮影タブ３０２からＯＣＴ撮影タブ３０１に移動した時は、自動転送を実施しないため、眼底撮影とＯＣＴ撮影の両方を実施後に両方の撮影データをまとめて自動転送する動作となる。このように、撮影タブ間で自動転送を実施しないことで、操作者が自動転送処理によって撮影が妨げられることが回避できる。例えば、自動転送処理を画面操作と並行して行う場合は自動転送処理の負荷によって撮影操作側の処理が失敗することを回避できるし、画面操作と並行せずに自動転送処理完了してから次の撮影画面表示をする場合は患者への一連の撮影の中で自動転送処理によって患者を待たせることを回避できる。なお、自動転送処理を画面操作と並行して行う場合で、システムが十分な性能を持っている場合には、ＯＣＴ撮影タブ３０１から眼底撮影タブ３０２に移動した時と眼底撮影タブ３０２からＯＣＴ撮影タブ３０１に移動した時も自動転送の開始トリガーとして扱ってもよい。その時は、自動転送する眼科撮影装置の撮影データは必ず１つの眼科撮影装置の撮影データで自動転送が実施される。また、レポート画面に遷移する場合を自動転送の開始トリガーとして扱わず、患者タブ３０４とログアウトボタン３０５だけを自動転送開始のトリガーとして扱って、患者から別の患者に移るまでの単位で自動転送を行ってもよい。この場合、レポート画面内で追加・編集された情報も自動転送時に付加する情報の１つとして扱うことができる。
　（本実施例に係る自動転送処理フロー）
　次に、図５を参照して本実施例に係る自動転送処理のフローについて説明する。図５は、本実施例に係る自動転送処理の動作のフローチャートを示す。
　転送設定ごとで、自動転送する対象となる眼科撮影装置が異なる場合がある。そのため、自動転送実施部１０６は自動転送を実施する際に、自動転送情報記憶部１０５の自動転送設定内容と撮影データ記憶部１０２の自動転送対象とする眼科撮影装置１１０を確認し、眼科撮影装置１１０が自動転送の対象となっている時のみ転送データ保管システム１２０に自動転送する。
　具体的には、ステップＳ５００で、操作者は眼科撮影装置１１０を使用して撮影を行い、撮影データ取得部１０１が撮影データを撮影装置１１０から取得する。この時、撮影データ取得部は表示制御部１０３を介して撮影データを表示し、操作者は撮影の成功・失敗を入力する。
　ステップＳ５０１では、撮影データ取得部１０１が撮影データ記憶部１０２に対して、ステップＳ５００で取得した撮影データと操作者が入力した撮影の成功・失敗の結果を付加情報とともに保存する。なお、撮影失敗と入力された場合は、撮影データを保存しない、又は撮影データ記憶部１０２とは別の場所に記憶してもよい。
　ステップＳ５０２では、操作者が検査を継続する場合は、撮影を実施しステップＳ５００に戻る。操作者が眼科撮影システム画面３００上で、ＯＣＴ撮影タブ３０１及び眼科撮影タブ３０２等の撮影タブ以外のタブを選択（押下）した場合、これらの撮影画面が他の表示画面に変更される。このとき、検査が終了したと判断して自動転送実施部１０６に自動転送の開始トリガーを自動転送実施部１０６に送る。ここで、例えば、眼底撮影が終了したのでＯＣＴ撮影タブが押下されても、ＯＣＴプレビュー中の処理（例えば、前眼部の動画像、眼底のＳＬＯ動画像、ＯＣＴ断層画像の動画像、各光学調整のための処理）の負担が大きい。このため、ＯＣＴプレビュー中に眼底撮影データを送信してしまうと、ＯＣＴプレビュー中の処理が上手くいかなくなる可能性が生じる。このため、現在の撮影タブだけでなく、他の撮影タブが選択されている場合にも、自動転送が行われないように構成されてもよい。ただし、本実施例等においては、撮影タブであっても、現在選択されているタブ以外のタブが選択された場合には、自動転送が行われるように構成されてもよい。なお、撮影画面の表示中にログアウトボタン３０５が選択された場合、表示画面がログイン画面に変更され、検査が終了したと判断するように構成されてもよい。この場合に、ログアウトボタン３０５の選択を自動転送の開始トリガーとすることができる。
　ステップＳ５０３では、自動転送実施部１０６が自動転送情報記憶部１０５から転送設定を一つずつ読み込み自動転送設定があるかを確認する。自動転送設定がある場合は、ステップＳ５０４に進み、無い場合は自動転送実施部１０６が自動転送処理を終了する。なお、転送設定が１つしか登録できない構成であれば、ステップＳ５０３以降のステップは必須ではない。上述したように、転送設定は、複数パターンを登録することが可能としてもよい。このとき、登録された転送設定が複数パターンある場合には、ステップＳ５０３において、複数パターンの転送設定の設定内容に対応する情報（データ）を順番に送信するようにしてもよい。例えば、第１の転送設定と第２の転送設定とが互いに矛盾する転送設定であっても、これらの設定内容で順番にデータ送信すればよい。
　ステップＳ５０４では、自動転送記憶部１０６がステップＳ５０３で確認した自動転送設定の自動転送対象となる眼科撮影装置とステップＳ５０１で保存した撮影データの眼科撮影装置を確認し、撮影データの中に自動転送対象の眼科撮影装置が含まれるかを判定する。自動転送対象の眼科撮影装置設定は転送設定画面２００内のＯＣＴ検査自動転送設定２２２および眼底検査自動転送設定２３２の設定内容を確認する。撮影データの中に自動転送対象がある場合、ステップＳ５０５に進み自動転送処理に入り、自動転送対象の眼科撮影装置で撮影された撮影データがない場合は、ステップＳ５０３に戻り、次の自動転送設定の有無の確認を行う。
　ステップＳ５０５では、撮影データ記憶部１０２に保存された撮影データの中から自動転送の対象となる眼科撮影装置の撮影データを順に読み込む。
　ステップＳ５０６では、ステップＳ５０５で読み込んだ撮影データを、転送設定内容に従いデータ変換を行う。例えば、眼底カメラの撮影データの時、転送内容設定２１１で画像を選択し、画像サイズ設定２３１で１６００ピクセル（幅）を選択している場合、眼底カメラで撮影した画像を１６００ピクセルの幅の画像情報に変換する。さらに、転送タイプ設定２１２がＪＰＥＧファイル保存の場合はＪＰＥＧ形式のデータ変換を行い、ＪＰＥＧタグの中に患者情報、検査情報、撮影情報を付加する。この時、匿名化設定２１４が設定されている場合は、ＪＰＥＧタグの情報から個人情報を匿名化して付加する。
　ステップＳ５０７では、ステップＳ５０６で変換したデータを、転送先設定２１３で設定した転送先に転送を行う。転送タイプ設定２１２でファイル保存を選択している場合は、ファイルを指定のパスに保存を実行する。ＤＩＣＯＭ通信を選択している場合は転送先の転送データ保管システムにデータの転送を実施する。
　ステップＳ５０８では、ステップＳ５０７で実施したデータ転送の結果を確認する。転送が正常に完了した場合は、ステップＳ５１０に進み、もし転送が失敗した場合は、ステップＳ５０９で再転送の処理を行う。
　ステップＳ５０９では、転送に失敗したデータを再転送対象として記録する。例えば、保存先の容量が足りない場合や、ネットワーク異常により保存先や通信先にアクセスできない場合は、再転送を次回ログイン時や一定時間経った後に自動転送を再実施する設定を登録する。なお、再転送を自動ではなく、操作者より手動で実行できてもよい。
　ステップＳ５１０では、ステップＳ５０３で確認した自動転送設定の候補となる他の撮影データがないかを確認する。ある場合はステップＳ５０５に進み次の撮影データの自動転送を実施する。ない場合は、ステップＳ５０３に進み、他の自動転送設定がないかを確認する。この時ステップＳ５０３ですべての自動転送が完了した場合は、自動転送を終了する。その際に自動転送の結果を通知してもよい。通知内容としては、すべての自動転送設定のすべての対象となる撮影データの自動転送が成功したかどうかを通知する。なおステップＳ５０９で再転送登録になった撮影データの情報を操作者に通知してもよい。
　本自動転送処理フローの中で、ステップＳ５０３から後の処理においては、自動転送開始から自動転送処理が終了するまでを、表示制御部１０３での画面表示とは別で並行して自動転送処理を行って操作者が画面層さを行えてもよいし、自動転送処理が完了するまで画面を操作されないように画面上に転送中メッセージを表示して提示してもよい。自動転送処理が画面表示と並行して実行されている場合は、自動転送処理完了後の自動転送結果の通知は、画面上に結果表示領域を用意し、自動転送が終了した段階で結果のみを表示し、その時ユーザーが結果表示領域を選択することにより、自動転送結果の詳細を表示してもよい。
　上述した、本実施例によれば、眼科撮影システム１００で撮影した撮影データの自動転送を行う際、撮影データの眼科撮影装置の種類に応じて、転送内容を変更して自動転送を行うことができる。これにより、眼科撮影装置で必要な撮影データのみが自動転送先に適切に転送され、非常に好ましかった。
　なお、本実施例では眼科撮影装置での撮影が完了して別画面に移動した時に自動転送を開始したが、１度の撮影毎でもよい。その場合、ステップＳ５０１で撮影データ保存を行った後、ステップＳ５０３に移り、自動転送を実施する。この時、レポート画像など複数の撮影データが必要な自動転送においては、必要な撮影データが揃ったと判断された時に、自動転送を行う動作となる。また、本実施例では、眼底カメラとＯＣＴの２つの機器からそれぞれ取得した撮影データで自動転送を実施したが、これに限らない。１つの機器で眼底カメラとＯＣＴなど複数の眼科撮影装置の機能を持っているというような場合も同様に、それぞれの撮影データがどの眼科撮影装置の撮影データで取得したかを確認し、自動転送対象となる眼科撮影装置の撮影データを自動転送することで適切に眼科撮影装置毎の自動転送ができる。また、本実施例では、自動転送の開始を撮影実施後の自動転送の開始トリガーとしたが、これに限らない。撮影画面以外の画面でまとめて転送するボタンを用意して、操作者の任意のタイミングで転送を開始し、自動転送対象となる眼科撮影装置に従って転送する方法でもよい。その場合は、操作者に自動転送する設定や自動転送する撮影データなどの情報を提示することや、操作者が対象となる自動転送する設定や撮影データの範囲を変更して自動転送を開始できてもよい。
　（実施例２）
　本実施例に係る情報処理装置は、モーションコントラストデータを高画質化する高画質化手段として、機械学習による高画質化処理を適用するための高画質化部（不図示）を備える。このとき、情報処理装置における高画質化部は、少ない枚数の断層画像から生成した低画質なモーションコントラスト画像を機械学習モデルに入力することにより、多数枚の断層画像から生成した場合と同等の高画質な（低ノイズかつ高コントラストな）モーションコントラスト画像を生成する。ここで、機械学習モデルとは、処理対象として想定される所定の撮影条件で取得された低画質な画像である入力データと、入力データに対応する高画質画像である出力データ（正解データ）のペア群で構成された学習データを用いて機械学習を行うことにより生成した関数のことを指す。なお、所定の撮影条件には撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。
　ここで、低画質なモーションコントラスト画像は、例えば、以下のように取得される。まず、操作者が操作部１０４を操作して撮影画面（プレビュー画面）中の撮影開始（Ｃａｐｔｕｒｅ）ボタンを押下することにより、操作者からの指示に応じて設定された撮影条件によるＯＣＴＡ撮影が開始される。このとき、情報処理装置における制御部（不図示）は、光干渉断層計（ＯＣＴ）に対して操作者が指示した設定に基づいてＯＣＴＡ撮影を実施することを指示し、ＯＣＴが対応するＯＣＴ断層画像を取得する。また、ＯＣＴは、波長分離部材の一例であるダイクロイックミラーを用いて光路分離されたＳＬＯ光学系を用いてＳＬＯ画像の取得も行い、ＳＬＯ動画像に基づく追尾処理を実行する。ここで、撮影条件の設定は、例えば、１）Ｍａｃｕｌａｒ　Ｄｉｓｅａｓｅ検査セットの登録、２）ＯＣＴＡスキャンモードの選択、３）以下の撮影パラメータ、等の設定である。また、撮影パラメータとしては、例えば、３－１）走査パターン：３００Ａスキャン（本）×３００Ｂスキャン（枚）、３－２）走査領域サイズ：３ｘ３ｍｍ、３－３）主走査方向：水平方向、等が設定される。また、撮影パラメータとしては、更に、例えば、３－４）走査間隔：０．０１ｍｍ、３－５）固視灯位置：黄斑（中心窩）、３－６）１クラスタあたりのＢスキャン数：４、３－７）コヒーレンスゲート位置：硝子体側、３－８）既定表示レポート種別：単眼検査用レポート、等が設定する。また、撮影データ取得部１０１は、取得されたＯＣＴ断層画像に基づいて、モーションコントラスト画像（モーションコントラストデータ）を生成する。このとき、モーションコントラスト画像が生成された後、不図示の補正部が、モーションコントラスト画像上に生じたプロジェクションアーティファクトを抑制する処理を実行してもよい。そして、表示制御部１０３は、生成された断層画像、３次元のモーションコントラスト画像、モーションコントラスト正面画像、撮影条件に関する情報等を、表示部（不図示）に表示させる。このとき、本実施例では、ユーザーが図６Ａのレポート画面右上に示すボタン９１１（高画質化ボタンの一例）を押下することにより、高画質化部がモーションコントラスト画像に対する高画質化処理を実施するものとする。すなわち、高画質化ボタンは、高画質化処理の実行を指示するためのボタンである。もちろん、高画質化ボタンは、（高画質化ボタンを押下する前に生成された）高画質画像の表示を指示するためのボタンであってもよい。
　本実施例において、学習データとして用いる入力データは、断層画像数の少ない単一クラスタから生成された低画質モーションコントラスト画像とする。また、学習データとして用いる出力データ（正解データ）は、位置合わせ済の複数のモーションコントラストデータを加算平均して得られた高画質モーションコントラスト画像とする。なお、学習データとして用いる出力データはこれに限らず、例えば、多数枚の断層画像で構成される単一クラスタから生成された高画質なモーションコントラスト画像でもよい。また、学習データとして用いる出力データは、入力画像より高解像度な（高倍率な）モーションコントラスト画像を入力画像と同解像度（同倍率）にすることによって得られた高画質なモーションコントラスト画像でもよい。なお、機械学習モデルのトレーニングに用いる入力画像と出力画像のペアは上記に限られるものではなく、任意の公知の画像の組み合わせを用いてよい。例えば、断層画像撮影装置１００や他の装置で取得したモーションコントラスト画像に第一のノイズ成分を付加した画像を入力画像とし、該（断層画像撮影装置１００や他の装置で取得した）モーションコントラスト画像に（第一のノイズ成分とは異なる）第二のノイズ成分を付加した画像を出力画像として機械学習モデルのトレーニングに用いてもよい。すなわち、高画質化部は、眼底のモーションコントラストデータを含む学習データを学習して得た高画質化用の学習済モデルを用いて、入力画像として入力されたモーションコントラストデータを高画質化するものであれば何でもよい。
　本実施例に係る高画質化部における機械学習モデルの構成例を図７に示す。機械学習モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　ＮｅｕｒａｌＮｅｔｗｏｒｋ；ＣＮＮ）であり、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、上記構成に含まれる層の種類として、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、上記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Ｍａｘ　Ｐｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力画像１３０１を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力画像１３０１を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像１３０２に成形される。なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ　Ｌｉｎｅａｒ　Ｕｎｉｔ）を用いた活性化層を組み込む等をしても良い。なお、図７では説明を簡単にするため処理対象画像を２次元画像として説明しているが、本発明はこれに限定されない。例えば、３次元の低画質モーションコントラスト画像を高画質化部に入力して３次元の高画質モーションコントラスト画像を出力する場合も本発明に含まれる。
　ここで、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施例では、学習部（不図示）の一例である情報処理装置による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われても良い。また、高画質化部も、学習部と同様にＧＰＵを用いても良い。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
　また、操作者は操作部１０４を用いてＯＣＴＡ解析処理の開始を指示することができる。本実施例では、レポート画面である図６Ｂのモーションコントラスト画像上をダブルクリックすることで、レポート画面の一例である図６Ａに移行（画面遷移）する。モーションコントラスト画像が拡大表示され、情報処理装置を用いて解析処理を行うことができる。解析処理の種類として任意の解析処理を行ってよく、本実施例では、図６ＡのＤｅｎｓｉｔｙ　Ａｎａｌｙｓｉｓ９０３もしくはＴｏｏｌｓボタン９０４を選択して表示される項目９０５に示す解析の種類と、必要に応じて解析の次元数に関する項目９１２を選択することにより、所望の解析の種類を指定することができる。これにより、例えば、操作者からの指示に応じて、高画質化用の学習済モデルにより高画質化されたモーションコントラスト画像を用いて、上述した実施例における解析処理を実行することができる。このため、例えば、上述した実施例における解析処理の精度を向上することができる。
　ここで、画面遷移における高画質化処理の実行について、図６Ａと図６Ｂを用いて説明を行う。図６Ａは、図６ＢにおけるＯＣＴＡ画像を拡大表示したレポート画面の一例である。図６Ａにおいても、図６Ｂと同様にボタン９１１を表示する。図６Ｂから図６Ａへの画面遷移は、例えば、ＯＣＴＡ画像をダブルクリックすることで遷移し、図６Ａから図６Ｂへは閉じるボタン（不図示）で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。
　画面遷移の際に高画質化処理の実行が指定されている場合（ボタン９１１がアクティブ）、画面遷移時においてもその状態を保つ。すなわち、図６Ｂの画面で高画質画像を表示している状態で図６Ａの画面に遷移する場合、図６Ａの画面においても高画質画像を表示する。そして、ボタン９１１はアクティブ状態にする。図６Ａから図６Ｂへ遷移する場合にも同様である。図６Ａにおいて、ボタン９１１を指定して低画質画像に表示を切り替えることもできる。
　画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面における高画質化ボタンの状態に対応する画像が表示される。例えば、遷移前の表示画面における高画質化ボタンがアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面における高画質化ボタンのアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面における高画質化ボタン（例えば、後述する図８のボタン３４２０）がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時（異なる検査日）で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面における高画質化ボタンがアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。
　なお、経過観察用の表示画面の例を、図８に示す。検者からの指示に応じてタブ３８０１が選択されると、図８のように、経過観察用の表示画面が表示される。このとき、解析対象領域の深度範囲を、リストボックスに表示された既定の深度範囲セット（３８０２及び３８０３）から検者が選択することで変更できる。例えば、リストボックス３８０２では網膜表層が選択され、また、リストボックス３８０３では網膜深層が選択されている。上側の表示領域には網膜表層のモーションコントラスト画像の解析結果が表示され、また、下側の表示領域には網膜深層のモーションコントラスト画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のモーションコントラスト画像の解析結果の並列表示に一括して変更される。
　このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のモーションコントラスト画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じてボタン３４２０が指定されると、複数のモーションコントラスト画像の表示が複数の高画質画像の表示に一括して変更される。なお、ボタン３４２０は、上述した図６Ａ及び図６Ｂのボタン９１１と同様に、高画質化ボタンの一例である。
　また、解析結果の表示が選択状態である場合には、検者からの指示に応じてボタン３４２０が指定されると、複数のモーションコントラスト画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。
　また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、３８０５，３８０６のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のモーションコントラスト画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、１つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。また、画像投影法やプロジェクションアーティファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。また、選択ボタン３８０７を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図８の上部に表示されている矢印３８０４は現在選択されている検査であることを示す印であり、基準検査（Ｂａｓｅｌｉｎｅ）はＦｏｌｌｏｗ－ｕｐ撮影の際に選択した検査（図８の一番左側の画像）である。もちろん、基準検査を示すマークを表示部に表示させてもよい。
　また、「Ｓｈｏｗ　Ｄｉｆｆｅｒｅｎｃｅ」チェックボックス３８０８が指定された場合には、基準画像上に基準画像に対する解析値分布（マップもしくはセクタマップ）を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した解析値分布と当該領域に表示される画像に対して算出した解析分布との差分解析値マップを表示する。解析結果としては、レポート画面上にトレンドグラフ（経時変化解析によって得られた各検査日の画像に対する解析値のグラフ）を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ（例えば、時系列グラフ）が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で（例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる）時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線（曲線）や対応する数式をレポート画面に表示させてもよい。
　本実施例においては、モーションコントラスト画像に関して説明を行ったが、これに限らない。本実施例に係る表示、高画質化、及び画像解析等の処理に関する画像は、断層画像でもよい。さらには、断層画像だけではなく、ＳＬＯ画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。
　例えば、高画質化処理の対象画像は、（複数の深度範囲に対応する）複数のＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像、モーションコントラストのＥｎ－Ｆａｃｅ画像）ではなく、例えば、１つの深度範囲に対応する１つのＯＣＴＡ正面画像であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像の代わりに、例えば、輝度の正面画像（輝度のＥｎ－Ｆａｃｅ画像）、あるいはＢスキャンであるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像だけでなく、例えば、輝度の正面画像及びＢスキャンであるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、表示部の表示画面上に表示されている種々の医用画像の少なくとも一つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、ボタン９１１あるいはボタン３４２０が押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いてＯＣＴＡ正面画像を高画質化処理するだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いてＯＣＴ断層画像も高画質化処理するように構成されてもよい。また、例えば、ボタン９１１あるいはボタン３４２０が押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴＡ正面画像の表示に変更されるだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。このとき、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＯＣＴＡ正面画像上で移動可能に構成されてもよい。また、ボタン９１１あるいはボタン３４２０の表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応するＯＣＴ断層画像を高画質化処理して得た高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎にボタン３４２０に相当する高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。
　また、ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置のＢスキャンであるＯＣＴ断層画像に重畳して表示されてもよい。このとき、例えば、ＯＣＴ断層画像が高画質化されると、対応する位置のＯＣＴＡ断層画像が高画質化されてもよい。そして、高画質化して得たＯＣＴＡ断層画像における血管領域を示す情報が、高画質化して得たＯＣＴ断層画像に重畳して表示されてもよい。なお、血管領域を示す情報は、色等の識別可能な情報であれば何でもよい。また、血管領域を示す情報の重畳表示と非表示とが検者からの指示に応じて変更可能に構成されてもよい。また、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像上で移動されると、ラインの位置に応じてＯＣＴ断層画像の表示が更新されてもよい。このとき、対応する位置のＯＣＴＡ断層画像も更新されるため、ＯＣＴＡ断層画像から得られる血管領域を示す情報の重畳表示が更新されてもよい。これにより、例えば、任意の位置において、血管領域と注目領域との位置関係を容易に確認しながら、血管領域の３次元の分布や状態を効果的に確認することができる。また、ＯＣＴＡ断層画像の高画質化は、高画質化用の学習済モデルを用いる代わりに、対応する位置で取得した複数のＯＣＴＡ断層画像の加算平均処理等による高画質化処理であってもよい。また、ＯＣＴ断層画像は、ＯＣＴボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴ断層画像であってもよい。また、ＯＣＴＡ断層画像は、ＯＣＴＡボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴＡ断層画像であってもよい。なお、任意の位置は、少なくとも１つの任意の位置であればよく、また、検者からの指示に応じて変更可能に構成されてもよい。このとき、複数の位置に対応する複数の疑似断層画像が再構成されるように構成されてもよい。
　なお、表示される断層画像（例えば、ＯＣＴ断層画像あるいはＯＣＴＡ断層画像）は、１つだけ表示されてもよいし、複数表示されてもよい。複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、図８に示されるような経過観察用の表示画面に複数の断層画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。
　同様に、ＳＬＯ眼底画像を高画質化して表示する場合には、例えば、同一の表示画面に表示されるＳＬＯ眼底画像を高画質化して表示してもよい。さらに、輝度の正面画像を高画質化して表示する場合には、例えば、同一の表示画面に表示される輝度の正面画像を高画質化して表示してよい。さらに、図８に示されるような経過観察用の表示画面に複数のＳＬＯ眼底画像や輝度の正面画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいてＳＬＯ眼底画像や輝度の正面画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ眼底画像、及び輝度の正面画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ眼底画像、及び輝度の正面画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。
　このような構成により、本実施例に係る高画質化部（不図示）が処理した画像を表示制御部１０３が表示部に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。
　また、上述したように、複数の条件のうち少なくとも１つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも１つが選択された状態が維持されてもよい。例えば、表示制御部１０３は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン９１１あるいはボタン３４２０が指定されると）、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部１０３は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン９１１あるいはボタン３４２０の指定が解除されると）、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。
　また、表示制御部１０３は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部１０３は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部１０３は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部１０３は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
　また、高画質画像の表示が非選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部１０３は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、低画質画像の第１の種類の解析結果の表示を低画質画像の第２の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部１０３は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、高画質画像の第１の種類の解析結果の表示を高画質画像の第２の種類の解析結果の表示に変更してもよい。
　なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。
　また、上述した実施例において、表示制御部１０３は、高画質化部によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部に表示させることができる。また、表示制御部１０３は、検者からの指示に応じて、表示部における表示画面上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。すなわち、表示制御部１０３は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。
　さらに、情報処理装置における高画質化部が、高画質化エンジン（高画質化用の学習済モデル）による高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、表示制御部１０３が、高画質化部によって生成された高画質画像を表示部に表示させてもよい。これに対し、撮影装置（ＯＣＴ）によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部１０３が、検者からの指示に応じて高画質画像を表示部に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理（高画質化処理）を行う学習済モデルを含む。
　なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部１０３は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部１０３は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
　また、表示制御部１０３は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。
　ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。
　（変形例１）
　上述した実施例の情報処理装置には、眼科撮影装置で撮影された撮影データを予め指定した保存先に、撮影データ又は指定した形式に変換したデータを自動的に転送する自動転送機能が備わっている。ここで、実際の病院での運用の中で、自動転送機能のユースケースとしては、記録保管システム（いわゆるＰＡＣＳ）へ転送する場合と、電子カルテなどの診断用システムへ転送する場合があった。これらの運用では、眼科撮影装置毎に異なるデータの内容で転送することが要求されることがあった。例えば、撮影データの記録保管システムに転送する場合は、眼底カメラだと眼底画像で、ＯＣＴだと断層画像を転送することが多い。診断用のシステムに転送する場合は、眼底カメラだと眼底画像で、ＯＣＴだと断層画像ではなく網膜厚のマップなど解析結果を含んだレポート画像を転送することが多い。上述した実施例の情報処理装置は、例えば、このようなユースケースにも対応することができる。
　なお、上述した実施例において、レポート画面等の表示画面において、個別の撮影データを検者が手動送信（手動転送）可能なように構成されてもよい。例えば、レポート画像において、検者からの指示に応じて、手動送信用のボタンが押下されると、レポート画面に表示されている画像や、レポート画面に対応するレポート画像が撮影データとして送信されるように構成されてもよい。また、例えば、患者画面において、検者からの指示に応じて任意の検査が指定されている場合には、指定されている検査に関連する撮影データを、検者からの指示に応じて送信可能としてもよい。また、患者画面において、検者からの指示に応じて任意の患者が指定されている場合には、指定された患者の少なくとも１つの検査に関連する撮影データを、検者からの指示に応じて送信可能としてもよい。
　また、レポート画面の初期表示画面として、高画質画像の表示を指示するためのボタン（高画質化ボタン）がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、高画質画像の表示を指示するためのボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。
　（変形例２）
　上述した実施例において、送信設定における送信可能な画像の種類としては、少なくとも１つの断層画像（Ｂスキャン像）だけでなく、正面画像（Ｅｎ－Ｆａｃｅ画像）であってもよい。ここで、高画質化用の学習済モデル（高画質化モデル、高画質化エンジン）を用いて、撮影データに対応する低画質画像（第１の医用画像）から得た高画質画像（第２の医用画像）と該低画質画像とをセットとするデータを送信可能としてもよい。このとき、追加学習用の学習データサーバに送信可能としてもよい。また、このような目的ではないサーバであっても、上記セットで管理しておけば、高画質化用の学習済モデルを生成する際に上記セットを学習データとして利用し易い。なお、高画質化用の学習済モデルは、低画質画像を入力データとし、高画質画像を正解データ（教師データ）とする学習データを機械学習して得た学習済モデル（機械学習モデル、機械学習エンジン）であってもよい。
　ここで、上記学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。また、高画質化エンジンは、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。
　（変形例３）
　上述した様々な実施例及び変形例における表示制御部１０３は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーティファクトは、例えば、血管領域等による光吸収により生じる偽像領域、プロジェクションアーティファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーティファクト等であってもよい。また、アーティファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーティファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、シュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。
　また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。
　また、学習済モデルは、輝度正面画像（輝度断層画像）及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は断層画像のＥｎ－Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ－Ｆａｃｅ画像に対応する。
　また、高画質化エンジンにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理（例えば、位置合わせして得た複数の第一の画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。
　また、学習データに含まれる入力データとしては、高画質化エンジンにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。
　また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。
　また、上述した様々な実施例及び変形例における表示制御部１０３は、表示画面のレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報であってもよい。このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。
　なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化エンジンにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。
　また、学習データに含まれる入力データとしては、高画質化エンジンにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。
　なお、上述した種々の学習済モデルの学習は、教師あり学習（ラベル付きの学習データで学習）だけでなく、半教師あり学習であってもよい。半教師あり学習は、例えば、複数の識別器（分類器）がそれぞれ教師あり学習を行った後、ラベルのない学習データを識別（分類）し、識別結果（分類結果）の信頼度に応じて（例えば、確からしさが閾値以上の識別結果を）自動的にラベル付け（アノテーション）し、ラベル付けされた学習データで学習を行う手法である。半教師あり学習は、例えば、共訓練（Ｃｏ－Ｔｒａｉｎｉｎｇ、あるいはＭｕｌｔｉｖｉｅｗ）であってもよい。このとき、診断結果生成用の学習済モデルは、例えば、正常な被検体の医用画像を識別する第１の識別器と、特定の病変を含む医用画像を識別する第２の識別器とを用いて半教師あり学習（例えば、共訓練）して得た学習済モデルであってもよい。なお、診断目的に限らず、例えば撮影支援等を目的としてもよい。この場合、第２の識別器は、例えば、注目部位やアーティファクト領域等の部分領域を含む医用画像を識別するものであってもよい。
　また、上述した様々な実施例及び変形例における表示制御部１０３は、表示画面のレポート画面において、上述したような注目部位、アーティファクト領域、異常部位等の部分領域の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
　また、異常部位を検出する場合には、情報処理装置は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｋｓ）や変分オートエンコーダ（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ　ａｕｔｏ－ｅｎｃｏｄｅｒ）を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の断層画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌ　ＧＡＮ）を機械学習モデルとして用いることができる。
　ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出（検出）することができる。また、ＶＡＥを用いる場合には、例えば、入力された断層画像をエンコーダによりエンコードすることで潜在変数にし、潜在変数をデコーダによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像像との差分を異常部位として抽出することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。
　さらに、情報処理装置は、畳み込みオートエンコーダ（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、ＣＡＥに入力された画像とＣＡＥから出力された画像の差分を異常部位として抽出することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。
　これらの場合、情報処理装置は、敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、情報処理装置は、高速に精度よく異常部位を検出することが期待できる。例えば、異常部位の検出精度の向上のために異常部位を含む医用画像を学習データとして数多く集めることが難しい場合であっても、比較的に数多く集め易い正常な被検体の医用画像を学習データとして用いることができる。このため、例えば、異常部位を精度よく検出するための学習を効率的に行うことができる。ここで、オートエンコーダには、ＶＡＥやＣＡＥ等が含まれる。また、敵対的生成ネットワークの生成部の少なくとも一部がＶＡＥで構成されてもよい。これにより、例えば、同じようなデータを生成してしまう現象を低減しつつ、比較的鮮明な画像を生成することができる。例えば、情報処理装置は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部１０３は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部に表示させることができる。
　また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施例や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、情報処理装置は、操作者からの被検眼の疾病の種類や異常部位等の入力（指示）に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、網膜層の検出や領域ラベル画像等の生成に用いられる学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、情報処理装置は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、情報処理装置は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。
　また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データは、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データや、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等が考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、異なる原理等により取得されたものであれば何でもよい。
　また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データは、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データや、眼底の黄斑の３次元ＯＣＴ画像と眼底の視神経乳頭のサークルスキャン（またはラスタスキャン）断層画像とをセットとする入力データ等が考えられる。
　なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した種々の学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
　また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した種々の学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
　ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。また、学習には、各ユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。
　なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である情報処理装置による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われても良い。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いても良い。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
　また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダの機能とを有するＵ－ｎｅｔ型の機械学習モデルが適用可能である。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
　また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ　ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（ＹｏｕＯｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　ＤｅｔｅｃｔｏｒあるいはＳｉｎｇｌｅ　Ｓｈｏｔ　ＭｕｌｔｉＢｏｘ　Ｄｅｔｅｃｔｏｒ）を用いることもできる。
　また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ　Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン、あるいは各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることによって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
　また、高画質化エンジン（高画質化用の学習済モデル）は、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、高画質化用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。
　なお、上述した様々な実施例及び変形例において、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の部分領域（例えば、注目部位、アーティファクト領域、異常部位等）を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの部分領域を検出する場合を考える。この場合には、検出された少なくとも２つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。
　（変形例４）
　上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
　なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってもよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。
　これらの場合には、情報処理装置における高画質化部（不図示）は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、情報処理装置における制御部（不図示）は、高画質な動画像が表示された状態で、セグメンテーション処理等により特定した異なる領域のいずれかが表示領域における所定の位置になるように、ＯＣＴにおける参照ミラー（不図示）等の撮影範囲を変更する光学部材を駆動制御することができる。このような場合には、制御部は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照ミラー等であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えば撮影装置のステージ部（不図示）であってもよい。また、制御部は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーティファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査部を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。
　また、上述した種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化エンジンにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成されてもよい。
　なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されても良いし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
　ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。
　また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。
　（変形例５）
　上述した様々な実施例及び変形例においては、学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力が実行可能なように構成されることがよい。そして、追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、追加学習の実行後の学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル（予備の学習済モデル）とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果（追加学習による変化の一例）、あるいは該複数の高画質画像の解析結果の比較結果（追加学習による変化の一例）が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。
　また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、情報処理装置は、選択された学習済モデルに対して追加学習として実行する制御手段（不図示）を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
　なお、選択手段及び制御手段は、情報処理装置のＣＰＵやＭＰＵ等のプロセッサによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
　また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざん、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
　また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号（例えば、格子暗号、量子鍵配送による量子暗号等）が用いられてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムであってもよい。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。
　（変形例６）
　上述した様々な実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識エンジン（音声認識モデル、音声認識用の学習済モデル）を含む機械学習エンジン（機械学習モデル）が用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識エンジン（文字認識モデル、文字認識用の学習済モデル）を含む機械学習エンジンが用いられても良い。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識エンジン（ジェスチャー認識モデル、ジェスチャー認識用の学習済モデル）を含む機械学習エンジンが用いられてもよい。
　また、検者からの指示は、表示部における表示画面（モニタ）上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部における表示画面（モニタ）の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
　このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データまたは音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データまたは音声データ等を入力データとし、高画質画像の表示の実行命令と高画質画像の表示を指示するためのボタンをアクティブ状態に変更するための実行命令とを正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データまたは音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字または音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字または音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
　ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｒｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習エンジンの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図９Ａ及び図９Ｂを参照して説明する。また、ＲＮＮの一種であるＬｏｎｇｓｈｏｒｔ－ｔｅｒｍ　ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１０Ａ及び図１０Ｂを参照して説明する。
　図９Ａは、機械学習エンジンであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘｔ３５１０を入力し、データｈｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図９Ｂには時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘｔ３５１０にはＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。
　しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１０ＡにＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ－１と出力データｈｔ－１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。
　次に、図１０ＢにＬＳＴＭ３５４０の詳細を示す。図１０Ｂにおいて、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
　なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ　Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習エンジンは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字または音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ　ｔｏ　Ｓｅｑｕｅｎｃｅ）が適用されてもよい。このとき、自然言語処理に関する技術としては、例えば、入力される文章毎に出力されるモデルが適用されてもよい。また、上述した種々の学習済モデルは、検者からの指示に限らず、検者に対する出力に適用されてもよい。また、検者に対して文字または音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。
　また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルを更に目的に応じて転移学習（あるいはファインチューニング）して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ　Ｅｎｃｏｄｅｒ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｆｒｏｍ　Ｔｒａｎｓｆｏｒｍｅｒｓ）が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈（特徴量）を自ら抽出（表現）可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける２つのシーケンス（センテンス）の関係性（連続性）を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にＴｒａｎｓｆｏｒｍｅｒのＥｎｃｏｄｅｒが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。
　ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施例及び変形例に記載のような種々の画像や解析結果の表示の変更、Ｅｎ－Ｆａｃｅ画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力（表示や送信等）や保存等、に関する少なくとも１つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更（画面遷移）に関する指示であってもよい。
　なお、機械学習モデルとしては、ＣＮＮ等の画像に関する機械学習モデルとＲＮＮ等の時系列データに関する機械学習モデルとを組み合わせた機械学習モデルであってもよい。このような機械学習モデルでは、例えば、画像に関する特徴量と時系列データに関する特徴量との関係性を学習することができる。機械学習モデルの入力層側がＣＮＮで、出力層側がＲＮＮである場合には、例えば、医用画像を入力データとし、該医用画像に関する文章（例えば、病変の有無、病変の種類、次の検査のレコメンド等）を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、医用画像に関する医療情報が自動的に文章で説明されるため、医療経験が浅い検者であっても、医用画像に関する医療情報を容易に把握することができる。また、機械学習モデルの入力層側がＲＮＮで、出力層側がＣＮＮである場合には、例えば、病変、所見、診断等の医療に関する文章を入力データとし、該医療に関する文章に対応する医用画像を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、検者が確認したい症例に関係する医用画像を容易に検索することができる。
　また、検者からの指示や検者に対する出力には、文字や音声等の文章を任意の言語に機械翻訳する機械翻訳エンジン（機械翻訳モデル、機械翻訳用の学習済モデル）が用いられてもよい。なお、任意の言語は、検者からの指示に応じて選択可能に構成されてもよい。機械翻訳エンジンには、例えば、上述した自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ　ｔｏ　Ｓｅｑｕｅｎｃｅ）が適用されてもよい。例えば、機械翻訳エンジンに入力された文章が機械翻訳された後に、機械翻訳された文章を文字認識エンジン等に入力するように構成されてもよい。また、例えば、上述した種々の学習済モデルから出力された文章を機械翻訳エンジンに入力し、機械翻訳エンジンから出力された文章が出力されるように構成されてもよい。
　また、上述した種々の学習済モデルが組み合わせて用いられてもよい。例えば、検者からの指示に対応する文字が文字認識エンジンに入力され、入力された文字から得た音声を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された文字が文字認識エンジンに入力され、入力された文字から得た音声が出力されるように構成されてもよい。また、例えば、検者からの指示に対応する音声が音声認識エンジンに入力され、入力された音声から得た文字を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された音声が音声認識エンジンに入力され、入力された音声から得た文字が表示部に表示されるように構成されてもよい。このとき、検者に対する出力として文字による出力か音声による出力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示として文字による入力か音声による入力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示による選択によって、上述した種々の構成が採用されるようにしてもよい。
　（変形例７）
　上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、ユーザーは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。
　このとき、レポート画面等の表示画面は、検者からの指示に応じて、画像データとして記憶部に保存されてもよい。例えば、高画質画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部に保存されてもよい。また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。
　また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、高画質画像等に重畳した状態で表示または保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。
　また、レポート画面の初期表示画面として、高画質化ボタンがアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像が外部記憶部等のサーバに送信されるように構成されてもよい。また、高画質化ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。
　（変形例８）
　上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。
　また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。なお、共通の画像が、第１の種類の学習済モデルと第２の種類の学習済モデルとに入力されることで、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を実行するように構成されてもよい。このとき、例えば、検者からの指示に応じて、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を一括して（連動して）実行するように構成されてもよい。また、入力させる画像の種類（例えば、高画質画像、物体認識結果、セグメンテーション結果、類似症例画像）、生成（あるいは表示）させる処理結果の種類（例えば、高画質画像、診断結果、解析結果、物体認識結果、セグメンテーション結果、類似症例画像）、入力の種類や出力の種類（例えば、文字、音声、言語）等をそれぞれ検者からの指示に応じて選択可能に構成されてもよい。このとき、選択された種類に応じて少なくとも１つの学習済モデルが選択されるように構成されてもよい。このとき、複数の学習済モデルが選択された場合には、選択された種類に応じて複数の学習済モデルの組み合わせ方（例えば、データを入力させる順番等）が決定されてもよい。なお、例えば、入力させる画像の種類と、生成（あるいは表示）させる処理結果の種類とが、異なるように選択可能に構成されてもよいし、同じである場合には異なるように選択することを促す情報を検者に対して出力するように構成されてもよい。また、各学習済モデルはどの場所で実行されてもよい。例えば、複数の学習済モデルのうちの一部がクラウドサーバで用いられ、他はフォグサーバやエッジサーバ等の別のサーバで用いられるように構成されてもよい。
　また、上述したような種々の学習済モデルは、被検体の２次元の医用画像を含む学習データを学習して得た学習済モデルであってもよいし、また、被検体の３次元の医用画像を含む学習データを学習して得た学習済モデルであってもよい。
　また、上述したような種々の学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。また、上述したような種々の学習済モデルの処理による物体認識結果やセグメンテーション結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、情報処理装置は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部１０３は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、類似症例画像は、例えば、学習済モデルに入力された医用画像において異常部位等の部分領域が含まれる場合には、異常部位等の部分領域の特徴量と類似する特徴量の画像である。このため、例えば、類似症例画像を精度よく検索するための学習を効率的に行うことができるだけでなく、医用画像において異常部位が含まれる場合には、検者は異常部位の診断を効率よく行うことができる。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。
　（変形例９）
　上述した様々な実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。各種処理は、光干渉断層計（ＯＣＴ）で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、同様の効果を奏することができる。例えば、分割手段として光カプラーを使用したファイバー光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、ＯＣＴの構成は、ＯＣＴに含まれる構成の一部をＯＣＴと別体の構成としてもよい。また、ＯＣＴの干渉光学系としてマイケルソン型干渉計の構成が用いられてもよいし、マッハツェンダー干渉計の構成が用いられてもよい。また、ＯＣＴとして、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）であってもよいし、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）等の他の任意の種類のＯＣＴであってもよい。また、ライン光を用いたＬｉｎｅ－ＯＣＴ装置（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ装置）に対して本発明を適用することもできる。また、エリア光を用いたＦｕｌｌ　Ｆｉｅｌｄ－ＯＣＴ装置（あるいはＳＳ－Ｆｕｌｌ　Ｆｉｅｌｄ－ＯＣＴ装置）にも本発明を適用することもできる。また、情報処理装置は、ＯＣＴで取得された干渉信号や情報処理装置で生成された３次元断層画像等を取得しているが、情報処理装置がこれらの信号や画像を取得する構成はこれに限られない。例えば、情報処理装置は、ＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。
　なお、学習済モデルは、情報処理装置に設けられることができる。学習済モデルは、例えば、ＣＰＵ等のプロセッサによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、情報処理装置と接続される別のサーバ等に設けられてもよい。この場合には、情報処理装置は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて高画質化処理を行うことができる。
　（変形例１０）
　上述した様々な実施例及び変形例による情報処理装置（医用画像処理装置）又は情報処理方法（医用画像処理方法）によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。
　さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
　また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ－Ｆａｃｅ画像を含む。Ｅｎ－Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）であってもよい。また、３次元のＯＣＴデータや３次元のモーションコントラストデータは、３次元の医用画像データの一例である。
　ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。
　また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（３次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを２次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を２次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
　また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。
　なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ－ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ－ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ－ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。
　（その他の実施例）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した様々な実施例及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
　また、本発明は、上述した様々な実施例及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
　このとき、プロセッサ又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１９年３月２９日提出の日本国特許出願特願２０１９－０６８８９３と２０１９年１０月３日提出の日本国特許出願特願２０１９－１８３３５２と２０１９年１２月５日提出の日本国特許出願特願２０１９－２２０７６５を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
 

Claims (27)

  1. 　異なる種類の複数の撮影により得た複数の撮影データの送信設定として、前記異なる種類の複数の撮影毎に個別に設定された情報を記憶する記憶手段と、
    　前記異なる種類の複数の撮影のいずれかの撮影により得た被検体の撮影データを、前記記憶された情報に応じて送信する送信手段と、
    　を有する情報処理装置。
  2. 　前記送信手段は、前記いずれかの撮影の送信設定における自動送信がオンに設定された情報が記憶されている場合、前記いずれかの撮影を行う撮影画面から他の表示画面に変更するための検者からの指示を送信開始のトリガーとして、前記いずれかの撮影により得た撮影データを、前記記憶された情報に応じて送信する請求項１に記載の情報処理装置。
  3. 　前記送信手段は、前記いずれかの撮影の送信設定としてレポート画像の送信がオンに設定された情報が記憶され、且つレポート画面の初期表示の設定として高画質化処理がオンである場合には、前記いずれかの撮影により得た第１の医用画像を高画質化処理して得た第２の医用画像が表示されるレポート画面に対応するレポート画像を前記撮影データとして送信する請求項１または２に記載の情報処理装置。
  4. 　前記高画質化処理は、前記第１の医用画像から、被検体の医用画像を学習して得た学習済モデルを用いて、前記第２の医用画像を生成する処理である請求項３に記載の情報処理装置。
  5. 　前記送信設定は、前記第１の医用画像と前記第２の医用画像とをセットとするデータの送信設定が可能に構成される請求項３または４に記載の情報処理装置。
  6. 　前記セットとするデータは、追加学習用の学習データである請求項５に記載の情報処理装置。
  7. 　前記異なる種類の複数の撮影を前記被検体の被検眼に対して実行するための複数の眼科撮影装置は、眼底カメラ及びＯＣＴ装置を含む請求項１乃至６のいずれか１項に記載の情報処理装置。
  8. 　前記送信設定は、複数パターンの登録が可能に構成され、
    　前記送信手段は、前記登録された複数パターンの順番に、前記いずれかの撮影により得た被検体の撮影データを、前記記憶された情報に応じて送信する請求項１乃至７のいずれか１項に記載の情報処理装置。
  9. 　前記送信設定は、検者からの指示に応じて、前記異なる種類の複数の撮影毎に個別に設定可能に構成されている請求項１乃至８のいずれか１項に記載の情報処理装置。
  10. 　前記送信設定は、送信内容と送信タイプと送信先とを共通設定とし、画像サイズと自動送信の有無とを個別設定とする請求項１乃至９のいずれか１項に記載の情報処理装置。
  11. 　前記撮影データを表示手段に表示させる表示制御手段を更に有する請求項１乃至１０のいずれか１項に記載の情報処理装置。
  12. 　異なる種類の複数の撮影のいずれかの撮影により得た被検体の第１の医用画像から、被検体の医用画像を学習して得た学習済モデルを用いて生成された第２の医用画像であって、該第１の医用画像よりも高画質な第２の医用画像を、表示手段に表示させる表示制御手段と、
    　検者からの指示を送信開始のトリガーとして、前記第２の医用画像が表示されるレポート画面に対応するレポート画像を送信する送信手段と、
    　を有する情報処理装置。
  13. 　前記表示制御手段は、前記第２の医用画像として生成されたＯＣＴＡ正面画像であって、前記第２の医用画像として生成されたＯＣＴ断層画像の位置を示すラインが重畳表示されたＯＣＴＡ正面画像と、検者からの指示に応じて該ＯＣＴＡ正面画像上で移動された該ラインの位置に対応する該ＯＣＴ断層画像とを前記表示手段に表示させる請求項１２に記載の情報処理装置。
  14. 　前記表示制御手段は、前記第２の医用画像として生成されたＯＣＴＡ断層画像であって、前記ラインの位置に対応するＯＣＴＡ断層画像における血管領域を示す情報を、前記ラインの位置に対応する前記ＯＣＴ断層画像に重畳表示させる請求項１３に記載の情報処理装置。
  15. 　前記学習済モデルを用いて生成された医用画像のファイル名は、高画質化処理を行って生成された画像であることを示す情報を、検者からの指示に応じて編集可能な状態で含む請求項１２乃至１４のいずれか１項に記載の情報処理装置。
  16. 　追加学習の実行中である学習済モデルに対する学習データ以外の医用画像の入力を禁止し、前記追加学習の実行前の学習済モデルと同じ学習済モデルを予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能に構成される請求項１２乃至１５のいずれか１項に記載の情報処理装置。
  17. 　前記表示制御手段は、前記追加学習の実行後の学習済モデルを用いて得た画像と、前記追加学習の実行前の学習済モデルを用いて得た画像とを用いて得た比較結果、または該比較結果が所定の範囲であるか否かの判定結果を、前記表示手段に表示される請求項１６に記載の情報処理装置。
  18. 　前記表示制御手段は、被検体の医用画像を学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記いずれかの撮影により得た医用画像に関する解析結果を前記表示手段に表示させる請求項１１乃至１７のいずれか１項に記載の情報処理装置。
  19. 　前記表示制御手段は、被検体の医用画像を学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記いずれかの撮影により得た医用画像に関する診断結果を前記表示手段に表示させる請求項１１乃至１８のいずれか１項に記載の情報処理装置。
  20. 　前記表示制御手段は、敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像であって、前記いずれかの撮影により得た医用画像に関する画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された該医用画像との差に関する情報を、異常部位に関する情報として前記表示手段に表示させる請求項１１乃至１９のいずれか１項に記載の情報処理装置。
  21. 　前記表示制御手段は、被検体の医用画像を学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記いずれかの撮影により得た医用画像に関する類似症例画像を前記表示手段に表示させる請求項１１乃至２０のいずれか１項に記載の情報処理装置。
  22. 　前記表示制御手段は、被検体の医用画像を学習して得た物体認識用の学習済モデルまたはセグメンテーション用の学習済モデルを用いて生成された物体認識結果またはセグメンテーション結果であって、前記いずれかの撮影により得た医用画像に関する物体認識結果またはセグメンテーション結果を、前記表示手段に表示させる請求項１１乃至２１のいずれか１項に記載の情報処理装置。
  23. 　前記表示制御手段は、前記異なる種類の複数の撮影により得た複数の医用画像を学習済モデルに入力して得た画像、情報、又は結果を、前記表示手段に表示させる請求項１１乃至２２のいずれか１項に記載の情報処理装置。
  24. 　前記送信手段による送信の開始のトリガーに関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である請求項１乃至２３のいずれか１項に記載の情報処理装置。
  25. 　異なる種類の複数の撮影により得た複数の撮影データの送信設定として、前記異なる種類の複数の撮影毎に個別に設定された情報を記憶する工程と、
    　前記異なる種類の複数の撮影のいずれかの撮影により得た被検体の撮影データを、前記記憶された情報に応じて送信する工程と、
    　を有する情報処理方法。
  26. 　異なる種類の複数の撮影のいずれかの撮影により得た被検体の第１の医用画像から、被検体の医用画像を学習して得た学習済モデルを用いて生成された第２の医用画像であって、該第１の医用画像よりも高画質な第２の医用画像を、表示手段に表示させる工程と、
    　検者からの指示を送信開始のトリガーとして、前記第２の医用画像が表示されるレポート画面に対応するレポート画像を送信する工程と、
    　を有する情報処理方法。
  27. 　請求項２５または２６に記載の情報処理方法の各工程をコンピュータに実行させるプログラム。
     
PCT/JP2019/051072 2019-03-29 2019-12-26 情報処理装置及び情報処理方法 WO2020202680A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980094710.6A CN113631080A (zh) 2019-03-29 2019-12-26 信息处理装置和信息处理方法
US17/480,739 US20220005584A1 (en) 2019-03-29 2021-09-21 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2019068893 2019-03-29
JP2019-068893 2019-03-29
JP2019-183352 2019-10-03
JP2019183352 2019-10-03
JP2019220765A JP7406901B2 (ja) 2019-03-29 2019-12-05 情報処理装置及び情報処理方法
JP2019-220765 2019-12-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/480,739 Continuation US20220005584A1 (en) 2019-03-29 2021-09-21 Information processing apparatus, information processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2020202680A1 true WO2020202680A1 (ja) 2020-10-08

Family

ID=72667928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/051072 WO2020202680A1 (ja) 2019-03-29 2019-12-26 情報処理装置及び情報処理方法

Country Status (2)

Country Link
US (1) US20220005584A1 (ja)
WO (1) WO2020202680A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561813A (zh) * 2020-12-10 2021-03-26 深圳云天励飞技术股份有限公司 人脸图像增强方法、装置、电子设备及存储介质
CN113380381A (zh) * 2021-07-13 2021-09-10 深圳市中科微光医疗器械技术有限公司 获取医学诊断信息的方法、装置、电子设备及存储介质
WO2022145129A1 (ja) * 2020-12-28 2022-07-07 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222970A1 (en) * 2019-05-23 2022-07-14 Haag-Streit Ag Ophthalmologic device with image storage
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN111833238B (zh) * 2020-06-01 2023-07-25 北京百度网讯科技有限公司 图像的翻译方法和装置、图像翻译模型的训练方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040601A (ja) * 2002-07-05 2004-02-05 Fuji Photo Film Co Ltd デジタルカメラ
JP2009211637A (ja) * 2008-03-06 2009-09-17 Konica Minolta Medical & Graphic Inc 医用画像システム、画像サーバ、プログラム及び画像管理方法
JP2013205835A (ja) * 2012-03-29 2013-10-07 Toshiba Corp 画面表示装置及び画面表示システム
JP2018079208A (ja) * 2016-11-18 2018-05-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2018084982A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2018192264A (ja) * 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2018201749A (ja) * 2017-06-01 2018-12-27 キヤノン株式会社 制御装置、断層像撮影システム、制御方法、及びプログラム
JP2019005319A (ja) * 2017-06-27 2019-01-17 株式会社トプコン 眼科情報処理システム、眼科情報処理方法、プログラム、及び記録媒体
JP2019022011A (ja) * 2017-07-13 2019-02-07 オリンパス株式会社 情報取得装置及び情報取得装置の制御方法
JP2019030584A (ja) * 2017-08-09 2019-02-28 キヤノン株式会社 画像処理システム、装置、方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102522539B1 (ko) * 2015-08-17 2023-04-18 삼성전자주식회사 의료영상 표시장치 및 의료영상 처리방법
JP6779690B2 (ja) * 2016-07-27 2020-11-04 株式会社トプコン 眼科画像処理装置及び眼科撮影装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040601A (ja) * 2002-07-05 2004-02-05 Fuji Photo Film Co Ltd デジタルカメラ
JP2009211637A (ja) * 2008-03-06 2009-09-17 Konica Minolta Medical & Graphic Inc 医用画像システム、画像サーバ、プログラム及び画像管理方法
JP2013205835A (ja) * 2012-03-29 2013-10-07 Toshiba Corp 画面表示装置及び画面表示システム
JP2018079208A (ja) * 2016-11-18 2018-05-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2018084982A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2018192264A (ja) * 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2018201749A (ja) * 2017-06-01 2018-12-27 キヤノン株式会社 制御装置、断層像撮影システム、制御方法、及びプログラム
JP2019005319A (ja) * 2017-06-27 2019-01-17 株式会社トプコン 眼科情報処理システム、眼科情報処理方法、プログラム、及び記録媒体
JP2019022011A (ja) * 2017-07-13 2019-02-07 オリンパス株式会社 情報取得装置及び情報取得装置の制御方法
JP2019030584A (ja) * 2017-08-09 2019-02-28 キヤノン株式会社 画像処理システム、装置、方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561813A (zh) * 2020-12-10 2021-03-26 深圳云天励飞技术股份有限公司 人脸图像增强方法、装置、电子设备及存储介质
CN112561813B (zh) * 2020-12-10 2024-03-26 深圳云天励飞技术股份有限公司 人脸图像增强方法、装置、电子设备及存储介质
WO2022145129A1 (ja) * 2020-12-28 2022-07-07 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
CN113380381A (zh) * 2021-07-13 2021-09-10 深圳市中科微光医疗器械技术有限公司 获取医学诊断信息的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20220005584A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
JP7229881B2 (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20220175325A1 (en) Information processing apparatus, information processing method, information processing system, and program
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
WO2020202680A1 (ja) 情報処理装置及び情報処理方法
WO2020183799A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2021039748A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP7413147B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020183791A1 (ja) 画像処理装置および画像処理方法
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
WO2021029231A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2020166813A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7362403B2 (ja) 画像処理装置および画像処理方法
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2022155690A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021037239A (ja) 領域分類方法
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021086560A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7406901B2 (ja) 情報処理装置及び情報処理方法
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021119973A (ja) 撮影装置、撮影方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19923342

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19923342

Country of ref document: EP

Kind code of ref document: A1