WO2018143180A1 - 画像処理装置、および画像処理プログラム - Google Patents

画像処理装置、および画像処理プログラム Download PDF

Info

Publication number
WO2018143180A1
WO2018143180A1 PCT/JP2018/002922 JP2018002922W WO2018143180A1 WO 2018143180 A1 WO2018143180 A1 WO 2018143180A1 JP 2018002922 W JP2018002922 W JP 2018002922W WO 2018143180 A1 WO2018143180 A1 WO 2018143180A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
eye
examined
processing apparatus
Prior art date
Application number
PCT/JP2018/002922
Other languages
English (en)
French (fr)
Inventor
佳紀 熊谷
友洋 宮城
壮平 宮崎
涼介 柴
Original Assignee
株式会社ニデック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017016356A external-priority patent/JP6907563B2/ja
Priority claimed from JP2017016355A external-priority patent/JP6878923B2/ja
Application filed by 株式会社ニデック filed Critical 株式会社ニデック
Priority to US16/482,443 priority Critical patent/US11357398B2/en
Publication of WO2018143180A1 publication Critical patent/WO2018143180A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to an image processing apparatus and an image processing program for processing a captured image of an eye to be examined.
  • diagnosis of the subject's eye has been performed based on the image of the subject's eye obtained with an ophthalmologic photographing apparatus (for example, an optical coherence tomometer, a fundus camera, etc.) and the analysis result of the image.
  • an ophthalmologic photographing apparatus for example, an optical coherence tomometer, a fundus camera, etc.
  • the first embodiment according to the present disclosure is characterized by having the following configuration.
  • An image processing apparatus that processes an image of an eye to be examined, the image obtaining unit obtaining an image of the eye to be examined, and the diagnosis result of the eye to be examined based on the image obtained by the image obtaining unit. And a display control unit that changes a display form of the display unit based on the diagnosis result.
  • An image processing program that is executed in an image processing device that processes an image of the eye to be examined, and is executed by a processor of the image processing device to obtain an image of the eye to be examined; A diagnosis step of diagnosing the eye to be examined based on the image acquired in the image acquisition step, and a display control step of changing the display form of the display means based on the diagnosis result obtained in the diagnosis step.
  • the image processing apparatus is executed.
  • the second embodiment according to the present disclosure includes the following configuration.
  • An image processing apparatus for processing an image of an eye to be inspected an image acquisition unit for acquiring an image of the eye to be inspected, a diagnostic unit for obtaining a diagnostic result of the eye to be examined, and a processing method according to the diagnostic result And an image processing means for processing the image using.
  • An image processing apparatus for processing an image of an eye to be inspected wherein an image acquisition unit that acquires an image of the eye to be inspected, an imaging region of the image is specified, and the image is determined according to the specified imaging region.
  • An image processing system comprising: an ophthalmologic photographing apparatus that photographs the eye to be examined; and an image processing apparatus that processes an image of the eye to be examined; an image acquisition unit that obtains an image of the eye to be examined; and the image Diagnostic means for diagnosing the eye to be examined based on an image acquired by the acquisition means; selection means for selecting a processing technique for processing the image based on a diagnosis result obtained by the diagnostic means; Image processing means for processing the image using the processing method selected by the selection means.
  • An image processing program that is executed in an image processing device that processes an image of the eye to be examined, and is executed by a processor of the image processing device to obtain an image of the eye to be examined;
  • a diagnostic step of obtaining a diagnostic result of the eye to be inspected and an image processing step of processing the image using a processing method corresponding to the diagnostic result are executed by the image processing apparatus.
  • the image processing apparatus (for example, the image processing apparatus 100) in the first embodiment acquires information useful for diagnosis of the eye to be examined by processing an image of the eye to be examined.
  • the image processing apparatus includes, for example, an image acquisition unit (for example, image acquisition unit 1), a diagnosis unit (for example, diagnosis unit 2), an image processing unit (for example, image processing unit 4), and the like.
  • the image acquisition unit acquires an image of the eye to be examined, for example.
  • the image acquisition unit is connected to the ophthalmologic photographing apparatus or the storage unit, for example, by wired (USB cable, LAN cable, IEEE1394 cable, etc.) or wireless communication means.
  • a diagnosis unit (for example, a diagnosis processing unit) diagnoses an eye to be examined, for example.
  • the image processing unit processes the image using a processing method according to the diagnosis result. As described above, since the image processing method according to the diagnosis result of the diagnosis unit is used in the image processing apparatus according to the first embodiment, image processing can be performed by a method suitable for each disease.
  • the image processing apparatus may further include a selection unit (for example, the selection unit 3).
  • the selection unit selects a processing method for processing the image based on the diagnosis result obtained by the diagnosis unit.
  • the image processing unit processes the image of the eye to be examined using the processing method selected by the selection unit. In this way, since the processing method based on the diagnosis result is selected by the selection unit, the image processing apparatus can easily perform suitable image processing.
  • the diagnosis unit diagnoses the eye to be examined based on, for example, the image acquired by the image acquisition unit.
  • the diagnosis unit may perform diagnosis using a mathematical model trained by a machine learning algorithm.
  • a machine learning algorithm for example, a neural network, random forest, boosting, support vector machine (SVM) and the like are generally known.
  • Neural network is a technique that mimics the behavior of biological nerve cell networks.
  • Neural networks include, for example, feedforward (forward propagation) neural networks, RBF networks (radial basis functions), spiking neural networks, convolutional neural networks, recursive neural networks (recurrent neural networks, feedback neural networks, etc.), probabilistic Neural networks (Boltzmann machine, Basiyan network, etc.).
  • Boosting is a technique for generating a strong classifier by combining a plurality of weak classifiers.
  • a strong classifier is constructed by sequentially learning simple and weak classifiers.
  • Random forest is a method of generating a large number of decision trees by performing learning based on randomly sampled training data.
  • a random forest is used, a plurality of decision trees that have been learned in advance as classifiers are traced, and the results obtained from each decision tree are averaged (or majority voted).
  • SVM is a method of configuring a two-class pattern classifier using linear input elements. For example, the SVM learns the parameters of the linear input element from the training data on the basis of obtaining a margin maximizing hyperplane that maximizes the distance to each data point (hyperplane separation theorem).
  • Mathematical model refers to a data structure for predicting the relationship between input data and output data, for example.
  • the mathematical model is constructed by being trained using a training data set.
  • the training data set is a set of training data for input and training data for output.
  • the training data for input is sample data input to the mathematical model.
  • the training data for output is sample data of values predicted by a mathematical model.
  • a diagnosis result such as a disease name or a lesion position is used as the output training data.
  • the mathematical model is trained so that when certain input training data is input, output training data corresponding to the input training data is output. For example, correlation data (for example, weight) between each input and output is updated by training.
  • the diagnosis unit obtains an output of the diagnosis result of the eye to be examined by inputting an image into the mathematical model. For example, a probability corresponding to each disease is output from the mathematical model.
  • the diagnosis unit can automatically perform image diagnosis by using a trained mathematical model.
  • the image processing unit may specify the imaging region of the image and correct the image according to the specified imaging region.
  • the image processing unit specifies an imaging region of an image with reference to a feature point (for example, fovea, optic disc, corneal apex, etc.) of a living body (for example, eyeball).
  • a feature point for example, fovea, optic disc, corneal apex, etc.
  • the image processing unit corrects the image according to the specified imaging region.
  • the image processing unit may correct the position of the image according to the imaging region, or may correct the distortion of the image.
  • the diagnosis unit may diagnose the eye to be examined based on the image corrected by the image processing unit.
  • the corrected image By using the corrected image for automatic diagnosis, it is possible to prevent a decrease in diagnostic accuracy due to the influence of the position or distortion of the image.
  • the image processing unit may divide the image into two or more regions based on the feature points of the living body.
  • the image may be divided into a plurality of concentric regions using the fovea as a reference point, or may be divided into lattice-like regions.
  • Diagnosis suitable for each region can be performed by dividing the image into a plurality of regions.
  • an image processing algorithm specialized for each region can be used, and diagnostic accuracy can be increased. It is also easy to consider information on diseases that are likely to occur in a specific area.
  • diagnosis unit may use the image before division and the image after division for input to the mathematical model. By performing image diagnosis based on the images before and after the division, the accuracy of automatic diagnosis can be increased.
  • images may be used for the image diagnosis.
  • a tomographic image there are a fundus image, a blood vessel image, an anterior ocular segment image, etc.
  • various imaging regions are taken by various ophthalmologic photographing apparatuses such as an OCT apparatus, a fundus camera, an anterior ocular segment observation camera, a slit lamp, and a Shine proof camera.
  • OCT apparatus an OCT apparatus
  • fundus camera a fundus camera
  • an anterior ocular segment observation camera a slit lamp
  • Shine proof camera As described above, when images having different modalities are used for machine learning, it is preferable to identify which part is an image and to perform image alignment or correction.
  • the selection unit may select an image processing algorithm as a processing method.
  • a plurality of image processing algorithms are prepared for processing an image.
  • the selection unit selects at least one from a plurality of image processing algorithms.
  • the selection unit may select a parameter of the image processing algorithm.
  • the parameter is, for example, a value used for image processing such as a weight coefficient, a discriminator, energy (graph weight), or a threshold value.
  • the image processing apparatus may include an operation reception unit and a sequence creation unit (for example, the sequence creation unit 8).
  • the operation reception unit receives an operation of a user (examiner).
  • the operation reception unit is a user interface such as a mouse or a touch panel.
  • the sequence creation unit creates a sequence based on the user operation information received by the operation reception unit.
  • the sequence is an order such as inspection or analysis.
  • the user creates a sequence according to his / her preference and causes the image processing apparatus to execute the sequence.
  • the examiner sets an imaging method (number of scans, scan position, scan angle, etc.), detection method, discrimination method, analysis method, display method, and the like.
  • the image processing apparatus may include an evaluation unit (for example, the evaluation unit 9).
  • the evaluation unit evaluates the sequence created by the sequence creation unit. For example, the evaluation unit evaluates the sequence based on the inspection time and the accuracy of the inspection. Of course, an evaluation value set by the user may be given to the sequence.
  • the sequence creation unit may create an efficient sequence that increases the evaluation value.
  • the image processing apparatus may include a sharing unit (for example, the sharing unit 10).
  • the sharing unit transmits or receives the sequence to a shared server or the like connected to the network. This allows the user to share the sequence with other users.
  • the sharing unit may share the evaluation value of the sequence together with the sequence. Thus, the user can efficiently inspect by selecting a sequence having a high evaluation value and causing the image processing apparatus to execute the sequence.
  • the selection unit may select a detection target for the image. For example, for an area selected in a certain image, another image may be automatically selected. Thereby, when it is desired to enlarge and display a specific part of the image, it is possible to save the trouble of selecting the specific part for each image.
  • the image processing unit may change the style of the image acquired by the image acquisition unit.
  • the image processing unit may convert the image style into another modality.
  • the image processing unit may convert a fundus image captured by the OCT apparatus like a fundus image captured by a fundus camera.
  • the image processing unit may convert an image captured by a device of a certain manufacturer into a style of a device of another manufacturer.
  • the image processing means can improve diagnostic accuracy by unifying the style of images used for image diagnosis, for example.
  • the mathematical model may be composed of a mathematical model for roughly classifying diseases and a mathematical model for performing detailed classification.
  • a mathematical model for classifying rough diseases an image of the entire fundus may be input, and a rough diagnosis result may be used, such as whether the disease is macular disease or not.
  • a mathematical model for performing a detailed diagnosis uses, as input training data, an image of the entire fundus, a divided image, or a rough diagnosis result, etc., and output training data includes a disease name, a lesion position, Detailed diagnosis results such as a disease state may be used.
  • the image processing apparatus may constitute an image processing system together with an ophthalmologic apparatus that captures an eye to be examined.
  • the processor of the image processing apparatus may execute an image processing program.
  • the image processing program includes, for example, an image acquisition step, a diagnosis step, and an image processing step.
  • the image acquisition step is a step of acquiring an image of the eye to be examined, for example.
  • the diagnosis step is, for example, a step of obtaining a diagnosis result of the eye to be examined.
  • An image processing step is a step which processes an image using the processing method according to the diagnostic result, for example.
  • the image processing program may be stored in a storage unit or the like of the image processing apparatus, or may be stored in an external storage medium.
  • the image processing apparatus (for example, the image processing apparatus 100) in the second embodiment acquires information useful for diagnosis of the eye to be examined by processing the image of the eye to be examined.
  • the image processing apparatus includes, for example, an image acquisition unit (for example, image acquisition unit 1), a diagnosis unit (for example, diagnosis unit 2), a display control unit (for example, display control unit 6), and the like.
  • the image acquisition unit acquires an image of the eye to be examined.
  • the image acquisition unit is connected to the imaging device or the storage unit by a communication means such as wired or wireless.
  • the diagnosis unit (diagnosis processing unit) diagnoses the eye to be examined based on the image acquired by the image acquisition unit. For example, the diagnosis unit may diagnose the eye to be examined using a mathematical model trained by a machine learning algorithm.
  • the display control unit changes the display form (for example, screen configuration) of the display unit based on the diagnosis result obtained by the diagnosis unit.
  • the display control unit may change the display layout or the display items.
  • the display layout and display items corresponding to the diagnosis result may be set in advance or may be arbitrarily set by the user.
  • the display control unit may display a thickness map of the retina.
  • the display control unit may display a comparison screen between the eye to be examined and the normal eye. Thereby, the user can easily confirm the progress of glaucoma.
  • the display control unit may display a corner image of the eye to be examined. Thereby, the user can easily confirm whether the subject's corner is not narrowed.
  • the display control unit may display a blood vessel image (Angiography) of the fundus.
  • Angiography blood vessel image
  • the display control unit may enlarge and display a lesion part detected from the image by the diagnosis unit, for example. As a result, the user can recognize the presence of the lesion and immediately confirm the details.
  • the display control unit may display a probability map indicating the position and probability of the disease, or a grade map indicating the position and grade (progression level) of the disease. By checking these maps, the user can easily grasp the state of the eye to be examined.
  • the display control unit may display a treatment method according to the diagnosis result. For example, prescription eye drops, laser irradiation position, and the like may be displayed. As a result, a treatment plan for the eye to be examined can be smoothly performed. Further, the display control unit may display the interpretation points when displaying the analysis result. For example, the display control unit can reduce the possibility of missing a disease by sequentially displaying check items.
  • the image processing unit may perform image processing that unifies the style of both the image with the mathematical model learned and the captured image of the eye to be examined, for example. This improves the accuracy of diagnosis using machine learning.
  • the processor of the image processing apparatus may execute an image processing program.
  • the image processing program includes, for example, an image acquisition step, a diagnosis step, and a display control step.
  • the image acquisition step is a step of acquiring an image of the eye to be examined, for example.
  • the diagnosis step is a step of diagnosing the eye to be examined based on the image acquired in the image acquisition step.
  • the display control step is a step of changing the display form of the display means based on the diagnosis result obtained in the diagnosis step, for example.
  • the image processing apparatus 100 diagnoses the eye to be examined by image processing.
  • the image processing apparatus 100 may be a general personal computer, for example.
  • the image processing apparatus 100 is a desktop PC, a notebook PC, a tablet PC, or the like.
  • it may be a server or the like.
  • the image processing apparatus 100 may be a computer stored inside an ophthalmologic photographing apparatus or the like.
  • the image processing apparatus 100 includes, for example, an image acquisition unit 1, a diagnosis unit 2, a selection unit 3, an image processing unit 4, a storage unit 5, a display control unit 6, a display unit 7, and the like.
  • the image acquisition unit 1 acquires various images related to the eye to be examined.
  • the image acquisition unit 1 is connected to an ophthalmologic photographing apparatus via a wired or wireless connection.
  • the ophthalmologic photographing apparatus includes, for example, an optical coherence tomography (OCT) and a Scheimpflug camera for photographing a tomographic image, a fundus camera and a scanning laser ophthalmoscope (SLO) for photographing a fundus image, and a corneal shape for photographing an anterior eye image.
  • OCT optical coherence tomography
  • SLO scanning laser ophthalmoscope
  • the ophthalmologic photographing apparatus transmits the photographed image of the eye to be examined to the image acquisition unit 1.
  • the image acquisition unit 1 receives an image of the eye to be examined from each ophthalmologic photographing apparatus and stores it in the storage unit 5 or the like.
  • the image acquisition unit 1 may acquire an image of the eye to be examined from an external storage device such as an HDD or a USB memory.
  • the diagnosis unit 2 diagnoses the eye to be examined based on the image acquired by the image acquisition unit 1, for example.
  • the diagnosis unit 2 performs image diagnosis using a mathematical model trained by a machine learning algorithm.
  • the machine learning algorithm is, for example, a neural network, random forest, boosting, support vector machine (SVM), or the like.
  • the mathematical model is trained to output probabilities that the subject's eye has developed for various diseases by inputting an image of the subject's eye.
  • the diagnosis unit 2 obtains an output of a diagnosis result by inputting an image of the eye to be examined into a mathematical model.
  • the selection unit 3 selects an image processing method based on the diagnosis result obtained by the diagnosis unit 2.
  • selection of the processing method includes a case where a necessary image processing algorithm is selected from a plurality of image processing algorithms and a case where a parameter used for the image processing algorithm is selected.
  • the image processing algorithm may be an image processing algorithm constructed by machine learning or an artificially designed image processing algorithm.
  • the image processing unit 4 processes various images acquired by the image acquisition unit 1.
  • the image processing unit 4 processes the image by the processing method selected by the selection unit 3.
  • the image processing unit 4 performs various image processing such as image processing for segmenting the retinal layer, image processing for analyzing retinal thickness, image processing for comparing retinal thickness with normal eyes, and image processing for detecting blood vessels.
  • the analysis result acquired by the image processing unit 4 through image processing is sent to the display unit 7 or the storage unit 5 or the like.
  • the storage unit 5 stores various programs related to the control of the image processing apparatus 100, various image data, diagnosis results, analysis results, and the like.
  • the display unit 7 displays an image acquired by the image acquisition unit 1, a diagnosis result, an analysis result, and the like.
  • the display unit 7 may be a touch panel display. In this case, the display unit 7 is also used as an operation unit (operation reception unit).
  • the display control unit 6 controls the display on the display unit 7.
  • the image acquisition unit 1, the diagnosis unit 2, the selection unit 3, the image processing unit 4, the storage unit 5, and the display control unit 6 are, for example, a computer processor (for example, a CPU) used as the image processing apparatus 100. It may be realized by executing various programs, or may be provided as independent control boards.
  • a computer processor for example, a CPU
  • the OCT apparatus 200 is an apparatus that acquires a tomographic image of the retina using, for example, interference between return light obtained by irradiating the fundus of the near-infrared measurement light and reference light corresponding to the measurement light. .
  • Step S1 Image acquisition
  • the image acquisition unit 1 acquires an image of an eye to be examined used for image diagnosis.
  • a tomographic image of the eye to be examined is acquired from the storage unit 5 of the OCT apparatus 200 connected by a USB cable or the like.
  • image data may be acquired by a USB memory or the like.
  • the image acquisition unit 1 stores the acquired image in the storage unit 5 or the like.
  • Step S2 Image diagnosis
  • the diagnosis unit 2 diagnoses the eye to be examined based on the acquired image.
  • the diagnosis unit 2 performs image diagnosis using a mathematical model trained by a machine learning algorithm.
  • a mathematical model used for image processing for example, a multilayer neural network is known.
  • the neural network includes an input layer P for inputting data, an output layer Q for generating data to be predicted, and one or more hidden layers H between the input layer P and the output layer Q.
  • a plurality of nodes also called units
  • Each node receives multiple inputs and calculates one output. For example, data input to each node in each layer is output to each node in the adjacent layer.
  • a different weight is added to each path. For example, an output value transmitted from one node to the next node is increased or attenuated by a weight for each path.
  • a function such as an activation function is applied and output to each node in the next layer. This input / output is repeated between adjacent layers, and finally prediction data is output from the output layer.
  • the total input uj received by the second layer node is given by the following equation (1 ), All inputs obtained by multiplying each input xi of the first layer by different weights wji are added to one value bi called a bias.
  • the output zi of the second layer node is an output of a function f such as an activation function for the total input ui as shown in the following equation (2).
  • a function f such as an activation function for the total input ui as shown in the following equation (2).
  • the activation function include a logistic sigmoid function, a hyperbolic tangent function, a normalized linear function, and a max-out function.
  • Mathematical models in the neural network as described above can be predicted using new training data by training using a training data set.
  • the training data set is, for example, a set of input training data and output training data.
  • the weight and bias of each node in each layer are adjusted.
  • By adjusting the repeated weights and biases versatile weights and biases can be obtained for various data, and prediction values can be obtained for unknown data. Can output.
  • the training of the mathematical model is continued until, for example, an error between the output of the input training data and the corresponding output training data falls within an allowable range.
  • back propagation error back propagation method or the like is used.
  • training is performed using a plurality of training data sets in which a plurality of images of the eye to be examined and a diagnosis result of the eye to be examined are set as one set.
  • a plurality of nodes corresponding to each pixel are provided in the input layer, and pixel values are respectively input.
  • a plurality of nodes corresponding to each disease are provided in the output layer, and the probability corresponding to the disease is output from each node.
  • the diagnosis result used for the training data for output may include a disease state, a disease position, and the like. Thereby, the state or position of the disease may be output to the mathematical model in response to the input of the image.
  • the diagnosis unit 2 reads the image of the eye to be examined acquired by the image acquisition unit 1 from the storage unit 5 and inputs it to each node of the input layer. Then, the diagnosis unit 2 acquires the probability of each disease calculated according to the rules of the mathematical model from the output layer. The diagnosis unit 2 stores the output diagnosis result in the storage unit 5.
  • CNN convolutional neural network
  • CNN is a mathematical model including convolution processing and pooling processing, and is often used particularly in the field of image processing. For details, refer to JP-A-10-21406 or JP-A-2015-032308.
  • the image diagnosis may be an automatic diagnosis based on machine learning, or the user may make a diagnosis by confirming an image of the eye to be examined on the display unit 7.
  • the user inputs a diagnosis result to the image processing apparatus 100 through an operation unit such as a touch panel.
  • subject interview information for example, OCT scan settings.
  • imaging information for example, OCT scan settings.
  • information on a plurality of modalities other than OCT may be used.
  • Step S3 Processing method selection
  • the selection unit 3 selects an image processing method according to the diagnosis result. That is, the image processing method is switched by the selection of the selection unit 3.
  • the selection unit 3 selects at least one method from a plurality of image processing methods stored in the storage unit 5.
  • the storage unit 5 stores a plurality of image processing algorithms designed according to the disease, disease state, position, and the like of the eye to be examined, and the state of each disease and the corresponding image processing algorithm. It is tied. Accordingly, the selection unit 3 selects an image processing algorithm corresponding to the diagnosis result of the eye to be examined.
  • the selection unit 3 may select an image processing algorithm having different parameters according to a disease when selecting an image processing method, or may change the image processing algorithm itself. In the former case, for example, if the diagnosis result is diabetes, the selection unit 3 selects a mathematical model (for example, a segmentation algorithm) using a parameter learned from diabetic patient data, and the diagnosis result is AMD (age-related macular degeneration). If it is a symptom), a mathematical model using a parameter learned from AMD patient data is selected.
  • the parameter is, for example, a graph weight, a threshold used for processing, or the like.
  • the selection unit 3 selects the image processing algorithm learned from the patient data, so that the normal eye or the structure of the retina is not substantially changed. If there is, an image processing algorithm such as a shortest path search or graph search such as graph cut, an active contour model such as level set or snake, or edge detection such as canny method is selected.
  • an image processing algorithm such as a shortest path search or graph search such as graph cut, an active contour model such as level set or snake, or edge detection such as canny method is selected.
  • Step S4 Image analysis
  • the image processing unit 4 performs image processing using the selected processing method. For example, the image processing unit 4 reads the image processing algorithm selected by the selection unit 3 from the storage unit 5 and analyzes the image of the eye to be examined.
  • Step S5 Analysis result display
  • the display control unit 6 causes the display unit 7 to display the result.
  • the examiner diagnoses the eye to be examined based on the analysis result of the image displayed on the display unit 7.
  • the image processing apparatus 100 can perform image analysis using an analysis method suitable for a case by performing automatic diagnosis by the diagnosis unit 2 before performing detailed image analysis. Therefore, the image processing apparatus 100 can improve the success rate of image analysis and provide more appropriate diagnostic information to the examiner.
  • an examiner has made a diagnosis based on an image taken by the OCT apparatus 200 or the like and a quantitative value (such as retinal thickness or nipple C / D ratio) obtained by analyzing the image.
  • a quantitative value such as retinal thickness or nipple C / D ratio
  • diagnosis unit 2 may perform automatic diagnosis again based on the detailed analysis result obtained by the image processing unit 4. That is, a temporary diagnosis by the diagnosis unit 2 may be performed first, and the diagnosis unit 2 may perform a final diagnosis again based on an analysis result obtained by an analysis method corresponding to the diagnosis result. As a result, the image processing apparatus 100 can perform more accurate automatic diagnosis.
  • the position information on the fundus may be used in automatic diagnosis by machine learning.
  • the coordinate system may be unified with reference to a feature point of a living body such as the fovea or the optic disc.
  • the image processing unit 4 detects the fovea in the acquired tomographic image.
  • the fovea has a recessed shape that is smaller than the optic disc. Therefore, for example, the image processing unit 4 detects a small hollow shape from the tomographic image and sets it as the central fovea.
  • the position of the fovea may be estimated by estimating the shape of the eyeball from the peripheral part of the fundus or the kerato value. If it cannot be detected automatically, it may be specified manually.
  • the image processing unit 4 adjusts the position of each image with reference to the position. Further, image distortion correction may be performed according to the imaging region. Thus, by unifying the coordinate system of the image, the position information of the image can be used, and the accuracy of disease classification or automatic diagnosis can be improved.
  • the image processing unit 4 may divide the image based on the reference point. For example, the image processing unit 4 may divide and divide the image into a plurality of concentric regions (FIG. 4A) or a lattice-like region (FIG. 4B). Further, the concentric region may be further divided radially.
  • the diagnosis unit 2 may use the divided image as input data for automatic diagnosis by machine learning. This makes it possible to easily realize automatic diagnosis in consideration of image position information (imaging site). Note that the diagnosis unit 2 may use the divided image and the undivided image as input data for automatic diagnosis.
  • the image processing apparatus 100 may arbitrarily set a sequence (the operation flow of the apparatus).
  • the image processing apparatus 100 may include a sequence creation unit 8 (see FIG. 1) for creating a sequence.
  • the sequence creation unit 8 may create a sequence automatically by machine learning, or may create a sequence based on an examiner's operation.
  • the sequence creation unit 8 may create a sequence that allows the usual inspection to be performed with few operations based on the operation history of the examiner.
  • the sequence creation unit 8 may create a sequence related to diagnosis or analysis of the image processing apparatus 100 or a sequence related to imaging by the ophthalmologic imaging apparatus.
  • the sequence created by the sequence creation unit 8 can be applied to an ophthalmologic photographing system including the ophthalmic photographing device and the image processing device 100.
  • the sequence is determined by, for example, a combination of an imaging method (for example, scan angle or number of sheets), detection (for example, detection target, detection method, image processing algorithm parameter, etc.), determination method, display content, and the like.
  • the diagnosis unit 2 or the image processing unit 4 performs diagnosis / analysis according to an arbitrarily set sequence.
  • the image processing apparatus 100 may include an evaluation unit 9 that evaluates a sequence.
  • the evaluation unit 9 evaluates the sequence created by the sequence creation unit 8.
  • the evaluation unit 9 evaluates the sequence based on the processing time, the burden on the patient (time required for imaging, etc.), accuracy (evaluated by a doctor at the time of diagnosis), and stores the sequence in the storage unit 5 or the like.
  • the image processing apparatus 100 may include a sharing unit 10 that shares a sequence.
  • the sequence created by the sequence creation unit 8 may be disclosed to other users via a network. At this time, the evaluation value given to the evaluation unit 9 may be disclosed together with the sequence.
  • the sharing unit 10 may acquire a sequence released by another user.
  • the sequence creation unit 8 may create a sequence for performing another examination in addition to the usual examination based on the operation history of another examiner.
  • the selection unit 3 may select an image detection target based on the diagnosis result of the diagnosis unit 2. For example, when the diagnosis result is glaucoma, since the corner angle may be narrowed, the selection unit 3 selects the corner angle as a detection target when the anterior segment tomographic image is input, It may be presented to the examiner. As described above, the selection unit 3 can efficiently perform diagnosis and analysis by selecting a site that is important in diagnosis of each disease as a detection target.
  • the image detection target may be set by the user.
  • the user can detect a corresponding region in another image by selecting the region in one or more images.
  • the user operates an operation unit such as a touch panel so that a cursor 33 for selecting a detection target is aligned with a corner area.
  • the image processing unit 4 also detects a corner angle corresponding to a region designated in the anterior segment image 31 as a detection target in another anterior segment tomographic image 32 (see FIG. 5B).
  • the image processing unit 4 detects a location in the anterior segment tomographic image 32 that matches the image feature in the cursor 33 of the anterior segment tomographic image 31. In this way, the feature selected for one image can be detected for other images, so that the examiner can save the trouble of specifying the detection target for each image for diagnosis. Important information can be acquired efficiently.
  • the display control unit 6 may change the display form of the display unit 7 according to the diagnosis result of the eye to be examined. Since the location to be confirmed and the analysis content are different depending on the disease, the display control unit 6 displays the information required by the examiner in an easy-to-see form. For example, the display control unit 6 performs segmentation processing according to each disease, glaucoma analysis, blood vessel density analysis (in the case of retinal vein occlusion, etc.), enlarged display of the target position, and the like.
  • FIG. 6A is an example of a display layout displayed on the display unit 7 when the diagnosis result is age-related macular degeneration.
  • macular diseases such as age-related macular degeneration, central serous chorioretinopathy, and retinal detachment
  • a thickness map 41 indicating the thickness of the retina is displayed on the display unit 7.
  • the display unit 7 displays a tomographic image 42, a retinal thickness analysis chart 43, a comparison image 44 with the retinal thickness of a normal eye, a three-dimensional image of each retinal layer, and the like. Even when the diagnosis result is glaucoma, a comparison image 44 with the retinal thickness of the normal eye is displayed.
  • FIG. 6B is a layout when the diagnosis result is diabetic retinopathy.
  • diabetic retinopathy When diabetic retinopathy is suspected, abnormalities may be seen in the blood vessels, so the OCT angiography 46 is displayed. As a result, the examiner can confirm a blood vessel abnormality seen in diabetic retinopathy.
  • the display control unit 6 may display the position of the lesion part specified by diagnosis and analysis. For example, the display control unit 6 displays the position of the lesion by using the marker 47. As a result, it is possible to save the operator from operating the operation unit in order to search for a lesion. Further, the display control unit 6 may enlarge and display the lesioned part. For example, as shown in FIG. 6B, when the retinal edema F exists, the display control unit 6 may display an enlarged image 48 of the part where the edema F is detected. As described above, the enlarged region of the lesion can be confirmed in detail.
  • the display control part 6 displays the site
  • the display layout is not limited to those shown in FIGS. 6A and 6B, and various display layouts are conceivable.
  • the display layout corresponding to the diagnosis result may be arbitrarily set by the examiner.
  • the display control unit 6 reads out a display layout set in advance for each diagnosis result and causes the display unit 7 to display the display layout.
  • the display control unit 6 may arbitrarily display the display layout set for each diagnosis result by selecting a tab or the like.
  • the display control unit 6 may display a map indicating the grade or probability of the disease. For example, as shown in FIG. For example, on the map 51, the place where the disease has occurred and the probability are displayed in different colors for each disease, and the color is displayed darker as the probability increases. Thus, by displaying the map 51, the state of the eye to be examined can be easily confirmed.
  • the display layout is not limited to the above example. For example, all the above images may be displayed on the screen, and the analysis result related to the diagnosed disease may be displayed in an enlarged or emphasized manner.
  • the display layout may be set as appropriate by the user.
  • the display layout set by the user may be disclosed to other users via the network and shared.
  • the display control unit 6 may display the diagnostic procedure on the display unit 7. For example, check items necessary for diagnosis, such as the color of the fundus and the retinal thickness, may be displayed on the displayed image. Further, when an operation indicating that the check is completed is performed, the next procedure may be displayed. This makes it possible to efficiently diagnose even if the examination is unfamiliar.
  • the display control unit 6 may cause the display unit 7 to display a treatment proposal according to the diagnosis result.
  • the display control unit 6 may display a treatment method or a reference according to the diagnosis result by the diagnosis unit 2 on the display unit 7, and is necessary for increasing the accuracy of the disease name diagnosed by the diagnosis unit 2. Additional inspection information may be displayed on the display unit 7. Further, the display control unit 6 may cause the display unit 7 to display a position where the laser is irradiated during laser treatment.
  • the image processing unit 4 may perform analysis on the same analysis by different methods and store or display the result.
  • time and accuracy of analysis processing are in a trade-off relationship, and high-precision analysis processing often takes time. Therefore, an analysis process may be performed with two algorithms, that is, a high-speed algorithm and a low-speed and high-precision algorithm, and both analysis results may be stored and appropriately switched for display.
  • high-speed analysis processing is executed by the image processing unit 4, and a result obtained by a high-speed algorithm is displayed on a confirmation screen after shooting.
  • low-speed and high-precision analysis processing is executed by the image processing unit 4 in the background, and high-precision results are displayed during the examination.
  • the two analysis results may be displayed in a switchable manner or simultaneously.
  • the image processing unit 4 extracts a feature amount from the blood vessel image acquired by the OCT apparatus 200, and converts the blood vessel image so that the extracted feature amount approximates the feature amount of the fundus image captured by the fundus camera. You may repeat. Thereby, the fundus blood vessel image acquired by the OCT apparatus 200 can be displayed like a fundus image captured by the fundus camera.
  • the image processing unit 4 may combine the blood vessel image and the color fundus image.
  • a blood vessel image and a fundus image may be taken, and the two images may be combined and displayed on the display unit 7.
  • the image processing unit 4 may convert the style of the image used for diagnosis.
  • the image processing unit 4 changes the style by adjusting, for example, the brightness, contrast, or color of the image.
  • images taken by devices of different manufacturers can be used for automatic diagnosis.
  • an image photographed by a device of a certain manufacturer is used for learning a mathematical model, there is a possibility that an image photographed by a device of another manufacturer cannot be determined.
  • the probability that an appropriate determination result can be obtained increases by converting an image photographed by an apparatus of another manufacturer into an image style of an image used for learning.
  • the data that can be used is greatly increased.
  • data can be linked between hospitals using devices of different manufacturers.
  • the tomographic image is used for automatic diagnosis by machine learning.
  • a fundus front image captured by a fundus camera, a scanning laser ophthalmoscope, or the like, or a blood vessel image (Angiography) captured by an OCT apparatus may be used.
  • Angiography blood vessel image
  • tomographic image taken by Scheinproof camera anterior eye image taken by anterior eye observation camera, topography image taken by corneal shape measuring device, laser speckle imaging method (LSFG) Visibility information obtained by a fundus blood flow image or a microperimeter may be used for machine learning.
  • LSFG laser speckle imaging method
  • the data used for automatic diagnosis may be not only two-dimensional data but also three-dimensional data.
  • machine learning using OCT map data three-dimensional data
  • diagnosis may be performed based on arbitrary data regarding the eye to be examined. It should be noted that deviations in the XYZ directions between the images used for input may be corrected by hardware (for example, tracking) or software.
  • characteristic parameters related to race, sex, age, gene information, and the like may be input to the mathematical model in addition to the image.
  • image diagnosis is performed using a neural network, but the present invention is not limited to this.
  • other machine learning algorithms such as random forest and boosting may be used.
  • the probability of a disease is obtained by each of several decision trees, and the final diagnosis result is obtained by averaging the probability of the disease obtained from each decision tree.
  • the image acquisition unit 1 may acquire an image from a server or the like. For example, a plurality of measurement results photographed by a large number of models may be stored in a server via a network, and the image acquisition unit 1 may be able to acquire image data captured by another device from the server. For example, the image acquisition unit 1 may acquire an image from an electronic medical record system in which registration information and examination information of the subject are managed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

解析結果を効率的に提示する画像処理装置および画像処理プログラムを提供することを技術課題とする。本開示の画像処理装置は、被検眼の画像を処理する画像処理装置であって、前記被検眼の画像を取得する画像取得手段と、前記画像取得手段によって取得された画像に基づいて、前記被検眼の診断結果を得る診断手段と、前記診断結果に基づいて、表示手段の表示形態を変更する表示制御手段と、を備えることを特徴とする。これによって、解析結果を効率的に提示することができる。

Description

画像処理装置、および画像処理プログラム
　被検眼の撮影画像を処理するための画像処理装置、および画像処理プログラムに関する。
　従来、眼科撮影装置（例えば、光干渉断層計、眼底カメラなど）で得られた被検眼の画像、および画像の解析結果に基づいて、被検眼の診断が行われていた。
特開２０１５－１０４５８１号公報
　第１の問題点として、被検眼を診断する場合、どの被検者に対しても一律の解析結果表示に基づいて診断していたため、検者は診断を下すまでに複数の解析結果を全て見比べる必要があり、負担であった。
　第２の問題点として、被検眼の画像を解析する場合、被検眼の疾患に応じて網膜の形態が大きく変化するため、画像解析ができない場合があった。
　本開示は、従来の問題点に鑑み、従来技術の問題点を少なくとも１つ解決する画像処理装置および画像処理プログラムを提供することを技術課題とする。
　上記第１の課題を解決するために、本開示に係る第１実施形態は以下のような構成を備えることを特徴とする。
　（１）　被検眼の画像を処理する画像処理装置であって、前記被検眼の画像を取得する画像取得手段と、前記画像取得手段によって取得された画像に基づいて、前記被検眼の診断結果を得る診断手段と、前記診断結果に基づいて、表示手段の表示形態を変更する表示制御手段と、を備えることを特徴とする。
　（２）　被検眼の画像を処理する画像処理装置において実行される画像処理プログラムであって、前記画像処理装置のプロセッサによって実行されることで、前記被検眼の画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された画像に基づいて、前記被検眼を診断する診断ステップと、前記診断ステップにおいて得られた診断結果に基づいて、表示手段の表示形態を変更する表示制御ステップと、を前記画像処理装置に実行させることを特徴とする。
　上記第２の課題を解決するために、本開示に係る第２実施形態は以下のような構成を備えることを特徴とする。
　（３）　被検眼の画像を処理する画像処理装置であって、前記被検眼の画像を取得する画像取得手段と、前記被検眼の診断結果を得る診断手段と、前記診断結果に応じた処理手法を用いて前記画像を処理する画像処理手段と、を備えることを特徴とする。
　（４）　被検眼の画像を処理する画像処理装置であって、前記被検眼の画像を取得する画像取得手段と、前記画像の撮影部位を特定し、特定した前記撮影部位に応じて前記画像を補正する画像処理手段と、前記画像処理手段によって補正された前記画像に基づいて、前記被検眼を診断する診断手段と、を備えることを特徴とする。
　（５）　被検眼を撮影する眼科撮影装置と、前記被検眼の画像を処理する画像処理装置と、を備える画像処理システムであって、前記被検眼の画像を取得する画像取得手段と、前記画像取得手段によって取得された画像に基づいて、前記被検眼を診断する診断手段と、前記診断手段によって得られた診断結果に基づいて、前記画像を処理するための処理手法を選択する選択手段と、前記選択手段によって選択された処理手法を用いて前記画像を処理する画像処理手段と、を備えることを特徴とする。
　（６）　被検眼の画像を処理する画像処理装置において実行される画像処理プログラムであって、前記画像処理装置のプロセッサによって実行されることで、前記被検眼の画像を取得する画像取得ステップと、前記被検眼の診断結果を得る診断ステップと、前記診断結果に応じた処理手法を用いて前記画像を処理する画像処理ステップと、を前記画像処理装置に実行させることを特徴とする。
本実施例に係る眼科撮影装置の構成について説明する概略構成図である。 制御動作のフローチャートを示す図である。 数学モデルの一例を示す図である。 画像を分割する様子を示す図である。 画像を分割する様子を示す図である。 表示部に表示させた解析画面の一例を示す図である。 表示部に表示させた解析画面の一例を示す図である。 疾患確率マップの一例を示す図である。 疾患確率マップの一例を示す図である。 検出対象の指定について説明する図である。
＜第１実施形態＞
　以下、本開示に係る画像処理装置の第１実施形態について説明する。第１実施形態における画像処理装置（例えば、画像処理装置１００）は、被検眼の画像を処理することによって、被検眼の診断のために有用な情報を取得する。画像処理装置は、例えば、画像取得部（例えば、画像取得部１）と、診断部（例えば、診断部２）と、画像処理部（例えば、画像処理部４）などを備える。
　画像取得部は、例えば、被検眼の画像を取得する。画像取得部は、例えば、有線（USBケーブル、LANケーブル、IEEE1394ケーブルなど）または無線などの通信手段によって、眼科撮影装置または記憶部などに接続される。診断部（例えば、診断処理部）は、例えば、被検眼を診断する。画像処理部は、診断結果に応じた処理手法を用いて画像を処理する。このように、第１実施形態の画像処理装置は、診断部の診断結果に応じた画像処理の手法が用いられるため、各疾患に適した手法で画像処理を行うことができる。
　なお、画像処理装置は、選択部（例えば、選択部３）をさらに備えてもよい。選択部は、例えば、診断部によって得られた診断結果に基づいて、画像を処理するための処理手法を選択する。この場合、画像処理部は、選択部によって選択された処理手法を用いて被検眼の画像を処理する。このように、診断結果に基づく処理手法が選択部によって選択されるため、画像処理装置は、容易に好適な画像処理を行うことができる。
　なお、診断部は、例えば、画像取得部によって取得された画像に基づいて、被検眼の診断を行う。この場合、例えば、診断部は、機械学習アルゴリズムによって訓練された数学モデルを用いて診断を行ってもよい。機械学習アルゴリズムは、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。
　ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークは、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネットなど）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワークなど）等である。
　ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習することで、強識別器を構築する。
　ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて、学習を行って多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐をたどり、各決定木から得られる結果を平均（あるいは多数決）する。
　ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で線形入力素子のパラメータを学習する。
　数学モデルは、例えば、入力データと出力データとの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。入力用訓練データは、数学モデルに入力されるサンプルデータである。例えば、入力訓練データには、過去に撮影された被検眼の画像が用いられる。出力用訓練データは、数学モデルによって予測する値のサンプルデータである。例えば、出力用訓練データには、病名または病変の位置などの診断結果が用いられる。数学モデルは、ある入力訓練データが入力されたときに、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって各入力と出力との相関データ（例えば、重み）が更新される。
　例えば、診断部は、数学モデルに画像を入力することによって、被検眼の診断結果の出力を得る。例えば、数学モデルからは、各疾患に該当する確率などが出力される。診断部は、訓練された数学モデルを用いることによって、自動で画像診断を行うことができる。
　なお、画像処理部は、画像の撮影部位を特定し、特定した撮影部位に応じて画像を補正してもよい。例えば、画像処理部は、生体（例えば、眼球）の特徴点（例えば、中心窩、視神経乳頭、角膜頂点など）を基準として、画像の撮影部位を特定する。例えば、画像から中心窩を検出することによって、眼球のどの部位を撮影した画像であるかを特定する。そして、画像処理部は、特定された撮影部位に応じて画像を補正する。例えば、画像処理部は、撮影部位に応じた画像の位置補正を行ってもよいし、画像の歪み補正を行ってもよい。
　なお、診断部は、画像処理部によって補正された画像に基づいて被検眼を診断してもよい。補正された画像を自動診断に用いることで、画像の位置または歪み等の影響による診断精度の低下を防ぐことができる。
　なお、画像処理部は、生体の特徴点を基準として、画像を２つ以上の領域に分割してもよい。例えば、中心窩を基準点として、複数の同心円状の領域に画像を分割してもよいし、格子状の領域に分割してもよい。画像を複数の領域に分割することによって領域毎に適した診断を行うことができる。例えば、各領域に特化した画像処理アルゴリズムを用いることができ、診断精度を上げることができる。また、特定の領域に発生しやすい疾病の情報などを考慮しやすい。
　なお、診断部は、分割前の画像と、分割後の画像を数学モデルへの入力に用いてもよい。分割前後の画像に基づいて画像診断を行うことによって、自動診断の精度を上げることができる。
　なお、画像診断には、様々な種類の画像が用いられてもよい。例えば、断層画像、眼底画像、血管画像、前眼部画像などがあり、撮影部位も様々である。これらの画像は、例えば、ＯＣＴ装置、眼底カメラ、前眼部観察カメラ、スリットランプ、シャインプルーフカメラ等の各種眼科撮影装置によって撮影される。このように、モダリティの異なる画像を機械学習に用いる場合、どの部位を撮影した画像であるかを特定し、画像の位置合わせ、または補正を行うとよい。
　なお、選択部は、処理手法として、画像処理アルゴリズムを選択してもよい。画像処理アルゴリズムは、画像を処理するために複数用意される。選択部は、例えば、複数の画像処理アルゴリズムから少なくとも１つを選択する。また、選択部は、画像処理アルゴリズムのパラメータを選択してもよい。パラメータは、例えば、重み係数、識別器、エネルギー（グラフの重み）、または閾値等の画像処理に用いられる値である。
　なお、第１実施形態の画像処理装置は、操作受付部と、シーケンス作成部（例えば、シーケンス作成部８）を備えてもよい。操作受付部は、ユーザ（検者）の操作を受け付ける。操作受付部は、例えば、マウスまたはタッチパネルなどのユーザインターフェイスである。シーケンス作成部は、操作受付部によって受け付けたユーザの操作情報に基づいてシーケンスを作成する。シーケンスは、検査または解析等の順序である。例えば、ユーザは自身の好みでシーケンスを作成し、それを画像処理装置に実行させる。シーケンスを作成する場合、例えば、検者は、撮影方法（スキャン数、スキャン位置、スキャン角度など）、検出方法、判別方法、解析方法、表示方法などを設定する。
　なお、第１実施形態の画像処理装置は、評価部（例えば、評価部９）を備えてもよい。評価部は、シーケンス作成部によって作成されたシーケンスを評価する。例えば、評価部は、検査時間および検査の正確さ等によってシーケンスを評価する。もちろん、ユーザが設定した評価値をシーケンスに付与してもよい。また、シーケンス作成部は、評価値が高くなるような効率的なシーケンスを作成してもよい。
　なお、第１実施形態の画像処理装置は、共有部（例えば、共有部１０）を備えてもよい。共有部は、例えば、ネットワークに接続された共有サーバ等にシーケンスを送信または受信する。これによって、ユーザは、シーケンスを他のユーザと共有することができる。また、共有部は、シーケンスの評価値をシーケンスとともに共有してもよい。これによって、ユーザは、評価値の高いシーケンスを選択し、画像処理装置に実行させることで、効率的に検査を行うことができる。
　なお、選択部は、画像に対する検出対象を選択してもよい。例えば、ある画像で選択された領域について、他の画像についても自動で選択されるようにしてもよい。これによって、画像の特定部位を拡大表示させたい場合など、各画像に対して特定部位を選択するという手間を省くことができる。
　なお、画像処理部は、画像取得部によって取得された画像の画風を変更してもよい。画像処理部は、例えば、別のモダリティの画風に変換してもよい。例えば、画像処理部は、ＯＣＴ装置によって撮影された眼底画像を、眼底カメラで撮影された眼底画像のように変換してもよい。また、画像処理部は、あるメーカーの装置で撮影された画像を、他のメーカーの装置の画風に変換してもよい。画像処理手段は、例えば、画像診断に用いる画像の画風を統一させることによって、診断精度を向上させることができる。
　なお、数学モデルは、大まかな病気の分類分けをする数学モデルと、詳細な分類を行う数学モデルによって構成されてもよい。例えば、大まかな病気を分類する数学モデルは、眼底全体の画像が入力され、黄斑疾患かそれ以外であるかなど、大まかな診断結果が用いられてもよい。詳細な診断を行う数学モデルは、入力用訓練データとして、眼底全体の画像の他、分割された画像、または大まかな診断結果等が用いられ、出力用訓練データとしては、病名、病変の位置、病態等の詳細な診断結果が用いられてもよい。
　なお、画像処理装置は、被検眼を撮影する眼科装置とともに、画像処理システムを構成してもよい。また、例えば、画像処理装置のプロセッサは、画像処理プログラムを実行してもよい。画像処理プログラムは、例えば、画像取得ステップと、診断ステップと、画像処理ステップを含む。画像取得ステップは、例えば、被検眼の画像を取得するステップである。診断ステップは、例えば、被検眼の診断結果を得るステップである。画像処理ステップは、例えば、診断結果に応じた処理手法を用いて画像を処理するステップである。画像処理プログラムは、例えば、画像処理装置の記憶部等に記憶されてもよいし、外部の記憶媒体に記憶されてもよい。
＜第２実施形態＞
　以下、本開示に係る画像処理装置の第２実施形態について説明する。第２実施形態における画像処理装置（例えば、画像処理装置１００）は、被検眼の画像を処理することによって、被検眼の診断のために有用な情報を取得する。画像処理装置は、例えば、画像取得部（例えば、画像取得部１）と、診断部（例えば、診断部２）と、表示制御部（例えば、表示制御部６）などを備える。
　画像取得部は、被検眼の画像を取得する。画像取得部は、有線または無線などの通信手段によって、撮影装置または記憶部などに接続される。診断部（診断処理部）は、画像取得部によって取得された画像に基づいて、被検眼を診断する。診断部は、例えば、機械学習アルゴリズムによって訓練された数学モデルを用いて被検眼の診断を行ってもよい。
　表示制御部は、診断部によって得られた診断結果に基づいて、表示部の表示形態（例えば、画面構成）を変更する。例えば、表示制御部は、表示レイアウトを変更してもよし、表示項目を変更してもよい。診断結果に応じた表示レイアウトおよび表示項目は、予め設定されていてもよいし、ユーザが任意に設定できるようにしてもよい。
　例えば、被検眼が黄斑疾患であった場合、表示制御部は、網膜の厚みマップを表示させてもよい。これによって、ユーザは、網膜厚の偏りなどの網膜の異常を容易に確認することができる。また、例えば、被検眼が緑内障であった場合、表示制御部は、被検眼と正常眼との比較画面を表示させてもよい。これによって、ユーザは、緑内障の進行具合を容易に確認できる。また、例えば、被検眼が緑内障であった場合、表示制御部は、被検眼の隅角画像を表示させてもよい。これによって、ユーザは、被検者の隅角が狭くなっていないかどうか容易に確認することができる。また、例えば、被検眼が糖尿病網膜症であった場合、表示制御部は、眼底の血管画像（Angiography）を表示させてもよい。これによって、新生血管等の発生による眼底の血管の異常を容易に確認できる。
　なお、表示制御部は、例えば、診断部によって画像から検出された病変部を拡大表示させてもよい。これによって、ユーザは、病変部の存在を認識でき、その詳細をすぐに確認できる。
　なお、表示制御部は、疾患の位置と確率を示した確率マップ、または疾患の位置とグレード（進行度）を示したグレードマップを表示させてもよい。これらのマップを確認することによって、ユーザは、被検眼の状態を容易に把握することができる。
　表示制御部は、診断結果に応じた治療法を表示させてもよい。例えば、処方する点眼液、レーザの照射位置等を表示させてもよい。これによって、被検眼の治療計画がスムーズに行えるようになる。また、表示制御部は、解析結果を表示させる際に、読影のポイントを表示させてもよい。例えば、表示制御部は、チェック項目を順次表示させることによって、疾患を見逃す可能性を低減できる。
　なお、画像処理部は、例えば、数学モデルが学習済みの画像と、被検眼の撮影画像とで、両者の画風を統一させる画像処理を行ってもよい。これによって、機械学習を用いた診断の精度が向上する。
　なお、画像処理装置のプロセッサは、画像処理プログラムを実行してもよい。画像処理プログラムは、例えば、画像取得ステップと、診断ステップと、表示制御ステップを含む。画像取得ステップは、例えば、被検眼の画像を取得するステップである。診断ステップは、画像取得ステップにおいて取得された画像に基づいて、被検眼を診断するステップである。表示制御ステップは、例えば、診断ステップにおいて得られた診断結果に基づいて、表示手段の表示形態を変更するステップである。
＜実施例＞
　以下、本開示に係る画像処理装置の実施例を図１に基づいて説明する。本実施例の画像処理装置１００は、画像処理によって被検眼の診断を行う。画像処理装置１００は、例えば、一般的なパーソナルコンピュータであってもよい。例えば、画像処理装置１００は、デスクトップＰＣ、ノート型ＰＣ、またはタブレット型ＰＣなどである。もちろん、サーバ等であってもよい。また、画像処理装置１００は、眼科撮影装置等の内部に格納されたコンピュータであってもよい。
　画像処理装置１００は、例えば、画像取得部１、診断部２、選択部３、画像処理部４、記憶部５、表示制御部６、表示部７などを備える。画像取得部１は、被検眼に関する種々の画像を取得する。画像取得部１は、眼科撮影装置と有線または無線を介して接続されている。眼科撮影装置は、例えば、断層画像を撮影する光干渉断層計（ＯＣＴ）およびシャインプルーフカメラ、眼底画像を撮影する眼底カメラおよび走査型レーザ検眼鏡（ＳＬＯ）、前眼部画像を撮影する角膜形状測定装置、超音波画像を撮影する超音波診断装置等の被検眼を撮影する装置である。眼科撮影装置は、撮影した被検眼の画像を画像取得部１に送信する。画像取得部１は、被検眼の画像を各眼科撮影装置から受信し、記憶部５等に記憶させる。なお、画像取得部１は、ＨＤＤ、ＵＳＢメモリ等の外部記憶装置などから被検眼の画像を取得してもよい。
　診断部２は、例えば、画像取得部１によって取得された画像に基づいて被検眼を診断する。例えば、診断部２は、機械学習アルゴリズムによって訓練された数学モデルを用いて画像診断を行う。機械学習アルゴリズムは、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等である。例えば、数学モデルは、被検眼の画像が入力されることによって、各種疾患について被検眼が発症している確率を出力するように訓練される。診断部２は、数学モデルに被検眼の画像を入力することによって診断結果の出力を得る。
　選択部３は、診断部２によって得られた診断結果に基づいて、画像の処理手法を選択する。ここで、処理手法の選択は、複数の画像処理アルゴリズムの中から必要な画像処理アルゴリズムを選択する場合と、画像処理アルゴリズムに用いられるパラメータを選択する場合を含む。画像処理アルゴリズムは、機械学習によって構築された画像処理アルゴリズムであってもよいし、人為的に設計された画像処理アルゴリズムであってもよい。
　画像処理部４は、画像取得部１によって取得された種々の画像を処理する。画像処理部４は、選択部３によって選択された処理手法によって画像を処理する。例えば、画像処理部４は、網膜層のセグメンテーションを行う画像処理、網膜厚を解析する画像処理、網膜厚を正常眼と比較する画像処理、血管を検出する画像処理などの様々な画像処理を行う。画像処理部４が画像処理によって取得した解析結果は、表示部７または記憶部５等に送られる。
　記憶部５は、画像処理装置１００の制御に関わる各種プログラム、各種画像データ、診断結果、および解析結果などを記憶する。表示部７は、画像取得部１によって取得された画像、診断結果、および解析結果などを表示する。表示部７は、タッチパネル式のディスプレイであってもよい。この場合、表示部７は、操作部（操作受付部）として兼用される。表示制御部６は、表示部７の表示を制御する。
　なお、画像取得部１、診断部２、選択部３、画像処理部４、記憶部５、表示制御部６は、例えば、画像処理装置１００として用いられるコンピュータのプロセッサ（例えば、ＣＰＵなど）が、各種プログラムを実行することによって実現されてもよいし、それぞれ独立した制御基板として設けられてもよい。
＜制御動作＞
　本実施例の画像処理装置１００が画像処理を行うときの制御動作を図２に基づいて説明する。以下の例では、ＯＣＴ装置２００によって撮影された断層画像を用いる場合を説明する。ＯＣＴ装置２００は、例えば、眼底に近赤外線の測定光を照射することによって得られた戻り光と、測定光に対応する参照光との干渉を利用して網膜の断層画像を取得する装置である。なお、ＯＣＴ装置２００によって撮影された断層画像に限らず、他の種類の画像を用いてもよい。
（ステップＳ１：画像取得）
　まず、画像取得部１は、画像診断に用いる被検眼の画像を取得する。例えば、ＵＳＢケーブル等によって接続されたＯＣＴ装置２００の記憶部５等から被検眼の断層画像を取得する。もちろん、ＵＳＢメモリ等によって画像データの取得を行ってもよい。画像取得部１は、取得された画像を記憶部５等に記憶させる。
（ステップＳ２：画像診断）
　次いで、診断部２は、取得された画像に基づいて被検眼の診断を行う。診断部２は、例えば、機械学習アルゴリズムによって訓練された数学モデルを用いて画像診断を行う。画像処理に用いられる数学モデルとしては、例えば、多層型のニューラルネットワーク等が知られている。
　例えば、ニューラルネットワークは、データを入力するための入力層Ｐと、予測したいデータを生成するための出力層Ｑと、入力層Ｐと出力層Ｑの間の１つ以上の隠れ層Ｈとで構成され、各層には複数のノード（ユニットとも呼ばれる）が配置される（図３参照）。各ノードは、複数の入力を受け取り、１つの出力を計算する。例えば、各層の各ノードに入力されたデータは、隣接する層の各ノードに出力される。このとき、径路毎に異なる重みが付加される。例えば、あるノードから次のノードに伝達される出力値は、経路毎の重みによって増強あるいは減衰される。重みが付加されたデータは、ノードに入力されると、活性化関数等の関数が適用され、次の層の各ノードに出力される。この入出力が隣接する各層の間で繰り返され、最終的に出力層から予測データが出力される。
　例えば、第１層のノードをｉ＝１,…,Ｉ、第２層のノードをｊ＝１,…,Ｊ、で表すと、第２層のノードが受け取る総入力ｕｊは、次式（１）のように、第１層の各入力ｘｉにそれぞれ異なる重みｗｊｉを掛けたものをすべて加算し、これにバイアスと呼ばれる１つの値ｂｉを足したものになる。
Figure JPOXMLDOC01-appb-M000001
　また、第２層のノードの出力ｚｉは、次式（２）のように、総入力ｕｉに対する活性化関数等の関数ｆの出力となる。活性化関数としては、例えば、ロジスティックジグモイド関数、双曲線正接関数、正規化線形関数、マックスアウト等の関数が挙げられる。
Figure JPOXMLDOC01-appb-M000002
　上記のようなニューラルネットワークにおける数学モデルは、訓練データセットを用いて訓練されることで、新しいデータに関する予測を行うことができる。訓練データセットは、例えば、入力用訓練データと出力用訓練データのセットであり、入力用訓練データが入力層に入力された場合に、出力層から出力用訓練データに近い値が出力されるように各層の各ノードの重みとバイアスが調整される。訓練データセットは複数用意されており、繰り返し重みとバイアスが調整されることで、様々なデータに対して汎用性がある重みおよびバイアスを得ることができ、未知のデータに対しても予測値を出力できる。数学モデルの訓練は、例えば、入力用訓練データの入力に対する出力と、対応する出力用訓練データとの誤差が許容される範囲に入るまで続けられる。重みの調整には、バックプロパゲーション（誤差逆伝播法）等が用いられる。
　例えば、被検眼の画像から疾患の有無を判定する場合、複数の被検眼の画像と、その被検眼の診断結果を１セットとする複数の訓練データセットなどを用いて訓練される。この場合、例えば、入力層には各画素に対応する複数のノードが設けられ、それぞれ画素値が入力される。出力層には各疾患に対応する複数のノードが設けられ、各ノードからはその疾患に該当する確率が出力される。なお、出力用訓練データに用いる診断結果として、病態、および疾患の位置等を含ませてもよい。これによって、画像の入力に対して、疾患の状態または位置などを数学モデルに出力させてもよい。
　診断部２は、画像取得部１によって取得された被検眼の画像を記憶部５から読み出し、入力層の各ノードに入力する。そして、診断部２は、数学モデルの規則に従って算出された各疾病の確率を出力層から取得する。診断部２は、出力された診断結果を記憶部５に記憶させる。
　なお、上記のように、ニューラルネットワークを用いる場合、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）を用いてもよい。ＣＮＮは、畳み込み処理とプーリング処理を含む数学モデルであり、特に画像処理の分野で用いられることが多い。詳しくは特開平１０－２１４０６、または特開２０１５－０３２３０８号公報を参照されたい。
　なお、画像診断は機械学習に基づく自動診断でもよいし、ユーザが被検眼の画像を表示部７で確認することで診断を行ってもよい。この場合、ユーザは、例えば、タッチパネルなどの操作部によって診断結果を画像処理装置１００に入力する。なお、機械学習によって自動診断を行う際、被検者の問診情報、または撮影情報（例えば、ＯＣＴのスキャン設定など）を用いてもよい。もちろん、ＯＣＴ以外の複数のモダリティの情報を用いてもよい。
（ステップＳ３：処理手法選択）
　診断部２による診断結果が得られると、選択部３は、診断結果に応じて画像の処理手法を選択する。つまり、選択部３の選択によって、画像の処理手法が切り換えられる。例えば、選択部３は、記憶部５に記憶された複数の画像処理手法の中から、少なくとも１つの手法を選択する。例えば、記憶部５には、被検眼の疾患、病態、位置などに応じて設計された複数の画像処理アルゴリズムが記憶部５に記憶されており、各疾患の状態とそれに対応する画像処理アルゴリズムが紐づけられている。これによって、選択部３は、被検眼の診断結果に対応する画像処理アルゴリズムを選択する。
　なお、選択部３は、画像処理手法を選択する際、疾患に応じてパラメータの異なる画像処理アルゴリズムを選択してもよいし、画像処理アルゴリズムそのものを変更してもよい。前者の場合、例えば、選択部３は、診断結果が糖尿病であれば糖尿病患者データから学習したパラメータが用いられる数学モデル（例えば、セグメンテーションアルゴリズムなど）を選択し、診断結果がＡＭＤ（加齢黄斑変性症）であればＡＭＤ患者データから学習したパラメータが用いられる数学モデルを選択する。パラメータは、例えば、グラフの重み、処理に用いる閾値などである。後者の場合、例えば、選択部３は、網膜の構造が大きく崩れる糖尿病などの疾患であれば、患者データから学習した画像処理アルゴリズムを選択し、正常眼または網膜の構造がほぼ変化しない緑内障などであれば、最短経路探索またはグラフカットのようなグラフ探索、レベルセットまたはスネークのような動的輪郭モデル、もしくはキャニー法のようなエッジ検出などの画像処理アルゴリズムを選択する。
（ステップＳ４：画像解析）
　選択部３によって画像の処理手法が選択されると、画像処理部４は、選択された処理手法を用いて画像処理を行う。例えば、画像処理部４は、選択部３によって選択された画像処理アルゴリズムを記憶部５から読み出し、被検眼の画像を解析する。
（ステップＳ５：解析結果表示）
　画像処理部４によって画像処理が施されると、表示制御部６は、その結果を表示部７に表示させる。例えば、検者は、表示部７に表示された画像の解析結果に基づいて、被検眼の診断を行う。
　以上のように、本実施例の画像処理装置１００は、詳細な画像解析の前に診断部２による自動診断を行うことによって、症例に適した解析手法を用いて画像解析をすることができる。したがって、画像処理装置１００は、画像解析の成功率を向上させ、より適正な診断情報を検者に提供できる。
　従来は、ＯＣＴ装置２００などで撮影された画像と、画像を解析して得られた定量値（網膜厚または乳頭Ｃ／Ｄ比など）に基づいて、検者が診断を行っていた。しかしながら、疾患により網膜の形態は大きく変化するため、特定の画像処理アルゴリズムですべての疾患に対応することは難しい。例えば、正常眼の知見に基づいたアルゴリズムになっていた場合、疾患によって網膜構造が崩れると解析に失敗してしまう。また、画像の種類や撮影条件によって、画像に写る可能性のある疾患の候補すべてを対象として画像処理を行い、これらの結果に基づいて画像診断を行う場合、解析に時間がかる。また、同じ疾患であっても、患者によって進行度合いや症状が異なるため、画像処理に失敗する可能性もある。したがって、本実施例のように機械学習による自動診断に基づいて、画像処理アルゴリズムを切り換えることによって、効率的に画像処理を行える。
　なお、診断部２は、画像処理部４によって得られた詳細な解析結果に基づいて、再度自動診断をおこなってもよい。つまり、最初に診断部２による仮の診断を行い、その診断結果に応じた解析手法によって得られた解析結果に基づいて、再度、診断部２が最終的な診断を行ってもよい。これによって、画像処理装置１００は、より正確な自動診断を行うことができる。
　なお、機械学習による自動診断において、眼底における位置情報を利用してもよい。この場合、機械学習に用いる画像および被検眼の画像に関して座標系を統一させるとよい。特にモダリティの異なる画像を用いる場合は、各画像の座標系を統一すると有効である。例えば、中心窩または視神経乳頭などの生体の特徴点を基準として座標系を統一してもよい。例えば、画像処理部４は、取得された断層画像において、中心窩を検出する。中心窩は、視神経乳頭よりも小さな陥凹形状である。したがって、画像処理部４は、例えば、断層画像から小さな窪み形状を検出し、それを中心窩とする。疾患等で中心窩が判別不能な場合は、眼底の周辺部位またはケラト値などから眼球形状を推定し、中心窩の位置を推定してもよい。自動で検出できない場合は手動で指定できるようにしてもよい。画像処理部４は、中心窩の位置を特定すると、その位置を基準として各画像の位置を合わせる。また、撮影部位に応じて画像の歪み補正を行ってもよい。このように、画像の座標系を統一することによって、画像の位置情報を利用でき、疾患の分類または自動診断の精度を上げることができる。
　なお、画像処理部４は、基準点に基づいて、画像を分割してもよい。例えば、画像処理部４は、同心円状の複数の領域（図４Ａ）、または格子状の領域（図４Ｂ）に画像を区分し、分割してもよい。また、同心円状の領域をさらに放射状に分割してもよい。画像を分割する場合、診断部２は、分割された画像を機械学習による自動診断のための入力データに用いてもよい。これによって、画像の位置情報（撮影部位）を考慮した自動診断を容易に実現できる。なお、診断部２は、分割された画像とともに、分割する前の画像も入力データとして自動診断に用いてもよい。
　なお、画像処理装置１００は、シーケンス（装置の動作の流れ）を任意に設定できるようにしてもよい。例えば、画像処理装置１００は、シーケンスを作成するためのシーケンス作成部８（図１参照）を備えてもよい。シーケンス作成部８は、機械学習によってシーケンスを自動で作成してもよいし、検者の操作に基づいてシーケンスを作成してもよい。例えば、シーケンス作成部８は、検者の操作履歴に基づいて、少ない操作でいつもの検査を行えるようなシーケンスを作成してもよい。シーケンス作成部８は、画像処理装置１００の診断または解析に関するシーケンスを作成してもよいし、眼科撮影装置の撮影に関するシーケンスを作成してもよい。つまり、シーケンス作成部８によって作成されたシーケンスは、眼科撮影装置および画像処理装置１００等からなる眼科撮影システムに適用されうる。シーケンスは、例えば、撮影方法（例えば、スキャンの角度または枚数など）、検出（例えば、検出対象、検出方法、画像処理アルゴリズムのパラメータなど）、判別方法、表示内容等の組み合わせによって決定される。
　診断部２または画像処理部４は、任意に設定されたシーケンスに従って、診断・解析を行う。なお、画像処理装置１００は、シーケンスを評価する評価部９を備えてもよい。評価部９は、シーケンス作成部８によって作成されたシーケンスを評価する。評価部９は、処理時間、患者への負担（撮影に掛かる時間等）、正確さ（診断時に医師が評価）等によってシーケンスを評価し、記憶部５等に記憶させる。また、画像処理装置１００は、シーケンスを共有する共有部１０を備えてもよい。例えば、シーケンス作成部８によって作成されたシーケンスを、ネットワークを介して他のユーザに公開してもよい。このとき、評価部９に付与された評価値をシーケンスと共に公開してもよい。共有部１０は、他のユーザによって公開されたシーケンスを取得してもよい。また、例えば、シーケンス作成部８は、他の検者の操作履歴に基づいて、いつもの検査に加えて他の検査を行うシーケンスを作成してもよい。
　なお、選択部３は、診断部２の診断結果に基づいて、画像の検出対象を選択してもよい。例えば、診断結果が緑内症であった場合、隅角が狭くなっていることがあるため、選択部３は、前眼部断層画像が入力されたときの検出対象として隅角を選択し、検者に提示してもよい。このように、選択部３は、各疾患の診断において重要となる部位を検出対象として選択することによって、診断および解析を効率的に行うことができる。
　なお、画像の検出対象は、ユーザが設定してもよい。例えば、ユーザは、１枚以上の画像で領域を選択することによって、別の画像で対応する領域を検出させることができる。例えば、図５Ａに示すように、ある前眼部断層画像３１において、ユーザはタッチパネル等の操作部を操作して、検出対象を選択するためのカーソル３３を隅角部分の領域に合わせ、検出対象を設定する。この場合、画像処理部４は、別の前眼部断層画像３２においても、前眼部画像３１において指定した領域に対応する隅角を検出対象として検出する（図５Ｂ参照）。例えば、画像処理部４は、前眼部断層画像３２において、前眼部断層画像３１のカーソル３３内における画像の特徴と一致する箇所を検出する。このように、ある画像に対して選択した特徴を、他の画像に対しても検出させるで、検者が個々の画像に対して検出対象を指定する手間を省くことができ、診断のために重要な情報を効率的に取得できる。
　なお、ステップＳ５において、表示制御部６は、被検眼の診断結果に応じて表示部７の表示形態を変更してもよい。疾病に応じて確認する場所と解析内容が異なるため、表示制御部６は、検者が必要とする情報を見やすい形態で表示させる。例えば、表示制御部６は、各疾患に応じたセグメンテーション処理、緑内障用解析、血管密度解析（網膜静脈閉塞症等の場合）、注目位置の拡大表示等を行う。
　例えば、表示レイアウトの変更例を図６Ａ、図６Ｂに基づいて説明する。図６Ａは、診断結果が加齢黄斑変性症だった場合に表示部７に表示する表示レイアウトの例である。加齢黄斑変性症、中心性漿液性脈絡網膜症、網膜剥離などの黄斑疾患の場合、網膜の厚さに異常が見られる場合があるため、網膜の厚みを示す厚みマップ４１が表示部７に表示される。また、表示部７には、断層画像４２、網膜厚の解析チャート４３、正常眼の網膜厚との比較画像４４、各網膜層の３次元画像などが表示される。診断結果が緑内障だった場合も、正常眼の網膜厚との比較画像４４等が表示される。
　図６Ｂは、診断結果が糖尿病網膜症であったときのレイアウトである。糖尿病網膜症が疑われる場合、血管に異常が見られる場合があるため、ＯＣＴアンジオグラフィ４６を表示させる。これによって、検者は、糖尿病網膜症に見られる血管の異常を確認することができる。
　また、表示制御部６は、診断および解析によって特定された病変部の位置を表示させてもよい。例えば、表示制御部６は、マーカ４７によって病変部の位置を表示する。これによって、検者が病変部を探すために、操作部を操作させる手間を省くことができる。さらに、表示制御部６は、病変部を拡大表示してもよい。例えば、図６Ｂに示すように網膜浮腫Ｆが存在する場合、表示制御部６は、浮腫Ｆが検出された部位の拡大画像４８を表示してもよい。このように、病変部が拡大表示されることによって、確認したい領域を詳細に確認できる。
　上記のように、診断結果に応じて表示部７の表示形態を変更することによって、表示を切り換えるための操作が減り、効率的な診断を行うことができる。また、表示制御部６は、疾患が疑われる部位を主に表示部７に表示させるため、検者は、確認作業を効率良く行うことができる。また、経験の少ないユーザであっても疾患を見落とす可能性が低くなる。
　なお、表示レイアウトは、図６Ａおよび図６Ｂに示すものに限らず、種々の表示レイアウトが考えられる。例えば、診断結果に応じた表示レイアウトは、検者によって任意に設定されてもよい。この場合、示制御部６は、診断結果ごとに予め設定された表示レイアウトを読み出して表示部７に表示させる。なお、図６Ａおよび図６Ｂに示すように、表示制御部６は、診断結果ごとに設定された表示レイアウトをタブの選択などによって任意に切り換えて表示できるようにしてもよい。
　なお、表示制御部６は、疾患のグレードまたは確率を示すマップを表示させてもよい。例えば、図７に示すように、被検眼に取得される。例えば、マップ５１は、疾患が発症している場所と確率が疾患ごとに色分けして表示され、確率が大きいほど色が濃く表示される。このように、マップ５１を表示することによって、被検眼の状態が容易に確認できる。
　なお、表示レイアウトは、上記の例に限らない。例えば、上記の画像が全て画面に表示され、診断された疾病と関連のある解析結果が拡大または強調して表示されてもよい。また、表示レイアウトは、ユーザが適宜設定できるようにしてもよい。ユーザが設定した表示レイアウトは、ネットワークを介して他のユーザに公開され、共有できるようにしてもよい。
　なお、表示制御部６は、診断手順を表示部７に表示させてもよい。例えば、表示した画像に対して、眼底の色はどうか、網膜厚はどれくらいか、などの診断に必要なチェック項目を表示させてもよい。また、チェックが完了した旨の操作を行うと、次の手順を表示させるようにしてもよい、これによって、診察が不慣れであっても効率的に診断を行うことができる。
　また、表示制御部６は、診断結果に応じた処置の提案を表示部７に表示させてもよい。例えば、表示制御部６は、診断部２による診断結果に応じた治療方法や参考文献を表示部７に表示させてもよいし、診断部２によって診断された病名の確度を上げるために必要な追加検査情報を表示部７に表示させてもよい。また、表示制御部６は、レーザ治療の際にレーザを照射する位置を表示部７に表示させてもよい。
　また、画像処理部４は、同じ解析に対して異なる手法で解析を行い、その結果を保存または表示させてもよい。一般的に解析処理の時間と精度はトレードオフの関係にあり、高精度の解析処理は時間がかかることが多い。従って、ある解析処理に対して、高速で処理できるアルゴリズムと、低速で高精度なアルゴリズムの２つで解析し、その両方の解析結果を保存し、適宜切り換えて表示できるようにしてもよい。例えば、画像処理部４によって高速な解析処理が実行され、撮影後の確認画面等では高速アルゴリズムで得られた結果が表示される。それと並行して、バックグラウンドでは画像処理部４によって低速高精度な解析処理が実行され、診察の際に高精度な結果が表示される。これによって、時間を掛けた高精度な解析結果を提供でき、かつ、待ち時間も少なく感じられる。なお、２つの解析結果は切り替え表示可能であってもよいし、同時に表示できてもよい。
　また、画像処理部４は、ＯＣＴ装置２００によって取得された血管画像から特徴量を抽出し、抽出される特徴量が眼底カメラで撮影された眼底画像の特徴量に近づくように血管画像の変換を繰り返し実行してもよい。これによって、ＯＣＴ装置２００によって取得した眼底血管画像を眼底カメラで撮影した眼底画像のように表示させることができる。
　なお、画像処理部４は、血管画像とカラー眼底画像を合成してもよい。この場合、血管画像と眼底画像を撮影し、２つの画像を合成して表示部７に表示させてもよい。
　なお、画像処理部４は、診断に用いる画像の画風を変換してもよい。画像処理部４は、例えば、画像の輝度、コントラスト、または色彩を調整することによって、画風を変更する。これによって、メーカーの異なる装置で撮影された画像であっても、自動診断に利用することができる。例えば、あるメーカーの装置で撮影された画像を数学モデルの学習に用いた場合、他のメーカーの装置で撮影された画像を判定することができない可能性がある。しかしながら、他のメーカーの装置で撮影された画像を学習に用いた画像の画風に変換することによって、適正な判定結果を得られる確率が高くなる。つまり、別のメーカーの画像を使えるため、使えるデータが大幅に増える。また、互いに異なるメーカーの装置を使用している病院の間で、データの連携を取ることができる。
　なお、以上の実施例において、機械学習による自動診断に断層画像を用いたが、これに限らない。例えば、眼底カメラ、走査型レーザ検眼鏡などによって撮影された眼底正面画像であってもよいし、ＯＣＴ装置によって撮影された血管画像（Angiography）でもよい。また、シャインプルーフカメラによって撮影された断層画像、前眼部観察カメラによって撮影された前眼部画像、角膜形状測定装置によって撮影されたトポグラフィ画像、レーザースペックル画像化法（LSFG）によって得られた眼底血流画像、またはマイクロペリメータによって得られた視感度情報が機械学習に用いられてもよい。
　なお、例えば、自動診断に用いるデータは、２次元データだけでなく、３次元データを用いてもよい。例えば、各種疾病眼と正常眼について、ＯＣＴのマップデータ（３次元データ）による機械学習を行い、被検眼に関する任意のデータに基づいて診断を行ってもよい。なお、入力に用いる各画像間のＸＹＺ各方向のずれはハード（例えば、トラッキング）またはソフトによる補正を行ってもよい。
　なお、上記の実施例において、機械学習アルゴリズムを用いて画像診断を行う場合、画像の他に、人種、性別、年齢、遺伝子情報等に関する特徴パラメータを数学モデルに入力してもよい。
　なお、上記の実施例では、ニューラルネットワークによって画像診断を行ったが、これに限らない。例えば、ランダムフォレスト、ブースティング等の他の機械学習アルゴリズムを用いてもよい。例えば、ランダムフォレストを用いる場合、いくつかの決定木によってそれぞれ疾患の確率が求められ、各決定木から得られる疾患の確率を平均することで最終的な診断結果が取得される。また、ブースティングによって得られた識別器によって、被検眼がどの疾患であるかを分類してもよい。
　なお、画像取得部１は、サーバ等から画像を取得してもよい。例えば、多数の機種で撮影された複数の測定結果がネットワークを介してサーバに記憶され、画像取得部１は、サーバから他の装置で撮影された画像データを取得できてもよい。例えば、画像取得部１は、被検者の登録情報および検査情報等が管理される電子カルテシステムから画像を取得してもよい。
　１００　画像処理装置
　１　画像取得部
　２　診断部
　３　選択部
　４　画像処理部
　５　記憶部
　６　表示制御部
　７　表示部
　２００　ＯＣＴ装置

Claims (37)

  1. 　被検眼の画像を処理する画像処理装置であって、
    　前記被検眼の画像を取得する画像取得手段と、
    　前記画像取得手段によって取得された画像に基づいて、前記被検眼の診断結果を得る診断手段と、
    　前記診断結果に基づいて、表示手段の表示形態を変更する表示制御手段と、
    を備えることを特徴とする画像処理装置。
  2. 　前記表示制御手段は、前記表示レイアウトを変更することを特徴とする請求項１の画像処理装置。
  3. 　前記表示制御手段は、前記表示項目を変更することを特徴とする請求項１または２の画像処理装置。
  4. 　前記表示制御手段は、前記画像から検出された病変部を拡大表示させることを特徴とする請求項１～３のいずれかの画像処理装置。
  5. 　前記表示制御手段は、疾患の位置と確率を示した確率マップを表示させることを特徴とする請求項１～４のいずれかの画像処理装置。
  6. 　前記表示制御手段は、疾患の位置とグレードを示したグレードマップを表示させることを特徴とする請求項１～５のいずれかの画像処理装置。
  7. 　前記表示制御手段は、前記診断手段によって前記被検眼が黄斑疾患であると診断された場合、網膜の厚みマップを表示させることを特徴とする請求項１～６のいずれかの画像処理装置。
  8. 　前記表示制御手段は、前記診断手段によって前記被検眼が緑内障であると診断された場合、前記被検眼と正常眼との比較画面を表示させることを特徴とする請求項１～７のいずれかの画像処理装置。
  9. 　前記表示制御手段は、前記診断手段によって前記被検眼が緑内障であると診断された場合、前記被検眼の隅角画像を表示させることを特徴とする請求項１～８のいずれかの画像処理装置。
  10. 　前記表示制御手段は、前記診断手段によって前記被検眼が糖尿病網膜症であると診断された場合、眼底の血管画像を表示させることを特徴とする請求項１～９のいずれかの画像処理装置。
  11. 　前記表示制御手段は、前記診断結果に応じた治療法を表示させることを特徴とする請求項１～１０のいずれかの画像処理装置。
  12. 　被検眼の画像を処理する画像処理装置において実行される画像処理プログラムであって、前記画像処理装置のプロセッサによって実行されることで、
    　前記被検眼の画像を取得する画像取得ステップと、
    　前記画像取得ステップにおいて取得された画像に基づいて、前記被検眼を診断する診断ステップと、
    　前記診断ステップにおいて得られた診断結果に基づいて、表示手段の表示形態を変更する表示制御ステップと、
    を前記画像処理装置に実行させることを特徴とする画像処理プログラム。
  13. 　被検眼の画像を処理する画像処理装置であって、
    　前記被検眼の画像を取得する画像取得手段と、
    　前記被検眼の診断結果を得る診断手段と、
    　前記診断結果に応じた処理手法を用いて前記画像を処理する画像処理手段と、
    を備えることを特徴とする画像処理装置。
  14. 　前記診断結果に基づいて、前記画像を処理するための処理手法を選択する選択手段をさらに備え、
    　前記画像処理手段は、前記選択手段によって選択された処理手法を用いて前記画像を処理することを特徴とする請求項１３の画像処理装置。
  15. 　前記診断手段は、前記画像取得手段によって取得された被検眼の画像に基づいて、被検眼の診断結果を得ることを特徴とする請求項１３または１４の画像処理装置。
  16. 　前記診断手段は、機械学習アルゴリズムによって訓練された数学モデルに前記画像を入力することによって、前記数学モデルから出力された前記被検眼の診断結果を得ることを特徴とする請求項１３～１５のいずれかの画像処理装置。
  17. 　前記画像処理手段は、前記画像の撮影部位を特定し、特定した前記撮影部位に応じて前記被検眼の画像を補正することを特徴とする請求項１３～１６の画像処理装置。
  18. 　前記診断手段は、補正された前記画像に基づいて、前記被検眼を診断することを特徴とする請求項１７の画像処理装置。
  19. 　前記画像処理手段は、生体の特徴部位を基準として、撮影部位の特定された前記画像を２つ以上の領域に分割することを特徴とする請求項１７または１８の画像処理装置。
  20. 　前記診断手段は、分割された前記画像に基づいて、前記被検眼を診断することを特徴とする請求項１９の画像処理装置。
  21. 　前記診断手段は、分割前の前記画像と、分割後の前記画像の双方に基づいて、前記被検眼を診断することを特徴とする請求項１９の画像処理装置。
  22. 　前記選択手段は、前記画像を処理するために複数用意された画像処理アルゴリズムの中から少なくとも１つを選択することを特徴とする請求項１４～２１のいずれかの画像処理装置。
  23. 　前記選択手段は、前記画像を処理するための画像処理アルゴリズムのパラメータを選択することを特徴とする請求項１４～２１のいずれかの画像処理装置。
  24. 　前記画像処理装置を動作させるためのシーケンスを作成するシーケンス作成手段をさらに備えることを特徴とする請求項１３～２３のいずれかの画像処理装置。
  25. 　ユーザの操作を受け付ける操作受付手段を、さらに備え、
    　前記シーケンス作成手段は、前記操作受付手段によって受け付けたユーザの操作情報に基づいてシーケンスを作成することを特徴とする請求項２４の画像処理装置。
  26. 　前記画処理手段は、前記シーケンスに基づいて処理を行うことを特徴とする請求項２４または２５の画像処理装置。
  27. 　前記シーケンスの効率を評価する評価手段を備えることを特徴とする請求項２４～２６のいずれかの画像処理装置。
  28. 　前記シーケンス作成手段は、前記評価手段の評価に基づいて、前記シーケンスを作成することを特徴とする請求項２４～２７のいずれかの画像処理装置。
  29. 　前記シーケンスを共有サーバに送信または受信するための共有手段をさらに備え、
    前記シーケンスを他のユーザと共有することを特徴とする請求項２４～２８のいずれかの画像処理装置。
  30. 　前記選択手段は、前記画像に対する検出対象を選択することを特徴とする請求項２４～２９のいずれかの画像処理装置。
  31. 　前記画像処理手段は、前記画像取得部によって取得された前記画像の画風を変更することを特徴とする請求項２４～３０のいずれかの画像処理装置。
  32. 　被検眼の画像を処理する画像処理装置であって、
    　前記被検眼の画像を取得する画像取得手段と、
    　前記画像の撮影部位を特定し、特定した前記撮影部位に応じて前記画像を補正する画像処理手段と、
    　前記画像処理手段によって補正された前記画像に基づいて、前記被検眼を診断する診断手段と、
    を備えることを特徴とする画像処理装置。
  33. 　前記画像処理手段は、生体の特徴部位を基準として、撮影部位の特定された前記画像を２つ以上の領域に分割することを特徴とする請求項３２の画像処理装置。
  34. 　前記診断手段は、分割された前記画像に基づいて、前記被検眼を診断することを特徴とする請求項３３の画像処理装置。
  35. 　前記診断手段は、分割前の前記画像と、分割後の前記画像の双方に基づいて、前記被検眼を診断することを特徴とする請求項３３の画像処理装置。
  36. 　被検眼を撮影する眼科撮影装置と、
    　前記被検眼の画像を処理する画像処理装置と、を備える画像処理システムであって、
    　前記被検眼の画像を取得する画像取得手段と、
    　前記被検眼の診断結果を得る診断手段と、
    　前記診断結果に応じた処理手法を用いて前記画像を処理する画像処理手段と、
    を備えることを特徴とする画像処理システム。
  37. 　被検眼の画像を処理する画像処理装置において実行される画像処理プログラムであって、前記画像処理装置のプロセッサによって実行されることで、
    　前記被検眼の画像を取得する画像取得ステップと、
    　前記被検眼の診断結果を得る診断ステップと、
    　前記診断結果に応じた処理手法を用いて前記画像を処理する画像処理ステップと、
    を前記画像処理装置に実行させることを特徴とする画像処理プログラム。
     
PCT/JP2018/002922 2017-01-31 2018-01-30 画像処理装置、および画像処理プログラム WO2018143180A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/482,443 US11357398B2 (en) 2017-01-31 2018-01-30 Image processing device and non-transitory computer-readable recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017016356A JP6907563B2 (ja) 2017-01-31 2017-01-31 画像処理装置、および画像処理プログラム
JP2017-016356 2017-01-31
JP2017-016355 2017-01-31
JP2017016355A JP6878923B2 (ja) 2017-01-31 2017-01-31 画像処理装置、画像処理システム、および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2018143180A1 true WO2018143180A1 (ja) 2018-08-09

Family

ID=63039665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002922 WO2018143180A1 (ja) 2017-01-31 2018-01-30 画像処理装置、および画像処理プログラム

Country Status (2)

Country Link
US (1) US11357398B2 (ja)
WO (1) WO2018143180A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020086591A1 (en) * 2018-10-23 2020-04-30 The Johns Hopkins University Deep learning based image enhancement
WO2020092634A1 (en) * 2018-10-30 2020-05-07 The Regents Of The University Of California System for estimating primary open-angle glaucoma likelihood
JP2020092976A (ja) * 2018-12-14 2020-06-18 キヤノン株式会社 画像処理装置、画像処理方法、医用情報処理装置、医用情報処理方法、放射線撮影システム及びプログラム
JP2021049270A (ja) * 2019-09-26 2021-04-01 株式会社コンピュータマインド 情報処理装置、情報処理方法及びプログラム
JP7462055B2 (ja) 2019-09-23 2024-04-04 キビム，ソシエダー リミターダ 脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11051693B2 (en) * 2017-12-27 2021-07-06 Eyenk, Inc. Systems and methods for automated end-to-end eye screening, monitoring and diagnosis
US11989877B2 (en) * 2018-09-18 2024-05-21 MacuJect Pty Ltd Method and system for analysing images of a retina
US10824868B2 (en) * 2018-09-27 2020-11-03 Ncr Corporation Image processing for determining relationships between tracked objects
WO2020102584A2 (en) * 2018-11-14 2020-05-22 Intuitive Surgical Operations, Inc. Convolutional neural networks for efficient tissue segmentation
TWI723312B (zh) * 2018-12-28 2021-04-01 中國醫藥大學附設醫院 電腦輔助直腸癌治療反應預測系統、方法及電腦程式產品
US11357396B1 (en) * 2019-01-25 2022-06-14 Verily Life Sciences Llc Diagnostic model optimization for variations in mechanical components of imaging devices
US20230230232A1 (en) * 2020-11-02 2023-07-20 Google Llc Machine Learning for Detection of Diseases from External Anterior Eye Images
CN112773325B (zh) * 2020-12-31 2023-08-01 北京市环境保护科学研究院 一种巴西龟眼炎的早期预警方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014128366A (ja) * 2012-12-28 2014-07-10 Canon Inc 眼科装置および位置合わせ方法
JP2015216939A (ja) * 2014-05-13 2015-12-07 株式会社三城ホールディングス 白内障検査装置および白内障判定プログラム
JP2016214324A (ja) * 2015-05-14 2016-12-22 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987345A (en) 1996-11-29 1999-11-16 Arch Development Corporation Method and system for displaying medical images
JP2003303240A (ja) 2002-04-11 2003-10-24 Toshiba Medical System Co Ltd セカンドオピニオン支援システム及びセカンドオピニオン支援方法
JP5725706B2 (ja) 2009-12-16 2015-05-27 キヤノン株式会社 眼科装置、画像生成方法およびプログラム。
JP6343915B2 (ja) 2013-11-29 2018-06-20 株式会社ニデック 眼科撮影装置
AU2015253295B2 (en) * 2014-04-28 2018-03-29 Northwestern University Devices, methods, and systems of functional optical coherence tomography
JP5837143B2 (ja) 2014-06-03 2015-12-24 株式会社トプコン 眼科観察装置、その制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014128366A (ja) * 2012-12-28 2014-07-10 Canon Inc 眼科装置および位置合わせ方法
JP2015216939A (ja) * 2014-05-13 2015-12-07 株式会社三城ホールディングス 白内障検査装置および白内障判定プログラム
JP2016214324A (ja) * 2015-05-14 2016-12-22 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020086591A1 (en) * 2018-10-23 2020-04-30 The Johns Hopkins University Deep learning based image enhancement
US11971960B2 (en) 2018-10-23 2024-04-30 The Johns Hopkins University Deep learning based image enhancement
WO2020092634A1 (en) * 2018-10-30 2020-05-07 The Regents Of The University Of California System for estimating primary open-angle glaucoma likelihood
JP2020092976A (ja) * 2018-12-14 2020-06-18 キヤノン株式会社 画像処理装置、画像処理方法、医用情報処理装置、医用情報処理方法、放射線撮影システム及びプログラム
WO2020121685A1 (ja) * 2018-12-14 2020-06-18 キヤノン株式会社 画像処理装置、画像処理方法、医用情報処理装置、医用情報処理方法、放射線撮影システム及びプログラム
EP3884867A4 (en) * 2018-12-14 2022-07-27 Canon Kabushiki Kaisha IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, MEDICAL INFORMATION PROCESSING DEVICE, MEDICAL INFORMATION PROCESSING METHOD, RADIATION IMAGING SYSTEM AND PROGRAM
JP7373273B2 (ja) 2018-12-14 2023-11-02 キヤノン株式会社 画像処理装置、画像処理方法、医用情報処理装置、医用情報処理方法、放射線撮影システム及びプログラム
JP7462055B2 (ja) 2019-09-23 2024-04-04 キビム，ソシエダー リミターダ 脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム
JP2021049270A (ja) * 2019-09-26 2021-04-01 株式会社コンピュータマインド 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US11357398B2 (en) 2022-06-14
US20200069175A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
WO2018143180A1 (ja) 画像処理装置、および画像処理プログラム
JP6907563B2 (ja) 画像処理装置、および画像処理プログラム
JP6878923B2 (ja) 画像処理装置、画像処理システム、および画像処理プログラム
JP7229881B2 (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
US20210104313A1 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
US11633096B2 (en) Ophthalmologic image processing device and non-transitory computer-readable storage medium storing computer-readable instructions
EP4023143A1 (en) Information processing device, information processing method, information processing system, and program
JP6594033B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020200087A1 (en) Image-based detection of ophthalmic and systemic diseases
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
US10719932B2 (en) Identifying suspicious areas in ophthalmic data
US11922601B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
JP2021039748A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
WO2018221689A1 (ja) 医療情報処理システム
US20220284577A1 (en) Fundus image processing device and non-transitory computer-readable storage medium storing computer-readable instructions
US20190365314A1 (en) Ocular fundus image processing device and non-transitory computer-readable medium storing computer-readable instructions
WO2020026535A1 (ja) 眼科画像処理装置、ｏｃｔ装置、および眼科画像処理プログラム
US20240020839A1 (en) Medical image processing device, medical image processing program, and medical image processing method
WO2019207800A1 (ja) 眼科画像処理装置および眼科画像処理プログラム
JP7435885B2 (ja) 眼科画像処理装置、および眼科画像処理プログラム
WO2020116351A1 (ja) 診断支援装置、および診断支援プログラム
JP7230800B2 (ja) 眼科情報処理システム
JP2020058615A (ja) 画像処理装置、学習済モデル、画像処理方法およびプログラム
JP6825058B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7328489B2 (ja) 眼科画像処理装置、および眼科撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18747716

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18747716

Country of ref document: EP

Kind code of ref document: A1