WO2019073962A1 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
WO2019073962A1
WO2019073962A1 PCT/JP2018/037580 JP2018037580W WO2019073962A1 WO 2019073962 A1 WO2019073962 A1 WO 2019073962A1 JP 2018037580 W JP2018037580 W JP 2018037580W WO 2019073962 A1 WO2019073962 A1 WO 2019073962A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
information
fundus
eye
Prior art date
Application number
PCT/JP2018/037580
Other languages
English (en)
French (fr)
Inventor
亮 朝岡
博史 村田
谷戸　正樹
柴田　直人
Original Assignee
国立大学法人 東京大学
株式会社Ｑｕｅｕｅ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学, 株式会社Ｑｕｅｕｅ filed Critical 国立大学法人 東京大学
Priority to JP2019517853A priority Critical patent/JP6734475B2/ja
Publication of WO2019073962A1 publication Critical patent/WO2019073962A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes

Definitions

  • the present invention relates to an image processing apparatus and program for processing an image for ophthalmologic medical care.
  • Patent Document 1 discloses an apparatus for providing diagnostic information using a three-dimensional measurement result of the fundus.
  • the color of the fundus, the color and the shape of the blood vessel, etc. largely differ depending on the conditions of photographing and the individual difference of the object. For this reason, for example, segmentation processing simply based on pixel values or the like is not practical for detection of an image portion useful for diagnosis of glaucoma, such as an optic disc depression.
  • the present invention has been made in view of the above situation, and an object thereof is to provide an image processing apparatus and program capable of relatively easily detecting the presence or absence of the possibility of glaucoma based on a fundus image. .
  • the present invention for solving the problems of the conventional example is an image processing apparatus, which is learning data including information in which image data of a fundus picture and information on eye symptoms corresponding to each fundus picture are associated with each other.
  • Holding means for holding machine learning results obtained by machine learning the relationship between the image data of the fundus photograph and the information on the symptom of the eye, and the receiving unit for receiving the image data of the fundus photograph to be processed
  • estimation means for estimating information on symptoms of the eye regarding the eye related to the fundus picture to be processed using input data based on the received image data and the machine learning result, and the estimation And means for outputting the result.
  • the presence or absence of the possibility of glaucoma can be detected relatively easily based on the fundus image.
  • the image processing apparatus 1 includes the control unit 11, the storage unit 12, the operation unit 13, the display unit 14, and the input / output unit 15, as illustrated in FIG. Configured
  • control unit 11 is a program control device such as a CPU, and operates according to a program stored in the storage unit 12.
  • the control unit 11 uses the learning data including the information in which the image data of the fundus picture and the information on the symptom of the eye corresponding to each fundus picture are associated with each other. Processing using the machine learning result in a state in which the relationship between the image data of and the information on the symptom of the eye is learned.
  • the learning data is not necessarily the information in which all the information is associated with the image data of the fundus picture and the information on the symptom of the eye corresponding to each fundus picture, and the eye corresponding to a part Image data of a fundus picture may be included without any associated information on symptoms.
  • the machine learning result may be a result of machine learning by applying, for example, a neural network, SVM (Support Vector Machine), Bayesian method, a method based on tree structure, or the like, or semi-supervised learning. It may be a model obtained by SVM (Support Vector Machine), Bayesian method, a method based on tree structure, or the like, or semi-supervised learning. It may be a model obtained by SVM (Support Vector Machine), Bayesian method, a method based on tree structure, or the like, or semi-supervised learning. It may be a model obtained by
  • control unit 11 receives the image data of the fundus picture to be processed, and acquires the output of the neural network when the input data based on the received image data is input, and the input data and the machine learning result To estimate information about a predetermined symptom of the eye associated with the fundus image to be processed. Then, the control unit 11 outputs the result of the estimation. The details of the operation of the control unit 11 will be described later.
  • the storage unit 12 is a disk device, a memory device, or the like, and holds a program executed by the control unit 11.
  • the program may be provided stored in a computer readable non-transitory recording medium and may be stored in the storage unit 12.
  • the storage unit 12 uses the learning data in which the image data of the fundus picture and the information regarding the symptom of the eye corresponding to each fundus picture are associated with each other, and the image data of the fundus picture It also functions as a holding means for holding the machine learning result in the state of learning the relationship between the information and the information on the eye symptom. The details of the machine learning result will also be described later.
  • the operation unit 13 is a keyboard, a mouse or the like, receives an instruction of the user, and outputs the instruction to the control unit 11.
  • the display unit 14 is a display or the like, and displays and outputs information in accordance with an instruction input from the control unit 11.
  • the input / output unit 15 is, for example, an input / output interface such as USB (Universal Serial Bus), and in an example of the present embodiment, image data of a fundus picture to be processed is an external device (for example, an imaging device or a card reader) Etc.) and output to the control unit 11.
  • an input / output interface such as USB (Universal Serial Bus)
  • image data of a fundus picture to be processed is an external device (for example, an imaging device or a card reader) Etc.) and output to the control unit 11.
  • the machine learning result used by the control unit 11 of the present embodiment is a neural network.
  • the neural network used by the control unit 11 of this example uses the learning data in which the image data of the fundus picture and the information on the eye symptom corresponding to each fundus picture are associated with each other, , And the relationship between the information on eye symptoms and machine learning.
  • this neural network uses a residual (Residual) network (ResNet: Kaiming He, et. Al., Deep Residual Learning for Image Recognition, https://arxiv.org/pdf/1512.03385v1.pdf). It is formed.
  • the learning process of this neural network can be performed using a general computer.
  • image data of a fundus picture as shown in FIG. 2A image data known to be a fundus picture, for example, artificial To be collected in advance.
  • the fundus picture may be a two-dimensional fundus picture imaged with mydriasis or non-mydriasis, but at least the image Y of the optic nerve head shall be included.
  • the image Y of the optic nerve head is imaged as a region having a relatively higher brightness than the images of other portions (portions other than the portion corresponding to the optic nerve head).
  • many blood vessels B are imaged in the fundus oculi photograph.
  • information on eye symptoms included in the learning data information indicating the presence or absence of suspicion of glaucoma by the ophthalmologist who referred to the fundus picture is used.
  • learning data may be associated with image data of the fundus picture.
  • the dimension N of the output vector of a neural network such as a residual network is set to "1", which is a parameter indicating the degree of suspicion of glaucoma.
  • learning processing is performed using the output of the neural network when the image data of the fundus image of each learning data is input and the information indicating the presence or absence of suspicion of glaucoma associated with the input image data of the fundus image.
  • This learning process can be performed by a widely known process using a back propagation process or the like, so detailed description thereof will be omitted.
  • information for supporting may be presented instead of directly judging the presence or absence of suspicion of glaucoma.
  • the position of the optic disc concave edge is drawn and presented.
  • a curve (X in FIG. 2 (a), which indicates the position of the optic disc depression edge artificially drawn by a doctor (ophthalmologist); in general, the optic disc depression edge is the optic disc
  • Information representing a closed curve in the image Y of the image Y) is used as information relating to the eye symptom included in the learning data.
  • the information representing this curve may be a set of coordinate information representing the position of a pixel in the image data of the fundus picture through which the curve itself passes.
  • the image used for the diagnosis of glaucoma such as the position of the scaly defect portion of the retinal nerve fiber layer other than the curve showing the position of the optic disc depression
  • the image used for the diagnosis of glaucoma such as the position of the scaly defect portion of the retinal nerve fiber layer other than the curve showing the position of the optic disc depression
  • a pixel through which an artificially drawn closed curve passes in which the dimension N of the output vector of the residual network is matched with the number N of pixels of the image data and which represents the optic disc depression edge
  • the residual network is subjected to learning processing with the vector “1” for Y and the vector “0” for the other pixels as the correct answer.
  • This learning process can also be performed by a widely known process using a back propagation process or the like, so a detailed description thereof is omitted here.
  • the image data of the fundus picture and the eye symptom are related using the learning data in which the image data of the fundus picture and the information on the eye symptom corresponding to each fundus picture of the present embodiment are associated with each other.
  • the neural network in the state of having learned the relationship with information is not limited to the residual network.
  • This neural network may be a general convolutional network (CNN).
  • the final layer of a general convolution network may be a SVM (Support Vector Machine).
  • Dense Net (Gao Huang, et. Al., Densely Connected Convolutional Network, arXiv: 1608.06993) may be used.
  • the neural network formed in this way as a reference network, another neural network having a relatively small number of layers, for example, two coupled layers, is input with the same learning data. It may be a network obtained by so-called “distillation” processing which is learned using the output of the reference network in the case as the correct answer.
  • image data Pa obtained by inverting or rotating the image data Pa, which is the learning data A, for one learning data A, or noise (random dots etc.) is added to the image data Pa.
  • the input image data may be input as image data different from the image data Pa.
  • the information indicating the presence or absence of the glaucoma suspicion corresponding to the correct answer is the original learning even when the image data obtained by inverting or rotating the image data Pa is used as learning data or when noise is added. It is assumed that the information corresponding to the data is used as it is.
  • image data obtained by inverting or rotating the image data Pa which is learning data A in this manner, or image data obtained by adding noise (random dots or the like) to the image data Pa is referred to as image data Pa.
  • image data Pa image data obtained by inverting or rotating the image data Pa which is learning data A in this manner, or image data obtained by adding noise (random dots or the like) to the image data Pa.
  • the closed curve drawn artificially which represents the optic disc depression edge corresponding to the correct answer, has the same deformation as the image data Pa It is assumed that (inverted or rotated) is used, and when noise is added, information corresponding to the original learning data is used as it is.
  • information of the neural network in the state after such learning processing is stored in the storage unit 12.
  • the information of the neural network is provided, for example, via a network or stored in a computer readable non-transitory recording medium, and stored in the storage unit 12.
  • the information of the machine learning result of this Embodiment is not restricted to the example of a neural network.
  • the information of the machine learning result here may be machine-learned by applying a method based on SVM (Support Vector Machine), Bayesian posterior distribution information, or a tree structure, for example.
  • Bayesian posterior distribution information or a method based on tree structure as the machine learning result a vector in which the pixel values of the image data of the fundus picture are arranged as the input information , Or information of a predetermined feature amount obtained from the image data of the fundus photograph (for example, the size of the area surrounded by the optic papilla recessed edge, etc.), and information on the predetermined symptom of the eye according to the fundus photograph Use information that indicates the presence or absence of suspicion of glaucoma.
  • machine learning of SVM obtains information identifying the identification boundary surface identifying the presence or absence of suspicion of glaucoma. Also, machine learning is performed on a parameter for obtaining the posterior distribution of Bayesian estimation as the probability of suspicion of glaucoma, and a model of clustering which determines whether or not suspicion of glaucoma is caused by tree structure.
  • a part of the learning data may include image data of a fundus picture in which information on a predetermined symptom of an eye related to the fundus picture is not associated.
  • a machine learning method using such learning data is widely known as semi-supervised learning, and thus detailed description thereof is omitted here.
  • control unit 11 functionally includes a receiving unit 21, an estimation unit 22, and an output unit 23, as illustrated in FIG.
  • the receiving unit 21 receives image data of a fundus picture to be processed and outputs the image data to the estimating unit 22.
  • the image data of the fundus picture received by the receiving unit 21 may also be a two-dimensional fundus picture captured with mydriasis or non-mydriasis, but at least an image of the optic disc is included.
  • the fundus picture may be taken by a general camera (including a camera such as a smart phone) instead of a medical specialized camera, as long as at least an image of the optic disc is included. .
  • the estimation unit 22 obtains an output using the machine learning result stored in the storage unit 12 when the input data based on the image data received by the reception unit 21 is input.
  • the estimation unit 22 estimates information on a predetermined symptom of the eye related to the fundus picture to be processed based on the output using the machine learning result acquired here.
  • the estimation unit 22 determines that the optic disc concave edge is The group of pixels through which the curve representing the position passes will be estimated.
  • the output unit 23 outputs the result of the estimation. Specifically, when the estimation unit 22 estimates a group of pixels through which a curve representing the position of the optic disc concave edge passes, the output unit 23 estimates the image data of the fundus picture received by the reception unit 21. The image which highlighted each pixel contained in the group of the pixel which became is displayed in piles (FIG. 4). Note that FIG. 4 shows an example in which the optic disc is enlarged.
  • the estimation unit 22 estimates information representing the probability of being diagnosed as glaucoma as information on a predetermined symptom of the eye related to the fundus image to be processed based on the output using the machine learning result.
  • the output unit 23 may output a numerical value that is the result of the estimation.
  • the image processing apparatus 1 of the present embodiment basically has the above configuration, and operates as follows.
  • the image data of the fundus photograph illustrated in FIG. 2A and the optic nerve head artificially drawn on the image data are illustrated using the residual network.
  • Data representing the position of each pixel through which a closed curve representing a concave edge passes is used as learning data, and information representing the position of each pixel of the closed curve is obtained as a vector as an output when image data of a fundus photograph is input.
  • the neural network subjected to the learning process is stored in the storage unit 12.
  • the image processing apparatus 1 When the user inputs image data of a fundus picture to be a target of estimation processing (target of processing for estimating presence or absence of glaucoma symptoms) to the image processing apparatus 1, the image processing apparatus 1 receives the image data and accepts the image data.
  • the output of the neural network stored in the storage unit 12 when the input data based on the image data is input is acquired.
  • the image processing apparatus 1 estimates, as an output of the neural network acquired here, a group of pixels through which a curve representing the position of the optic disc depression edge passes for the eye related to the fundus image to be processed Get Then, the image processing apparatus 1 superimposes an image obtained by highlighting each pixel included in the group of pixels obtained as a result of estimation on the received image data of the fundus photograph, and outputs the image (FIG. 4).
  • the user determines the presence or absence of symptoms of glaucoma according to the shape of the optic disc depressed edge shown in the displayed image.
  • the presence or absence of the possibility of glaucoma can be detected relatively easily based on a two-dimensional fundus image.
  • maintains may be learned as follows. That is, as exemplified in FIG. 2 (b) as learning data, a range of an image corresponding to the optic disc region is specified among the image data of a fundus photograph, and partial image data including the specified image range is extracted May be used.
  • the optic disc is imaged as a region having a relatively high brightness than the image of the other portion (a portion other than the portion corresponding to the optic disc), so the computers performing the learning process mutually
  • the pixel values of a pair of adjacent pixels are compared with each other to find a pair of pixels having a difference larger than a predetermined threshold (so-called outline detection processing).
  • the computer performing the learning process may detect a pixel having a relatively low luminance among the found pixels as an outline of the optic disc.
  • the computer performing the learning process generates square information circumscribing the detected contour of the optic disc, and reduces the image data so that the image portion in the square becomes a predetermined size (for example, 32 ⁇ 32 pixels). Convert to enlargement. Next, a range of squares larger than the predetermined size (for example, a range of 64 ⁇ 64 pixels) is cut out around the center of the generated square. At this time, if there is a part not to be included in the original image data in the part to be cut out, the part is padded with black pixels to obtain input data (FIG. 2 (b)).
  • the computer that performs this learning process further calculates the average pixel value for the converted image data (image data before padding) and subtracts it from the value of each pixel of the converted image data. You may process.
  • the computer that performs the learning process may be a fundus picture, such as information indicating the presence or absence of suspicion of glaucoma from the image data of the fundus picture subjected to the above process, and information of a closed curve representing an artificially drawn optic disc concave edge. Get information on the prescribed symptoms of the eye involved.
  • information that can be drawn superimposed on the image data of the fundus picture is used as information on a predetermined symptom of the eye related to the fundus picture, such as a closed curve representing an artificially drawn optic disc concave edge
  • the same conversion as the enlargement / reduction conversion and the cutout of the image data of the fundus picture is performed also on the image data which is information on a predetermined symptom of the eye related to the fundus picture.
  • the same conversion as the scaling conversion and cutout of the image data is performed, and the converted image data is Convert to corresponding pixel position data. Since this conversion processing can be performed by a widely known method of scaling conversion and cutout processing, detailed explanation here is omitted.
  • a computer that performs learning processing receives, for example, data of 64 ⁇ 64 dimensions, and a portion including an image corresponding to the optic disc as input data for a residual network that outputs a 32 ⁇ 32 dimension vector.
  • the image data is input, and the output is subjected to learning processing such as learning processing with information of a closed curve representing an optic disc depression edge corresponding to the input data.
  • learning processing can also be performed by widely known processing such as back propagation according to the mode of machine learning.
  • the residual network obtained by learning processing according to this example is an optic nerve head within the partial image data including an image corresponding to the optic nerve head when the partial image data including an image corresponding to the optic nerve head is input.
  • the result of estimating the pixel through which the recessed edge passes is output.
  • control unit 11 performs the following operation as the processing of the estimation unit 22. That is, in the estimation unit 22 of this example of the present embodiment, the range of the image corresponding to the optic disc area is specified from the image data received by the reception unit 21, and the received image data including the specified image range The partial image data which is a part of the image is extracted, and the extracted partial image data is input as input data to the neural network stored in the storage unit 12, and the estimation result of the information of the closed curve representing the optic disc depressed edge is obtain.
  • partial image data is extracted so that the specified image range becomes a predetermined position in the image.
  • the estimation unit 22 performs an outline detection process on the image data of the fundus photograph received by the reception unit 21 and is a pair of adjacent pixels, and the difference between the pixel values is larger than a predetermined threshold value. A pair of pixels which are different from each other is found, and among the found pixels, a pixel having a relatively low luminance is detected as an outline of the optic papilla.
  • the estimation unit 22 generates square information circumscribing the detected contour line of the optic disc, and reduces or enlarges the image data so that the image part in the square becomes a predetermined size (for example, 32 ⁇ 32 pixels). Convert. Next, a range of squares larger than the predetermined size (for example, a range of 64 ⁇ 64 pixels) is cut out around the center of the generated square. At this time, if there is a portion not to be included in the original image data in the portion to be cut out, the portion is padded with black pixels to obtain input data (similar to FIG. 2B). As a result, partial image data is extracted which includes the range of the image corresponding to the optic disc, and the range is a predetermined position in the image.
  • a predetermined size for example, 32 ⁇ 32 pixels.
  • the estimation unit 22 inputs the partial image data extracted here to the neural network stored in the storage unit 12 and acquires the output. Based on the output of the neural network acquired here, the estimation unit 22 estimates information on a predetermined symptom of the eye related to the fundus picture to be processed. In this example, since the information on the predetermined symptom is a curve representing the position of the optic disc concave edge, the estimation unit 22 estimates the group of pixels through which the curve representing the optic disc concave edge passes. It will be done.
  • the output unit 23 outputs the result of the estimation. Specifically, the output unit 23 superimposes and displays an image obtained by highlighting each pixel included in the group of pixels obtained as a result of estimation on the image data of the fundus photograph received by the receiving unit 21 (FIG. 4). ).
  • a computer that performs learning processing using information representing the probability of being diagnosed as glaucoma rather than information of a closed curve representing an optic disc depression edge has, for example, 64 ⁇ 64 dimensional data as an input, and a one-dimensional scalar quantity
  • the partial image data including the image corresponding to the optic disc as input data is input to the neural network that outputs the information, and the output indicates information indicating the probability of being diagnosed as glaucoma corresponding to the input data
  • the learning process is executed by, for example, performing a learning process on the ratio of a doctor who has diagnosed glaucoma when presenting the fundus image as the input data to a plurality of ophthalmologists. This learning process can also be performed by a widely known process such as back propagation according to the mode of machine learning.
  • the neural network obtained by learning processing according to this example outputs the result of estimating the probability of being diagnosed as glaucoma when the partial image data including the image corresponding to the optic disc is input.
  • control unit 11 performs the following operation as the processing of the estimation unit 22. That is, in the estimation unit 22 of this example of the present embodiment, the range of the image corresponding to the optic disc area is specified from the image data received by the reception unit 21, and the received image data including the specified image range The partial image data which is a part of is extracted, and the extracted partial image data is input as input data to a neural network stored in the storage unit 12 to obtain an estimation result of the probability of being diagnosed as glaucoma.
  • partial image data is extracted so that the specified image range becomes a predetermined position in the image.
  • the estimation unit 22 performs an outline detection process on the image data of the fundus photograph received by the reception unit 21 and is a pair of adjacent pixels, and the difference between the pixel values is larger than a predetermined threshold value. A pair of pixels which are different from each other is found, and among the found pixels, a pixel having a relatively low luminance is detected as an outline of the optic papilla.
  • the estimation unit 22 generates square information circumscribing the detected contour line of the optic disc, and reduces or enlarges the image data so that the image part in the square becomes a predetermined size (for example, 32 ⁇ 32 pixels). Convert. Next, a range of squares larger than the predetermined size (for example, a range of 64 ⁇ 64 pixels) is cut out around the center of the generated square. At this time, if there is a portion not to be included in the original image data in the portion to be cut out, the portion is padded with black pixels to obtain input data (similar to FIG. 2B). As a result, partial image data is extracted which includes the range of the image corresponding to the optic disc, and the range is a predetermined position in the image.
  • a predetermined size for example, 32 ⁇ 32 pixels.
  • the estimation unit 22 inputs the partial image data extracted here to the neural network stored in the storage unit 12 and acquires the output. Based on the output of the neural network acquired here, the estimation unit 22 estimates information on a predetermined symptom of the eye related to the fundus picture to be processed. In this example, since the information on the predetermined symptom is the probability of being diagnosed as glaucoma, the estimation unit 22 estimates the probability of being diagnosed as glaucoma.
  • the output unit 23 displays and outputs a numerical value that is the result of the estimation.
  • a process of emphasizing a blood vessel portion may be performed on image data included in learning data and image data of input data to be processed.
  • processing of extraction of line segments from continuous contours is performed to perform emphasis processing.
  • image data in which a blood vessel portion is subjected to enhancement processing is used as learning data or input data
  • information on the two-dimensional shape of the blood vessel in the vicinity of the optic disc depression shape of the image of the blood vessel projected on a plane
  • the probability of being diagnosed with glaucoma and the optic disc depression edge can improve the learning efficiency and the accuracy rate of the estimation result.
  • three-dimensional information (information such as film thickness) of the fundus oculi may be included as the learning data for machine learning together with the image data of the fundus photograph.
  • image data of a fundus picture and three-dimensional information (information such as film thickness) of the fundus are input to a neural network, and image data of the fundus picture and three-dimensional information of the fundus are referred to The neural network is subjected to learning processing with the probability that the ophthalmologist diagnoses glaucoma based on the information (proportion of the number of ophthalmologists diagnosed with glaucoma among a plurality of ophthalmologists, etc.) as the correct answer.
  • the image processing apparatus 1 is the image data to be subjected to the estimation process that does not have sufficient image quality for the estimation process, or the fundus structure such as optic papilla is photographed in the first place It is judged whether it is the image data judged that it can not be estimated, such as one that is not, and when it is judged that the estimation can not be performed, the process of estimation is not performed or the process of estimation is performed and the result In addition, information may be presented to the user that sufficient estimation can not be made.
  • the image processing apparatus 1 receives the input of image data to be processed as the process of the receiving unit 21 described above, and determines whether the image data has sufficient image quality or an optic disc It is determined by clustering processing whether or not the fundus structure is photographed. Then, when it is determined that the image quality is sufficient and that sufficient estimation can be made, such as being a fundus photograph, the input image data is accepted as image data of the fundus photograph and output to the estimation unit 22. Do.
  • the receiving unit 21 If it is determined that sufficient estimation can not be performed, the receiving unit 21 outputs information indicating that estimation can not be performed.
  • the image quality can be determined by measuring the S / N ratio, the ratio of a region close to white when binarized, etc. in the whole.
  • the S / N ratio is, for example, PSNR (Peak Signal-to-Noise Ratio)
  • the receiving unit 21 receives the input image data and an image obtained by performing predetermined noise removal processing on the image data. Calculate the mean squared error between and calculate the squared value of the maximum pixel value (255 if the image is expressed in 256 steps from 0 to 255) divided by this mean squared error, or the common logarithm value (or (The specific calculation method is widely known, so detailed description thereof will be omitted).
  • the receiving unit 21 determines the image quality related to the S / N ratio. Is determined to be sufficient.
  • the ratio of the area close to white to the whole when binarized ie, the ratio to the whole of the pixel whose luminance is too high, is obtained, and the receiving unit 21 receives the input image data, It is converted to gray scale by a known method, and a pixel value larger (closer to white) than the threshold is used with a point at which ⁇ times the maximum pixel value (0 ⁇ ⁇ 1) is the threshold.
  • the pixel value of the pixel is set to the maximum pixel value (white). At this time, by setting the value of ⁇ to a value relatively close to 1, for example, a value larger than 0.95, only the region close to white is set to white.
  • the receiving unit 21 divides the number of pixels set to white included in the binarization result by the number of pixels of the entire image data to determine the ratio of the region close to white to the whole. The receiving unit 21 determines that the image quality is sufficient when the value of the ratio obtained here falls below a predetermined threshold value.
  • the receiving unit 21 may execute the above-described processing after performing correction that normalizes the color tone of the input image data.
  • normalization is carried out, for example, by converting the pixel value closest to the maximum pixel value (white color) when converted to gray scale (by a known method) to the maximum pixel value and the pixel value closest to the lowest pixel value (black color) It is performed by converting pixel values so as to correspond to the pixel values respectively. Since this color correction method is widely known, the detailed description is omitted.
  • the receiving unit 21 performs processing of outline extraction on the input image data, and then detects a circle from the image of the extracted outline using a method such as Hough transformation.
  • a method such as Hough transformation.
  • widely known methods can be adopted for outline extraction and circle detection processing.
  • the receiving unit 21 checks whether the number and size of the detected circles satisfy a predetermined condition. Specifically, in the receiving unit 21, the number of detected circles is “1” (only a circle considered to be an optic disc), and the size (for example, the short side of the circumscribed rectangle, that is, the short diameter of the circle) is predetermined. When it is within the range of values, it is judged that the image of the optic disc is included.
  • the reception unit 21 has a detected number of circles of “2” (a circle considered to be an optic disc and a circle considered to be a boundary of the entire visual field), and of the detected circles, a relatively small circle is compared
  • the size of a circle for example, the short side of the circumscribed rectangle, which is contained inside a large circle, and the size of the relatively small circle (for example, the short side of the circumscribed rectangle, ie, the short diameter of the circle) is relatively large That is, when it is in the range of the value of a predetermined ratio to the minor axis of the circle, it is determined that the image of the optic disc is included (a fundus structure such as the optic disc is photographed).
  • the receiving unit 21 may determine whether or not the fundus structure such as the optic papilla is photographed based on whether or not the image of the blood vessel can be detected from the input image data.
  • Kazuo Sugio et al. “A study on analysis of blood vessels in fundus pictures-Extraction of blood vessels and their crossing parts-” such as Kazuo Sugio et al., Medical Image Information Society Journal, Vol. 16, No. 3 (1999), etc. Can be adopted.
  • the receiving unit 21 attempts to extract an image of a blood vessel from image data input by a widely known method such as the above-described method.
  • the ratio of the number of significant pixels (number of pixels judged to be an image of blood vessels) contained in the obtained image to the total number of pixels is within a predetermined value range. At a certain time, it is judged that a blood vessel is detectable, and it is estimated that a fundus structure such as an optic disc is photographed.
  • the receiving unit 21 may use a neural network machine-learned to determine whether or not a fundus structure such as an optic disk is photographed (hereinafter referred to as a “pre-judgment neural network”).
  • a predetermination neural network is realized using a CNN (convolution network), a residual network or the like, and image data of a fundus picture in which a fundus structure such as an optic disc is photographed.
  • a plurality of image data (for example, image data that is not a fundus photograph) in which a fundus structure such as an optic papilla is not photographed is input, and when a fundus structure such as an optic papilla is photographed, a fundus structure such as an optic papilla is photographed.
  • the supervised machine learning is performed so that an output indicating the presence of the fundus and a fundus structure such as the optic disc are not captured when the fundus structure such as the optic disc is not captured.
  • the learning process can adopt a widely known method, so the detailed description will be omitted).
  • the receiving unit 21 converts the input image data into data that can be input to the pre-determination neural network (such as changing the size), and inputs the converted data to the pre-determination neural network.
  • the output may be referred to, and when the output is an output indicating that a fundus structure such as an optic papilla is photographed, the input image data may be determined to be a fundus photograph and accepted.
  • the prior determination neural network is separately used, but the neural network used by the estimation unit 22 may double as the prior determination neural network.
  • the neural network used by the estimation unit 22 inputs a plurality of pieces of image data known to be a fundus photograph in advance, and determines the probability that each of the pieces of image data is in a predetermined symptom of the eye (for example, diagnoses as glaucoma It is assumed that machine learning is performed as teacher data and the proportion of doctors and the like) and the probability that there is no predetermined symptom (for example, the proportion of doctors who are not diagnosed as glaucoma). In this way, when the image data is a fundus image of the eye with respect to the input image data, the neural network has a probability that it is in a predetermined symptom and that it is not in a predetermined symptom. Both the probability and the probability will be estimated.
  • the reception unit 21 outputs the input image data as it is to the estimation unit 22 and the information output by the estimation unit 22 does not have a probability Pp indicating that it is in a predetermined symptom and a predetermined symptom. If the probability Pp or Pn is lower than a predetermined threshold value (for example, both are less than 40%) or the absolute value of the difference between these probabilities
  • a predetermined threshold value for example, both are less than 40%
  • Pp Is lower than a predetermined threshold that is, the difference between these probabilities Pp and Pn is smaller than a predetermined threshold
  • the output of the estimation unit 22 may be output to the output unit 23.
  • the receiving unit 21 may use these determinations in combination. For example, the receiving unit 21 checks the S / N ratio of the input image data, and when it is determined that the S / N ratio is larger than a predetermined value (the noise is relatively small), the image data is further processed. We try to extract the optic disc from among them. The receiving unit 21 may output the image data to the estimating unit 22 when it is determined that the optic disc is extracted.
  • the estimation unit 22 before outputting the estimation by the estimation unit 22, it is determined whether the estimation unit 22 accepts image data that can be sufficiently estimated, and it can be determined that sufficient estimation can be performed. In this case, since the estimation result by the estimation unit 22 is output, the estimation result for image data that can not be estimated sufficiently is not output.
  • Reference Signs List 1 image processing apparatus 11 control unit, 12 storage unit, 13 operation unit, 14 display unit, 15 input / output unit, 21 reception unit, 22 estimation unit, 23 output unit.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とを互いに関連付けた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を学習した状態にある機械学習結果を保持し、処理の対象となる眼底写真の画像データを受け入れ、受け入れた画像データに基づく入力データと、機械学習結果とを用いて、処理の対象となった眼底写真に係る目についての目の症状に関する情報を推定する画像処理装置である。

Description

画像処理装置及びプログラム
　本発明は、眼科医療用の画像を処理する画像処理装置及びプログラムに関する。
　緑内障など、非可逆的な視機能の喪失を伴う疾病については、早期の発見が求められる。ところが緑内障では、その確定診断のための検査が一般に時間のかかるものであり、負担の大きいものであるため、予めスクリーニングによって緑内障の可能性の有無を簡便に検出する方法が求められている。
　なお、眼底の三次元計測結果を利用して診断用の情報を提供する装置が、特許文献１に開示されている。
特開２０１７－７４３２５号公報
　しかしながら上記従来例の装置等においては、眼底の情報に基づいて緑内障症状の有無を検出する場合の条件設定が難しい。これは、当該医師が診断に用いる情報が視神経乳頭部分の乳頭内・乳頭周囲の色調の相互関係、リム菲薄化，陥凹部の深化，ラミナドットサイン，乳頭血管の鼻側偏位，PPA（乳頭周囲網脈絡膜萎縮），乳頭縁出血，網膜神経線維層欠損等の情報の総合的な判断によるものであるためである（「緑内障性視神経乳頭・網膜神経線維層変化判定ガイドライン」，日眼会誌,vol. 110, No.10, p810-，（平成１８年））。また、近年では無散瞳で眼底写真を撮影する機器もあるが、このような機器では三次元的情報を得ることは困難であり、三次元的な情報が必ずしも得られるとは限らない。
　また、眼底写真は撮影の条件や、対象の個体差によってその色味や血管形状などが大きく異なる。このため、例えば単に画素値等に基づくセグメンテーション処理等は、視神経乳頭陥凹縁のような、緑内障の診断に役立つ画像部分の検出には現実的ではない。
　本発明は上記実情に鑑みて為されたもので、眼底画像に基づいて、比較的簡便に緑内障の可能性の有無を検出できる画像処理装置及びプログラムを提供することを、その目的の一つとする。
　上記従来例の問題点を解決する本発明は、画像処理装置であって、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とを互いに関連付けた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を機械学習した状態にある機械学習結果を保持する保持手段と、処理の対象となる眼底写真の画像データを受け入れる受入手段と、前記受け入れた画像データに基づく入力データと、前記機械学習結果とを用いて、処理の対象となった眼底写真に係る目についての前記目の症状に関する情報を推定する推定手段と、当該推定の結果を出力する手段と、を含むこととしたものである。
　本発明によると、眼底画像に基づいて、比較的簡便に緑内障の可能性の有無を検出できる。
本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置が処理する眼底写真の画像データの例を表す説明図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が出力する画像の例を表す説明図である。
　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、入出力部１５とを含んで構成される。
　ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態の例では、この制御部１１は、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とが互いに関連付けられた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を学習した状態にある機械学習結果とを用いた処理を行う。
　なお、学習用データは、必ずしもすべての情報が、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とを互いに関連付けた情報でなくてもよく、一部に対応する目の症状に関する情報が関連付けられていない、眼底写真の画像データが含まれてもよい。
　また機械学習結果は、例えばニューラルネットワークやＳＶＭ（Support Vector Machine）、あるいはベイズ法、樹木構造を基本とする方法などを応用して機械学習した結果であってもよいし、また、半教師つき学習によって得られるモデル等であってもよい。
　具体的に制御部１１は、処理の対象となる眼底写真の画像データを受け入れ、当該受け入れた画像データに基づく入力データを入力したときのニューラルネットワークの出力を取得するなど、入力データと機械学習結果とを用いて処理の対象となった眼底写真に係る目についての所定の症状に関する情報を推定する。そして制御部１１は、当該推定の結果を出力する。この制御部１１の詳しい動作の内容については後に説明する。
　記憶部１２は、ディスクデバイスやメモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。また、本実施の形態では、この記憶部１２は、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とが互いに関連付けられた学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を学習した状態にある機械学習結果を保持する保持手段としても機能する。この機械学習結果の詳細についても後に述べる。
　操作部１３は、キーボードやマウス等であり、利用者の指示を受け入れて、制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従い、情報を表示出力する。
　入出力部１５は、例えばＵＳＢ（Universal Serial Bus）等の入出力インタフェースであり、本実施の形態の一例では、処理の対象となる眼底写真の画像データを外部の装置（例えば撮影装置やカードリーダー等）から受け入れて制御部１１に出力する。
　次に本実施の形態の制御部１１が利用する機械学習結果について説明する。本実施の形態の一例では、この制御部１１が利用する機械学習結果は、ニューラルネットワークである。この例の制御部１１が利用するニューラルネットワークは、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とが互いに関連付けられた学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を機械学習した状態としたものである。
　一例として、このニューラルネットワークは、残差（Residual）ネットワーク（ResNet：Kaiming He, et.al., Deep Residual Learning for Image Recognition, https://arxiv.org/pdf/1512.03385v1.pdf）を用いて形成される。このニューラルネットワークの学習処理は、一般的なコンピュータを用いて行うことができる。
　具体的に学習処理は、この残差ネットワークに対し、学習データに含まれる、図２（ａ）に例示するような眼底写真の画像データ（眼底写真であることがわかっている画像データ、例えば人為的に事前に収集されたものでよい）を入力して行う。この眼底写真は、散瞳または無散瞳で撮像された二次元の眼底写真でよいが、少なくとも視神経乳頭の像Ｙが含まれるものとする。この視神経乳頭の像Ｙは、他の部分（視神経乳頭に相当する部分以外の部分）の像よりも比較的明度の高い領域として撮像されるのが一般的である。なお、眼底写真には多くの血管Ｂが撮像される。
　また学習データに含める、目の症状に関する情報として、当該眼底写真を参照した眼科医による緑内障の疑いの有無を表す情報を用いる。この場合、例えば学習処理において入力する画像データである各眼底写真について、当該眼底写真を参照した複数人の眼科医のうち、緑内障の疑いがあると診断した眼科医の割合をもって、当該眼底写真の目の症状に関する情報として、当該眼底写真の画像データに関連付けて学習データとしてもよい。
　本実施の形態のこの例では、例えば残差ネットワーク等のニューラルネットワークの出力ベクトルの次元Ｎを「１」とし、緑内障の疑いの程度を表すパラメータとする。そして、各学習データの眼底写真の画像データを入力したときのニューラルネットワークの出力と、当該入力した眼底写真の画像データに関連付けられている緑内障の疑いの有無を表す情報とを用いて学習処理する。この学習処理は、広く知られた、バックプロパゲーションの処理等を用いた処理により行うことができるので、ここでの詳しい説明を省略する。
　また、本実施の形態の一例では、緑内障の疑いの有無を直接判断するのではなく、その支援のための情報を提示してもよい。例えば本実施の形態の一例では視神経乳頭陥凹縁の位置を描画して提示する。この場合は、各眼底写真内に、医師（眼科医）が人為的に描画した、視神経乳頭陥凹縁の位置を表す曲線（図２（ａ）のＸ；一般に視神経乳頭陥凹縁は視神経乳頭の像Ｙ内の閉曲線となる）を表す情報を、学習データに含める、目の症状に関する情報として用いる。この曲線を表す情報は、曲線自体が通過する眼底写真の画像データ内の画素の位置を表す座標情報の組であってもよい。
　なお、緑内障の疑いの有無を判断する際の支援情報としては、視神経乳頭陥凹縁の位置を表す曲線のほか、網膜神経繊維層の楔状欠損部分等の位置等、緑内障の診断に用いられる画像上の他の特徴的部分を示すものであってもよい。
　本実施の形態のこの例では、例えば残差ネットワークの出力ベクトルの次元Ｎを、画像データの画素数Ｎに一致させ、視神経乳頭陥凹縁を表す、人為的に描画された閉曲線が通過する画素について「１」、そうでない画素について「０」とするベクトルを正解として、残差ネットワークを学習処理する。この学習処理もまた、広く知られた、バックプロパゲーションの処理等を用いた処理により行うことができるので、ここでの詳しい説明を省略する。
　また、本実施の形態の、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とが互いに関連付けられた学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を学習した状態にあるニューラルネットワークは、残差ネットワークに限られない。
　このニューラルネットワークは、一般的な畳み込みネットワーク（ＣＮＮ）であってもよい。また、一般的な畳み込みネットワークの最終層をＳＶＭ（Support Vector Machine）としてもよい。さらに一般的な畳み込みネットワークにおいて活性化関数をLeaky Relu（活性化関数φ（ｘ）＝max(0.01ｘ,ｘ)としたもの。ただし、max（ａ，ｂ）は、ａ，ｂのうち大きい方の値）としたものを用いてもよい。また、Dense Net（Gao Huang, et. al., Densely Connected Convolutional Network, arXiv:1608.06993）を用いてもよい。
　さらに本実施の形態では、このようにして形成したニューラルネットワークを参照ネットワークとして用いて、比較的層の少ない、例えば２層の全結合層を有した別のニューラルネットワークを、同じ学習データを入力した場合の参照ネットワークの出力を正解として用いて学習した、いわゆる「蒸留」の処理により得られたネットワークであってもよい。
　さらに本実施の形態では、一つの学習データＡについて、当該学習データＡである画像データＰａを反転、あるいは回転して得た画像データや、当該画像データＰａにノイズ（ランダムなドット等）を付加した画像データを、画像データＰａとは異なる画像データとして入力してもよい。
　この場合、正解に相当する緑内障の疑いの有無を表す情報は、画像データＰａを反転、あるいは回転して得た画像データを学習データとしたときも、ノイズを付加したときにも、元の学習データに対応する情報をそのまま用いるものとする。
　また、このように学習データＡである画像データＰａを反転、あるいは回転して得た画像データや、当該画像データＰａにノイズ（ランダムなドット等）を付加した画像データを、画像データＰａとは異なる画像データとして入力する場合において、目の症状に関する情報として、視神経乳頭陥凹縁を表す、人為的に描画された閉曲線を用いるときには、次のようにする。
　すなわち正解に相当する視神経乳頭陥凹縁を表す、人為的に描画された閉曲線は、画像データＰａを反転、あるいは回転して得た画像データを学習データとしたときには、当該画像データＰａと同じ変形（反転あるいは回転等）を施したものを用いるものとし、ノイズを付加したときには、元の学習データに対応する情報をそのまま用いるものとする。
　本実施の形態では、このような学習処理後の状態にあるニューラルネットワークの情報を、記憶部１２に格納しておく。このニューラルネットワークの情報は、例えばネットワークを介して、あるいはコンピュータ可読かつ非一時的な記録媒体に格納されて提供され、記憶部１２に格納される。
［機械学習結果の他の例］
　また本実施の形態の機械学習結果の情報は、ニューラルネットワークの例に限られない。ここでの機械学習結果の情報は、例えばＳＶＭ（Support Vector Machine）やベイズの事後分布の情報や樹木構造を基本とする方法を応用して機械学習したものであってもよい。
　これらＳＶＭやベイズの事後分布の情報や樹木構造を基本とする方法を応用して機械学習したものを機械学習結果とする場合、入力する情報としては眼底写真の画像データの画素値を配列したベクトル、または眼底写真の画像データから得られた所定の特徴量の情報（例えば視神経乳頭陥凹縁で囲まれた面積の大きさ等）を用い、また眼底写真に係る目についての所定の症状に関する情報として、緑内障の疑いの有無を表す情報を用いる。
　これらの情報を学習データとして用いることで、例えばＳＶＭの機械学習により、緑内障の疑いの有無を識別する識別境界面を特定する情報を得る。また、ベイズ推定の事後分布を、緑内障の疑いの確率として得るためのパラメータや、樹木構造によって緑内障の疑いがあるか否かを判定するクラスタリングのモデルを機械学習する。
［半教師あり学習］
　また、本実施の形態の一例では、学習データの一部には、眼底写真に係る目についての所定の症状に関する情報が関連付けられていない、眼底写真の画像データが含まれてもよい。
　このような学習データを用いた機械学習方法は、半教師あり学習（semi-supervised Learning）として広く知られているので、ここでの詳しい説明を省略する。
［制御部の動作］
　次に、本実施の形態の制御部１１の動作について説明する。本実施の形態に係る制御部１１は、図３に例示するように、受入部２１と、推定部２２と、出力部２３とを機能的に含む。
　受入部２１は、処理の対象となる眼底写真の画像データを受け入れ、推定部２２に出力する。ここで受入部２１が受け入れる眼底写真の画像データもまた、散瞳または無散瞳で撮像された二次元の眼底写真でよいが、少なくとも視神経乳頭の像が含まれるものとする。なお、眼底写真は、少なくとも視神経乳頭の像が含まれるのであれば、医療用の専門のカメラではなく、一般的なカメラ（スマートフォン等のカメラを含む）にて撮像されたものであってもよい。
　推定部２２は、受入部２１が受け入れた画像データに基づく入力データを入力したときの、記憶部１２に格納されている機械学習結果を利用した出力を取得する。推定部２２は、ここで取得した機械学習結果を利用した出力に基づいて、処理の対象となった眼底写真に係る目についての、所定の症状に関する情報を推定する。
　一例として、既に述べた例のように機械学習結果がニューラルネットワークであり、所定の症状に関する情報が視神経乳頭陥凹縁の位置を表す曲線とする場合、推定部２２は、視神経乳頭陥凹縁の位置を表す曲線が通過する画素の群を推定することとなる。
　出力部２３は、当該推定の結果を出力する。具体的にこの出力部２３は、推定部２２が視神経乳頭陥凹縁の位置を表す曲線が通過する画素の群を推定した場合、受入部２１が受け入れた眼底写真の画像データに、推定の結果となった画素の群に含まれる各画素を強調表示した像を重ね合わせて表示する（図４）。なお、図４では視神経乳頭部を拡大した例を示している。
　また推定部２２が、機械学習結果を利用した出力に基づいて、処理の対象となった眼底写真に係る目についての、所定の症状に関する情報として、緑内障と診断される確率を表す情報を推定する場合、出力部２３は、当該推定の結果である数値を出力することとすればよい。
［動作］
　本実施の形態の画像処理装置１は、基本的には以上の構成を備えており、次のように動作する。本実施の形態の画像処理装置１のある例では、残差ネットワークを用い、図２（ａ）に例示した眼底写真の画像データと、当該画像データに対して人為的に描画された視神経乳頭陥凹縁を表す閉曲線が通過する各画素の位置を表すデータとを学習データとし、眼底写真の画像データを入力したときの出力として、当該閉曲線の各画素の位置を表す情報がベクトルとして得られるよう学習処理したニューラルネットワークを記憶部１２に格納している。
　利用者が推定の処理の対象（緑内障症状の有無を推定する処理の対象）となる眼底写真の画像データを画像処理装置１に入力すると、画像処理装置１は、当該画像データを受け入れ、当該受け入れた画像データに基づく入力データを入力したときの、記憶部１２に格納されているニューラルネットワークの出力を取得する。
　画像処理装置１は、ここで取得したニューラルネットワークの出力として、処理の対象となった眼底写真に係る目についての、視神経乳頭陥凹縁の位置を表す曲線が通過する画素の群を推定した結果を得る。そして画像処理装置１は、受け入れた眼底写真の画像データに、推定の結果となった画素の群に含まれる各画素を強調表示した像を重ね合わせて表示出力する（図４）。
　この表示された画像に表された視神経乳頭陥凹縁の形状により、利用者が緑内障の症状の有無を判断する。
　本実施の形態のこの例によると、二次元的な眼底画像に基づいて、比較的簡便に緑内障の可能性の有無を検出できる。
［前処理］
　また本実施の形態の画像処理装置１の記憶部１２が保持する機械学習結果は、次のように学習処理されたものであってもよい。すなわち学習データとして図２（ｂ）に例示するように、眼底写真の画像データのうち、視神経乳頭部に相当する画像の範囲を特定し、当該特定した画像範囲を含む部分画像データを抽出したものを用いてもよい。
　具体的に、眼底写真において視神経乳頭部は、他の部分（視神経乳頭に相当する部分以外の部分）の像よりも比較的明度の高い領域として撮像されるため、学習処理を行うコンピュータは、互いに隣接する一対の画素の画素値同士を比較して、予め定めたしきい値より大きい差となる一対の画素を見いだす（いわゆる輪郭線検出処理）。そして学習処理を行うコンピュータは、当該見いだした画素のうち輝度が比較的低い側の画素を視神経乳頭部の輪郭線として検出することとしてもよい。
　学習処理を行うコンピュータでは、検出した視神経乳頭部の輪郭線に外接する正方形の情報を生成し、この正方形内の画像部分が所定のサイズ（例えば３２×３２画素）となるよう画像データを縮小・拡大変換する。次に、生成した正方形の中心を中心とした、上記所定のサイズより大きいサイズの正方形の範囲（例えば６４×６４画素の範囲）を切り出す。このとき、切り出そうとする部分に、元の画像データに含まれない部分がある場合は、当該部分は黒色の画素でパディングして、入力データとする（図２（ｂ））。
　この学習処理を行うコンピュータはさらに、コントラストを正規化するため、変換後の画像データ（パディング前の画像データとする）について平均画素値を演算して変換後の画像データの各画素の値から差し引く処理を行ってもよい。
　また、学習処理を行うコンピュータは、上記処理を行った眼底写真の画像データに対する緑内障の疑いの有無を表す情報や、人為的に描画された視神経乳頭陥凹縁を表す閉曲線の情報など、眼底写真に係る目についての、所定の症状に関する情報を得る。
　なお、眼底写真に係る目についての、所定の症状に関する情報として、人為的に描画された視神経乳頭陥凹縁を表す閉曲線のように、眼底写真の画像データ上に重ね合わせて描画できる情報を用いる場合、当該眼底写真に係る目についての、所定の症状に関する情報である画像データについても、眼底写真の画像データの拡大縮小変換及び切り出しと同じ変換を行う。例えば、人為的に描画された視神経乳頭陥凹縁を表す閉曲線が通過する各画素の位置を表すデータについても、画像データの拡大縮小変換及び切り出しと同じ変換を行って、変換後の画像データの対応する画素の位置のデータに変換する。この変換処理は、拡大縮小変換、及び切り出し処理という広く知られた方法により行うことができるものであるため、ここでの詳しい説明は省略する。
　そして学習処理を行うコンピュータは、例えば６４×６４次元のデータを入力とし、３２×３２次元のベクトルを出力する残差ネットワークに対して、入力データとした、視神経乳頭部に相当する画像を含む部分画像データを入力し、その出力を、入力データに対応する視神経乳頭陥凹縁を表す閉曲線の情報で学習処理するなど、学習処理を実行する。このような学習処理も、機械学習の態様に応じて、バックプロパゲーション等の広く知られた処理などにより行うことができる。
　この例により学習処理して得られた残差ネットワークは、視神経乳頭部に相当する画像を含む部分画像データを入力したときに、視神経乳頭部に相当する画像を含む部分画像データ内で、視神経乳頭陥凹縁が通過する画素を推定した結果を出力するものとなる。
　この例では、制御部１１は、推定部２２の処理として次のような動作を行う。すなわち、本実施の形態のこの例の推定部２２では、受入部２１が受け入れた画像データから、視神経乳頭部に相当する画像の範囲を特定し、当該特定した画像範囲を含む、受け入れた画像データの一部である部分画像データを抽出し、当該抽出した部分画像データを入力データとして、記憶部１２に格納したニューラルネットワークに入力して、視神経乳頭陥凹縁を表す閉曲線の情報の推定結果を得る。
　またこのとき、特定した画像範囲が、画像内の予め定めた位置となるよう、部分画像データを抽出する。
　すなわち、推定部２２は、受入部２１が受け入れた眼底写真の画像データについて輪郭線検出処理を行い、互いに隣接する一対の画素であって、各画素値の差が予め定めたしきい値より大きい差となる一対の画素を見いだし、当該見いだした画素のうち輝度が比較的低い側の画素を視神経乳頭部の輪郭線として検出する。
　そして推定部２２は、検出した視神経乳頭部の輪郭線に外接する正方形の情報を生成し、この正方形内の画像部分が所定のサイズ（例えば３２×３２画素）となるよう画像データを縮小・拡大変換する。次に、生成した正方形の中心を中心とした、上記所定のサイズより大きいサイズの正方形の範囲（例えば６４×６４画素の範囲）を切り出す。このとき、切り出そうとする部分に、元の画像データに含まれない部分がある場合は、当該部分は黒色の画素でパディングして、入力データとする（図２（ｂ）と同様）。これにより、視神経乳頭部に相当する画像の範囲を含み、当該範囲が画像内の予め定めた位置となる部分画像データが抽出される。
　推定部２２は、ここで抽出した部分画像データを、記憶部１２に格納されているニューラルネットワークに入力して、その出力を取得する。推定部２２は、ここで取得したニューラルネットワークの出力に基づいて、処理の対象となった眼底写真に係る目についての、所定の症状に関する情報を推定する。ここでの例では、所定の症状に関する情報は、視神経乳頭陥凹縁の位置を表す曲線としているので、推定部２２は、視神経乳頭陥凹縁の位置を表す曲線が通過する画素の群を推定することとなる。出力部２３は、当該推定の結果を出力する。具体的にこの出力部２３は、受入部２１が受け入れた眼底写真の画像データに、推定の結果となった画素の群に含まれる各画素を強調表示した像を重ね合わせて表示する（図４）。
　また、視神経乳頭陥凹縁を表す閉曲線の情報ではなく、緑内障と診断される確率を表す情報を用いて学習処理を行うコンピュータは、例えば６４×６４次元のデータを入力とし、１次元のスカラ量を出力するニューラルネットワークに対して、入力データとした、視神経乳頭部に相当する画像を含む部分画像データを入力し、その出力を、入力データに対応する緑内障と診断される確率を表す情報（例えば複数人の眼科医に対して、当該入力データである眼底写真を提示したときに、緑内障と診断した医師の割合）で学習処理するなどして、学習処理を実行する。この学習処理も、機械学習の態様に応じて、バックプロパゲーション等の広く知られた処理などにより行うことができる。
　この例により学習処理して得られたニューラルネットワークは、視神経乳頭部に相当する画像を含む部分画像データを入力したときに、緑内障と診断される確率を推定した結果を出力するものとなる。
　この例では、制御部１１は、推定部２２の処理として次のような動作を行う。すなわち、本実施の形態のこの例の推定部２２では、受入部２１が受け入れた画像データから、視神経乳頭部に相当する画像の範囲を特定し、当該特定した画像範囲を含む、受け入れた画像データの一部である部分画像データを抽出し、当該抽出した部分画像データを入力データとして、記憶部１２に格納したニューラルネットワークに入力して、緑内障と診断される確率の推定結果を得る。
　またこのときも、特定した画像範囲が、画像内の予め定めた位置となるよう、部分画像データを抽出する。
　すなわち、推定部２２は、受入部２１が受け入れた眼底写真の画像データについて輪郭線検出処理を行い、互いに隣接する一対の画素であって、各画素値の差が予め定めたしきい値より大きい差となる一対の画素を見いだし、当該見いだした画素のうち輝度が比較的低い側の画素を視神経乳頭部の輪郭線として検出する。
　そして推定部２２は、検出した視神経乳頭部の輪郭線に外接する正方形の情報を生成し、この正方形内の画像部分が所定のサイズ（例えば３２×３２画素）となるよう画像データを縮小・拡大変換する。次に、生成した正方形の中心を中心とした、上記所定のサイズより大きいサイズの正方形の範囲（例えば６４×６４画素の範囲）を切り出す。このとき、切り出そうとする部分に、元の画像データに含まれない部分がある場合は、当該部分は黒色の画素でパディングして、入力データとする（図２（ｂ）と同様）。これにより、視神経乳頭部に相当する画像の範囲を含み、当該範囲が画像内の予め定めた位置となる部分画像データが抽出される。
　推定部２２は、ここで抽出した部分画像データを、記憶部１２に格納されているニューラルネットワークに入力して、その出力を取得する。推定部２２は、ここで取得したニューラルネットワークの出力に基づいて、処理の対象となった眼底写真に係る目についての、所定の症状に関する情報を推定する。ここでの例では、所定の症状に関する情報は、緑内障と診断される確率としているので、推定部２２は、緑内障と診断される確率を推定することとなる。出力部２３は、当該推定の結果である数値を表示出力する。
［前処理の他の例］
　また学習データとして視神経乳頭部に相当する画像の範囲を特定する例に代えて、視神経乳頭部だけでなく、視神経乳頭部と黄斑部とを含む範囲を特定して、当該特定した画像範囲を含む部分画像データを抽出したものを学習データと、処理対象の入力データとに用いてもよい。
　一般に緑内障に対応する眼底の変化は視神経乳頭部から黄斑部へ向けて拡大するので、このように視神経乳頭部と黄斑部とを含む範囲を切り出して学習処理の対象とし、また、その学習結果であるニューラルネットワークなど、機械学習結果の入力データとして当該視神経乳頭部と黄斑部とを含む範囲を切り出した画像データを入力して推定処理を実行することで、より多くの情報に基づく推定が可能となる。
　さらに、本実施の形態のある例では、学習データに含まれる画像データと、処理対象とする入力データの画像データとにおいて、血管部分を強調する処理を施してもよい。血管部分は、例えば連続した輪郭線から線分の抽出の処理を行って、強調処理を行う。このように血管部分が強調処理された画像データを学習データや入力データとして用いると、視神経乳頭陥凹部近傍での血管の二次元的形状（平面に投影した血管の像の形状）の情報が、緑内障と診断される確率や、視神経乳頭陥凹縁の推定に供されることとなり、学習効率、及び推定結果の正解率を向上できる。
［三次元眼底写真を用いる例］
　また、ここまでの説明では、眼底写真の画像データとして二次元の画像データを用いることとしていたが、本実施の形態はこれに限られない。
　すなわち本実施の形態のある例では、機械学習の学習用データとして、眼底写真の画像データとともに、眼底の三次元的な情報（膜厚などの情報）を含んでもよい。この例では、例えば眼底写真の画像データと眼底の三次元的な情報（膜厚などの情報）とをニューラルネットワークに入力し、当該眼底写真の画像データと眼底の三次元的な情報を参照した眼科医が当該情報に基づいて緑内障であると診断する確率（複数人の眼科医のうち、緑内障と診断した眼科医の人数の割合など）を正解として、ニューラルネットワークを学習処理する。
［受入部における前処理］
　また本実施の形態の一例に係る画像処理装置１は、推定の処理の対象となる画像データについて、推定の処理に十分な画質を有していないものや、そもそも視神経乳頭等の眼底構造が撮影されていないものなど、推定ができないと判断される画像データであるか否かを判断し、推定ができないと判断した場合には推定の処理を行わずに、あるいは推定の処理を行ってその結果とともに、十分な推定ができない旨の情報を利用者に提示してもよい。
　一例として本実施の形態の画像処理装置１は、上記の受入部２１の処理として、処理の対象となる画像データの入力を受けて、当該画像データが画質が十分であるかや視神経乳頭等の眼底構造が撮影されているかなどを、クラスタリング処理によって判断する。そして、画質が十分であり、眼底写真である、など、十分な推定ができると判断した場合に、当該入力された画像データを眼底写真の画像データとして受け入れて、推定部２２に出力することとする。
　また、十分な推定ができないと判断すると、受入部２１は、推定ができない旨の情報を出力する。
　ここで画質は、Ｓ／Ｎ比、二値化したときに白に近い領域が全体に占める割合等を計測することにより判断できる。具体的にＳ／Ｎ比は例えばＰＳＮＲ（Peak Signal-to-Noise Ratio）であり、受入部２１は、入力された画像データと、当該画像データに対して所定のノイズ除去処理を施した画像との間の平均二乗誤差を演算し、最大画素値（０から２５５の２５６段階で画像が表現されているのであれば、２５５）の二乗値をこの平均二乗誤差で除したものの常用対数値（またはその定数倍）として求める（具体的な演算方法は広く知られているので、ここでの詳しい説明は省略する）。そして受入部２１は、平均二乗誤差が「０」またはＰＳＮＲが所定のしきい値（例えば上記常用対数の値が０．８以上に相当する値）を超えるならば、Ｓ／Ｎ比に関わる画質が十分であると判断する。
　また二値化したときに白に近い領域が全体に占める割合は、つまり、輝度が高くなりすぎている画素の、全体に占める割合を求めるもので、受入部２１は入力された画像データを、公知の方法でグレイスケールに変換し、さらに最大画素値のα倍（０＜α＜１）の点をしきい値として、当該しきい値よりも大きい（白に近い）画素値となっている画素の画素値を最大画素値（白色）に設定する。このときαの値として比較的１に近い値、例えば０．９５より大きい値とすることで、白に近い領域のみを白色に設定する。また、当該しきい値を下回る画素値となっている画素の画素値は最低画素値（黒色）とする。この受入部２１は、この二値化の結果に含まれる、白色に設定された画素の数を、画像データ全体の画素の数で除して、白に近い領域が全体に占める割合を求める。受入部２１はここで求めた割合の値が、予め定めたしきい値を下回る場合に、画質が十分であると判断する。
　また受入部２１は、上記の処理を、入力された画像データの色調を正規化する補正を行ってから実行してもよい。ここで正規化は例えば、（公知の方法で）グレイスケールに変換したときの最大画素値（白色）に最も近い画素値を最大画素値に、最低画素値（黒色）に最も近い画素値を最低画素値にそれぞれ対応するように画素値を変換することで行う。この色補正の方法は広く知られているので、詳しい説明を省略する。
　また視神経乳頭等の眼底構造が撮影されているか否かの判断は、例えば視神経乳頭部の像が画像データ中に含まれるか否かにより行うことができる。具体的には、受入部２１は、入力された画像データに対して輪郭線抽出の処理を施したうえで、抽出した輪郭線の画像からハフ変換等の方法を用いて円を検出する。ここで輪郭線抽出や円の検出処理は広く知られた方法を採用できる。
　受入部２１は検出した円の数及び大きさが、予め定めた条件を満足するかを調べる。具体的には、受入部２１は、検出した円の数が「１」（視神経乳頭と考えられる円形のみ）であり、大きさ（例えば外接矩形の短辺、つまり円の短径）が所定の値の範囲にあるときに、視神経乳頭の像が含まれると判断する。または受入部２１は、検出した円の数が「２」（視神経乳頭と考えられる円形と、視野全体の境界線と考えられる円形）であり、検出した円のうち、比較的小さい円が、比較的大きい円の内部に内包されており、かつ、比較的小さい円の大きさ（例えば外接矩形の短辺、つまり円の短径）が比較的大きい円の大きさ（例えば外接矩形の短辺、つまり円の短径）に対して所定の比の値の範囲にあるときに、視神経乳頭の像が含まれる（視神経乳頭等の眼底構造が撮影されている）と判断する。
　あるいは、受入部２１は、入力された画像データから血管の画像が検出できるか否かにより、視神経乳頭等の眼底構造が撮影されているか否かを判断してもよい。この血管の画像の検出は、例えば杉尾一晃ほか，「眼底写真における血管解析に関する研究　－血管とその交叉部の抽出－」医用画像情報学会雑誌，Vol.16，No.3 (1999)などの方法を採用できる。本実施の形態では受入部２１は、上記の方法等広く知られた方法によって入力された画像データから血管の画像の抽出を試みる。そして抽出を試みた結果、得られた画像に含まれる有意な画素の数（血管の像と判断される画素の数）が、全体の画素数に対して占める割合が予め定めた値の範囲にあるときに、血管が検出可能であると判断して、視神経乳頭等の眼底構造が撮影されていると推定する。
　さらに受入部２１は、視神経乳頭等の眼底構造が撮影されているか否かを判別するよう機械学習したニューラルネット（以下、事前判定用ニューラルネットと呼ぶ）を用いてもよい。一例としてこのような事前判定用ニューラルネットはＣＮＮ（畳み込みネットワーク）や残差ネットワーク等を用いて実現され、視神経乳頭等の眼底構造が撮影されている眼底写真の画像データと。視神経乳頭等の眼底構造が撮影されていない画像データ（例えば眼底写真でない画像データ）とをそれぞれ複数入力し、視神経乳頭等の眼底構造が撮影されているときには視神経乳頭等の眼底構造が撮影されている旨の出力を行い、視神経乳頭等の眼底構造が撮影されていないときには視神経乳頭等の眼底構造が撮影されていない旨の出力を行うように教師つきの機械学習をしておく（このような機械学習処理は広く知られた方法を採用できるため、詳細な説明は省略する）。そして受入部２１は、入力された画像データを、この事前判定用ニューラルネットに入力可能なデータに変換し（サイズを変える等）、当該変換したデータをこの事前判定用ニューラルネットに入力して、その出力を参照し、当該出力が視神経乳頭等の眼底構造が撮影されている旨の出力であるときに、入力された画像データが眼底写真であると判断して受け入れることとしてもよい。
　また、ここでは推定部２２が用いるニューラルネットワークのほかに、事前判定用ニューラルネットを別途用いる場合を例としたが、推定部２２が用いるニューラルネットワークが事前判定用ニューラルネットを兼ねてもよい。
　この場合、推定部２２が用いるニューラルネットワークは、予め眼底写真と分かっている画像データを複数入力し、当該画像データのそれぞれが目について所定の症状にある旨の確率（例えば緑内障であると診断する医師の割合等）と、所定の症状にはない旨の確率（例えば緑内障でないと診断する医師の割合）とを教師データとして機械学習しておくものとする。このようにすると、当該ニューラルネットワークは、入力された画像データに対して当該画像データが目の眼底写真であった場合に、所定の症状にある旨の確率と、所定の症状にはない旨の確率とをともに推定することとなる。
　この例では、受入部２１は、入力された画像データをそのまま推定部２２に出力し、推定部２２が出力する情報である、所定の症状にある旨の確率Ｐpと、所定の症状にはない旨の確率Ｐnとを参照し、これらの確率Ｐp，Ｐnがいずれも予め定めたしきい値を下回る場合（例えばいずれも４０％未満である場合）や、これらの確率の差の絶対値｜Ｐp－Ｐn｜が所定のしきい値を下回る（つまりこれらの確率Ｐp，Ｐnの差が所定のしきい値より小さい）場合など、予め定めた条件を満足することとなる場合に、推定ができないと判断して、その旨の情報を出力することとしてもよい。
　またこの予め定めた条件が満足されない場合（推定ができたと判断できる場合）は、推定部２２の出力を、出力部２３に出力することとしてもよい。
　さらに受入部２１は、これらの判断を組み合わせて用いてもよい。例えば、受入部２１は、入力された画像データのＳ／Ｎ比を調べ、Ｓ／Ｎ比が予め定めた値よりも大きい（ノイズが比較的少ない）と判断されるときに、さらに当該画像データのうちから視神経乳頭部が抽出できるかを試みる。そして受入部２１は、視神経乳頭部が抽出できたと判断できたときに、推定部２２に対して当該画像データを出力することとしてもよい。
　このように、本実施の形態の一例では、推定部２２による推定を出力する前に、推定部２２が十分な推定ができる画像データを受け入れたかを判断し、十分な推定ができると判断できた場合に、推定部２２による推定結果を出力することとしているので、推定が十分にできない画像データに対しての推定結果を出力してしまうことがなくなる。
　１　画像処理装置、１１　制御部、１２　記憶部、１３　操作部、１４　表示部、１５　入出力部、２１　受入部、２２　推定部、２３　出力部。

 

Claims (6)

  1. 　眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とを互いに関連付けた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を機械学習した状態にある機械学習結果を保持する保持手段と、
    　処理の対象となる眼底写真の画像データを受け入れる受入手段と、
    　前記受け入れた画像データに基づく入力データと、前記機械学習結果とを用いて、処理の対象となった眼底写真に係る目についての前記目の症状に関する情報を推定する推定手段と、
    　当該推定の結果を出力する手段と、
    　を含む画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記推定手段は、前記受入手段が受け入れた画像データから、視神経乳頭部に相当する画像の範囲を特定し、当該特定した画像範囲を含む、前記受け入れた画像データの一部である部分画像データを抽出し、当該抽出した部分画像データと、前記機械学習結果とを用いて、処理の対象となった眼底写真に係る目についての前記目の症状に関する情報を推定する画像処理装置。
  3. 　請求項２に記載の画像処理装置であって、
    　前記推定手段は、前記特定した画像範囲が、画像内の予め定めた位置となるよう、前記部分画像データを抽出する画像処理装置。
  4. 　請求項１から３のいずれか一項に記載の画像処理装置であって、
    　前記目の症状に関する情報は、
    　処理の対象となった眼底写真における視神経乳頭陥凹縁を表す曲線の情報である画像処理装置。
  5. 　請求項１から４のいずれか一項に記載の画像処理装置であって、
    　前記受入手段は、入力された画像データについて予め定めた条件を満足するか否かを判別し、前記条件を満足する画像データを、処理の対象となる眼底写真の画像データとして受け入れる画像処理装置。
  6. 　コンピュータを、
    　眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とを互いに関連付けた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を機械学習した状態にある機械学習結果を保持する保持手段と、
    　処理の対象となる眼底写真の画像データを受け入れる受入手段と、
    　前記受け入れた画像データに基づく入力データと、前記機械学習結果とを用いて、処理の対象となった眼底写真に係る目についての前記目の症状に関する情報を推定する推定手段と、
    　当該推定の結果を出力する手段と、
    として機能させるプログラム。

     
PCT/JP2018/037580 2017-10-10 2018-10-09 画像処理装置及びプログラム WO2019073962A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019517853A JP6734475B2 (ja) 2017-10-10 2018-10-09 画像処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-196870 2017-10-10
JP2017196870 2017-10-10

Publications (1)

Publication Number Publication Date
WO2019073962A1 true WO2019073962A1 (ja) 2019-04-18

Family

ID=66100877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037580 WO2019073962A1 (ja) 2017-10-10 2018-10-09 画像処理装置及びプログラム

Country Status (2)

Country Link
JP (1) JP6734475B2 (ja)
WO (1) WO2019073962A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111938649A (zh) * 2019-05-16 2020-11-17 医疗财团法人徐元智先生医药基金会亚东纪念医院 利用神经网络从鼾声来预测睡眠呼吸中止的方法
CN112168135A (zh) * 2019-07-05 2021-01-05 顺天乡大学校产学协力团 基于人工智能的眼球疾病诊断装置及方法
WO2021162118A1 (ja) * 2020-02-12 2021-08-19 国立大学法人東海国立大学機構 画像診断支援装置、画像診断支援システム、および、画像診断支援方法
WO2024014461A1 (ja) * 2022-07-14 2024-01-18 学校法人東海大学 緑内障スクリーニング方法、眼科装置、プログラム、及び記録媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008062528A1 (fr) * 2006-11-24 2008-05-29 Nidek Co., Ltd. Analyseur d'image de fond d'œil
JP2011520503A (ja) * 2008-05-14 2011-07-21 エージェンシー フォー サイエンス，テクノロジー アンド リサーチ 自動陥凹乳頭比測定システム
JP2012019958A (ja) * 2010-07-14 2012-02-02 Canon Inc 画像処理装置、プログラムおよび記憶媒体
JP2012020061A (ja) * 2010-07-16 2012-02-02 Topcon Corp 眼底画像処理装置及び眼底観察装置
JP2013501553A (ja) * 2009-08-10 2013-01-17 カール ツァイス メディテック アクチエンゲゼルシャフト 緑内障の組み合わせ解析
JP2014504523A (ja) * 2011-01-20 2014-02-24 ユニバーシティ オブ アイオワ リサーチ ファウンデーション 血管画像における動静脈比の自動測定
JP2014104275A (ja) * 2012-11-29 2014-06-09 Osaka Univ 眼科装置
JP2015216939A (ja) * 2014-05-13 2015-12-07 株式会社三城ホールディングス 白内障検査装置および白内障判定プログラム
WO2016153877A1 (en) * 2015-03-26 2016-09-29 Eyekor, Llc Image analysis

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008062528A1 (fr) * 2006-11-24 2008-05-29 Nidek Co., Ltd. Analyseur d'image de fond d'œil
JP2011520503A (ja) * 2008-05-14 2011-07-21 エージェンシー フォー サイエンス，テクノロジー アンド リサーチ 自動陥凹乳頭比測定システム
JP2013501553A (ja) * 2009-08-10 2013-01-17 カール ツァイス メディテック アクチエンゲゼルシャフト 緑内障の組み合わせ解析
JP2012019958A (ja) * 2010-07-14 2012-02-02 Canon Inc 画像処理装置、プログラムおよび記憶媒体
JP2012020061A (ja) * 2010-07-16 2012-02-02 Topcon Corp 眼底画像処理装置及び眼底観察装置
JP2014504523A (ja) * 2011-01-20 2014-02-24 ユニバーシティ オブ アイオワ リサーチ ファウンデーション 血管画像における動静脈比の自動測定
JP2014104275A (ja) * 2012-11-29 2014-06-09 Osaka Univ 眼科装置
JP2015216939A (ja) * 2014-05-13 2015-12-07 株式会社三城ホールディングス 白内障検査装置および白内障判定プログラム
WO2016153877A1 (en) * 2015-03-26 2016-09-29 Eyekor, Llc Image analysis

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111938649A (zh) * 2019-05-16 2020-11-17 医疗财团法人徐元智先生医药基金会亚东纪念医院 利用神经网络从鼾声来预测睡眠呼吸中止的方法
JP2020185390A (ja) * 2019-05-16 2020-11-19 醫療財團法人徐元智先生醫藥基金會亞東紀念醫院 睡眠時無呼吸予測方法
CN112168135A (zh) * 2019-07-05 2021-01-05 顺天乡大学校产学协力团 基于人工智能的眼球疾病诊断装置及方法
KR20210004695A (ko) * 2019-07-05 2021-01-13 순천향대학교 산학협력단 인공지능 기반의 안구질병 진단장치 및 방법
KR102295426B1 (ko) * 2019-07-05 2021-08-30 순천향대학교 산학협력단 인공지능 기반의 안구질병 검출장치 및 방법
WO2021162118A1 (ja) * 2020-02-12 2021-08-19 国立大学法人東海国立大学機構 画像診断支援装置、画像診断支援システム、および、画像診断支援方法
WO2024014461A1 (ja) * 2022-07-14 2024-01-18 学校法人東海大学 緑内障スクリーニング方法、眼科装置、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JPWO2019073962A1 (ja) 2019-11-14
JP6734475B2 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
US11612311B2 (en) System and method of otoscopy image analysis to diagnose ear pathology
Tabassum et al. CDED-Net: Joint segmentation of optic disc and optic cup for glaucoma screening
CN110276356B (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
Hernandez-Matas et al. FIRE: fundus image registration dataset
Ding et al. A novel deep learning pipeline for retinal vessel detection in fluorescein angiography
JP6734475B2 (ja) 画像処理装置及びプログラム
Pathan et al. Automated segmentation and classifcation of retinal features for glaucoma diagnosis
Giancardo et al. Elliptical local vessel density: a fast and robust quality metric for retinal images
JP7270686B2 (ja) 画像処理システムおよび画像処理方法
Almustofa et al. Optic disc and optic cup segmentation on retinal image based on multimap localization and u-net convolutional neural network
Zhang et al. Microaneurysm (MA) detection via sparse representation classifier with MA and Non-MA dictionary learning
CN108665474B (zh) 一种基于b-cosfire的眼底图像视网膜血管分割方法
Singh et al. Optimized convolutional neural network for glaucoma detection with improved optic-cup segmentation
CN113012093A (zh) 青光眼图像特征提取的训练方法及训练系统
Verma et al. Machine learning classifiers for detection of glaucoma
CN113243914A (zh) 基于脑影像的评估方法及神经精神疾病评估系统
CN116030042B (zh) 一种针对医生目诊的诊断装置、方法、设备及存储介质
Niemeijer et al. Automated localization of the optic disc and the fovea
Dutta et al. Automatic evaluation and predictive analysis of optic nerve head for the detection of glaucoma
Santos et al. Deep neural network model based on one-stage detector for identifying fundus lesions
CN113538380B (zh) 经颅超声的黑质高回声强度定量化分析方法
Mittal et al. Optic disk and macula detection from retinal images using generalized motion pattern
Rao et al. OTONet: Deep Neural Network for Precise Otoscopy Image Classification
Lotankar et al. Glaucoma Screening using Digital Fundus Image through Optic Disc and Cup Segmentation
Gobinath et al. Deep convolutional neural network for glaucoma detection based on image classification

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019517853

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18865746

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18865746

Country of ref document: EP

Kind code of ref document: A1