WO2020140370A1 - 眼底出血点的自动检测方法、装置及计算机可读存储介质 - Google Patents

眼底出血点的自动检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2020140370A1
WO2020140370A1 PCT/CN2019/088641 CN2019088641W WO2020140370A1 WO 2020140370 A1 WO2020140370 A1 WO 2020140370A1 CN 2019088641 W CN2019088641 W CN 2019088641W WO 2020140370 A1 WO2020140370 A1 WO 2020140370A1
Authority
WO
WIPO (PCT)
Prior art keywords
fundus
bleeding
image
training
hemorrhage
Prior art date
Application number
PCT/CN2019/088641
Other languages
English (en)
French (fr)
Inventor
刘莉红
马进
王健宗
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020140370A1 publication Critical patent/WO2020140370A1/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present application relates to the field of artificial intelligence technology, and in particular to an automatic detection method, device and computer-readable storage medium for fundus bleeding.
  • Diabetic retinopathy is a major blinding disease. However, if diabetic patients can find and receive standard treatment in time, most can get rid of the risk of blindness. Almost all eye diseases can occur in people with diabetes. Such as fundus hemangioma, fundus hemorrhage, dacryocystitis, glaucoma, cataract, vitreous opacity, optic atrophy, macular degeneration, retinal detachment.
  • the fundus bleeding point is an important indicator for judging the severity of diabetic retinopathy. The judgment of bleeding point is the key first step in the automatic screening of diabetic retinopathy.
  • K-Nearest Neighbor Classification obtains the true red lesion area;
  • the third is the grayscale analysis method, which uses the background estimation method and the Euclidean distance classifier to detect the bleeding point, and then uses the background estimation to establish a DR automatic diagnosis system, and finally uses the local grayscale
  • the analysis method finds the candidate area of the red lesion, and then uses the classifier to realize the automatic detection of the red lesion.
  • the present application provides an automatic detection method, device and computer-readable storage medium for fundus hemorrhagic spots. Its main purpose is to provide an automatic detection scheme for realizing fundus hemorrhagic spots.
  • the automatic detection of the fundus bleeding point described in this application includes:
  • the present application also provides an apparatus, which includes a memory and a processor, and the memory stores an automatic detection program for a fundus bleeding point that can run on the processor, the fundus bleeding
  • the point automatic detection program is executed by the processor, the following steps are realized:
  • the present application also provides a computer-readable storage medium on which an automatic detection program for ocular hemorrhage points is stored.
  • the automatic detection program for ocular hemorrhage points may be one or The multiple processors execute to implement the steps of the automatic detection method of the fundus bleeding point as described above.
  • the method, device and computer-readable storage medium for automatic detection of fundus bleeding points proposed in this application collect eye fundus image data and perform data processing operations on the collected fundus images; use the fundus image data to make training samples; use the above The obtained training sample performs the training of the fundus bleeding point detection model; and calculates the probability value of the fundus bleeding point in the fundus image by using the trained fundus bleeding point detection model, and performs the bleeding point detection of the fundus image. Therefore, the present application can realize automatic detection of ocular hemorrhage points.
  • FIG. 1 is a schematic flowchart of an automatic detection method of a fundus bleeding point according to an embodiment of the application
  • FIG. 2 is a schematic diagram of an internal structure of a device provided by an embodiment of the present application.
  • FIG. 3 is a schematic block diagram of an automatic detection procedure of a fundus bleeding point in a device provided by an embodiment of the present application.
  • This application provides an automatic detection method for ocular hemorrhage.
  • FIG. 1 it is a schematic flowchart of an automatic method for detecting a fundus bleeding point according to an embodiment of the present application.
  • the method may be executed by a device, and the device may be implemented by software and/or hardware.
  • the preferred embodiment of the present application uses a 50-degree field of view (FOV) digital fundus camera (such as Kowa VX-10 ⁇ ) to collect the fundus image of the eyeball.
  • the positive and negative samples collected are 1:1, that is, those with focal bleeding sites are collected separately.
  • Fundus images of human eyes and fundus images of healthy human eyes all fundus images are required to be centered and close to the macula. If the eyeball image collected by the digital fundus camera is not centered and not close to the macula, it needs to be collected again.
  • the resolution of the fundus image collected by the digital fundus camera in this application is 4288 ⁇ 2848 pixels, and is stored in the computer in the format of jpg file.
  • the number of fundus images may be one hundred.
  • Fundamental image data can be cleaned up to provide better data for later model training.
  • the target area is obtained by trimming the background, and the target area is normalized in two steps to clean the image data.
  • the present application uses an iterative selection threshold method to cut the background to obtain the target area.
  • the basic idea of the iterative selection threshold method is to start selecting a threshold as the initial estimation threshold, and then continuously update this estimation threshold according to the iteration rules until the given conditions are met.
  • the key to the iterative selection threshold method lies in the selection of iteration rules. A good iteration rule must not only converge quickly, but also produce results superior to the last iteration in each iteration.
  • the iterative selection threshold method described in this application is used to reduce the background to obtain the target area including:
  • the fundus image is divided into two pixel regions R1 and R2 according to the pixel distribution;
  • the pixel range of the fundus image including the target area obtained above is too large, and it is not easy for model training.
  • the present application uses the idea of normalization to map the pixel range to within 0-1.
  • the present application uses a linear function conversion method to normalize the fundus image:
  • x and y are the pixel values before and after conversion
  • MaxValue and MinValue are the maximum pixel value and the minimum pixel value of the sample, respectively. Therefore, the pixels of the fundus image can be converted into the range of 0-1.
  • this application uses a filter of a convolutional neural network to filter the training sample to achieve the purpose of enhancing the amount of training data.
  • the filtering operation of the training data using the filter of the convolutional neural network includes:
  • the filter of the convolutional neural network uses the filter of the convolutional neural network to filter the training sample image for the first time.
  • the training sample image has the characteristics of high resolution and a large number of picture pixels, so this application first makes a filter of 64*64 pixel specification with a step size of 3 pixels, and filters the training sample image to obtain More training picture output.
  • this application For the fundus picture with bleeding points, if the image block contains lesions, this application will put it into the training set of positive samples. If the image block does not contain any lesions, this application will put it The training set of negative samples.
  • the preferred embodiment of the present application performs data enhancement processing on the obtained training samples. By performing random rotations of 90, 180, and 270 degrees on the images of the training samples, Get more training samples of different types of fundus.
  • the application samples up-sampling and down-sampling the training samples to obtain two different training samples, and then put the two different training samples into the fundus bleeding point detection model for training.
  • the fundus bleeding point detection model mainly checks whether the picture has a focus of the fundus bleeding point, and if so, marks the location of the focus of the fundus bleeding point.
  • the method for training the fundus bleeding point detection model mainly includes the following steps:
  • a. Perform up and down sampling on the training samples.
  • the up and down sampling step is to improve the ability of the fundus hemorrhagic point detection model to detect the bleeding point disease in different environments.
  • subsampling is an image of downsampling training samples
  • upsampling is an image of enlarging training samples.
  • the fundus bleeding point detection model described in this application uses the RCNN (Regions with CNN features) algorithm to detect the lesions of the fundus bleeding point.
  • the RCNN is an algorithm that applies the convolutional neural network method to the target detection problem. With the help of the good feature extraction and classification performance of the convolutional neural network, the target detection problem is transformed by the region nomination (RegionProposal) method.
  • the training of the fundus bleeding point detection model using the training samples after upsampling includes:
  • the convolutional neural network model used in this application is VGG (Visual Geometry Group).
  • the convolution kernel of VGG is smaller, which is a 3x3 specification, because multiple convolution layers of smaller convolution kernels are used instead of one larger convolution kernel.
  • the convolutional layer can reduce the parameters, on the other hand, it is equivalent to more nonlinear mapping, which can increase the feature extraction ability of the convolutional neural network model for the fundus hemorrhage lesions.
  • the convolutional layer step is set to 1.
  • Each layer of convolution kernel is followed by pooling layer. However, in this application, only the convolutional layer and the pooling layer of the first 13 layers of the VGG model are used to extract features, and the fully connected layers behind are discarded.
  • this application uses softmax classifier to classify and distinguish. If there is no feature vector of the fundus hemorrhage spot lesions in the picture, it is judged as a normal eye. When the fundus hemorrhage spot lesion is detected The features are marked as pictures with bleeding spots.
  • the location of the fundus bleeding spots determines the location of the fundus bleeding spots by boundary regression.
  • the four-dimensional vector (x, y, w, h) is used to represent the location of the bleeding point lesion, where x, y represent the coordinates of the center point of the window, w, h indicates the width and height to obtain the accurate focus area of the bleeding point of the fundus.
  • this application applies the model to the automatic detection of fundus bleeding points.
  • the present application uniformly generates image blocks with 32 steps for the fundus image, and applies the fundus bleeding point detection model to each image block to obtain the probability that the image block may be a bleeding point, and finally calculates the probability distribution map To determine if there are bleeding spots on the fundus and complete the automatic detection process.
  • the present application also provides a device for performing automatic detection of a fundus bleeding point.
  • FIG. 2 it is a schematic diagram of an internal structure of a device provided by an embodiment of the present application.
  • the device 1 may be a terminal device such as a smart phone, a tablet computer, a portable computer, a PC (Personal Computer), or a server, a server group, or the like.
  • the device 1 includes at least a memory 11, a processor 12, a communication bus 13, and a network interface 14.
  • the memory 11 includes at least one type of readable storage medium, and the readable storage medium includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), magnetic memory, magnetic disk, optical disk, and the like.
  • the memory 11 may be an internal storage unit of the device 1 in some embodiments, such as the hard disk of the device 1.
  • the memory 11 may also be an external storage device of the device 1, such as a plug-in hard disk equipped on the device 1, a smart memory card (Smart, Media, Card, SMC), or a secure digital (SD) card. Flash card (Flash Card), etc.
  • the memory 11 may also include both the internal storage unit of the apparatus 1 and the external storage device.
  • the memory 11 can be used not only to store application software installed on the device 1 and various types of data, such as codes of an automatic detection program 01 for fundus bleeding points, but also to temporarily store data that has been or will be output.
  • the processor 12 may be a central processing unit (CPU), controller, microcontroller, microprocessor, or other data processing chip for running the program code or processing stored in the memory 11 Data, for example, the automatic detection program 01 of the fundus bleeding point is executed.
  • CPU central processing unit
  • controller microcontroller
  • microprocessor or other data processing chip for running the program code or processing stored in the memory 11 Data, for example, the automatic detection program 01 of the fundus bleeding point is executed.
  • the communication bus 13 is used to realize connection and communication between these components.
  • the network interface 14 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface), and is generally used to establish a communication connection between the device 1 and other electronic devices.
  • the device 1 may further include a user interface.
  • the user interface may include a display (Display), an input unit such as a keyboard (Keyboard), and the optional user interface may further include a standard wired interface and a wireless interface.
  • the display may be an LED display, a liquid crystal display, a touch-sensitive liquid crystal display, an OLED (Organic Light-Emitting Diode, organic light emitting diode) touch device, or the like.
  • the display may also be appropriately called a display screen or a display unit, for displaying information processed in the device 1 and for displaying a visual user interface.
  • FIG. 2 only shows the device 1 having the components 11-14 and the automatic detection program 01 of the fundus bleeding point.
  • FIG. 1 does not constitute a limitation on the device 1, and may include There are fewer or more components than shown, or some components are combined, or different components are arranged.
  • the automatic detection program 01 of the fundus bleeding point is stored in the memory 11; the processor 12 implements the following steps when executing the automatic detection program 01 of the fundus bleeding point stored in the memory 11:
  • Step 1 Collect the fundus image data of the eyeball and perform a cleaning operation on the collected fundus image data.
  • the preferred embodiment of the present application uses a 50-degree field of view (FOV) digital fundus camera (such as Kowa VX-10 ⁇ ) to collect the fundus image of the eyeball.
  • the positive and negative samples collected are 1:1, that is, those with focal bleeding sites are collected separately.
  • Fundus images of human eyes and fundus images of healthy human eyes all fundus images are required to be centered and close to the macula. If the eyeball image collected by the digital fundus camera is not centered and not close to the macula, it needs to be collected again.
  • the resolution of the fundus image collected by the digital fundus camera in this application is 4288 ⁇ 2848 pixels, and is stored in the computer in the format of jpg file.
  • the number of fundus images may be one hundred.
  • Fundamental image data can be cleaned up to provide better data for later model training.
  • the target area is obtained by trimming the background, and the target area is normalized in two steps to clean the image data.
  • the present application uses an iterative selection threshold method to cut the background to obtain the target area.
  • the basic idea of the iterative selection threshold method is to start selecting a threshold as the initial estimation threshold, and then continuously update this estimation threshold according to the iteration rules until the given conditions are met.
  • the key to the iterative selection threshold method lies in the selection of iteration rules. A good iteration rule must not only converge quickly, but also produce results superior to the last iteration in each iteration.
  • the iterative selection threshold method described in this application is used to reduce the background to obtain the target area including:
  • the fundus image is divided into two pixel regions R1 and R2 according to the pixel distribution;
  • the pixel range of the fundus image including the target area obtained above is too large, and it is not easy for model training.
  • the present application uses the idea of normalization to map the pixel range to within 0-1.
  • the present application uses a linear function conversion method to normalize the fundus image:
  • x and y are the pixel values before and after conversion
  • MaxValue and MinValue are the maximum pixel value and the minimum pixel value of the sample, respectively. Therefore, the pixels of the fundus image can be converted into the range of 0-1.
  • Step 2 Use the above-mentioned fundus image data to make a training sample of a fundus bleeding point detection model.
  • this application uses a filter of a convolutional neural network to filter the training sample to achieve the purpose of enhancing the amount of training data.
  • the filtering operation of the training data using the filter of the convolutional neural network includes:
  • the filter of the convolutional neural network uses the filter of the convolutional neural network to filter the training sample image for the first time.
  • the training sample image has the characteristics of high resolution and a large number of picture pixels, so this application first makes a filter of 64*64 pixel specification with a step size of 3 pixels, and filters the training sample image to obtain More training picture output.
  • this application For the fundus picture with bleeding points, if the image block contains lesions, this application will put it into the training set of positive samples. If the image block does not contain any lesions, this application will put it The training set of negative samples.
  • the preferred embodiment of the present application performs data enhancement processing on the obtained positive and negative sample training sets, by performing 90, 180, and 270 degree randomization on the images of the training samples Rotation can obtain more training samples of different types of fundus.
  • Step 3 Use the training samples obtained above to perform the training of the fundus bleeding point detection model.
  • the application After the training samples are completed, the application upsamples and downsamples the positive and negative sample training sets to obtain two different training samples, and then puts the two different training samples into the fundus bleeding point detection model. Training.
  • the fundus bleeding point detection model mainly checks whether the picture has a focus of the fundus bleeding point, and if so, marks the location of the focus of the fundus bleeding point.
  • the method for training the fundus bleeding point detection model mainly includes the following steps:
  • a. Perform up and down sampling on the positive and negative sample training set.
  • the up and down sampling step is to improve the ability of the fundus hemorrhagic point detection model to detect the bleeding point disease in different environments.
  • subsampling is an image of downsampling training samples
  • upsampling is an image of enlarging training samples.
  • the fundus bleeding point detection model described in this application uses the RCNN (Regions with CNN features) algorithm to detect the lesions of the fundus bleeding point.
  • the RCNN is an algorithm that applies the convolutional neural network method to the target detection problem. With the help of the good feature extraction and classification performance of the convolutional neural network, the target detection problem is transformed by the region nomination (RegionProposal) method.
  • the training of the fundus bleeding point detection model using the training samples after upsampling includes:
  • the convolutional neural network model used in this application is VGG (Visual Geometry Group).
  • the convolution kernel of VGG is smaller, which is a 3x3 specification, because multiple convolution layers of smaller convolution kernels are used instead of one larger convolution kernel.
  • the convolutional layer can reduce the parameters, on the other hand, it is equivalent to more nonlinear mapping, which can increase the feature extraction ability of the convolutional neural network model for the fundus hemorrhage lesions.
  • the convolutional layer step is set to 1.
  • Each layer of convolution kernel is followed by pooling layer. However, in this application, only the convolutional layer and the pooling layer of the first 13 layers of the VGG model are used to extract features, and the fully connected layers behind are discarded.
  • this application uses softmax classifier to classify and distinguish. If there is no feature vector of the fundus hemorrhage spot lesions in the picture, it is judged as a normal eye. When the fundus hemorrhage spot lesion is detected The features are marked as pictures with bleeding spots.
  • x, y, w, h four-dimensional vectors (x, y, w, h) are used to indicate the location of bleeding site lesions, where x, y represent the coordinates of the center point of the window, w, h indicates the width and height to obtain the accurate focus area of the bleeding point of the fundus.
  • Step 4 Use the fundus bleeding point detection model to perform automatic detection of fundus bleeding points.
  • this application applies the model to the automatic detection of fundus bleeding points.
  • the application generates image blocks uniformly in 32 steps for the fundus image, and applies the fundus bleeding point detection model to each image block to obtain the probability that the image block may be a bleeding point, and finally calculates the probability distribution map To determine if there are bleeding spots on the fundus and complete the automatic detection process.
  • the automatic detection program 01 of the fundus bleeding point may also be divided into one or more modules, and the one or more modules are stored in the memory 11 and composed of one or more
  • the processor (the processor 12 in this embodiment) is executed to complete the application.
  • the module referred to in the application refers to a series of computer program instruction segments capable of performing specific functions. Describe the execution process in the device.
  • FIG. 3 it is a schematic diagram of a program module of an automatic detection program of a fundus bleeding point in an embodiment of the apparatus of the present application.
  • the automatic detection program 01 of a fundus bleeding point may be divided into a data collection module 10 , Sample data production module 20, model training module 30, and bleeding point detection module 40.
  • a data collection module 10 may be divided into a data collection module 10 , Sample data production module 20, model training module 30, and bleeding point detection module 40.
  • the data collection module 10 is used to collect fundus image data of the eyeball and perform data processing operations on the collected fundus image.
  • the data cleaning operations described in this application include:
  • the target area obtained through background reduction includes:
  • the fundus image is divided into two pixel regions R1 and R2 according to the pixel distribution;
  • the normalization of the target area includes:
  • x and y are the pixel values before and after conversion
  • MaxValue and MinValue are the maximum pixel value and the minimum pixel value of the sample, respectively. Therefore, the pixels of the fundus image can be converted into the range of 0-1.
  • the sample data making module 20 is used to make a training sample of a fundus hemorrhage point detection model using the fundus image data.
  • this application uses a filter of a convolutional neural network to perform filtering operations on the training samples and perform data enhancement to prepare the training samples of the fundus bleeding point detection model, including:
  • the preferred embodiment of the present application performs data enhancement processing on the obtained training samples. By performing random rotations of 90, 180, and 270 degrees on the images of the training samples, Get more training samples of different types of fundus.
  • the model training module 30 is used to perform training of the fundus bleeding point detection model using the training samples obtained above.
  • the method of training the fundus bleeding point detection model includes:
  • the bleeding point detection module 40 is used to: use the above-mentioned trained fundus bleeding point detection model to perform bleeding point detection on the fundus image, and output the probability value of the bleeding point.
  • the present application uniformly generates image blocks in 32 steps for the fundus image, and applies the fundus bleeding point detection model to each image block to obtain the probability that the image block may be a bleeding point, and finally calculates the probability distribution map to determine Whether there are bleeding spots on the fundus, complete the automatic detection process.
  • the program modules such as the data collection module 10, the sample data production module 20, the model training module 30, and the bleeding point detection module 40 that are executed when the program modules are executed are substantially the same as the above embodiments, and are not repeated here.
  • embodiments of the present application also provide a computer-readable storage medium on which is stored an automatic detection program for ocular fundus bleeding points, and the automatic detection program for ocular fundus bleeding points may be processed by one or more To execute the following operations:
  • the specific implementation of the computer-readable storage medium of the present application is basically the same as the embodiments of the above-mentioned automatic detection device and method of the fundus hemorrhage point, and will not be repeated here.
  • the methods in the above embodiments can be implemented by means of software plus the necessary general hardware platform, and of course, can also be implemented by hardware, but in many cases the former is better Implementation.
  • the technical solution of the present application can be embodied in the form of a software product in essence or part that contributes to the prior art, and the computer software product is stored in a storage medium (such as ROM/RAM) as described above , Magnetic disks, and optical disks), including several instructions to enable a terminal device (which may be a mobile phone, computer, server, or network device, etc.) to execute the methods described in the embodiments of the present application.

Abstract

一种眼底出血点的自动检测装置、计算机可读存储介质和方法，该方法包括：S1、采集眼球的眼底图像数据，并对所采集的眼底图像执行数据处理操作；S2、利用所述眼底图像数据制作训练样本；S3、利用上述获得的训练样本执行眼底出血点检测模型的训练；S4、利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测。

Description

眼底出血点的自动检测方法、装置及计算机可读存储介质
本申请要求于2019年1月4日提交中国专利局，申请号为201910008187.2、发明名称为“眼底出血点的自动检测方法、装置及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，尤其涉及一种眼底出血点的自动检测方法、装置及计算机可读存储介质。
背景技术
糖尿病视网膜病变是一种主要的致盲疾病，然而糖尿病患者如果能及时发现并且获得规范的治疗，多数可以摆脱失明的危险。几乎所有的眼病都可能发生在糖尿病患者身上。如眼底血管瘤、眼底出血、泪囊炎、青光眼、白内障、玻璃体浑浊、视神经萎缩、黄斑变性、视网膜脱落。而眼底出血点是判断糖尿病视网膜病严重程度重要的一个指标，出血点的判断是糖尿病视网膜病变自动筛选的关键第一步。
目前，已有很多学者对出血点的检测进行了研究，主要方法有3种：一是数学形态学方法，首先利用形态学填充的方法检测红色病灶，后使用形态学高帽变换方法得到出血点；二是分类器方法，Li等科学研究者提出了一种基于网格特征分类的视网膜大面积出血的检测方法，首先对眼底图像中每个像素进行分类，分割出血管和红色病灶，再利用K近邻分类得到真正的红色病灶区；三是灰度分析方法，利用基于背景估计的方法及欧氏距离分类器检测出血点，再使用背景估计建立了一个DR自动诊断系统，最后使用局部灰度分析的方法找到红色病灶的候选区，然后利用分类器实现红色病灶的自动检测。
虽然上述方法均实现了出血点的自动检测，但存在误检率高、漏检率高、运算复杂等问题。此外，时间复杂度高，窗口冗余，且手工设计的特征对于多样性的变化并没有很好的鲁棒性，总体来说，对眼底出血点的检测难以达到较高的准确率。
发明内容
本申请提供一种眼底出血点的自动检测方法、装置及计算机可读存储介质，其主要目的在于提供一种实现眼底出血点的自动检测方案。
本申请所述眼底出血点的自动检测包括：
采集眼球的眼底图像数据，并对所采集的眼底图像执行数据处理操作；
利用所述眼底图像数据制作训练样本；
利用上述得到的训练样本执行眼底出血点检测模型的训练；及
利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测。
此外，为实现上述目的，本申请还提供一种装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的眼底出血点的自动检测程序，所述眼底出血点的自动检测程序被所述处理器执行时实现如下步骤：
采集眼球的眼底图像数据，并对所采集的眼底图像执行数据处理操作；
利用所述眼底图像数据制作训练样本；
利用上述得到的训练样本执行眼底出血点检测模型的训练；及
利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有眼底出血点的自动检测程序，所述眼底出血点的自动检测程序可被一个或者多个处理器执行，以实现如上所述的眼底出血点的自动检测方法的步骤。
本申请提出的眼底出血点的自动检测方法、装置及计算机可读存储介质采集眼球的眼底图像数据，并对所采集的眼底图像执行数据处理操作；利用所述眼底图像数据制作训练样本；利用上述得到的训练样本执行眼底出血点检测模型的训练；及利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测。因此，本申请可以实现眼底出血点的自动检测。
附图说明
图1为本申请一实施例提供的眼底出血点的自动检测方法的流程示意图；
图2为本申请一实施例提供的装置的内部结构示意图；
图3为本申请一实施例提供的装置中眼底出血点的自动检测程序的模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，所述“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
进一步地，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
本申请提供一种眼底出血点的自动检测方法。
详细地，参照图1所示，为本申请一实施例提供的眼底出血点的自动检测方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
S1、采集眼球的眼底图像数据，并对所采集的眼底图像数据执行清理操作。
本申请较佳实施例使用50度视场(FOV)的数字眼底相机(如Kowa VX-10α)采集眼球的眼底图像，采集的正负样本为1:1，即分别采集有眼底出血点病灶的人眼的眼底图像和健康人眼的眼底图像，所有眼底图像都要求居中且靠近黄斑。如果数字眼底相机采集的眼球图片非居中且不靠近黄斑，需重新采集。较佳地，本申请使用数字眼底相机采集的眼底图像的分辨率为4288×2848像素，且以jpg文件格式存储在计算机中。本申请较佳实施例中，眼底图像的数量可以是一百张。
眼底图像数据执行清理操作可以为后期模型训练提供更优质的数据。本方法主要通过裁减背景得到目标区域、并对目标区域进行归一化这两个步骤，进行图像数据清洗处理。
优选地，本申请利用迭代选择阈值法裁减背景，得到目标区域。所述迭代选择阈值法的基本思想是：开始选择一个阈值作为初始估计阈值，然后按照迭代规则不断地更新这一估计阈值，直到满足给定的条件为止。迭代选择阈值法关键在于选择迭代规则。一个好的迭代规则必须既能够快速收敛，又能够在每一个迭代过程中产生优于上次迭代的结果。详细地，本申请所述利用迭代选择阈值法裁减背景，得到目标区域包括：
A、选择一个初始估计阈值T，对于阈值T的取值没有要求，可随意选择；
B、利用所述初始估计阈值T，根据像素分布，把眼底图像分为R1和R2两个像素区域；
C、对区域R1和R2中的所有像素计算平均灰度值μ1和μ2；
D、由公式：
Figure PCTCN2019088641-appb-000001
计算出新的阈值；
E、重复上述的步骤B-D,直到逐次迭代所得的阈值T值小于预先定义的参数，然后根据该阈值T，得到背景图像和包含目标区域的眼底图像。
上述得到的包含目标区域的眼底图像像素范围太大，不易于模型训练，本申请利用归一化的思想，将像素范围映射到在0-1内。
优选地，本申请采用线性函数转换法归一化眼底图像：
y＝(x-MinValue)/(MaxValue-MinValue)
其中，x、y分别为转换前、后的像素值，MaxValue、MinValue分别为样本的最大像素值和最小值像素值。由此可将眼底图像像素转换成在0-1范围内。
S2、利用上述眼底图像数据制作眼底出血点检测模型的训练样本。
如上所述，本申请采集的眼底图像仅一百张，这么少的训练样本数据量不足以用深度学习方法取得良好效果，模型很容易发生过拟合。为了解决训练样本数据量少的问题，本申请使用卷积神经网络的滤波器对训练样本进行过滤操作，以达到增强训练数据量的目的。
所述使用卷积神经网络的滤波器对训练数据进行过滤操作包括：
Ⅰ、利用卷积神经网络的滤波器初次过滤训练样本图像。如上所述，训练样本图像具有高分辨率的特性，图片像素数量多，所以本申请首先制作64*64像素规格的滤波器，步长为3个像素，对所述训练样本图像进行过滤，得到更多的训练图片输出，对于有出血点的眼底图片，如果该图像块包含有病灶，本申请将其放入正样本的训练集，如果该图像块没有包含任何病灶，本申请将其放入负样本的训练集。
Ⅱ、利用卷积神经网络的滤波器再次过滤正负样本训练集。初次过滤得到的训练图片，会将原始的训练样本图像数量扩大几十倍，至几万张，且分为了正负样本。本次将滤波器调整为16*16像素规格，步长为1个像素，分别过滤正负样本，最后达到10万数量级训练样本，完成训练样本的制作。
Ⅲ、对训练样本执行所述镜面处理。为了进一步增加训练样本的数据量，提高模型的泛化能力，本申请较佳实施例对得到的训练样本做数据增强处理，通过对训练样本的图像执行90、180和270度的随机旋转，可得到更多不同类型的眼底的训练样本。
S3、利用上述得到的训练样本执行眼底出血点检测模型的训练。
训练样本制作完成后，本申请对所述训练样本分别上采样和下采样处理后得到两个不同的训练样本，然后分别将所述两个不同的训练样本放入眼底 出血点检测模型中进行训练。在整个训练过程中，眼底出血点检测模型主要检查图片是否有眼底出血点的病灶，若有则标记眼底出血点的病灶位置。
所述眼底出血点检测模型的训练的方法主要包括如下步骤：
a、对所述训练样本执行上下采样。上下采样步骤是为了提高眼底出血点检测模型在不同环境下，对出血点病症的侦测能力。本申请所述下采样(subsampled)是缩小训练样本的图像，上采样(upsampling)是放大训练样本的图像。
b、用上下采样后的训练样本训练所述眼底出血点检测模型。本申请所述眼底出血点检测模型使用RCNN(Regions with CNN features)算法对眼底出血点的病灶进行检测。所述RCNN是将卷积神经网络方法应用到目标检测问题上的算法，借助卷积神经网络良好的特征提取和分类性能，通过区域提名(RegionProposal)方法实现目标检测问题的转化。
所述用上下采样后的训练样本训练所述眼底出血点检测模型包括：
b1、利用卷积神经网络模型提取眼底出血点病灶的特征向量。本申请使用的卷积神经网络模型是VGG(Visual Geometry Group)，VGG的卷积核较小，是3x3规格，因为使用多个较小卷积核的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于是进行了更多的非线性映射，可以增加卷积神经网络模型对眼底出血点病灶的特征提取能力，卷积层步长设置为1。每层卷积核后紧跟池化层。但本申请只使用VGG模型前13层的卷积层和池化层是提取特征，舍去后面的全连层。
b2、对上一步输出的眼底出血点病灶的特征向量，本申请利用softmax分类器进行分类判别，若图片中无眼底出血点病灶的特征向量，则判别为正常眼睛，当检查到眼底出血点病灶的特征，则标记为有出血点的图片。
b3、对于含有出血点的图片，通过边界回归确定眼底出血点病灶位置。针对于含有出血点的图片，通过边界回归(bounding-box regression)，使用四维向量(x，y，w，h)表示出血点病灶位置，其中，x，y表示窗口的中心点坐标，w，h表示宽高，得到准确的眼底出血点病灶区域。
S4、利用所述眼底出血点检测模型执行眼底出血点的自动检测。
眼底出血点检测模型训练好后，本申请将该模型应用于眼底出血点的自动检测中。在检测过程中，本申请对眼底图像以32步长均匀地产生图像块， 对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，最后统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
本申请还提供一种执行眼底出血点的自动检测的装置。参照图2所示，为本申请一实施例提供的装置的内部结构示意图。
在本实施例中，所述装置1可以是智能手机、平板电脑、便携计算机等终端设备，可以是PC(Personal Computer，个人电脑)，也可以是服务器、服务器群组等。该装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是装置1的内部存储单元，例如该装置1的硬盘。存储器11在另一些实施例中也可以是装置1的外部存储设备，例如装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于装置1的应用软件及各类数据，例如眼底出血点的自动检测程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行眼底出血点的自动检测程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting  Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及眼底出血点的自动检测程序01的装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有眼底出血点的自动检测程序01；处理器12执行存储器11中存储的眼底出血点的自动检测程序01时实现如下步骤：
步骤一、采集眼球的眼底图像数据，并对所采集的眼底图像数据执行清理操作。
本申请较佳实施例使用50度视场(FOV)的数字眼底相机(如Kowa VX-10α)采集眼球的眼底图像，采集的正负样本为1:1，即分别采集有眼底出血点病灶的人眼的眼底图像和健康人眼的眼底图像，所有眼底图像都要求居中且靠近黄斑。如果数字眼底相机采集的眼球图片非居中且不靠近黄斑，需重新采集。较佳地，本申请使用数字眼底相机采集的眼底图像的分辨率为4288×2848像素，且以jpg文件格式存储在计算机中。本申请较佳实施例中，眼底图像的数量可以是一百张。
眼底图像数据执行清理操作可以为后期模型训练提供更优质的数据。本申请主要通过裁减背景得到目标区域、并对目标区域进行归一化这两个步骤，进行图像数据清洗处理。
优选地，本申请利用迭代选择阈值法裁减背景，得到目标区域。所述迭代选择阈值法的基本思想是：开始选择一个阈值作为初始估计阈值，然后按照迭代规则不断地更新这一估计阈值，直到满足给定的条件为止。迭代选择阈值法关键在于选择迭代规则。一个好的迭代规则必须既能够快速收敛，又能够在每一个迭代过程中产生优于上次迭代的结果。详细地，本申请所述利用迭代选择阈值法裁减背景，得到目标区域包括：
A、选择一个初始估计阈值T，对于阈值T的取值没有要求，可随意选择；
B、利用所述初始估计阈值T，根据像素分布，把眼底图像分为R1和R2两个像素区域；
C、对区域R1和R2中的所有像素计算平均灰度值μ1和μ2；
D、由公式：
Figure PCTCN2019088641-appb-000002
计算出新的阈值；
E、重复上述的步骤B-D,直到逐次迭代所得的阈值T值小于预先定义的参数，然后根据该阈值T，得到背景图像和包含目标区域的眼底图像。
上述得到的包含目标区域的眼底图像像素范围太大，不易于模型训练，本申请利用归一化的思想，将像素范围映射到在0-1内。
优选地，本申请采用线性函数转换法归一化眼底图像：
y＝(x-MinValue)/(MaxValue-MinValue)，
其中，x、y分别为转换前、后的像素值，MaxValue、MinValue分别为样本的最大像素值和最小值像素值。由此可将眼底图像像素转换成在0-1范围内。
步骤二、利用上述眼底图像数据制作眼底出血点检测模型的训练样本。
如上所述，本申请采集的眼底图像仅一百张，这么少的训练样本数据量不足以用深度学习方法取得良好效果，模型很容易发生过拟合。为了解决训练样本数据量少的问题，本申请使用卷积神经网络的滤波器对训练样本进行过滤操作，以达到增强训练数据量的目的。
所述使用卷积神经网络的滤波器对训练数据进行过滤操作包括：
Ⅰ、利用卷积神经网络的滤波器初次过滤训练样本图像。如上所述，训练样本图像具有高分辨率的特性，图片像素数量多，所以本申请首先制作64*64像素规格的滤波器，步长为3个像素，对所述训练样本图像进行过滤，得到更多的训练图片输出，对于有出血点的眼底图片，如果该图像块包含有病灶，本申请将其放入正样本的训练集，如果该图像块没有包含任何病灶，本申请将其放入负样本的训练集。
Ⅱ、利用卷积神经网络的滤波器再次过滤正负样本训练集。初次过滤得到的训练图片，会将原始的训练样本图像数量扩大几十倍，至几万张，且分为了正负样本。本次将滤波器调整为16*16像素规格，步长为1个像素，分别过滤正负样本，最后达到10万数量级训练样本，完成训练样本的制作。
Ⅲ、对训练样本执行所述镜面处理。为了进一步增加训练样本的数据量，提高模型的泛化能力，本申请较佳实施例对得到的正负样本训练集做数据增 强处理，通过对训练样本的图像执行90、180和270度的随机旋转，可得到更多不同类型的眼底的训练样本。
步骤三、利用上述得到的训练样本执行眼底出血点检测模型的训练。
训练样本制作完成后，本申请对所述正负样本训练集分别上采样和下采样处理后得到两个不同的训练样本，然后分别将所述两个不同的训练样本放入眼底出血点检测模型中进行训练。在整个训练过程中，眼底出血点检测模型主要检查图片是否有眼底出血点的病灶，若有则标记眼底出血点的病灶位置。
所述眼底出血点检测模型的训练的方法主要包括如下步骤：
a、对所述正负样本训练集执行上下采样。上下采样步骤是为了提高眼底出血点检测模型在不同环境下，对出血点病症的侦测能力。本申请所述下采样(subsampled)是缩小训练样本的图像，上采样(upsampling)是放大训练样本的图像。
b、用上下采样后的正负样本训练集训练所述眼底出血点检测模型。本申请所述眼底出血点检测模型使用RCNN(Regions with CNN features)算法对眼底出血点的病灶进行检测。所述RCNN是将卷积神经网络方法应用到目标检测问题上的算法，借助卷积神经网络良好的特征提取和分类性能，通过区域提名(RegionProposal)方法实现目标检测问题的转化。
所述用上下采样后的训练样本训练所述眼底出血点检测模型包括：
b1、利用卷积神经网络模型提取眼底出血点病灶的特征向量。本申请使用的卷积神经网络模型是VGG(Visual Geometry Group)，VGG的卷积核较小，是3x3规格，因为使用多个较小卷积核的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于是进行了更多的非线性映射，可以增加卷积神经网络模型对眼底出血点病灶的特征提取能力，卷积层步长设置为1。每层卷积核后紧跟池化层。但本申请只使用VGG模型前13层的卷积层和池化层是提取特征，舍去后面的全连层。
b2、对上一步输出的眼底出血点病灶的特征向量，本申请利用softmax分类器进行分类判别，若图片中无眼底出血点病灶的特征向量，则判别为正常眼睛，当检查到眼底出血点病灶的特征，则标记为有出血点的图片。
b3、对于含有出血点的图片，通过边界回归确定眼底出血点病灶位置。针对于含有出血点的图片，通过边界回归(bounding-box regression)，使用四维向量(x，y，w，h)表示出血点病灶位置，其中，x，y表示窗口的中心点坐标，w，h表示宽高，得到准确的眼底出血点病灶区域。
步骤四、利用所述眼底出血点检测模型执行眼底出血点的自动检测。
眼底出血点检测模型训练好后，本申请将该模型应用于眼底出血点的自动检测中。在检测过程中，本申请对眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，最后统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
可选地，在本申请实施例中，所述眼底出血点的自动检测程序01还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本申请，本申请所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述眼底出血点的自动检测程序在所述装置中的执行过程。
例如，参照图3所示，为本申请装置一实施例中的眼底出血点的自动检测程序的程序模块示意图，该实施例中，眼底出血点的自动检测程序01可以被分割为数据采集模块10、样本数据制作模块20、模型训练模块30、及出血点检测模块40。示例性地：
所述数据采集模块10用于：采集眼球的眼底图像数据，并对所采集的眼底图像执行数据处理操作。
本申请所述数据清理操作包括：
通过裁减背景得到目标区域；
对目标区域进行归一化。
其中，所述通过裁减背景得到目标区域包括：
A、随机选择一个初始估计阈值T；
B、利用所述初始估计阈值T，根据像素分布，把眼底图像分为R1和R2两个像素区域；
C、对区域R1和R2中的所有像素计算平均灰度值μ1和μ2；
D、由公式：
Figure PCTCN2019088641-appb-000003
计算出新的阈值；
E、重复上述的步骤B-D,直到逐次迭代所得的阈值T值小于预先定义的参数，然后根据该阈值T，得到背景图像和包含目标区域的眼底图像。
其中，对目标区域进行归一化包括：
采用线性函数转换法归一化眼底图像：
y＝(x-MinValue)/(MaxValue-MinValue)，
其中，x、y分别为转换前、后的像素值，MaxValue、MinValue分别为样本的最大像素值和最小值像素值。由此可将眼底图像像素转换成在0-1范围内。
所述样本数据制作模块20用于：利用上述眼底图像数据制作眼底出血点检测模型的训练样本。
优选地，本申请使用卷积神经网络的滤波器对训练样本进行过滤操作，进行数据增强，以制作所述眼底出血点检测模型的训练样本，包括：
Ⅰ、利用卷积神经网络的滤波器初次过滤训练样本图像；
Ⅱ、利用卷积神经网络的滤波器再次过滤正负样本训练集；及
Ⅲ、对训练样本执行所述镜面处理。为了进一步增加训练样本的数据量，提高模型的泛化能力，本申请较佳实施例对得到的训练样本做数据增强处理，通过对训练样本的图像执行90、180和270度的随机旋转，可得到更多不同类型的眼底的训练样本。
所述模型训练模块30用于：利用上述得到的训练样本执行眼底出血点检测模型的训练。
优选地，所述眼底出血点检测模型的训练的方法包括：
a、对所述训练样本执行上下采样；
b、用上下采样后的训练样本训练所述眼底出血点检测模型，包括：
b1、利用卷积神经网络模型提取眼底出血点病灶的特征向量；
b2、根据上述眼底出血点病灶的特征向量，利用softmax分类器进行分类判别，若图片中无眼底出血点病灶的特征向量，则判别为正常眼睛，当检查到眼底出血点病灶的特征，则标记为有出血点的图片；
b3、对于含有出血点的图片，通过边界回归确定眼底出血点病灶位置。
所述出血点检测模块40用于：利用上述训练好的眼底出血点检测模型对眼底图像进行出血点检测，输出出血点的概率值。
优选地，本申请对眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，最后统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
上述数据采集模块10、样本数据制作模块20、模型训练模块30及出血点检测模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有眼底出血点的自动检测程序，所述眼底出血点的自动检测程序可被一个或多个处理器执行，以实现如下操作：
采集眼底图像数据，并对所述图像数据进行预处理操作；
利用经上述预处理操作之后的眼底图像数据训练眼底出血点检测模型；及
利用上述训练好的眼底出血点检测模型对眼底图像进行出血点检测，输出出血点的概率值。
本申请计算机可读存储介质具体实施方式与上述眼底出血点的自动检测装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、 磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种眼底出血点的自动检测方法，其特征在于，所述方法包括：
    采集眼球的眼底图像数据，并对所采集的眼底图像执行数据处理操作；
    利用所述眼底图像数据制作训练样本；
    利用上述得到的训练样本执行眼底出血点检测模型的训练；及
    利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测。
  2. 如权利要求1所述的眼底出血点的自动检测方法，其特征在于，所述数据处理操作包括：
    通过裁减所述眼底图像中的背景，得到包含目标区域的眼底图像及对所述目标区域进行归一化处理，其中：
    所述通过裁减所述眼底图像中的背景，得到包含目标区域的眼底图像包括：
    A、随机选择一个初始估计阈值T；
    B、利用所述初始估计阈值T，根据像素分布，把眼底图像分为R1和R2两个像素区域；
    C、对区域R1和R2中的所有像素计算平均灰度值u1和u2；
    D、由公式：
    Figure PCTCN2019088641-appb-100001
    计算出新的阈值；
    E、重复上述的步骤B-D,直到逐次迭代所得的阈值T值小于预先定义的参数，并根据该阈值T，得到所述眼底图像中的背景图像和目标区域；及
    对所述目标区域进行归一化处理是采用线性函数转换法：
    y＝(x-MinValue)/(MaxValue-MinValue)，
    其中，x、y分别为转换前、后的像素值，MaxValue、MinValue分别为样本的最大像素值和最小值像素值。
  3. 如权利要求1所述的眼底出血点的自动检测方法，其特征在于，所述利用所述眼底图像数据制作训练样本包括：
    利用卷积神经网络的滤波器初次过滤训练样本图像，得到更多的训练图片输出，并将有出血点病灶的眼底训练图片放入正样本训练集，将没有出血点病灶的眼底训练图片放入负样本训练集；
    利用卷积神经网络的滤波器再次过滤正负样本训练集，得到更多的正负样本输出；及
    对所述正负样本训练集执行镜面处理。
  4. 如权利要求1至3中任意一项所述的眼底出血点的自动检测方法，其特征在于，所述眼底出血点检测模型的训练的方法包括：
    对所述正负样本训练集执行上下采样处理；
    用上下采样后的正负样本训练集训练所述眼底出血点检测模型，包括：
    利用卷积神经网络模型提取眼底出血点病灶的特征向量；
    根据上述眼底出血点病灶的特征向量，利用softmax分类器进行分类判别，若图片中无眼底出血点病灶的特征向量，则判别为正常眼睛，当检查到眼底出血点病灶的特征，则标记为有出血点的图片；
    对于含有出血点的图片，通过边界回归确定眼底出血点病灶位置。
  5. 如权利要求1所述的眼底出血点的自动检测方法，其特征在于，所述利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测，包括:
    对所述眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
  6. 如权利要求2或3所述的眼底出血点的自动检测方法，其特征在于，所述利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测，包括:
    对所述眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
  7. 如权利要求4所述的眼底出血点的自动检测方法，其特征在于，所述利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测，包括:
    对所述眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
  8. 一种眼底出血点的自动检测装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的眼底出血点的自动检测程序，所述眼底出血点的自动检测程序被所述处理器执行时实现如下步骤：
    采集眼球的眼底图像数据，并对所采集的眼底图像执行数据处理操作；
    利用所述眼底图像数据制作训练样本；
    利用上述得到的训练样本执行眼底出血点检测模型的训练；及
    利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测。
  9. 如权利要求8所述的眼底出血点的自动检测装置，其特征在于，所述数据处理操作包括：
    通过裁减所述眼底图像中的背景，得到包含目标区域的眼底图像及对所述目标区域进行归一化处理，其中：
    所述通过裁减所述眼底图像中的背景，得到包含目标区域的眼底图像包括：
    A、随机选择一个初始估计阈值T；
    B、利用所述初始估计阈值T，根据像素分布，把眼底图像分为R1和R2两个像素区域；
    C、对区域R1和R2中的所有像素计算平均灰度值u1和u2；
    D、由公式：
    Figure PCTCN2019088641-appb-100002
    计算出新的阈值；
    E、重复上述的步骤B-D,直到逐次迭代所得的阈值T值小于预先定义的参数，并根据该阈值T，得到所述眼底图像中的背景图像和目标区域；及
    对所述目标区域进行归一化处理是采用线性函数转换法：
    y＝(x-MinValue)/(MaxValue-MinValue)，
    其中，x、y分别为转换前、后的像素值，MaxValue、MinValue分别为样本的最大像素值和最小值像素值。
  10. 如权利要求8所述的眼底出血点的自动检测装置，其特征在于，所述利用所述眼底图像数据制作训练样本包括：
    利用卷积神经网络的滤波器初次过滤训练样本图像，得到更多的训练图片输出，并将有出血点病灶的眼底训练图片放入正样本训练集，将没有出血点病灶的眼底训练图片放入负样本训练集；
    利用卷积神经网络的滤波器再次过滤正负样本训练集，得到更多的正负样本输出；及
    对所述正负样本训练集执行镜面处理。
  11. 如权利要求8至10中任意一项所述的眼底出血点的自动检测装置，其特征在于，所述眼底出血点检测模型的训练的方法包括：
    对所述正负样本训练集执行上下采样处理；
    用上下采样后的正负样本训练集训练所述眼底出血点检测模型，包括：
    利用卷积神经网络模型提取眼底出血点病灶的特征向量；
    根据上述眼底出血点病灶的特征向量，利用softmax分类器进行分类判别，若图片中无眼底出血点病灶的特征向量，则判别为正常眼睛，当检查到眼底出血点病灶的特征，则标记为有出血点的图片；
    对于含有出血点的图片，通过边界回归确定眼底出血点病灶位置。
  12. 如权利要求8所述的眼底出血点的自动检测装置，其特征在于，所述利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测，包括:
    对所述眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
  13. 如权利要求9或10所述的眼底出血点的自动检测装置，其特征在于，所述利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测，包括:
    对所述眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
  14. 如权利要求11所述的眼底出血点的自动检测装置，其特征在于，所述利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测，包括:
    对所述眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
  15. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有眼底出血点的自动检测程序，所述眼底出血点的自动检测程序可被一个或者多个处理器执行，以实现如下步骤：
    采集眼球的眼底图像数据，并对所采集的眼底图像执行数据处理操作；
    利用所述眼底图像数据制作训练样本；
    利用上述得到的训练样本执行眼底出血点检测模型的训练；及
    利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测。
  16. 如权利要求15所述的计算机可读存储介质，其特征在于，所述数据处理操作包括：
    通过裁减所述眼底图像中的背景，得到包含目标区域的眼底图像及对所述目标区域进行归一化处理，其中：
    所述通过裁减所述眼底图像中的背景，得到包含目标区域的眼底图像包括：
    A、随机选择一个初始估计阈值T；
    B、利用所述初始估计阈值T，根据像素分布，把眼底图像分为R1和R2两个像素区域；
    C、对区域R1和R2中的所有像素计算平均灰度值u1和u2；
    D、由公式：
    Figure PCTCN2019088641-appb-100003
    计算出新的阈值；
    E、重复上述的步骤B-D,直到逐次迭代所得的阈值T值小于预先定义的参数，并根据该阈值T，得到所述眼底图像中的背景图像和目标区域；及
    对所述目标区域进行归一化处理是采用线性函数转换法：
    y＝(x-MinValue)/(MaxValue-MinValue)，
    其中，x、y分别为转换前、后的像素值，MaxValue、MinValue分别为样本的最大像素值和最小值像素值。
  17. 如权利要求15所述的计算机可读存储介质，其特征在于，所述利用所述眼底图像数据制作训练样本包括：
    利用卷积神经网络的滤波器初次过滤训练样本图像，得到更多的训练图片输出，并将有出血点病灶的眼底训练图片放入正样本训练集，将没有出血点病灶的眼底训练图片放入负样本训练集；
    利用卷积神经网络的滤波器再次过滤正负样本训练集，得到更多的正负样本输出；及
    对所述正负样本训练集执行镜面处理。
  18. 如权利要求15-17中任意一项所述的计算机可读存储介质，其特征在于，所述眼底出血点检测模型的训练的方法包括：
    对所述正负样本训练集执行上下采样处理；
    用上下采样后的正负样本训练集训练所述眼底出血点检测模型，包括：
    利用卷积神经网络模型提取眼底出血点病灶的特征向量；
    根据上述眼底出血点病灶的特征向量，利用softmax分类器进行分类判别，若图片中无眼底出血点病灶的特征向量，则判别为正常眼睛，当检查到眼底出血点病灶的特征，则标记为有出血点的图片；
    对于含有出血点的图片，通过边界回归确定眼底出血点病灶位置。
  19. 如权利要求15-17任一项所述的计算机可读存储介质，其特征在于，所述利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测，包括:
    对所述眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
  20. 如权利要求18所述的计算机可读存储介质，其特征在于，所述利用上述训练好的眼底出血点检测模型计算眼底图像中眼底出血点的概率值，执行眼底图像的出血点检测，包括:
    对所述眼底图像以32步长均匀地产生图像块，对每个图像块运用所述眼底出血点检测模型得到该图像块可能是出血点的概率，统计出概率分布图，判断眼底是否有出血点，完成自动检测过程。
PCT/CN2019/088641 2019-01-04 2019-05-27 眼底出血点的自动检测方法、装置及计算机可读存储介质 WO2020140370A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910008187.2A CN109602391A (zh) 2019-01-04 2019-01-04 眼底出血点的自动检测方法、装置及计算机可读存储介质
CN201910008187.2 2019-01-04

Publications (1)

Publication Number Publication Date
WO2020140370A1 true WO2020140370A1 (zh) 2020-07-09

Family

ID=66015745

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/088641 WO2020140370A1 (zh) 2019-01-04 2019-05-27 眼底出血点的自动检测方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109602391A (zh)
WO (1) WO2020140370A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385812A (zh) * 2023-06-06 2023-07-04 依未科技(北京)有限公司 图像分类方法及装置、电子设备及存储介质
CN116682564A (zh) * 2023-07-27 2023-09-01 首都医科大学附属北京友谊医院 基于机器学习的近视牵引性黄斑病变风险预测方法及装置
CN117297554A (zh) * 2023-11-16 2023-12-29 哈尔滨海鸿基业科技发展有限公司 一种淋巴成像装置控制系统及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109602391A (zh) * 2019-01-04 2019-04-12 平安科技（深圳）有限公司 眼底出血点的自动检测方法、装置及计算机可读存储介质
CN110327013B (zh) * 2019-05-21 2022-02-15 北京至真互联网技术有限公司 眼底图像检测方法、装置及设备和存储介质
CN110348543B (zh) * 2019-06-10 2023-01-06 腾讯医疗健康(深圳)有限公司 眼底图像识别方法、装置、计算机设备及存储介质
CN110246158B (zh) * 2019-07-19 2021-10-22 上海交通大学医学院附属第九人民医院 眼疾检测装置、方法、电子终端、及存储介质
CN110786824B (zh) * 2019-12-02 2021-06-15 中山大学 基于边界框修正网络的粗标注眼底照出血病变检测方法及系统
CN111179258A (zh) * 2019-12-31 2020-05-19 中山大学中山眼科中心 一种识别视网膜出血图像的人工智能方法及系统
CN112767378A (zh) * 2021-01-28 2021-05-07 佛山科学技术学院 一种基于Dense-Unet的玻璃体浑浊程度评级方法
CN117158919B (zh) * 2023-10-25 2024-03-15 深圳大学 出血点检测装置和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010092343A1 (en) * 2009-02-12 2010-08-19 University Court Of The University Of Aberdeen Disease determination
CN107680683A (zh) * 2017-10-09 2018-02-09 上海睦清视觉科技有限公司 一种ai眼部健康评估方法
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
WO2018200840A1 (en) * 2017-04-27 2018-11-01 Retinopathy Answer Limited System and method for automated funduscopic image analysis
CN108960257A (zh) * 2018-07-06 2018-12-07 东北大学 一种基于深度学习的糖尿病视网膜病变等级分级方法
CN109602391A (zh) * 2019-01-04 2019-04-12 平安科技（深圳）有限公司 眼底出血点的自动检测方法、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
CN108876775B (zh) * 2018-06-12 2022-10-18 湖南大学 糖尿病性视网膜病变的快速检测方法
CN108876776B (zh) * 2018-06-13 2021-08-24 东软集团股份有限公司 一种分类模型生成方法、眼底图像分类方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010092343A1 (en) * 2009-02-12 2010-08-19 University Court Of The University Of Aberdeen Disease determination
WO2018200840A1 (en) * 2017-04-27 2018-11-01 Retinopathy Answer Limited System and method for automated funduscopic image analysis
CN107680683A (zh) * 2017-10-09 2018-02-09 上海睦清视觉科技有限公司 一种ai眼部健康评估方法
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN108960257A (zh) * 2018-07-06 2018-12-07 东北大学 一种基于深度学习的糖尿病视网膜病变等级分级方法
CN109602391A (zh) * 2019-01-04 2019-04-12 平安科技（深圳）有限公司 眼底出血点的自动检测方法、装置及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385812A (zh) * 2023-06-06 2023-07-04 依未科技(北京)有限公司 图像分类方法及装置、电子设备及存储介质
CN116385812B (zh) * 2023-06-06 2023-08-25 依未科技(北京)有限公司 图像分类方法及装置、电子设备及存储介质
CN116682564A (zh) * 2023-07-27 2023-09-01 首都医科大学附属北京友谊医院 基于机器学习的近视牵引性黄斑病变风险预测方法及装置
CN116682564B (zh) * 2023-07-27 2023-10-27 首都医科大学附属北京友谊医院 基于机器学习的近视牵引性黄斑病变风险预测方法及装置
CN117297554A (zh) * 2023-11-16 2023-12-29 哈尔滨海鸿基业科技发展有限公司 一种淋巴成像装置控制系统及方法

Also Published As

Publication number Publication date
CN109602391A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
WO2020140370A1 (zh) 眼底出血点的自动检测方法、装置及计算机可读存储介质
Asiri et al. Deep learning based computer-aided diagnosis systems for diabetic retinopathy: A survey
US20230036134A1 (en) Systems and methods for automated processing of retinal images
Xiao et al. Weighted res-unet for high-quality retina vessel segmentation
Niemeijer et al. Image structure clustering for image quality verification of color retina images in diabetic retinopathy screening
CN110276356B (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
WO2018201633A1 (zh) 基于眼底图像的糖尿病视网膜病变识别系统
WO2020151307A1 (zh) 病灶自动识别方法、装置及计算机可读存储介质
Zhang et al. Detection of microaneurysms using multi-scale correlation coefficients
WO2021082691A1 (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
WO2020151149A1 (zh) 微动脉瘤自动检测方法、装置及计算机可读存储介质
WO2018045363A1 (en) Screening method for automated detection of vision-degenerative diseases from color fundus images
WO2022088665A1 (zh) 病灶分割方法、装置及存储介质
CN111862009A (zh) 一种眼底oct图像的分类方法及计算机可读存储介质
Junjun et al. Diabetic retinopathy detection based on deep convolutional neural networks for localization of discriminative regions
Vij et al. A systematic review on diabetic retinopathy detection using deep learning techniques
CN115631367A (zh) 基于神经网络模型的眼科超声图像分类方法以及装置
Sun et al. A magnified adaptive feature pyramid network for automatic microaneurysms detection
Singh et al. Optimized convolutional neural network for glaucoma detection with improved optic-cup segmentation
CN111938567A (zh) 基于深度学习的眼科参数测量方法、系统及设备
Karnowski et al. Retina lesion and microaneurysm segmentation using morphological reconstruction methods with ground-truth data
WO2022252107A1 (zh) 一种基于眼部图像的疾病检测系统及方法
Singh et al. A Deep Learning Approach to Analyze Diabetic Retinopathy Lesions using Scant Data
Li et al. A Deep-Learning-Enabled Monitoring System for Ocular Redness Assessment
Gargi et al. Severity detection of diabetic retinopathy—a review

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908059

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15/11/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19908059

Country of ref document: EP

Kind code of ref document: A1