WO2020215682A1 - 眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质 - Google Patents

眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质 Download PDF

Info

Publication number
WO2020215682A1
WO2020215682A1 PCT/CN2019/117687 CN2019117687W WO2020215682A1 WO 2020215682 A1 WO2020215682 A1 WO 2020215682A1 CN 2019117687 W CN2019117687 W CN 2019117687W WO 2020215682 A1 WO2020215682 A1 WO 2020215682A1
Authority
WO
WIPO (PCT)
Prior art keywords
fundus image
data source
data
fundus
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/117687
Other languages
English (en)
French (fr)
Inventor
李葛
郑强
高鹏
谢国彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to SG11202008419UA priority Critical patent/SG11202008419UA/en
Publication of WO2020215682A1 publication Critical patent/WO2020215682A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • This application relates to the field of machine learning application technology, and in particular to a method, device, electronic equipment, and computer non-volatile readable storage medium for fundus image sample expansion.
  • an object of the present application is to provide a method, device, electronic device, and computer non-volatile readable storage medium for fundus image sample expansion.
  • a fundus image sample expansion method includes: obtaining a first fundus image initial sample based on a first fundus image data source and a second fundus image initial sample based on a second fundus image data source; Perform feature extraction on an initial sample of the fundus image and the initial sample of the second fundus image to obtain initial feature data of the first fundus image with features of the first data source and initial feature data of the second fundus image with features of the second data source; The initial feature data of the first fundus image is converted into extended feature data of the second fundus image with the features of the second data source, and the initial feature data of the second fundus image is converted into the first fundus image with the features of the first data source Extended feature data; image restoration is performed on the first fundus image extended feature data and the second fundus image extended feature data to obtain a first fundus image extended sample corresponding to the first fundus image data source and corresponding The second fundus image expansion sample of the second fundus image data source.
  • a fundus image sample expansion device includes: an initial sample acquisition module configured to acquire a first fundus image initial sample based on a first fundus image data source and a second fundus image based on a second fundus image data source Initial sample; a feature extraction module configured to perform feature extraction on the first fundus image initial sample and the second fundus image initial sample to obtain the first fundus image initial feature data with the characteristics of the first data source and The second fundus image initial feature data of the second data source feature; a feature data conversion module configured to convert the first fundus image initial feature data into the second fundus image extended feature data with the second data source feature, and The initial feature data of the second fundus image is converted into extended feature data of the first fundus image with the features of the first data source; the image restoration module is configured to extend the feature data of the first fundus image and the second fundus image respectively Image restoration is performed on the fundus image expansion feature data to obtain a first fundus image expansion sample corresponding to the first fundus image data source and a second fundus image expansion sample
  • an electronic device includes: a processor; and
  • the memory is configured to store the fundus image sample expansion program of the processor; wherein the processor is configured to execute the fundus image sample expansion method as described above by executing the fundus image sample expansion program.
  • a computer non-volatile readable storage medium has a fundus image sample expansion program stored thereon, wherein the fundus image sample expansion program is executed by a processor to implement the fundus image sample expansion method described above .
  • a computer program product includes a non-transitory computer-readable storage medium storing a computer program, and the computer program is operable to cause a computer to execute as described in the first aspect of the embodiments of the present application Methods.
  • the machine learning model is used to accurately and efficiently predict the user feature combination corresponding to the optimization target according to the distinguishing feature of some user feature combinations, thereby improving the effect of the model, reducing the cost of sample collection and labeling, and improving the model Training efficiency.
  • Fig. 1 shows a flowchart of steps of a method for expanding a fundus image sample in some exemplary embodiments of the present application.
  • Fig. 2 shows a flowchart of steps for obtaining initial samples of fundus images in some exemplary embodiments of the present application.
  • Fig. 3 shows a flow chart of the steps of performing feature extraction on initial samples of fundus images in some exemplary embodiments of the present application.
  • Fig. 4 shows a flow chart of the steps of performing data conversion on the initial feature data of the fundus image in some exemplary embodiments of the present application.
  • Fig. 5 shows a flow chart of steps for image restoration of fundus image extended feature data in some exemplary embodiments of the present application.
  • Fig. 6 shows a flowchart of steps for training related models involved in sample expansion in some exemplary embodiments of the present application.
  • Fig. 7 schematically shows a block diagram of a fundus image sample expansion device.
  • Fig. 8 shows a block diagram of an electronic device for implementing the above-mentioned fundus image sample expansion method according to an exemplary embodiment.
  • Fig. 9 shows a schematic diagram of a computer non-volatile readable storage medium for implementing the above-mentioned fundus image sample expansion method according to an exemplary embodiment.
  • Example embodiments will now be described more fully with reference to the accompanying drawings.
  • the example embodiments can be implemented in various forms, and should not be construed as being limited to the examples set forth herein; on the contrary, the provision of these examples makes this application more comprehensive and complete, and fully conveys the concept of the example embodiments To those skilled in the art.
  • the described features, structures or characteristics may be combined in one or more embodiments in any suitable way.
  • the exemplary embodiments of the present application first provide a fundus image sample expansion method, which can be used to perform data expansion on fundus image samples from different data sources, thereby improving the distribution uniformity of the fundus image.
  • Using the fundus image samples after data expansion as training samples to train the machine learning model can reduce the cost of model training and improve the generalization ability of the model.
  • the fundus image segmentation model can be trained based on the fundus image training sample set, so as to use the trained fundus image segmentation model to segment the optic cup and optic disc in the fundus image, thereby enabling Help doctors make accurate diagnosis and pathological analysis of eye diseases.
  • the fundus image training sample set includes fundus image samples from two fundus image data sources, the first fundus image data source has a larger number of fundus image samples, and the second fundus image data source has a smaller number of fundus image samples, Then when using the trained fundus image segmentation model to perform the fundus image segmentation task, the fundus image of the first fundus image data source will obtain a better segmentation effect than the fundus image of the second fundus image data source in general .
  • the training samples of a certain data source are relatively small, the application effect of the model will be relatively poor. Therefore, the distribution of training samples will directly affect the fundus image segmentation model's image segmentation capabilities for fundus images from different data sources.
  • fundus image samples from different fundus image data sources in the training sample set can be expanded, so that the fundus image samples in the training sample set can obtain a relatively uniform source distribution, and then
  • the fundus image segmentation model can obtain relatively balanced image segmentation capabilities for fundus images from different data sources, that is, it can improve the generalization ability of the fundus image segmentation model.
  • Fig. 1 shows a flowchart of steps of a method for expanding a fundus image sample in some exemplary embodiments of the present application.
  • the fundus image sample expansion method may mainly include the following steps:
  • Step S110 Obtain a first fundus image initial sample based on the first fundus image data source and a second fundus image initial sample based on the second fundus image data source.
  • sample expansion can be performed on fundus images of two data sources, the first fundus image data source and the second fundus image data source.
  • the first fundus image data source may be a sample data set composed of fundus images captured by a fundus camera (for example, Zeiss Visucam 500 fundus camera) and other fundus cameras with similar shooting effects to the fundus camera
  • the second fundus The image data source may be a sample data set composed of fundus images taken by another fundus camera (for example, a Canon CR-2 fundus camera) and other fundus cameras with similar shooting effects to the fundus camera.
  • the first fundus image data source may be a sample data set composed of fundus images captured by a fundus camera in a certain imaging mode
  • the second fundus image data source may be the same fundus camera in another imaging mode.
  • Step S120 Perform feature extraction on the initial sample of the first fundus image and the initial sample of the second fundus image respectively to obtain the initial feature data of the first fundus image with the features of the first data source and the initial feature data of the second fundus image with the features of the second data source. Characteristic data.
  • the first data source feature corresponding to the first fundus image data source and the corresponding second fundus image data source The second data source characteristics.
  • the characteristics of the two data sources are apparently reflected in the difference in details such as the color distribution of the image, while in essence they are the deep-level characteristics of the two data sources.
  • this step will perform feature extraction on them respectively to obtain the initial feature data of the first fundus image and the initial feature data of the second fundus image.
  • Step S130 Convert the initial feature data of the first fundus image into extended feature data of the second fundus image with the features of the second data source, and convert the initial feature data of the second fundus image into the first fundus image with the features of the first data source Extended characteristic data.
  • this step will perform feature migration between the two.
  • the shared features shared by the two initial feature data can be retained, and the difference feature can be mapped Relationship to realize the mutual conversion of the two initial feature data.
  • it is also necessary to retain some of the shallow features of the original fundus image such as the size and shape of the target object in the fundus image), so that Reduce the deviation between the expanded sample and the initial sample to avoid excessive feature shifts.
  • Step S140 Perform image restoration on the first fundus image extended feature data and the second fundus image extended feature data respectively to obtain the first fundus image extended sample corresponding to the first fundus image data source and the second fundus image data source. Extended sample of the second fundus image.
  • the first fundus image extended feature data and the second fundus image extended feature data can be obtained, and then the process opposite to the feature extraction performed in step S120 is used to perform the first fundus image extended feature data and the second fundus image extended feature data.
  • the fundus image expansion feature data is image restoration, so that the first fundus image expansion sample corresponding to the first fundus image data source and the second fundus image expansion sample corresponding to the second fundus image data source can be obtained.
  • each initial sample of the first fundus image obtained in step S110 will generate a corresponding extended sample of the second fundus image, and each initial sample of the second fundus image will also generate a corresponding one The first fundus image extended sample.
  • the fundus image sample expansion method provided by the exemplary embodiment of the present application can expand a small number of fundus image samples obtained from different data sources to obtain fundus image samples with an increased number and uniform distribution of data sources, based on the expanded fundus
  • image samples to train related machine learning models can improve the generalization ability of the model's data sources. While improving the use effect of the model, it can reduce the cost of sample collection and labeling, and improve the efficiency of model training.
  • Fig. 2 shows a flowchart of steps for obtaining initial samples of fundus images in some exemplary embodiments of the present application.
  • step S110 Obtain a first fundus image initial sample based on the first fundus image data source and a second fundus image initial sample based on the second fundus image data source, It can include the following steps:
  • Step S210 Collect fundus images, and obtain data source information of the fundus images.
  • the data source information can include information such as the type, brand, and model of the fundus camera used to take each fundus image, or it can include The photographing mode, photographing parameters, and light source information used when shooting fundus images.
  • Step S220 Determine whether the data source of each fundus image is the first fundus image data source, the second fundus image data source, or the fundus image data source to be determined according to the data source information.
  • the data source can be judged.
  • the data source of each fundus image can be determined as the first fundus image data source, the second fundus image data source, or the fundus image data source to be determined .
  • the first fundus image data source may be a fundus image data set taken by using near-infrared light as a light source
  • the second fundus image data source may be a fundus image data set taken by using a red light as the light source, and it is to be determined
  • the fundus image data source may include data sources other than the first fundus image data source and the second fundus image data source.
  • the data source can also be determined as the fundus image data source to be determined.
  • Step S230 Determine the fundus image whose data source is the first fundus image data source as the first fundus image initial sample, and determine the fundus image whose data source is the second fundus image data source as the second fundus image initial sample.
  • the fundus images can be classified according to the result of determining the data source in step S220, wherein the fundus image whose data source is the first fundus image data source is directly determined as the initial sample of the first fundus image, and the data source is the second fundus image data source
  • the fundus image of will be directly determined as the initial sample of the second fundus image, and the fundus image whose data source is the fundus image data source to be determined will be further judged and classified in the next step.
  • Step S240 Input the fundus image whose data source is the fundus image data source to be determined into the pre-trained fundus image classification model, and determine the fundus image as the first fundus image initial sample and the second fundus image according to the output result of the fundus image classification model.
  • Initial sample or noise sample of fundus image is the fundus image data source to be determined into the pre-trained fundus image classification model.
  • this step can be input into the pre-trained fundus image classification model, which can perform feature recognition and matching on the input fundus image It can then be classified into possible data source labels, and the classification probability of each data source label can be output.
  • the fundus image can be determined as the initial sample of the first fundus image; if the classification probability of the second fundus image data source is high, the fundus image can be determined as the second fundus image The initial sample of the image; and if the classification probabilities of the first fundus image data source and the second fundus image data source are both low, then the fundus image can be determined as a noise sample and removed from the original sample set.
  • Fig. 3 shows a flow chart of the steps of performing feature extraction on initial samples of fundus images in some exemplary embodiments of the present application.
  • step S120 Perform feature extraction on the initial sample of the first fundus image and the initial sample of the second fundus image to obtain the first fundus image with the characteristics of the first data source.
  • the initial feature data and the initial feature data of the second fundus image with the features of the second data source may include the following steps:
  • Step S310 Determine the pre-trained first encoder based on the convolutional neural network and the second encoder based on the convolutional neural network.
  • Step S320 Input the initial sample of the first fundus image to the first encoder, so that the first encoder performs feature extraction on the initial sample of the first fundus image to obtain initial feature data of the first fundus image with the characteristics of the first data source.
  • Step S330 Input the initial sample of the second fundus image to the second encoder, so that the second encoder performs feature extraction on the initial sample of the second fundus image to obtain initial feature data of the second fundus image with the characteristics of the second data source.
  • this exemplary embodiment may pre-train the first encoder for feature extraction on the initial sample of the first fundus image and the first encoder for feature extraction on the initial sample of the second fundus image.
  • the extracted second encoder The first encoder and the second encoder can use a convolutional neural network with the same model structure. After training the convolutional neural network with different training data, the first encoder and the second encoder with different model parameters can be obtained.
  • Encoder For example, in this exemplary embodiment, an initial sample of a fundus image with a size of 256*256 pixels with 3 color channels can be used as the input image, and then convolution kernels of different sizes are moved on the input image and features are extracted to form features. Atlas.
  • the feature map output by a convolution layer will be used as the input of the next convolution layer for deeper feature extraction.
  • a nonlinear activation layer ReLU layer
  • BN Floor batch normalization layer
  • Fig. 4 shows a flow chart of the steps of performing data conversion on the initial feature data of the fundus image in some exemplary embodiments of the present application.
  • step S130 Convert the initial feature data of the first fundus image into extended feature data of the second fundus image with the features of the second data source, and add the second fundus image
  • the conversion of the initial feature data into the extended feature data of the first fundus image with the features of the first data source may include the following steps:
  • Step S410 Determine the pre-trained first transcoder based on the residual network and the second transcoder based on the residual network.
  • Step S420 Input the first fundus image initial feature data to the first transcoder, so that the first transcoder converts the first fundus image initial feature data into the second fundus image extended feature data with the second data source feature.
  • Step S430 Input the initial feature data of the second fundus image to the second transcoder, so that the second transcoder converts the initial feature data of the second fundus image into the first fundus image extended feature data having the characteristics of the first data source.
  • this exemplary embodiment may pre-train a first transcoder for converting the initial feature data of the first fundus image into the extended feature data of the second fundus image and The second transcoder that converts the initial feature data of the second fundus image into the extended feature data of the first fundus image.
  • the first transcoder and the second transcoder can use convolutional neural networks with the same structure, especially the residual network (ResNet) in the convolutional neural network, and use different training data to train the residual network Then, the first transcoder and the second transcoder with different model parameters can be obtained.
  • ResNet residual network
  • the initial feature data of the fundus image is input into the residual network, it is also convolved by multiple convolutional layers, and the final convolution output result can be superimposed with the initial feature data of the initially output fundus image.
  • part of the original features can be preserved while the feature data is converted, so as to avoid excessive feature deviation.
  • Fig. 5 shows a flow chart of steps for image restoration of fundus image extended feature data in some exemplary embodiments of the present application.
  • step S140 Perform image restoration on the first fundus image extended feature data and the second fundus image extended feature data respectively to obtain the data corresponding to the first fundus image data source
  • the first fundus image expansion sample and the second fundus image expansion sample corresponding to the second fundus image data source may include the following steps:
  • Step S510 Determine a second decoder corresponding to the first encoder and a first decoder corresponding to the second encoder based on the deconvolutional neural network.
  • Step S520 Input the first fundus image extended feature data to the first decoder, so that the first decoder performs image restoration on the first fundus image extended feature data to obtain the first fundus image extension corresponding to the first fundus image data source sample.
  • Step S530 Input the extended feature data of the second fundus image to the second decoder, so that the second decoder performs image restoration on the extended feature data of the second fundus image to obtain a second fundus image extension corresponding to the second fundus image data source sample.
  • this exemplary embodiment may predetermine a first decoder for restoring the extended feature data of the first fundus image to obtain the extended sample of the first fundus image and the The extended image feature data is restored to obtain the second decoder of the extended sample of the second fundus image.
  • the first decoder can use a deconvolution neural network with a mirror structure and the same model parameters as the second encoder
  • the second decoder can use a deconvolution neural network with a mirror structure and the same model parameters as the first encoder The internet.
  • the first encoder can perform feature extraction on the initial sample of the first fundus image through operations such as convolution and pooling to obtain the initial feature data of the first fundus image
  • the second decoder can use mirrored deconvolution Operations such as product and de-pooling perform image restoration on the second fundus image extended feature data obtained by transcoding the first fundus image initial feature data to obtain the second fundus image extended sample.
  • the second encoder can perform feature extraction on the initial sample of the second fundus image through operations such as convolution and pooling to obtain the initial feature data of the second fundus image, while the first decoder can reverse the mirror image.
  • Operations such as convolution and de-pooling perform image restoration on the first fundus image extended feature data obtained by transcoding the second fundus image initial feature data to obtain the first fundus image extended sample.
  • the same number of second fundus image expansion samples as the first fundus image initial sample can be obtained, and the same number of first fundus image initial samples can be obtained. Extended sample of fundus image.
  • Fig. 6 shows a flowchart of steps for training related models involved in sample expansion in some exemplary embodiments of the present application.
  • the first encoder, the second encoder, the first transcoder, the second transcoder, the first decoder, and the second decoder can be implemented by the following Step training gets:
  • Step S610 Construct a first discriminator for judging whether the input image comes from a first fundus image data source and a second discriminator for judging whether the input image comes from a second fundus image data source.
  • the first fundus image initial sample can be converted to obtain the same number of second fundus image expansion samples, and the second fundus image initial sample can be converted to obtain the same number The number of extended samples of the first fundus image.
  • the corresponding first discriminator and second discriminator can be constructed, and the conversion effects between the two initial samples of fundus images and the two extended samples of fundus images can be evaluated.
  • Step S620 The first encoder, the first transcoder, the second decoder, and the second discriminator are sequentially connected to form a first generative confrontation network, and the second encoder, the second transcoder, and the first decoder And the first discriminator is sequentially connected to form a second generative confrontation network.
  • the first generative confrontation network can be formed together.
  • the second While the discriminator has the ability to discriminate it gradually increases the similarity between the converted second fundus image expanded sample and the original second fundus image initial sample.
  • the second encoder, the second transcoder, and the first decoder can be combined to form a second generative confrontation network.
  • the similarity between the expanded sample of the first fundus image generated by the conversion and the initial sample of the original first fundus image is gradually improved.
  • Step S630 Use the same loss function to perform joint training on the first generative countermeasure network and the second generative countermeasure network.
  • the conversion process from the initial sample of the first fundus image to the extended sample of the second fundus image and the conversion process from the initial sample of the second fundus image to the extended sample of the first fundus image are two opposite conversion processes, in order to improve the consistency of the conversion between the two conversion processes
  • the same loss function is used to jointly train the first generation confrontation network and the second generation confrontation network.
  • the loss function can be specifically composed of three parts, namely, the first network loss function of the first generative countermeasure network, the second network loss function of the second generative countermeasure network, and a conversion loss function.
  • the first network loss function and the second network respectively include two parts, namely, a reconstruction loss function corresponding to the extended sample part of the fundus image and a discriminant loss function corresponding to the extended sample part of the fundus image.
  • the reconstruction loss function can use the L1loss loss function or the L2loss loss function, and the discriminant loss function can use the binary loss function.
  • the conversion loss function mainly includes the expected value of the second conversion of the first fundus image expanded sample and the expected value of the second fundus image expansion sample.
  • a fundus image sample expansion device is also provided.
  • the fundus image sample expansion device 700 may mainly include: an initial sample acquisition module 710, a feature extraction module 720, and feature data conversion Module 730 and image restoration module 740.
  • the initial sample acquisition module 710 is configured to acquire a first fundus image initial sample based on the first fundus image data source and a second fundus image initial sample based on the second fundus image data source;
  • the feature extraction module 720 is configured to perform feature extraction on the first fundus image initial sample and the second fundus image initial sample to obtain the first fundus image initial feature data with the first data source feature and the second data source.
  • the feature data conversion module 730 is configured to convert the initial feature data of the first fundus image into extended feature data of the second fundus image with the features of the second data source, and convert the initial feature data of the second fundus image into the first feature data of the second fundus image.
  • the image restoration module 740 is configured to perform image restoration on the first fundus image extended feature data and the second fundus image extended feature data respectively to obtain a first fundus image extended sample corresponding to the first fundus image data source And a second fundus image expansion sample corresponding to the second fundus image data source.
  • the initial sample acquisition module 710 may further include:
  • a fundus image acquisition module configured to collect fundus images and obtain data source information of the fundus images
  • a data source determination module configured to determine whether the data source of each fundus image is a first fundus image data source, a second fundus image data source, or a fundus image data source to be determined according to the data source information
  • the initial sample determination module is configured to determine the fundus image whose data source is the first fundus image data source as the first fundus image initial sample, and determine the fundus image whose data source is the second fundus image data source as the second fundus image Initial sample of fundus image;
  • the fundus image classification module is configured to input the fundus image whose data source is the fundus image data source to be determined into a pre-trained fundus image classification model, and determine the fundus image to be based on the output result of the fundus image classification model The initial sample of the first fundus image, the initial sample of the second fundus image, or the noise sample.
  • the first fundus image data source is a fundus image data set obtained by using near-infrared light as a light source
  • the second fundus image data source is A dataset of fundus images captured with red light as a light source.
  • the feature extraction module 720 may further include:
  • An encoder determining module configured to determine a pre-trained first encoder based on a convolutional neural network and a second encoder based on a convolutional neural network;
  • the first encoding module is configured to input the initial sample of the first fundus image into the first encoder so that the first encoder performs feature extraction on the initial sample of the first fundus image to obtain The initial feature data of the first fundus image of the data source feature;
  • the second encoding module is configured to input the initial sample of the second fundus image into the second encoder, so that the second encoder performs feature extraction on the initial sample of the second fundus image to obtain a second The initial feature data of the second fundus image of the data source feature.
  • the feature data conversion module 730 may further include:
  • the transcoder determining module is configured to determine the pre-trained first transcoder based on the residual network and the second transcoder based on the residual network;
  • the first transcoding module is configured to input the initial characteristic data of the first fundus image into the first transcoder so that the first transcoder converts the initial characteristic data of the first fundus image into Extended feature data of the second fundus image of the second data source feature;
  • the second transcoding module is configured to input the initial characteristic data of the second fundus image into the second transcoder, so that the second transcoder converts the initial characteristic data of the second fundus image into The first fundus image of the first data source feature extends the feature data.
  • the image restoration module 740 may further include:
  • a decoder determining module configured to determine a second decoder corresponding to the first encoder based on a deconvolutional neural network and a first decoder corresponding to the second encoder based on a deconvolutional neural network ;
  • the first decoding module is configured to input the first fundus image extended feature data into the first decoder, so that the first decoder performs image restoration on the first fundus image extended feature data to obtain the corresponding An extended sample of the first fundus image from the first fundus image data source;
  • the second decoding module is configured to input the second fundus image extended feature data into the second decoder, so that the second decoder performs image restoration on the second fundus image extended feature data to obtain the corresponding An extended sample of a second fundus image from the second fundus image data source.
  • the first encoder, the second encoder, the first transcoder, the second transcoder, the first The decoder and the second decoder are trained by a model training device, and the model training device may include:
  • a discriminator construction module configured to construct a first discriminator for judging whether the input image comes from a first fundus image data source and a second discriminator for judging whether the input image comes from a second fundus image data source;
  • the network connection module is configured to sequentially connect the first encoder, the first transcoder, the second decoder, and the second discriminator to form a first generative confrontation network, and connect the first Two encoders, the second transcoder, the first decoder, and the first discriminator are connected in sequence to form a second generative confrontation network;
  • the joint training module is configured to perform joint training on the first generative confrontation network and the second generative confrontation network by using the same loss function.
  • modules or units of the device for action execution are mentioned in the above detailed description, this division is not mandatory.
  • the features and functions of two or more modules or units described above may be embodied in one module or unit.
  • the features and functions of a module or unit described above can be further divided into multiple modules or units to be embodied.
  • a computer-readable storage medium having a computer program stored thereon, and the computer program can realize the above-mentioned fundus image sample expansion method of the present application when the computer program is executed by a processor.
  • various aspects of this application can also be implemented in the form of a program product, which includes program code; the program product can be stored in a non-volatile storage medium (can be CD-ROM, U Disk or mobile hard disk, etc.) or on the network; when the program product runs on a computing device (which can be a personal computer, a server, a terminal device, or a network device, etc.), the program code is used to make the computing
  • a computing device which can be a personal computer, a server, a terminal device, or a network device, etc.
  • the program product 800 for implementing the above-mentioned method according to the embodiment of the present application can adopt a portable compact disk read-only memory (CD-ROM) and include program code, and can be used in a computing device (such as a personal Computer, server, terminal device or network equipment, etc.).
  • a computing device such as a personal Computer, server, terminal device or network equipment, etc.
  • the program product of this application is not limited to this.
  • the computer-readable storage medium may be any tangible medium that contains or stores a program, and the program may be used by or in combination with an instruction execution system, apparatus, or device.
  • the program product can use any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or any combination of the above. More specific examples (non-exhaustive list) of readable storage media include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Type programmable read only memory (EPROM or flash memory), optical fiber, portable compact disk read only memory (CD-ROM), optical storage device, magnetic storage device or any suitable combination of the above.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable Type programmable read only memory
  • CD-ROM portable compact disk read only memory
  • magnetic storage device magnetic storage device or any suitable combination of the above.
  • the readable signal medium may include a data signal propagated in baseband or as a part of a carrier wave, and readable program code is carried therein. This propagated data signal can take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the readable signal medium may also be any readable medium other than the readable storage medium, and the readable medium may send, propagate, or transmit a program for use by or in combination with the instruction execution system, apparatus, or device.
  • the program code contained on the readable medium can be transmitted by any suitable medium, including but not limited to wireless, wired, optical cable, RF, etc., or any suitable combination of the above.
  • the program code used to perform the operations of this application can be written in any combination of one or more programming languages.
  • the programming languages include object-oriented programming languages, such as Java, C++, etc., as well as conventional procedural programming languages.
  • Programming language such as C language or similar programming language.
  • the program code can be executed entirely on the user's computing device, partly on the user's computing device, executed as an independent software package, partly on the user's computing device and partly executed on the remote computing device, or entirely on the remote computing device or Execute on the server.
  • the remote computing device can be connected to a user computing device through any kind of network (including a local area network (LAN) or a wide area network (WAN), etc.); or, it can be connected to an external computing device, such as using Internet services
  • LAN local area network
  • WAN wide area network
  • the provider comes to connect via the Internet.
  • an electronic device in an exemplary embodiment of the present application, includes at least one processor and at least one memory for storing executable instructions of the processor; wherein the processor is It is configured to execute the method steps in the above-mentioned exemplary embodiments of the present application by executing the executable instructions.
  • the electronic device 900 in this exemplary embodiment will be described below with reference to FIG. 9.
  • the electronic device 900 is only an example, and should not bring any limitation to the function and scope of use of the embodiments of the present application.
  • the electronic device 900 is represented in the form of a general-purpose computing device.
  • the components of the electronic device 900 may include but are not limited to: at least one processing unit 910, at least one storage unit 920, a bus 930 connecting different system components (including the processing unit 910 and the storage unit 920), and a display unit 940.
  • the storage unit 920 stores program codes, and the program codes can be executed by the processing unit 910, so that the processing unit 910 executes the method steps in the foregoing exemplary embodiments of the present application.
  • the storage unit 920 may include a readable medium in the form of a volatile storage unit, such as a random access storage unit 921 (RAM) and/or a cache storage unit 922, and may further include a read-only storage unit 923 (ROM).
  • RAM random access storage unit
  • ROM read-only storage unit
  • the storage unit 920 may also include a program/utility tool 924 having a set of (at least one) program modules 925.
  • program modules include but are not limited to: an operating system, one or more application programs, other program modules, and program data. Each of the examples or some combination may include the realization of a network environment.
  • the bus 930 may represent one or more of several types of bus structures, including a storage unit bus or a storage unit controller, a peripheral bus, a graphics acceleration port, a processing unit, or a local area that uses any of various bus structures. bus.
  • the electronic device 900 may also communicate with one or more external devices 1000 (such as keyboards, pointing devices, Bluetooth devices, etc.), and may also communicate with one or more devices that allow the user to interact with the electronic device 900, and/or communicate with Any device (such as a router, modem, etc.) that enables the electronic device 900 to communicate with one or more other computing devices. This communication can be performed through an input/output (I/O) interface 950.
  • the electronic device 900 may also communicate with one or more networks (for example, a local area network (LAN), a wide area network (WAN), and/or a public network, such as the Internet) through the network adapter 960. As shown in FIG.
  • the network adapter 960 can communicate with other modules of the electronic device 900 through the bus 930. It should be understood that although not shown in the figure, other hardware and/or software modules can be used in conjunction with the electronic device 900, including but not limited to: microcode, device drivers, redundant processing units, external disk drive arrays, RAID systems, tape drives And data backup storage system, etc.
  • a computer program product includes a non-transitory computer-readable storage medium storing a computer program.
  • the computer program is operable to make a computer execute Fundus image sample expansion method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请提供了一种眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质，属于涉及眼底图像数据处理领域，在本申请示例性实施方式提供的眼底图像样本扩展方法中，通过构建基于神经网络的编码器、转码器和解码器等模型可以将不同数据来源获得的数据量较少的眼底图像样本进行扩展，从而得到数据量增加并且数据来源分布均匀的眼底图像样本，基于扩展后的眼底图像样本对相关机器学习模型进行训练可以提高模型的数据来源泛化能力，在提高模型使用效果的同时，可以降低样本采集和标注成本，提高模型训练效率。

Description

眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质
本申请要求2019年09月17日递交、发明名称为“眼底图像样本扩展方法、装置、介质及电子设备”的中国专利申请201910878147.3的优先权，在此通过引用将其全部内容合并于此。
技术领域
本申请涉及机器学习应用技术领域，尤其涉及一种眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质。
背景技术
目前，人工智能在眼底图像病灶识别方面已取得重大进展。以深度卷积神经网络为核心的机器学习算法已可以通过对眼底图像的学习与分析诊断青光眼、糖尿病性视网膜病变以及老年黄斑变性等疾病。但模型的准确性严重依赖训练数据集，泛化能力差。在实际影像的采集过程中，眼底图像通常来自于不同型号的眼底照相机，这就会导致图像的大小，颜色分布等信息存在差异性。
通常业内在训练模型的时候都是基于单一设备采集的眼底图像，其算法性能会在多设备采集的图像上大大降低。针对多数据源数据分布不一致问题，可以通过标注多个数据源作为训练数据而提升模型的泛化能力，本申请的发明人意识到，该方法需要耗费巨大的人力资源以及训练的时间成本。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
为了解决上述技术问题，本申请的一个目的在于提供一种眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质。
其中，本申请所采用的技术方案为：
第一方面，一种眼底图像样本扩展方法，包括：获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
第二方面，一种眼底图像样本扩展装置，包括：初始样本获取模块，被配置为获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；特征提取模块，被配置为分别对所述第一眼底图像初始样本和所述第二 眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；特征数据转换模块，被配置为将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；图像还原模块，被配置为分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
第三方面，一种电子设备，包括：处理器；以及
存储器，用于存储所述处理器的眼底图像样本扩展程序；其中，所述处理器配置为经由执行所述眼底图像样本扩展程序来执行如上所述的眼底图像样本扩展方法。
第四方面，一种计算机非易失性可读存储介质，其上存储有眼底图像样本扩展程序，其中，所述眼底图像样本扩展程序被处理器执行时实现如上所述的眼底图像样本扩展方法。
第五方面，一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法。
在上述技术方案中，通过机器学习模型根据部分用户特征组合的区别特征准确、高效预测寻优目标对应的用户特征组合，进而在提高模型使用效果的同时，可以降低样本采集和标注成本，提高模型训练效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。
图1示出了在本申请的一些示例性实施方式中眼底图像样本扩展方法的步骤流程图。
图2示出了在本申请的一些示例性实施方式中获取眼底图像初始样本的步骤流程图。
图3示出了在本申请的一些示例性实施方式中对眼底图像初始样本进行特征提取的步骤流程图。
图4示出了在本申请的一些示例性实施方式中对眼底图像初始特征数据进行数据转换的步骤流程图。
图5示出了在本申请的一些示例性实施方式中对眼底图像扩展特征数据进行图像还原的步骤流程图。
图6示出了在本申请的一些示例性实施方式中对样本扩展中涉及的相关模型进行训练的步骤流程图。
图7示意性示出一种眼底图像样本扩展装置的方框图。
图8示出根据示例性实施例的用于实现上述眼底图像样本扩展方法的电子设备的框图。
图9示出根据示例性实施例的用于实现上述眼底图像样本扩展方法的计算机非易失 性可读存储介质的示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本申请将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本申请的示例性实施方式中首先提供一种眼底图像样本扩展方法，该方法可以用于对不同数据来源的眼底图像样本进行数据扩展，从而提高眼底图像的分布均匀性。利用数据扩展后的眼底图像样本作为训练样本对机器学习模型进行训练，能够降低模型训练成本，并提高模型泛化能力。
举例而言，在本领域的相关技术中，可以基于眼底图像训练样本集对眼底图像分割模型进行训练，以利用训练完成的眼底图像分割模型对眼底图像中的视杯和视盘进行分割，进而能够帮助医生对眼部疾病进行准确诊断和病理分析。如果眼底图像训练样本集中包括分别来自两种眼底图像数据源的眼底图像样本，其中第一眼底图像数据源的眼底图像样本数量较多，而第二眼底图像数据源的眼底图像样本数量较少，那么在使用训练得到的眼底图像分割模型执行眼底图像分割任务时，相比于第二眼底图像数据源的眼底图像，第一眼底图像数据源的眼底图像在一般情况下会获得更好的分割效果。简而言之，如果某一数据源的训练样本相对较少，那么在模型的适用效果上也会相对较差。因此，训练样本的分布情况将直接影响眼底图像分割模型对于不同数据源的眼底图像的图像分割能力。
使用本申请示例性实施方式提供的眼底图像样本扩展方法，可以对训练样本集中来自不同眼底图像数据源的眼底图像样本进行扩展，使得训练样本集中的眼底图像样本能够获得相对均匀的来源分布，进而能够使眼底图像分割模型获得相对均衡的对不同数据源的眼底图像的图像分割能力，亦即能够提高眼底图像分割模型的泛化能力。
下面结合具体的示例性实施方式对本申请技术方案的各个方面做出详细说明该。
图1示出了在本申请的一些示例性实施方式中眼底图像样本扩展方法的步骤流程图。
如图1所示，在本申请的一些示例性实施方式中眼底图像样本扩展方法主要可以包括 以下步骤：
步骤S110.获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本。
在本示例性实施方式中可以针对第一眼底图像数据源和第二眼底图像数据源两种数据来源的眼底图像进行样本扩展。其中，第一眼底图像数据源可以是由一种眼底照相机(例如Zeiss Visucam 500眼底照相机)以及与该眼底照相机具有相似拍摄效果的其他眼底照相机拍摄得到的眼底图像组成的样本数据集，第二眼底图像数据源可以是由另一种眼底照相机(例如Canon CR-2眼底照相机)以及与该眼底照相机具有相似拍摄效果的其他眼底照相机拍摄得到的眼底图像组成的样本数据集。又例如，第一眼底图像数据源可以是由一种眼底照相机在某一成像模式下拍摄得到的眼底图像组成的样本数据集，第二眼底图像数据源可以是同一种眼底照相机在另一种成像模式下拍摄得到的眼底图像组成的样本数据集。
步骤S120.分别对第一眼底图像初始样本和第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据。
对于数据来源不同的眼底图像而言，其自身图像数据内将在一定程度上具有能够体现数据来源的特征，例如对应第一眼底图像数据源的第一数据源特征和对应第二眼底图像数据源的第二数据源特征。两种数据源特征在表象上体现为图像的色彩分布等细节信息的差异，而在本质上体现的是两种数据来源的深层特征差异。针对步骤S110中获取到的第一眼底图像初始样本和第二眼底图像初始样本，本步骤将分别对其进行特征提取以得到第一眼底图像初始特征数据和第二眼底图像初始特征数据。
步骤S130.将第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。
在获得第一眼底图像初始特征数据和第二眼底图像初始特征数据后，本步骤将对二者进行特征迁移，例如可以保留两种初始特征数据共同具有的共享特征，而对差异特征可以建立映射关系以实现两种初始特征数据的相互转换。在对两种数据源眼底图像的深层次差异特征建立映射以进行特征转换的过程中，还需要保留初始眼底图像的部分浅层特征(如眼底图像中目标对象的大小和形状等特征)，以便缩小扩展样本与初始样本的偏差，避免出现过大的特征偏移。
步骤S140.分别对第一眼底图像扩展特征数据和第二眼底图像扩展特征数据进行图像还原以得到对应于第一眼底图像数据源的第一眼底图像扩展样本和对应于第二眼底图像数据源的第二眼底图像扩展样本。
经过特征数据的转换后可以得到第一眼底图像扩展特征数据和第二眼底图像扩展特征数据，然后利用与步骤S120中进行的特征提取相反的过程，分别对第一眼底图像扩展特征数据和第二眼底图像扩展特征数据进行图像还原，从而能够得到对应于第一眼底图像数据源的第一眼底图像扩展样本和对应于第二眼底图像数据源的第二眼底图像扩展样本。在经过本步骤的图像还原后，步骤S110中获取到的每一个第一眼底图像初始样本都将对 应生成一个第二眼底图像扩展样本，而每一个第二眼底图像初始样本也都将对应生成一个第一眼底图像扩展样本。
利用本申请示例性实施方式提供的眼底图像样本扩展方法可以将不同数据来源获得的数量较少的眼底图像样本进行扩展，以得到数量增加并且数据来源分布均匀的眼底图像样本，基于扩展后的眼底图像样本对相关机器学习模型进行训练可以提高模型的数据来源泛化能力，在提高模型使用效果的同时，可以降低样本采集和标注成本，提高模型训练效率。
图2示出了在本申请的一些示例性实施方式中获取眼底图像初始样本的步骤流程图。
如图2所示，在以上示例性实施方式的基础上，步骤S110.获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本，可以包括以下步骤：
步骤S210.采集眼底图像，并获取眼底图像的数据来源信息。
本步骤首先采集一定数量的眼底图像，同时可以获取每个眼底图像的数据来源信息，该数据来源信息可以包括拍摄每个眼底图像所使用的眼底照相机的类型、品牌和型号等信息，也可以包括在拍摄眼底图像时所使用的拍照模式、拍照参数以及光源信息等等。
步骤S220.根据数据来源信息判断各个眼底图像的数据来源是否为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源。
根据每个眼底图像的数据来源信息可以对其数据来源做出判断，具体可以将每个眼底图像的数据来源判定为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源。举例而言，第一眼底图像数据源可以是采用近红外光线作为光源拍摄得到的眼底图像数据集，第二眼底图像数据源是采用无赤光线作为光源拍摄得到的眼底图像数据集，而待确定眼底图像数据源可以包括除第一眼底图像数据源和第二眼底图像数据源以外的其他数据源。除此之外，对于数据来源信息缺失的眼底图像而言，也可以将其数据来源判定为待确定眼底图像数据源。
步骤S230.将数据来源为第一眼底图像数据源的眼底图像确定为第一眼底图像初始样本，并将数据来源为第二眼底图像数据源的眼底图像确定为第二眼底图像初始样本。
根据步骤S220中对于数据来源的判定结果可以对眼底图像进行分类，其中数据来源为第一眼底图像数据源的眼底图像被直接确定为第一眼底图像初始样本，数据来源为第二眼底图像数据源的眼底图像将被直接确定为第二眼底图像初始样本，而数据来源为待确定眼底图像数据源的眼底图像将通过下一步骤做进一步地判断和分类。
步骤S240.将数据来源为待确定眼底图像数据源的眼底图像输入至预先训练的眼底图像分类模型，并根据眼底图像分类模型的输出结果将该眼底图像确定为第一眼底图像初始样本、第二眼底图像初始样本或者噪声样本。
对于判定数据来源为待确定眼底图像数据源的眼底图像而言，本步骤可以将其输入至预先训练得到的眼底图像分类模型中，该眼底图像分类模型能够对输入的眼底图像进行特征识别和匹配进而能够将其分类至可能的数据来源标签下，同时可以输出每个数据来源标签的分类概率。如果第一眼底图像数据源的分类概率较高，便可以将眼底图像确定为第一眼底图像初始样本；如果第二眼底图像数据源的分类概率较高，便可以将眼底图像确定为 第二眼底图像初始样本；而如果第一眼底图像数据源和第二眼底图像数据源的分类概率均较低，那么可以将眼底图像确定为噪声样本，将其从原始样本集中剔除。
图3示出了在本申请的一些示例性实施方式中对眼底图像初始样本进行特征提取的步骤流程图。
如图3所示，在以上示例性实施方式的基础上，步骤S120.分别对第一眼底图像初始样本和第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据，可以包括以下步骤：
步骤S310.确定预先训练的基于卷积神经网络的第一编码器和基于卷积神经网络的第二编码器。
步骤S320.将第一眼底图像初始样本输入第一编码器，以由第一编码器对第一眼底图像初始样本进行特征提取后得到具有第一数据源特征的第一眼底图像初始特征数据。
步骤S330.将第二眼底图像初始样本输入第二编码器，以由第二编码器对第二眼底图像初始样本进行特征提取后得到具有第二数据源特征的第二眼底图像初始特征数据。
为了对眼底图像初始样本进行准确高效的特征提取，本示例性实施方式可以预先训练用于对第一眼底图像初始样本进行特征提取的第一编码器和用于对第二眼底图像初始样本进行特征提取的第二编码器。第一编码器和第二编码器可以采用具有相同模型结构的卷积神经网络，在利用不同的训练数据对卷积神经网络进行训练后即可得到具有不同模型参数的第一编码器和第二编码器。举例而言，本示例性实施方式可以将具有3个色彩通道的尺寸为256*256像素的眼底图像初始样本作为输入图像，然后由不同大小的卷积核在输入图像上移动并提取特征形成特征图谱。一个卷积层输出的特征图谱将作为下一个卷积层的输入，以进行更深层次的特征提取，在卷积过程中还可以加入非线性激活层(ReLU层)或者批量归一化层(BN层)。在经过逐层卷积后最终可以输出由256个尺寸为64*64的特征向量组成的眼底图像初始特征数据。
图4示出了在本申请的一些示例性实施方式中对眼底图像初始特征数据进行数据转换的步骤流程图。
如图4所示，在以上示例性实施方式的基础上，步骤S130.将第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据，可以包括以下步骤：
步骤S410.确定预先训练的基于残差网络的第一转码器和基于残差网络的第二转码器。
步骤S420.将第一眼底图像初始特征数据输入第一转码器，以由第一转码器将第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据。
步骤S430.将第二眼底图像初始特征数据输入第二转码器，以由第二转码器将第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。
为了实现对两种数据源特征的相互转换，本示例性实施方式可以预先训练用于将第一眼底图像初始特征数据转换为第二眼底图像扩展特征数据的第一转码器和用于将第二眼底图像初始特征数据转换为第一眼底图像扩展特征数据的第二转码器。第一转码器和第二转码器可以采用具有相同结构的卷积神经网络，尤其可以采用卷积神经网络中的残差网络 (ResNet)，在利用不同的训练数据对残差网络进行训练后即可得到具有不同模型参数的第一转码器和第二转码器。在将眼底图像初始特征数据输入到残差网络中后，同样由多个卷积层对其进行卷积处理，并且可以将最终的卷积输出结果与最初输出的眼底图像初始特征数据进行叠加以得到眼底图像扩展特征数据。通过残差连接可以在进行特征数据转换的同时保留部分原始特征，以避免出现过大的特征偏差。
图5示出了在本申请的一些示例性实施方式中对眼底图像扩展特征数据进行图像还原的步骤流程图。
如图5所示，在以上示例性实施方式的基础上，步骤S140.分别对第一眼底图像扩展特征数据和第二眼底图像扩展特征数据进行图像还原以得到对应于第一眼底图像数据源的第一眼底图像扩展样本和对应于第二眼底图像数据源的第二眼底图像扩展样本，可以包括以下步骤：
步骤S510.确定基于反卷积神经网络的对应于第一编码器的第二解码器以及对应于第二编码器的第一解码器。
步骤S520.将第一眼底图像扩展特征数据输入第一解码器，以由第一解码器对第一眼底图像扩展特征数据进行图像还原以得到对应于第一眼底图像数据源的第一眼底图像扩展样本。
步骤S530.将第二眼底图像扩展特征数据输入第二解码器，以由第二解码器对第二眼底图像扩展特征数据进行图像还原以得到对应于第二眼底图像数据源的第二眼底图像扩展样本。
为了实现对眼底图像扩展特征数据的图像还原，本示例性实施方式可以预先确定用于从第一眼底图像扩展特征数据还原得到第一眼底图像扩展样本的第一解码器以及用于从第二眼底图像扩展特征数据还原得到第二眼底图像扩展样本的第二解码器。第一解码器可以采用与第二编码器具有镜像结构和相同模型参数的反卷积神经网络，而第二解码器则可以采用与第一编码器具有镜像结构和相同模型参数的反卷积神经网络。在此基础上，第一编码器可以通过卷积、池化等操作对第一眼底图像初始样本进行特征提取得到第一眼底图像初始特征数据，而第二解码器则可以通过镜像化的反卷积和反池化等操作对由第一眼底图像初始特征数据转码得到的第二眼底图像扩展特征数据进行图像还原得到第二眼底图像扩展样本。与之相对应的，第二编码器可以通过卷积、池化等操作对第二眼底图像初始样本进行特征提取得到第二眼底图像初始特征数据，而第一解码器则可以通过镜像化的反卷积和反池化等操作对由第二眼底图像初始特征数据转码得到的第一眼底图像扩展特征数据进行图像还原得到第一眼底图像扩展样本。在经过第一解码器和第二解码器做图像还原后，可以得到与第一眼底图像初始样本相同数量的第二眼底图像扩展样本，同时可以得到与第二眼底图像初始样本相同数量的第一眼底图像扩展样本。
图6示出了在本申请的一些示例性实施方式中对样本扩展中涉及的相关模型进行训练的步骤流程图。
如图6所示，在以上示例性实施方式的基础上，第一编码器、第二编码器、第一转码器、第二转码器、第一解码器以及第二解码器可以通过以下步骤训练得到：
步骤S610.构建用于判断输入图像是否来自第一眼底图像数据源的第一判别器以及 用于判断输入图像是否来自第二眼底图像数据源的第二判别器。
在依次经过编码、转码和解码过程后，可以根据第一眼底图像初始样本转换得到与之具有相同数量的第二眼底图像扩展样本，同时可以根据第二眼底图像初始样本转换得到与之具有相同数量的第一眼底图像扩展样本。本步骤可以构建相应的第一判别器和第二判别器，可以评估两种眼底图像初始样本和两种眼底图像扩展样本相互之间的转换效果。
步骤S620.将第一编码器、第一转码器、第二解码器以及第二判别器依次连接组成第一生成对抗网络，并将第二编码器、第二转码器、第一解码器以及第一判别器依次连接组成第二生成对抗网络。
基于步骤S610中构建的第二判别器，结合第一编码器、第一转码器和第二解码器，可以共同组成第一生成对抗网络，通过对相关模型进行联合训练，可以在提高第二判别器判别能力的同时，逐渐提高转换生成的第二眼底图像扩展样本与原始的第二眼底图像初始样本之间的相似度。与此同时，基于步骤S610中构建的第一判别器，结合第二编码器、第二转码器和第一解码器，可以共同组成第二生成对抗网络，通过对相关模型进行联合训练，可以在提高第一判别器判别能力的同时，逐渐提高转换生成的第一眼底图像扩展样本与原始的第一眼底图像初始样本之间的相似度。
步骤S630.利用同一损失函数对第一生成对抗网络和第二生成对抗网络进行联合训练。
第一眼底图像初始样本向第二眼底图像扩展样本的转换过程以及第二眼底图像初始样本向第一眼底图像扩展样本的转换过程是两个相反的转换过程，为了提高两个转换过程的转换一致程度，本步骤利用同一个损失函数对第一生成对抗网络和第二生成对抗网络进行联合训练。该损失函数具体可以由三个部分构成，即第一生成对抗网络的第一网络损失函数、第二生成对抗网络的第二网络损失函数以及一个转换损失函数。其中，第一网络损失函数和第二网络又分别包括两个部分，即对应生成眼底图像扩展样本部分的重建损失函数和对应判别眼底图像扩展样本部分的判别损失函数。重建损失函数可以采用L1loss损失函数或者L2loss损失函数，判别损失函数可以采用二分类损失函数。转换损失函数主要包括对第一眼底图像扩展样本进行二次转换的期望值以及对第二眼底图像扩展样本进行二次转换的期望值。
需要说明的是，虽然以上示例性实施方式以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或者必须执行全部的步骤才能实现期望的结果。附加地或者备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本申请的示例性实施方式中，还提供一种眼底图像样本扩展装置，如图7所示，眼底图像样本扩展装置700主要可以包括：初始样本获取模块710、特征提取模块720、特征数据转换模块730和图像还原模块740。
初始样本获取模块710被配置为获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；
特征提取模块720被配置为分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有 第二数据源特征的第二眼底图像初始特征数据；
特征数据转换模块730被配置为将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；
图像还原模块740被配置为分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
在本申请的一些示例性实施方式中，基于以上技术方案，初始样本获取模块710可以进一步包括：
眼底图像采集模块，被配置为采集眼底图像，并获取所述眼底图像的数据来源信息；
数据来源判断模块，被配置为根据所述数据来源信息判断各个所述眼底图像的数据来源是否为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源；
初始样本确定模块，被配置为将数据来源为所述第一眼底图像数据源的眼底图像确定为第一眼底图像初始样本，并将数据来源为第二眼底图像数据源的眼底图像确定为第二眼底图像初始样本；
眼底图像分类模块，被配置为将数据来源为所述待确定眼底图像数据源的眼底图像输入至预先训练的眼底图像分类模型，并根据所述眼底图像分类模型的输出结果将该眼底图像确定为第一眼底图像初始样本、第二眼底图像初始样本或者噪声样本。
在本申请的一些示例性实施方式中，基于以上技术方案，所述第一眼底图像数据源是采用近红外光线作为光源拍摄得到的眼底图像数据集，所述第二眼底图像数据源是采用无赤光线作为光源拍摄得到的眼底图像数据集。
在本申请的一些示例性实施方式中，基于以上技术方案，特征提取模块720可以进一步包括：
编码器确定模块，被配置为确定预先训练的基于卷积神经网络的第一编码器和基于卷积神经网络的第二编码器；
第一编码模块，被配置为将所述第一眼底图像初始样本输入所述第一编码器，以由所述第一编码器对所述第一眼底图像初始样本进行特征提取后得到具有第一数据源特征的第一眼底图像初始特征数据；
第二编码模块，被配置为将所述第二眼底图像初始样本输入所述第二编码器，以由所述第二编码器对所述第二眼底图像初始样本进行特征提取后得到具有第二数据源特征的第二眼底图像初始特征数据。
在本申请的一些示例性实施方式中，基于以上技术方案，特征数据转换模块730可以进一步包括：
转码器确定模块，被配置为确定预先训练的基于残差网络的第一转码器和基于残差网络的第二转码器；
第一转码模块，被配置为将所述第一眼底图像初始特征数据输入所述第一转码器，以由所述第一转码器将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据；
第二转码模块，被配置为将所述第二眼底图像初始特征数据输入所述第二转码器，以由所述第二转码器将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。
在本申请的一些示例性实施方式中，基于以上技术方案，图像还原模块740可以进一步包括：
解码器确定模块，被配置为确定基于反卷积神经网络的对应于所述第一编码器的第二解码器以及基于反卷积神经网络的对应于所述第二编码器的第一解码器；
第一解码模块，被配置为将所述第一眼底图像扩展特征数据输入所述第一解码器，以由所述第一解码器对所述第一眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本；
第二解码模块，被配置为将所述第二眼底图像扩展特征数据输入所述第二解码器，以由所述第二解码器对所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
在本申请的一些示例性实施方式中，基于以上技术方案，所述第一编码器、所述第二编码器、所述第一转码器、所述第二转码器、所述第一解码器以及所述第二解码器通过模型训练装置训练得到，该模型训练装置可以包括：
判别器构建模块，被配置为构建用于判断输入图像是否来自第一眼底图像数据源的第一判别器以及用于判断输入图像是否来自第二眼底图像数据源的第二判别器；
网络连接模块，被配置为将所述第一编码器、所述第一转码器、所述第二解码器以及所述第二判别器依次连接组成第一生成对抗网络，并将所述第二编码器、所述第二转码器、所述第一解码器以及所述第一判别器依次连接组成第二生成对抗网络；
联合训练模块，被配置为利用同一损失函数对所述第一生成对抗网络和所述第二生成对抗网络进行联合训练。
上述眼底图像样本扩展装置的具体细节已经在对应的眼底图像样本扩展方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本申请的示例性实施方式中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现本申请的上述的眼底图像样本扩展方法。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码；该程序产品可以存储在一个非易失性存储介质(可以是CD-ROM、U盘或者移动硬盘等)中或网络上；当所述程序产品在一台计算设备(可以是个人计算机、服务器、终端装置或者网络设备等)上运行时，所述程序代码用于使所述计算设备执行本申请中上述各示例性实施例中的方法步骤。
参见图8所示，根据本申请的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑磁盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备(例如 个人计算机、服务器、终端装置或者网络设备等)上运行。然而，本申请的程序产品不限于此。在本示例性实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或者多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。
可读存储介质例如可以为但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件、或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任意可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户计算设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN)等)连接到用户计算设备；或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。
在本申请的示例性实施方式中，还提供一种电子设备，所述电子设备包括至少一个处理器以及至少一个用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为经由执行所述可执行指令来执行本申请中上述各示例性实施例中的方法步骤。
下面结合图9对本示例性实施方式中的电子设备900进行描述。电子设备900仅仅为一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
参见图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括处理单元910和存储单元920)的总线930、显示单元940。
其中，存储单元920存储有程序代码，所述程序代码可以被处理单元910执行，使得处理单元910执行本申请中上述各示例性实施例中的方法步骤。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元921(RAM)和/或高速缓存存储单元922，还可以进一步包括只读存储单元923(ROM)。
存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924， 这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用各种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户可以与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)、广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器960可以通过总线930与电子设备900的其他模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本领域技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
根据本申请一个实施例，还提供了一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机程序可操作来使计算机执行如本申请上述实施例中的眼底图像样本扩展方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由所附的权利要求指出。
上述所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中，如有可能，各实施例中所讨论的特征是可互换的。在上面的描述中，提供许多具体细节从而给出对本申请的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组件、材料等。在其它情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本申请的各方面。

Claims (22)

  1. 一种眼底图像样本扩展方法，包括：
    获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；
    分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；
    将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；
    分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
  2. 根据权利要求1所述的眼底图像样本扩展方法，其中，获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本，包括：
    采集眼底图像，并获取所述眼底图像的数据来源信息；
    根据所述数据来源信息判断各个所述眼底图像的数据来源是否为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源；
    将数据来源为所述第一眼底图像数据源的眼底图像确定为第一眼底图像初始样本，并将数据来源为第二眼底图像数据源的眼底图像确定为第二眼底图像初始样本；
    将数据来源为所述待确定眼底图像数据源的眼底图像输入至预先训练的眼底图像分类模型，并根据所述眼底图像分类模型的输出结果将该眼底图像确定为第一眼底图像初始样本、第二眼底图像初始样本或者噪声样本。
  3. 根据权利要求2所述的眼底图像样本扩展方法，其中，所述第一眼底图像数据源是采用近红外光线作为光源拍摄得到的眼底图像数据集，所述第二眼底图像数据源是采用无赤光线作为光源拍摄得到的眼底图像数据集。
  4. 根据权利要求1-3中任意一项所述的眼底图像样本扩展方法，其中，分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据，包括：
    确定预先训练的基于卷积神经网络的第一编码器和基于卷积神经网络的第二编码器；
    将所述第一眼底图像初始样本输入所述第一编码器，以由所述第一编码器对所述第一眼底图像初始样本进行特征提取后得到具有第一数据源特征的第一眼底图像初始特征数据；
    将所述第二眼底图像初始样本输入所述第二编码器，以由所述第二编码器对所述第二眼底图像初始样本进行特征提取后得到具有第二数据源特征的第二眼底图像初始特征数据。
  5. 根据权利要求4所述的眼底图像样本扩展方法，其中，将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据，包括：
    确定预先训练的基于残差网络的第一转码器和基于残差网络的第二转码器；
    将所述第一眼底图像初始特征数据输入所述第一转码器，以由所述第一转码器将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据；
    将所述第二眼底图像初始特征数据输入所述第二转码器，以由所述第二转码器将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。
  6. 根据权利要求5所述的眼底图像样本扩展方法，其中，分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本，包括：
    确定基于反卷积神经网络的对应于所述第一编码器的第二解码器以及基于反卷积神经网络的对应于所述第二编码器的第一解码器；
    将所述第一眼底图像扩展特征数据输入所述第一解码器，以由所述第一解码器对所述第一眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本；
    将所述第二眼底图像扩展特征数据输入所述第二解码器，以由所述第二解码器对所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
  7. 根据权利要求6所述的眼底图像样本扩展方法，其中，所述第一编码器、所述第二编码器、所述第一转码器、所述第二转码器、所述第一解码器以及所述第二解码器通过以下步骤训练得到：
    构建用于判断输入图像是否来自第一眼底图像数据源的第一判别器以及用于判断输入图像是否来自第二眼底图像数据源的第二判别器；
    将所述第一编码器、所述第一转码器、所述第二解码器以及所述第二判别器依次连接组成第一生成对抗网络，并将所述第二编码器、所述第二转码器、所述第一解码器以及所述第一判别器依次连接组成第二生成对抗网络；
    利用同一损失函数对所述第一生成对抗网络和所述第二生成对抗网络进行联合训练。
  8. 一种眼底图像样本扩展装置，其中，包括：
    初始样本获取模块，被配置为获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；
    特征提取模块，被配置为分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；
    特征数据转换模块，被配置为将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；
    图像还原模块，被配置为分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
  9. 根据权利要求8所述的装置，所述初始样本获取模块被配置为：
    采集眼底图像，并获取所述眼底图像的数据来源信息；
    根据所述数据来源信息判断各个所述眼底图像的数据来源是否为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源；
    将数据来源为所述第一眼底图像数据源的眼底图像确定为第一眼底图像初始样本，并将数据来源为第二眼底图像数据源的眼底图像确定为第二眼底图像初始样本；
    将数据来源为所述待确定眼底图像数据源的眼底图像输入至预先训练的眼底图像分类模型，并根据所述眼底图像分类模型的输出结果将该眼底图像确定为第一眼底图像初始样本、第二眼底图像初始样本或者噪声样本。
  10. 根据权利要求8所述的装置，所述初始样本获取模块被配置为：
    所述第一眼底图像数据源是采用近红外光线作为光源拍摄得到的眼底图像数据集，所述第二眼底图像数据源是采用无赤光线作为光源拍摄得到的眼底图像数据集。
  11. 根据权利要求8所述的装置，所述特征提取模块被配置为：
    确定预先训练的基于卷积神经网络的第一编码器和基于卷积神经网络的第二编码器；
    将所述第一眼底图像初始样本输入所述第一编码器，以由所述第一编码器对所述第一眼底图像初始样本进行特征提取后得到具有第一数据源特征的第一眼底图像初始特征数据；
    将所述第二眼底图像初始样本输入所述第二编码器，以由所述第二编码器对所述第二眼底图像初始样本进行特征提取后得到具有第二数据源特征的第二眼底图像初始特征数据。
  12. 根据权利要求8所述的装置，所述特征数据转换模块被配置为：
    确定预先训练的基于残差网络的第一转码器和基于残差网络的第二转码器；
    将所述第一眼底图像初始特征数据输入所述第一转码器，以由所述第一转码器将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据；
    将所述第二眼底图像初始特征数据输入所述第二转码器，以由所述第二转码器将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。
  13. 根据权利要求8所述的装置，所述图像还原模块被配置为：
    确定基于反卷积神经网络的对应于所述第一编码器的第二解码器以及基于反卷积神经网络的对应于所述第二编码器的第一解码器；
    将所述第一眼底图像扩展特征数据输入所述第一解码器，以由所述第一解码器对所述第一眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本；
    将所述第二眼底图像扩展特征数据输入所述第二解码器，以由所述第二解码器对所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
  14. 根据权利要求8所述的装置，还包括：
    所述第一编码器、所述第二编码器、所述第一转码器、所述第二转码器、所述第一解码器以及所述第二解码器通过以下步骤训练得到：
    构建用于判断输入图像是否来自第一眼底图像数据源的第一判别器以及用于判断输入图像是否来自第二眼底图像数据源的第二判别器；
    将所述第一编码器、所述第一转码器、所述第二解码器以及所述第二判别器依次连接组成第一生成对抗网络，并将所述第二编码器、所述第二转码器、所述第一解码器以及所述第一判别器依次连接组成第二生成对抗网络；
    利用同一损失函数对所述第一生成对抗网络和所述第二生成对抗网络进行联合训练。
  15. 一种电子设备，其中，包括：处理器；以及存储器，用于存储所述处理器的眼底图像样本扩展程序；其中，所述处理器配置为经由执行所述眼底图像样本扩展程序来执行以下处理：
    获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；
    分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；
    将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；
    分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
  16. 根据权利要求15所述的电子设备，其中，获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本，包括：
    采集眼底图像，并获取所述眼底图像的数据来源信息；
    根据所述数据来源信息判断各个所述眼底图像的数据来源是否为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源；
    将数据来源为所述第一眼底图像数据源的眼底图像确定为第一眼底图像初始样本，并将数据来源为第二眼底图像数据源的眼底图像确定为第二眼底图像初始样本；
    将数据来源为所述待确定眼底图像数据源的眼底图像输入至预先训练的眼底图像分类模型，并根据所述眼底图像分类模型的输出结果将该眼底图像确定为第一眼底图像初始样本、第二眼底图像初始样本或者噪声样本。
  17. 根据权利要求15所述的电子设备，其中，所述第一眼底图像数据源是采用近红外光线作为光源拍摄得到的眼底图像数据集，所述第二眼底图像数据源是采用无赤光线作为光源拍摄得到的眼底图像数据集。
  18. 根据权利要求15所述的电子设备，其中，分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初 始特征数据和具有第二数据源特征的第二眼底图像初始特征数据，包括：
    确定预先训练的基于卷积神经网络的第一编码器和基于卷积神经网络的第二编码器；
    将所述第一眼底图像初始样本输入所述第一编码器，以由所述第一编码器对所述第一眼底图像初始样本进行特征提取后得到具有第一数据源特征的第一眼底图像初始特征数据；
    将所述第二眼底图像初始样本输入所述第二编码器，以由所述第二编码器对所述第二眼底图像初始样本进行特征提取后得到具有第二数据源特征的第二眼底图像初始特征数据。
  19. 根据权利要求15所述的电子设备，其中，将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据，包括：
    确定预先训练的基于残差网络的第一转码器和基于残差网络的第二转码器；
    将所述第一眼底图像初始特征数据输入所述第一转码器，以由所述第一转码器将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据；
    将所述第二眼底图像初始特征数据输入所述第二转码器，以由所述第二转码器将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。
  20. 根据权利要求15所述的电子设备，其中，分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本，包括：
    确定基于反卷积神经网络的对应于所述第一编码器的第二解码器以及基于反卷积神经网络的对应于所述第二编码器的第一解码器；
    将所述第一眼底图像扩展特征数据输入所述第一解码器，以由所述第一解码器对所述第一眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本；
    将所述第二眼底图像扩展特征数据输入所述第二解码器，以由所述第二解码器对所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第二眼底图像数据源的第二眼底图像扩展样本。
  21. 根据权利要求15所述的电子设备，其中，所述第一编码器、所述第二编码器、所述第一转码器、所述第二转码器、所述第一解码器以及所述第二解码器通过以下步骤训练得到：
    构建用于判断输入图像是否来自第一眼底图像数据源的第一判别器以及用于判断输入图像是否来自第二眼底图像数据源的第二判别器；
    将所述第一编码器、所述第一转码器、所述第二解码器以及所述第二判别器依次连接组成第一生成对抗网络，并将所述第二编码器、所述第二转码器、所述第一解码器以及所述第一判别器依次连接组成第二生成对抗网络；
    利用同一损失函数对所述第一生成对抗网络和所述第二生成对抗网络进行联合训练。
  22. 一种计算机非易失性可读存储介质，其上存储有眼底图像样本扩展程序，其中，所述眼底图像样本扩展程序被处理器执行时实现权利要求1至7任一项所述的方法。
PCT/CN2019/117687 2019-09-17 2019-11-12 眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质 Ceased WO2020215682A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
SG11202008419UA SG11202008419UA (en) 2019-09-17 2019-11-12 Method and device for fundus-image sample expansion, electronic device, and non-transitory computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910878147.3 2019-09-17
CN201910878147.3A CN110705611B (zh) 2019-09-17 2019-09-17 眼底图像样本扩展方法、装置、介质及电子设备

Publications (1)

Publication Number Publication Date
WO2020215682A1 true WO2020215682A1 (zh) 2020-10-29

Family

ID=69195362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117687 Ceased WO2020215682A1 (zh) 2019-09-17 2019-11-12 眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质

Country Status (3)

Country Link
CN (1) CN110705611B (zh)
SG (1) SG11202008419UA (zh)
WO (1) WO2020215682A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785599A (zh) * 2020-12-25 2021-05-11 深兰工业智能创新研究院(宁波)有限公司 图像扩展方法及装置
CN113554624A (zh) * 2021-07-23 2021-10-26 深圳市人工智能与机器人研究院 异常检测方法、装置及计算机存储介质
CN116229091A (zh) * 2022-12-12 2023-06-06 东软医疗系统股份有限公司 Ct数据的处理方法、装置、存储介质及计算机设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894804A (zh) * 2022-03-29 2023-10-17 山东第一医科大学附属省立医院(山东省立医院) 基于广角眼底图像的推理模型的生成方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103222851A (zh) * 2012-01-26 2013-07-31 佳能株式会社 眼科设备和眼科设备的控制方法
CN103654712A (zh) * 2012-08-30 2014-03-26 佳能株式会社 眼科设备和眼科设备的控制方法
US20140293289A1 (en) * 2013-03-27 2014-10-02 Kabushiki Kaisha Topcon Method for Generating Two-Dimensional Images From Three-Dimensional Optical Coherence Tomography Interferogram Data
CN109658385A (zh) * 2018-11-23 2019-04-19 上海鹰瞳医疗科技有限公司 眼底图像判断方法及设备
CN109919831A (zh) * 2019-02-13 2019-06-21 广州视源电子科技股份有限公司 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质
CN109919915A (zh) * 2019-02-18 2019-06-21 广州视源电子科技股份有限公司 基于深度学习的视网膜眼底图像异常区域检测方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464210B (zh) * 2017-07-06 2020-02-21 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
CN110163048B (zh) * 2018-07-10 2023-06-02 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN110197229B (zh) * 2019-05-31 2022-06-07 腾讯医疗健康(深圳)有限公司 图像处理模型的训练方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103222851A (zh) * 2012-01-26 2013-07-31 佳能株式会社 眼科设备和眼科设备的控制方法
CN103654712A (zh) * 2012-08-30 2014-03-26 佳能株式会社 眼科设备和眼科设备的控制方法
US20140293289A1 (en) * 2013-03-27 2014-10-02 Kabushiki Kaisha Topcon Method for Generating Two-Dimensional Images From Three-Dimensional Optical Coherence Tomography Interferogram Data
CN109658385A (zh) * 2018-11-23 2019-04-19 上海鹰瞳医疗科技有限公司 眼底图像判断方法及设备
CN109919831A (zh) * 2019-02-13 2019-06-21 广州视源电子科技股份有限公司 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质
CN109919915A (zh) * 2019-02-18 2019-06-21 广州视源电子科技股份有限公司 基于深度学习的视网膜眼底图像异常区域检测方法及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785599A (zh) * 2020-12-25 2021-05-11 深兰工业智能创新研究院(宁波)有限公司 图像扩展方法及装置
CN112785599B (zh) * 2020-12-25 2024-05-28 深兰工业智能创新研究院(宁波)有限公司 图像扩展方法及装置
CN113554624A (zh) * 2021-07-23 2021-10-26 深圳市人工智能与机器人研究院 异常检测方法、装置及计算机存储介质
CN113554624B (zh) * 2021-07-23 2023-12-05 深圳市人工智能与机器人研究院 异常检测方法、装置及计算机存储介质
CN116229091A (zh) * 2022-12-12 2023-06-06 东软医疗系统股份有限公司 Ct数据的处理方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
SG11202008419UA (en) 2020-10-29
CN110705611B (zh) 2024-06-28
CN110705611A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
CN108062780B (zh) 图像压缩方法和装置
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN110210513B (zh) 数据分类方法、装置及终端设备
WO2020215682A1 (zh) 眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质
WO2021159751A1 (zh) 基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质
CN113378773B (zh) 手势识别方法、装置、设备、存储介质以及程序产品
CN111783619B (zh) 人体属性的识别方法、装置、设备及存储介质
CN117197134B (zh) 缺陷检测方法、装置、设备及存储介质
CN115115540A (zh) 基于光照信息引导的无监督低光图像增强方法及装置
CN114693703B (zh) 皮肤镜图像分割模型训练、皮肤镜图像识别方法及装置
WO2022111387A1 (zh) 一种数据处理方法及相关装置
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
CN115497176A (zh) 活体检测模型训练方法、活体检测方法和系统
WO2024159888A1 (zh) 复原图像的方法、装置、计算机设备、程序产品及存储介质
CN116932788B (zh) 封面图像提取方法、装置、设备及计算机存储介质
WO2025118756A1 (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN116486465A (zh) 用于人脸结构分析的图像识别方法及其系统
CN117079339A (zh) 动物虹膜识别方法、预测模型训练方法、电子设备及介质
CN112668608A (zh) 一种图像识别方法、装置、电子设备及存储介质
WO2022226744A1 (en) Texture completion
US11688175B2 (en) Methods and systems for the automated quality assurance of annotated images
WO2024245228A1 (zh) 一种姿态估计方法及其相关设备
CN114724254B (zh) 确定动作类别的方法、装置、设备、存储介质
CN114299598B (zh) 确定注视位置的方法及相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925995

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19925995

Country of ref document: EP

Kind code of ref document: A1