WO2018008593A1 - 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 - Google Patents

画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 Download PDF

Info

Publication number
WO2018008593A1
WO2018008593A1 PCT/JP2017/024332 JP2017024332W WO2018008593A1 WO 2018008593 A1 WO2018008593 A1 WO 2018008593A1 JP 2017024332 W JP2017024332 W JP 2017024332W WO 2018008593 A1 WO2018008593 A1 WO 2018008593A1
Authority
WO
WIPO (PCT)
Prior art keywords
cnn
image
learning
diagnostic
unit
Prior art date
Application number
PCT/JP2017/024332
Other languages
English (en)
French (fr)
Inventor
利憲 細井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/315,015 priority Critical patent/US10803582B2/en
Priority to JP2018526365A priority patent/JP6927211B2/ja
Publication of WO2018008593A1 publication Critical patent/WO2018008593A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to a technique for detecting an abnormal region in a diagnosis target image in which a diagnosis target is copied.
  • an image in which a diagnosis target is copied is also referred to as a diagnosis target image.
  • an area where the diagnosis target may be abnormal is also referred to as an abnormal area.
  • the endoscope camera has a tube shape, and the internal organ wall surface is photographed by inserting it from the outside of the body, and inserting / removing it or rotating it. Further, since the inside of the body is dark, photographing is performed while illuminating the internal organs wall surface with the illumination at the tip of the endoscope camera.
  • the diagnosis target image may include a region where the original diagnosis target is not sufficiently copied due to various factors.
  • an obstacle such as a digested substance remaining in the internal organs obstructs
  • an operation such as pouring water on the internal organ wall surface is performed.
  • specular reflection of light is likely to occur, so that the internal wall surface frequently becomes shiny. Searching for a lesion from an endoscopic image including a spotted part is a difficult task that requires specialized knowledge and high attention. In this manner, even from a diagnosis target image including a region where the original diagnosis target is not sufficiently copied, even if it is a specialist, there is a possibility that an abnormal region may be missed if it is not observed carefully over time.
  • NBI Narrow Band Imaging
  • Non-Patent Document 2 uses an NBI endoscopic image as an input, and determines the stage (adenoma, advanced cancer, etc.) of the lesion area previously found in the endoscopic image. Diagnose. By making good use of this result, it is expected that doctors will be able to easily determine the presence or absence of a lesion. Thus, it is known that relatively high identification accuracy can be obtained when performing recognition processing using an NBI endoscopic image as an input.
  • the related art of Non-Patent Document 2 identifies a disease using a feature amount related to the shape of a blood vessel. Information designed by a technology developer is used as the feature amount.
  • Non-Patent Document 3 describes a method of learning, using a large amount of actual data, the extraction of feature amounts used when detecting an abnormal region in a diagnosis target image by a computer. This is a method using Convolutional Neural Networks (hereinafter also referred to as CNN), which is a kind of neural network (hereinafter also referred to as NN). According to Non-Patent Document 3, it has been reported that it is possible to achieve a high-accuracy identification rate rather than using feature amounts designed manually by a technology developer.
  • CNN Convolutional Neural Networks
  • NN neural network
  • FIG. 14 is a diagram expressing the network structure of the NN.
  • a circle represents an NN unit.
  • a straight line indicates that the units are connected.
  • This w and b can take different values for each coupling between units.
  • “ ⁇ ” represents a product.
  • the function f () is an arbitrary monotonically increasing function.
  • the CNN is configured so that a process equivalent to a general convolution process for an image can be executed by adding a restriction that some of these parameters are shared among layers.
  • Several types of CNN intermediate layers are known. For example, there are a Convolution layer, a Pooling layer, a total coupling layer (linear coupling layer), and the like.
  • the example of the NN shown in FIG. 14 has a multilayer network structure.
  • an image pixel value is input to each unit 1 to P (P is an integer of 1 or more) in the input layer, and each unit 1 to N (N is an integer of 1 or more) in the output layer through an intermediate layer unit.
  • the identification result is output from.
  • Each unit of the output layer is assigned class information that is a classification of an abnormal region for which an identification result is desired. Examples of such class information include classifications such as non-lesion, polyp, and cancer. In FIG. 14, this class information may be referred to as a label, category, or teacher signal in the image recognition field.
  • the learning process a large number of data prepared in advance is repeatedly input to the input layer, and calculations based on network parameters are sequentially performed. This calculation is called forward calculation.
  • the parameter group is updated while calculating in the reverse direction so as to minimize the difference (called loss) between the value of the output layer and the target value by forward calculation. This calculation is called Backward calculation.
  • the forward calculation is executed using the parameter group obtained in the learning process, and the identification result is output.
  • the CNN performs a convolution operation in the Convolution layer and performs a sampling process in the Pooling layer. These processes can be regarded as a process of extracting feature amounts from the input image. Further, the processing in the subsequent layers can be regarded as identification processing. That is, it can be said that by learning one CNN, it is possible to simultaneously obtain a design for feature quantity extraction (parameter for feature quantity extraction) and an identification parameter.
  • Non-Patent Document 2 performs identification using the NBI endoscope image of Non-Patent Document 1. Further, the related art of Non-Patent Document 3 extracts a feature quantity capable of identifying a target by using an NBI endoscopic image in which a blood vessel and a glandular structure are photographed large and clearly.
  • Non-Patent Document 1 it is not realistic to perform the NBI imaging of Non-Patent Document 1 normally.
  • an image to be diagnosed obtained by a normal imaging method that does not depend on a special function is used as an input, it is difficult to accurately detect an abnormal region using the related technology of Non-Patent Document 2.
  • a diagnosis target image obtained by a normal imaging method having no special function is used as an input, it is possible to extract a feature amount capable of identifying a target even using the related technology of Non-Patent Document 3. difficult.
  • the diagnosis target image often includes a region where the original diagnosis target is not sufficiently copied.
  • the present invention has been made to solve the above-described problems.
  • a technology is provided to detect an abnormal region with higher accuracy even if a diagnostic target image obtained by a normal imaging method that does not rely on special functions includes a region where the original diagnostic target is not sufficiently captured.
  • the purpose is to do.
  • An image diagnosis learning apparatus includes a CNN configuration storage unit that stores a network configuration of Convolutional Neural Network (CNN), a parameter storage unit that stores parameters of a learning target in the CNN, and a learning target in which a diagnostic target is copied.
  • CNN Convolutional Neural Network
  • an inappropriate region detection unit that detects an inappropriate region that is an unsuitable region for identifying an abnormal region in which the diagnosis target may be abnormal based on a predetermined criterion, and the learning image
  • an inappropriate area invalidating unit for invalidating a unit corresponding to the inappropriate area among the units of the input layer, and the input layer unit corresponding to the inappropriate area are invalid.
  • the calculation of the CNN is performed using the parameters in the normalized state, and the calculation is performed.
  • a loss value calculation unit for calculating a loss value based on information representing the abnormality of the diagnosis target given in advance to the learning image, and a parameter of the parameter storage unit based on the loss value
  • a parameter updating unit for updating.
  • the image diagnostic apparatus of the present invention includes a parameter storage unit that stores the parameters of the CNN that are updated by applying the image diagnostic learning apparatus described above to one or a plurality of learning images, and an update of the parameters.
  • a CNN configuration storage unit that stores the network configuration of the CNN used by the diagnostic imaging learning apparatus, and by inputting information based on the diagnostic target image in which the diagnostic target is copied to the CNN and executing the calculation
  • a CNN identifying unit for identifying an abnormal region in which the diagnostic target may have anomaly in the diagnostic target image.
  • the computer device detects an inappropriate area that is an area that is not suitable for identifying an abnormal area in which the diagnostic object may be abnormal in the learning image in which the diagnostic object is copied.
  • CNN Convolutional Neural Network
  • the unit corresponding to the inappropriate area is invalidated among the units of the input layer, and the inappropriate area
  • the calculation of the CNN is executed in a state where the unit of the input layer corresponding to is invalidated, and based on the calculation result and information indicating the abnormality of the diagnosis target given in advance to the learning image
  • the loss value is calculated, and the learning target parameter in the CNN is updated based on the loss value.
  • the program stored in the storage medium of the present invention is an inappropriate area that is not suitable for identifying an abnormal area in which the diagnostic object may have abnormality in the learning image in which the diagnostic object is copied.
  • CNN Convolutional Neural Network
  • a unit corresponding to the inappropriate area is invalidated among the units in the input layer.
  • the calculation of the CNN is performed in a state in which the unit of the input layer corresponding to the appropriate region is invalidated, and the calculation result and information indicating the abnormality of the diagnosis target given in advance to the learning image
  • the loss value is calculated based on the parameter, and the learning target parameter in the CNN is updated based on the loss value. Is executed that the computer device.
  • the computer device updates the parameters of the CNN updated by executing the above-described method on one or more learning images, and updates the parameters.
  • the diagnostic target is abnormal in the diagnostic target image. Identify abnormal areas that may have
  • the other program of the present invention is used for updating the parameters of the CNN updated by causing the computer device to execute the above-described program on one or a plurality of learning images, and updating the parameters.
  • the diagnostic target has an abnormality in the diagnostic target image. Identifying an abnormal region that may have a computer device is executed.
  • the present invention is a technique for detecting an abnormal region with higher accuracy even if a diagnostic target image obtained by a normal imaging method that does not depend on a special function includes a region where the original diagnostic target is not sufficiently captured. Can be provided.
  • FIG. 1 shows a functional block configuration of the diagnostic imaging learning apparatus 1 as the first embodiment.
  • the diagnostic imaging learning apparatus 1 includes a CNN configuration storage unit 11, a parameter storage unit 12, an inappropriate region detection unit 13, an inappropriate region invalidation unit 14, a loss value calculation unit 15, a parameter update.
  • Part 16 The image diagnosis learning device 1 is a device that learns parameters used in the CNN that identifies an abnormal region in an image in which a diagnosis target is copied.
  • the abnormal region refers to a region in which an image of the diagnosis target is likely to have an abnormality in the diagnosis target.
  • the diagnostic imaging learning apparatus 1 can be configured by hardware elements as shown in FIG.
  • the diagnostic imaging learning apparatus 1 is configured by a computer device including a CPU (Central Processing Unit) 1001 and a memory 1002.
  • the memory 1002 includes a RAM (Random Access Memory), a ROM (Read Only Memory), an auxiliary storage device (such as a hard disk), and the like.
  • the CNN configuration storage unit 11 and the parameter storage unit 12 are configured by the memory 1002.
  • the inappropriate area detection unit 13, the inappropriate area invalidation unit 14, the loss value calculation unit 15, and the parameter update unit 16 are configured by a CPU 1001 that reads and executes a computer program stored in the memory 1002.
  • the hardware configuration of the diagnostic imaging learning apparatus 1 and each functional block thereof is not limited to the above-described configuration.
  • the CNN configuration storage unit 11 stores information representing the network configuration of the Convolutional Neural Network (CNN).
  • Information representing the network configuration may include, for example, information such as the image size of the input layer and the number of channels, the type and size of each of the plurality of intermediate layers, processing parameters, and the number of units of the output layer.
  • the types of the intermediate layer include a Convolution layer, a Pooling layer, a total coupling layer (linear coupling layer), and the like.
  • processing parameters include the following.
  • parameters such as the size (width, height, number of channels) of the Convolution kernel, the width of the stride when calculating the Convolution, and the presence or absence of processing for filling the image edge with a specific value in order to adjust the size when calculating the Convolution.
  • the parameter storage unit 12 stores a parameter group to be learned in the CNN described above.
  • Examples of the learning target parameter group include weights and biases used in the calculation of each unit. These parameters are regarded as parameters for extracting the feature amount of the abnormal region or parameters for identifying the abnormal region using the feature amount.
  • the initial value of the parameter stored in the parameter storage unit 12 may be a random number.
  • the initial value of the parameter may be a value learned for other image recognition applications. For example, if the initial value of a parameter is a parameter for recognizing a general object such as an animal or a vehicle, or a parameter learned for identifying a pattern in an image, a high learning effect may be obtained and useful. It is.
  • the improper area detection unit 13 detects an improper area that is inappropriate for identifying the abnormal area in the learning image in which the diagnosis target is copied, based on a predetermined criterion.
  • the inappropriate region for example, a region where the original diagnosis target is not sufficiently copied is applied.
  • the inappropriate area detection unit 13 may detect an area that satisfies the condition that can determine that the original diagnosis target is not sufficiently copied as an inappropriate area.
  • the learning image may be, for example, a partial image of an image in which a diagnosis target is captured.
  • information indicating abnormality regarding the diagnostic object being copied is given to the learning image as correct answer information.
  • the information indicating abnormality may be, for example, information indicating whether or not there is a possibility of abnormality.
  • the information indicating the abnormality may be information indicating the type when there is a possibility of having the abnormality, for example.
  • the information representing the abnormality may be information representing the high possibility of the abnormality.
  • the content of the information indicating abnormality is not limited to these.
  • the inappropriate area invalidation unit 14 invalidates the unit corresponding to the inappropriate area among the units in the input layer in the network configuration of the CNN that has input the learning image.
  • the network configuration of the CNN that inputs the learning image is stored in the CNN configuration storage unit 11 described above.
  • the invalidation of the unit of the input layer corresponding to the inappropriate area will be described with reference to the schematic diagram of FIG.
  • the network configuration of CNN is the structure shown in FIG.
  • each pixel value of the learning image is input to the input layer of the CNN.
  • the unit to which the pixels included in the inappropriate area are input is invalidated as shown in FIG.
  • the triangles in the figure represent disabled units.
  • the pixel 1 and the pixel 3 are included in the inappropriate area.
  • each unit to which pixel 1 and pixel 3 are input is invalidated.
  • the connection from the invalidated unit to the unit in the next layer is treated as not existing.
  • the broken lines in the figure represent connections that are treated as not existing.
  • the invalidation by the inappropriate area invalidation unit 14 is temporary. In other words, the inappropriate region invalidation unit 14 invalidates the invalidated units first when processing other different learning images even if invalidating some input layer units for a certain learning image. To release. Then, the inappropriate area invalidation unit 14 may invalidate the unit of the input layer corresponding to the inappropriate area in the learning image again.
  • the loss value calculation unit 15 calculates a loss value for learning the CNN using parameters in a state where the unit of the input layer corresponding to the inappropriate area is invalidated. Specifically, the loss value calculation unit 15 performs forward calculation by applying the parameters stored in the parameter storage unit 12 in a state where the unit of the input layer corresponding to the inappropriate region is invalidated. And the loss value calculation part 15 calculates a loss value based on the calculation result and the information showing the abnormality which was previously given to the image for learning.
  • the loss value is an optimization index calculated during learning of the neural network, and any index can be applied.
  • the numerical value group (calculation result) output by the forward calculation is converted to a real value that can take a value in the range of 0 to 1 using the SoftMax function, and then the correct answer class And 1.0 is used as the loss value.
  • the above-described “information indicating anomaly given in advance to the learning image” is information indicating the anomaly of the correct answer, and corresponds to 1.0 of the correct answer class.
  • the loss value calculation method is not limited to this.
  • the parameter update unit 16 updates the learning target parameter stored in the parameter storage unit 12 based on the loss value.
  • the parameters to be updated are, for example, weights and biases.
  • the parameter updating unit 16 may update the parameters so as to minimize the loss by using the cumulative value of the loss values calculated for each of the plurality of learning images.
  • the plurality of learning images may be a plurality of partial images of an image obtained by photographing the diagnosis target.
  • a minimization (optimization) method at this time for example, a stochastic descent method or the like can be applied.
  • the minimization method at this time is not limited to this method, and any method can be applied.
  • the inappropriate area detection unit 13 detects an inappropriate area from the learning image based on a predetermined criterion (step S11).
  • the inappropriate area invalidation unit 14 invalidates the unit corresponding to the inappropriate area among the units in the input layer of the CNN (step S12).
  • the loss value calculation unit 15 performs CNN calculation in a state where the input layer unit corresponding to the inappropriate region is invalidated. And the loss value calculation part 15 calculates a loss value based on the calculation result and the information showing the anomaly previously given to the image for learning (step S13).
  • the parameter updating unit 16 updates the learning target parameter based on the calculated loss value (step S14).
  • the diagnostic imaging learning apparatus 1 ends the operation.
  • the diagnostic imaging learning apparatus includes an area in which an original diagnostic object is not sufficiently captured in an image obtained by imaging a diagnostic object using a normal imaging method that does not depend on a special function.
  • the abnormal region can be detected with higher accuracy.
  • the inappropriate region detection unit detects an inappropriate region that is a region that is not suitable for identifying the abnormal region in the learning image in which the diagnosis target is copied, based on a predetermined criterion. Then, the inappropriate area invalidating unit invalidates the unit corresponding to the inappropriate area among the units of the input layer of the CNN based on the network configuration of the CNN to which the learning image is input. Then, the loss value calculation unit calculates the CNN in a state where the unit of the input layer corresponding to the inappropriate area is invalidated. And a loss value calculation part calculates a loss value based on the calculation result of CNN and the information showing the abnormality of the correct answer given to the image for learning beforehand. This is because the parameter updating unit updates the learning target parameter in the CNN based on the loss value.
  • the learning target parameter in the CNN is determined based on the learning image. For this reason, the present embodiment automatically extracts a feature amount sufficient to identify an abnormal region even in a learning image obtained from an image obtained by an imaging method that does not depend on a special function. Furthermore, the present embodiment automatically detects an inappropriate area where the original diagnostic object is not sufficiently copied, invalidates the inappropriate area, and learns the CNN parameters. For this reason, the present embodiment can learn the CNN accurately while suppressing the influence of the inappropriate region. Furthermore, in the present embodiment, by operating on a larger number of learning images, it is possible to automatically extract feature amounts that enable more accurate identification and learn parameters. As a result, according to the present embodiment, it is possible to provide an accurate parameter by the CNN that identifies the abnormal region in the image in which the diagnosis target is captured, and it is possible to detect the abnormal region with higher accuracy.
  • a visceral wall surface is applied as a diagnosis target.
  • an image based on an endoscopic image in which a visceral wall surface is captured by an endoscopic camera is applied. Note that, in each drawing referred to in the description of the present embodiment, the same configurations and steps that operate in the same manner as in the first embodiment are denoted by the same reference numerals, and detailed description in the present embodiment is omitted. To do.
  • FIG. 5 shows the configuration of the diagnostic imaging learning apparatus 2 as the second embodiment.
  • the diagnostic imaging learning apparatus 2 includes an inappropriate region detection unit 23 instead of the inappropriate region detection unit 13 with respect to the diagnostic imaging learning device 1 as the first embodiment, and further includes a perturbation unit. 27 is different.
  • the diagnostic imaging learning apparatus 2 and each functional block thereof can be configured by the same hardware elements as the diagnostic imaging learning apparatus 1 as the first embodiment described with reference to FIG.
  • the hardware configuration of the diagnostic imaging learning apparatus 2 and each functional block thereof is not limited to the above-described configuration.
  • the perturbation unit 27 generates a learning image by performing perturbation processing on the learning sample of the endoscopic image.
  • the perturbation process is a process that gives minute fluctuations in position, scale, and rotation angle.
  • a patch image obtained by dividing an endoscopic image is input to the perturbation unit 27.
  • the patch image is a partial image included in the endoscopic image.
  • lesion class information indicating a lesion class is given as correct information to each patch image.
  • the perturbation unit 27 generates a learning image that is obtained by performing perturbation processing on such a patch image.
  • the lesion class information may be information representing either a lesion or a non-lesion, for example.
  • the patch image including the lesion may be given a numerical value 1 as lesion class information indicating “lesion”.
  • a patch image not including a lesion may be given a numerical value of 0 as lesion class information indicating “non-lesion”.
  • the lesion class information may be information indicating any of lesion types 1 to n (n is a positive integer of 2 or more) and non-lesion.
  • a patch image including a lesion of type i i is an integer from 1 to n
  • a patch image not including a lesion may be given a numerical value of 0 as lesion class information indicating “non-lesion”.
  • the improper region detection unit 23 detects a spot as an inappropriate region from the learning image.
  • the spotted portion is generated by performing an operation such as applying water to the internal organ wall surface when photographing with the endoscope camera.
  • An arbitrary method may be used as a method for detecting a spot location.
  • the inappropriate area detection unit 23 may detect a spotted portion by performing threshold processing on the luminance value. Detection of a spot using a luminance value will be described with reference to FIGS.
  • FIG. 6 is a diagram schematically illustrating an example of an endoscopic image in which a flash has occurred. As shown in FIG. 6, when there is a crack on the internal wall surface, the portion in the endoscopic image becomes white with high luminance.
  • FIG. 6 is a diagram schematically illustrating an example of an endoscopic image in which a flash has occurred. As shown in FIG. 6, when there is a crack on the internal wall surface, the portion in the endoscopic image becomes white with high luminance.
  • the inappropriate area detection unit 23 can determine that a pixel having a luminance exceeding the threshold value is a pixel at a spot.
  • the inappropriate area detection unit 23 may determine, for example, a partial area in which the appearance rate of the luminance value higher than the threshold satisfies a predetermined criterion as a spot location.
  • the inappropriate region detection unit 23 may detect a spotted portion by using a process of searching for an isolated point where the pixel of interest is extremely brighter than the surrounding pixels.
  • the diagnostic imaging learning apparatus 2 configured as described above will be described with reference to FIG.
  • the method of selecting a subset from the learning data set and updating the parameters so as to minimize the cumulative value of the loss calculated from the learning data set has the effect of improving the identification accuracy. Often used. Therefore, here, an example of operation using a learning data set composed of patch images cut out from an endoscopic image and provided with lesion class information and a subset selected from the learning data set will be described.
  • Such learning data set and subset information may be stored in the memory 1002.
  • the image diagnosis learning apparatus 2 may read the learning data set and subset information from the memory 1002 and execute the following operations.
  • the network configuration of the CNN may be, for example, one in which a plurality of Convolution layers and one Pooling layer are set as one set, and a plurality of these sets are connected.
  • the number of lesion classes to be identified the size of the patch image, the number of units of the input layer and output layer of the CNN, the network configuration, and the like are not limited to the above examples.
  • the perturbation unit 27 receives one of the patch images included in this subset, and generates a learning image perturbed with respect to position, scale, rotation, and the like (step S21).
  • the perturbation unit 27 may acquire a large patch image and cut out a perturbed image from the acquired patch image as a learning image.
  • the inappropriate area detection unit 23 detects a spot as an inappropriate area from the learning image (step S22).
  • the inappropriate area invalidation unit 14 operates in substantially the same manner as in step S12 in the first embodiment, and temporarily sets a unit corresponding to the inappropriate area in the input layer of the CNN to which the learning image is input. Disable to.
  • the inappropriate area invalidation unit 14 temporarily invalidates the unit corresponding to the spotted position (step S23).
  • the loss value calculation unit 15 operates in substantially the same manner as Step S13 in the first embodiment, and performs CNN Forward calculation.
  • the loss value calculation unit 15 performs CNN Forward calculation in a state where the unit of the input layer corresponding to the detected location is temporarily invalidated.
  • the loss value calculation unit 15 calculates the loss value using the calculation result and the correct lesion class information given to the learning image (step S24).
  • step S25 if there is another patch image included in this subset (Yes in step S25), the diagnostic imaging learning apparatus 2 repeats the processing from step S21.
  • the parameter updating unit 16 performs a process of updating the learning target parameter. Specifically, the parameter updating unit 16 may update the weights and biases based on the cumulative value of the loss values calculated for each learning image included in this subset (step S26).
  • step S27 if there is another subset (Yes in step S27), the diagnostic imaging learning apparatus 2 repeats the processing from step S21.
  • the diagnostic imaging learning apparatus 2 ends the operation.
  • the diagnostic imaging learning apparatus 2 may perform the same operation on other learning data sets, and may end the operation when the updated loss value or identification error rate does not decrease.
  • the diagnostic imaging learning apparatus as the second embodiment includes a spotted portion in an endoscopic image obtained by a normal imaging method that does not depend on a special function such as an NBI endoscope or a magnifying endoscope. Even if it is, the candidate of a lesioned part can be detected more accurately.
  • the present embodiment includes the following configuration in addition to the same configuration as the first embodiment. That is, the perturbation unit generates a learning image by performing perturbation processing on the patch image to which the endoscopic image is divided and the lesion class information is given. This is because the inappropriate area detection unit detects a spot as an inappropriate area in the learning image.
  • the weights and biases constituting the CNN are updated as the feature amount extraction parameters based on the learning image set based on the endoscopic image. Therefore, even in a general endoscopic image that does not depend on an NBI endoscope or a magnifying endoscope, a normal visceral wall surface area is distinguished from an abnormal area that may be abnormal, that is, a lesion area. It is possible to automatically extract a feature amount sufficient for this.
  • the present embodiment automatically detects and invalidates the detected spot and learns the CNN parameter, the influence of an abnormal value occurring at the detected spot in the endoscopic image is suppressed, and the CNN is learned. Can be made.
  • parameters can be learned without adverse effects from a learning image that includes a spotted portion in an endoscopic image.
  • the CNN discriminator using the parameters learned according to the present embodiment can more accurately detect a lesion candidate even for an endoscopic image that does not depend on a special function.
  • this embodiment can be implemented without including a perturbation unit.
  • the perturbation part perturbs the spotted portion by executing the perturbation process, there is an effect that the parameter can be learned without biasing the spotted portion and further suppressing the adverse effect due to the spotted portion.
  • Such an effect by the perturbation part is particularly noticeable when operating with a small learning data set.
  • the diagnosis target image is an image in which the diagnosis target is copied, and is an image of a target for identifying an abnormal region.
  • FIG. 9 shows the configuration of the diagnostic imaging apparatus 3 as the third embodiment.
  • the diagnostic imaging apparatus 3 includes a CNN configuration storage unit 31, a parameter storage unit 32, and a CNN identification unit 38.
  • the diagnostic imaging apparatus 3 can be configured by hardware elements as shown in FIG.
  • the image diagnostic apparatus 3 is configured by a computer apparatus including a CPU 3001 and a memory 3002.
  • the memory 3002 includes a RAM, a ROM, an auxiliary storage device, and the like.
  • the CNN configuration storage unit 31 and the parameter storage unit 32 are configured by the memory 3002.
  • the CNN identifying unit 38 is configured by a CPU 3001 that reads and executes a computer program stored in the memory 3002.
  • the hardware configuration of the diagnostic imaging apparatus 3 and each functional block thereof is not limited to the above-described configuration.
  • the image diagnostic apparatus 3 may be configured by the same computer apparatus as the image diagnostic learning apparatus 1, or may be configured by a different computer apparatus.
  • the CNN configuration storage unit 31 stores information representing the same network configuration as that of the CNN used by the diagnostic imaging learning apparatus 1 according to the first embodiment.
  • the parameter storage unit 32 stores CNN parameters updated by applying the diagnostic imaging learning apparatus 1 according to the first embodiment to one or a plurality of learning images. For example, such parameters are weights and biases in the CNN. Note that the CNN parameters stored in the parameter storage unit 32 are desirably parameters updated by applying the diagnostic imaging learning apparatus 1 to learning images obtained from a larger number of endoscopic images.
  • the CNN identifying unit 38 uses the CNN parameters stored in the parameter storage unit 32 to input information based on the diagnosis target image to the CNN and execute the calculation. Then, the CNN identifying unit 38 identifies an abnormal region in the diagnosis target image based on the calculation result of CNN.
  • the CNN identifying unit 38 inputs a diagnosis target image to the CNN having the network configuration used by the image diagnosis learning apparatus 1 according to the first embodiment (step S31).
  • the CNN identifying unit 38 performs CNN calculation using the CNN parameters updated by the diagnostic imaging learning apparatus 1 according to the first embodiment (step S32).
  • the CNN identifying unit 38 identifies an abnormal region in the diagnosis target image based on the CNN calculation result (step S33).
  • the diagnostic imaging apparatus 3 finishes the operation.
  • the diagnostic imaging apparatus includes a region where the original diagnostic object is not sufficiently captured in the diagnostic object image obtained by imaging the diagnostic object using a normal imaging method that does not depend on a special function.
  • the abnormal region can be detected with higher accuracy.
  • the CNN configuration storage unit stores the network configuration of the CNN used by the image diagnosis learning apparatus as the first embodiment. Further, the parameter storage unit stores the CNN parameters updated by the diagnostic imaging learning apparatus as the first embodiment. Then, the CNN identifying unit inputs the diagnosis target image to the CNN having the network configuration used by the image diagnosis learning apparatus according to the first embodiment. Then, the CNN identification unit calculates the CNN using the CNN parameters updated by the diagnostic imaging learning apparatus according to the first embodiment, and identifies the abnormal region in the diagnosis target image based on the calculation result. Because it does.
  • the parameters of the CNN updated by the diagnostic imaging learning apparatus as the first embodiment are learned while suppressing the influence of the inappropriate region in the learning image in which the diagnostic object is copied. Therefore, according to the present embodiment, since the CNN using such parameters is applied to the diagnosis target image, the abnormal region can be accurately identified.
  • a visceral wall surface is applied as a diagnosis target.
  • an example of an image diagnostic apparatus that identifies a lesion candidate in an endoscopic image using the CNN parameter updated in the second embodiment will be described. Note that, in each drawing referred to in the description of the present embodiment, the same reference numerals are given to the same configuration and steps that operate in the same manner as in the third embodiment, and the detailed description in the present embodiment is omitted. To do.
  • the diagnostic imaging apparatus 4 includes a CNN identifying unit 48 in place of the CNN identifying unit 38 with respect to the diagnostic imaging apparatus 3 according to the third embodiment, and further includes an inappropriate region detecting unit 43, The difference is that an inappropriate area invalidating unit 44 is provided. It is assumed that the CNN configuration storage unit 31 and the parameter storage unit 32 store the network configuration and updated parameters of the CNN used by the diagnostic imaging learning apparatus according to the second embodiment.
  • the diagnostic imaging apparatus 4 and each functional block thereof can be configured by the same hardware elements as the diagnostic imaging apparatus 3 as the third embodiment described with reference to FIG.
  • the hardware configuration of the diagnostic imaging apparatus 4 and each functional block thereof is not limited to the above-described configuration.
  • the improper region detection unit 43 detects a spot as an inappropriate region in the diagnosis target image.
  • the details of the processing for detecting a spot location are the same as those of the inappropriate region detection unit 23 in the second embodiment, and thus the description in the present embodiment is omitted.
  • the inappropriate area detection unit 43 may perform a process of detecting a spot location on a patch image that is a partial area of the diagnosis target image.
  • the improper area invalidation unit 44 invalidates a unit corresponding to a detected part among the units in the input layer of the CNN that has input the diagnosis target image.
  • the inappropriate area invalidation unit 44 may perform invalidation processing on a patch image that is a partial area of the diagnosis target image.
  • the inappropriate area invalidation unit 44 may invalidate a unit corresponding to a spot location among the units in the input layer of the CNN to which the patch image is input.
  • the network configuration of the CNN to which the diagnosis target image or its patch image is input is stored in the CNN configuration storage unit 31. The details of the process of invalidating the unit corresponding to the detected location are the same as those of the inappropriate area invalidating unit 14 in the first embodiment, and thus the description in the present embodiment is omitted.
  • the CNN identifying unit 48 identifies the type of non-lesioned part or lesioned part for the diagnosis target image. Specifically, the CNN identifying unit 48 applies the CNN parameter stored in the parameter storage unit 32 to the CNN in a state where the diagnosis target image is input and the detected portion is invalidated, and forwards the CNN Perform the calculation. For example, the CNN identifying unit 48 may identify a patch image that is a partial region of the diagnosis target image. In this case, the CNN identifying unit 48 applies the CNN parameters stored in the parameter storage unit 32 to the CNN in a state where the patch image is input and the detected portion is invalidated, and performs CNN Forward calculation. Just do it. Then, the CNN identifying unit 48 outputs the lesion class information of the visceral wall surface imaged in the patch image as the CNN identification result.
  • the CNN identifying unit 48 may convert the score into a real value score having a range from 0 to 1 by executing the SoftMax function on the identification score for each lesion class. Thereby, the CNN identifying unit 48 can calculate a score representing the likelihood of each lesion class with respect to the visceral wall surface imaged in the patch image.
  • the CNN identifying unit 48 may output a score for each patch image when identifying the patch image that is each partial region of the diagnosis target image.
  • the CNN identifying unit 48 may display the score for each patch image on a display device (not shown) as a score map representing the likelihood of a lesion class in the diagnosis target image.
  • the score map is an image that includes the score of the patch image as an image at the position of each patch image in the diagnosis target image.
  • the CNN identifying unit 48 may output such a score map superimposed on the diagnosis target image.
  • the diagnostic imaging apparatus 4 configured as described above will be described with reference to FIG. Here, it is assumed that the image diagnostic apparatus 4 operates on each patch image cut out from the endoscopic image to be diagnosed.
  • the inappropriate region detection unit 43 detects a spot in the patch image cut out from the endoscopic image (step S41).
  • the inappropriate area invalidation unit 44 temporarily invalidates the unit corresponding to the detected part among the units in the input layer of the CNN that has input the patch image (step S42).
  • the CNN identification unit 48 performs Forward calculation of the CNN in a state where the unit of the input layer corresponding to the detected location is temporarily invalidated. Thereby, the score for each lesion class is output from the CNN (step S43).
  • step S44 if there is another patch image included in the endoscopic image (Yes in step S44), the diagnostic imaging apparatus 4 repeats the operation from step S41.
  • the CNN identifying unit 48 outputs the likelihood of the lesion class for each patch image (step S45).
  • the CNN identifying unit 48 superimposes the lesion class likelihood for each patch image on the endoscopic image as a score map for displaying the patch image at a position in the endoscopic image. You may make it display on a display apparatus.
  • the CNN identification unit 48 may include the display device.
  • the diagnostic imaging apparatus includes a spotted portion in an endoscopic image obtained by photographing a visceral wall surface by a normal photographing method that does not depend on a special function such as an NBI endoscope or a magnifying endoscope. Even in such a case, it is possible to more accurately detect a region that may be a lesion.
  • the CNN configuration storage unit and the parameter storage unit store the CNN network configuration and updated parameters used by the diagnostic imaging learning apparatus as the second embodiment.
  • the inappropriate region detection unit detects a spot portion in the endoscopic image.
  • the inappropriate area invalidation unit inputs the patch image of the endoscopic image to the CNN of the network configuration used by the image diagnosis learning apparatus as the second embodiment, and at the take-up position in the input layer Temporarily disable the corresponding unit.
  • the CNN identification unit performs the forward calculation of the CNN in a state where the unit corresponding to the detected location is temporarily invalidated using the parameters updated by the diagnostic imaging learning apparatus as the second embodiment. It is because identification is performed by executing.
  • identification is performed by a CNN having the same network configuration as that of the CNN used in the second embodiment. For this reason, this embodiment can correctly detect the likelihood of a lesion in an endoscopic image even for a general endoscopic image that is not an NBI endoscope or a magnifying endoscope.
  • the identification is performed using the parameters learned in a state excluding the leading part. For this reason, this Embodiment can identify with high precision, even if a removal part is removed from an identification object image.
  • this Embodiment can identify with high precision, even if a removal part is removed from an identification object image.
  • identification can be performed. That is, in the present embodiment, it is possible to perform identification while suppressing the influence of the detected portion as much as possible from data including the detected image in the diagnosis target image.
  • the CNN configuration storage unit may store the configuration from the input layer to the middle layer from which feature values are extracted in the CNN network configuration used in the second embodiment.
  • the CNN configuration storage unit may store the configuration from the input layer to the middle layer from which feature values are extracted in the CNN network configuration used in the second embodiment.
  • a configuration composed of a Convolution layer and a Pooling layer excluding all coupling layers may be stored. In that case, the CNN configuration storage unit only needs to store at least parameters necessary for calculation from the input layer to the intermediate layer as parameters.
  • the information output from the CNN identifying unit can be regarded as a numerical string representing a feature amount effective for identifying a lesion class.
  • the numerical value sequence that is the output of the present embodiment is input to an arbitrary discriminator such as a support vector machine, so that the lesion class can be identified.
  • the CNN identification unit is not a patch image cut out from the endoscopic image.
  • the entire endoscopic image may be input to the CNN.
  • information output from the CNN identifying unit is a feature amount effective for identifying each lesion class in the endoscopic image. Therefore, the CNN identifying unit may output a score map representing the possibility of each lesion class in the endoscopic image by representing the calculation results up to the middle layer as an image according to the position in the endoscopic image. .
  • the present embodiment when inputting the entire area of the diagnosis target image, the present embodiment reduces the calculation amount and increases the speed compared with the case of repeating the identification process for each patch image while scanning the diagnosis target image.
  • a score map representing the likelihood of a lesion class can be generated.
  • each pixel of the learning image or the diagnosis target image is assigned to each unit of the input layer of the CNN.
  • the present invention is not limited to this, and information obtained by processing the learning image or the diagnosis target image in advance may be input to each unit of the input layer.
  • the improper region invalidation unit detects the improperness detected in the learning image or the diagnosis target image before the processing is performed among the units of the input layer. What is necessary is just to invalidate the unit by which the pixel of the differential image corresponding to an area
  • the description has focused on an example in which a visceral wall surface is applied as a diagnosis target and an image based on an endoscopic image is applied as a diagnosis target image.
  • a diagnosis target image to which another target is applied may be used as a diagnosis target.
  • the description has been made centering on an example in which a spot portion is applied as an inappropriate region.
  • the present invention is not limited thereto, and in each of these embodiments, other areas that are not suitable for identifying abnormal areas may be applied as the inappropriate areas.
  • the loss value calculation unit and the parameter update unit apply various known calculation methods applicable to CNNs in which some units are invalidated, in addition to the calculation methods described above. Is possible.
  • each functional block of the diagnostic imaging learning apparatus and the diagnostic imaging apparatus is realized by a CPU that executes a computer program stored in a memory.
  • the present invention is not limited to this, and some, all, or a combination of each functional block may be realized by dedicated hardware.
  • the functional blocks of the diagnostic imaging learning apparatus or diagnostic imaging apparatus may be realized by being distributed among a plurality of apparatuses.
  • the operation of the diagnostic imaging learning apparatus or diagnostic imaging apparatus described with reference to the flowcharts is stored as a computer program in a storage device (storage medium) of the computer apparatus. Then, the computer program may be read and executed by the CPU. In such a case, the computer program code or storage medium is used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知する。Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成を記憶するＣＮＮ構成記憶部１１と、ＣＮＮのパラメータを記憶するパラメータ記憶部１２と、診断対象が写された学習用画像において異常領域の識別に適していない不適当領域を所定の基準に基づいて検出する不適当領域検出部１３と、学習用画像を入力したＣＮＮの入力層において不適当領域に対応するユニットを無効化する不適当領域無効化部１４と、無効化が行われた状態においてＣＮＮの計算をＣＮＮのパラメータを用いて実行し、その計算結果および学習用画像に事前に付与された診断対象の異常性を表す情報に基づいて、損失値を計算する損失値計算部１５と、損失値に基づいてＣＮＮのパラメータを更新するパラメータ更新部１６とを備える。

Description

画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体
　本発明は、診断対象が写された診断対象画像において異常領域を検知する技術に関する。
　診断対象が写された画像において、診断対象が異常性を有する可能性がある領域を検知することを要求される分野がある。以下、診断対象が写された画像を、診断対象画像とも記載する。また、診断対象が異常性を有する可能性がある領域を、異常領域とも記載する。例えば、消化器系の癌やポリープといった病変を発見するための検診では、消化器内視鏡カメラを用いて内臓壁面が撮影された内視鏡画像を、専門医が目視で確認する作業が行われてきた。内視鏡カメラは管形状であって、それを体外から挿入して、抜き差ししたり回転したりすることにより、内臓壁面が撮影される。また、体内は暗いため、内視鏡カメラの先端にある照明で内臓壁面を照らしながら、撮影が行われる。
　ところが、診断対象画像には、様々な要因により、本来の診断対象が充分に写されていない領域が存在する場合がある。例えば、前述の消化器内視鏡カメラによる撮影の際には、内臓内に残っている消化物などの障害物が邪魔をする場合には、内臓壁面に水をかける等の作業が行われる。ただし、この場合には、光の鏡面反射が発生しやすいため、内臓壁面にテカりが頻繁に発生する。テカり箇所を含む内視鏡画像から病変を探すことは、専門知識や高い注意力が必要とされる難しい作業である。このように、本来の診断対象が充分に写されていない領域を含む診断対象画像からは、専門医であっても、時間をかけて注意深く観察しなければ、異常領域を見逃す可能性がある。
　そこで、診断対象をより鮮明に写す特殊な撮影方法を用いて、診断対象画像を得る方法がある。例えば、内視鏡カメラによる撮影の際に、内臓壁面に複数の特定の周波数の光を照射することで、内視鏡画像における血管や腺構造を強調する撮影方法がある。この撮影方法は、Narrow Band Imaging（登録商標）と呼ばれる（例えば、非特許文献１参照）。以下、Narrow Band Imagingを、ＮＢＩとも記載する。ＮＢＩによる内視鏡画像を用いれば、医師が病変を観察しやすくなる。ただし、この場合、通常画像よりも光量が減るため、常態的にＮＢＩによる撮像を行う事は、現実的ではない。その他の例としては、病変らしい箇所を見つけたあとに、その場所をズームして撮影する拡大内視鏡と呼ばれる内視鏡カメラが使われることもある。
　一方、診断対象画像の内容をコンピュータで認識することにより、異常領域の検知を支援する関連技術が知られている。例えば、非特許文献２の関連技術は、ＮＢＩによる内視鏡画像を入力として、当該内視鏡画像において事前に見つけられた病変部の領域について、その病期（腺腫、進行がん等）を診断する。この結果をうまく利用する事によって、医師が病変の有無を判断しやすくなることが期待される。このように、ＮＢＩによる内視鏡画像を入力として認識処理を行う場合には、比較的高い識別精度を得られることが知られている。なお、非特許文献２の関連技術は、血管の形状に関する特徴量を利用して病気の識別を行っている。特徴量としては、技術開発者によって設計された情報が利用される。
　また、診断対象画像における異常領域をコンピュータにより検知する際に利用する特徴量の抽出を、多量の実データを用いて学習する方法が、非特許文献３に記されている。これは、ニューラルネットワーク（以下、ＮＮとも記載する）の一種であるConvolutional Neural Networks（以下、ＣＮＮとも記載する）を利用した方法である。非特許文献３によれば、技術開発者により手作業で設計された特徴量を利用するよりも、高精度な識別率を達成できることが報告されている。
　ここで、ＮＮには、学習処理と識別処理とがある。図１４を参照して、これら処理について概略を説明する。図１４は、ＮＮのネットワーク構造を表現した図である。図１４において、丸は、ＮＮのユニットを表す。また、直線は、ユニット間が結合していることを表す。ユニットは、入力された値ｘに対して、重みｗとバイアスｂと活性化関数ｆとを用いて、式ｘ’＝ｆ（ｗ・ｘ＋ｂ）に従って出力値ｘ’を計算する。このｗおよびｂは、ユニット間の結合それぞれについて、異なる値を取りうる。ここで、「・」は積を表す。また、関数ｆ（）は、任意の単調増加関数である。なお、ユニット数、および、どのユニットとどのユニットを結合させるかは、技術開発者により事前に設計される。ＣＮＮは、これらのパラメータを層の中で一部共有する制約が加えられることにより、画像に対する一般的な畳み込み処理と同等の処理を実行できるよう構成される。ＣＮＮの中間層としては、いくつもの種類が知られている。例えば、Ｃｏｎｖｏｌｕｔｉｏｎ層、Ｐｏｏｌｉｎｇ層、全結合層（線形結合層）などがある。
　図１４に示すＮＮの例は、多層のネットワーク構造となっている。例えば、入力層の各ユニット１～Ｐ（Ｐは１以上の整数）に画像の画素値が入力され、中間層のユニットを経て、出力層の各ユニット１～Ｎ（Ｎは１以上の整数）から識別結果が出力される。出力層の各ユニットには、識別結果を得たい異常領域の分類であるクラス情報が割り当てられる。そのようなクラス情報の例としては、非病変、ポリープ、がんといった分類が挙げられる。図１４では、このクラス情報については、画像認識分野では、ラベル、カテゴリまたは教師信号とも呼ばれることがある。学習処理では、事前に用意した多数のデータが繰り返し入力層に入力され、ネットワークのパラメータに基づいた計算が順に行われる。この計算は、Ｆｏｒｗａｒｄ計算と呼ばれる。また、Ｆｏｒｗａｒｄ計算による出力層の値と目標値との差（損失と呼ばれる）を最小化するように、逆方向に計算しながらパラメータ群が更新されていく。この計算は、Ｂａｃｋｗａｒｄ計算と呼ばれる。識別処理では、学習処理で求まったパラメータ群を利用してＦｏｒｗａｒｄ計算が実行され、識別結果が出力される。尚、ＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎ層で畳み込み演算を実施し、Ｐｏｏｌｉｎｇ層でサンプリング処理を実施する。これらの処理は、入力画像から特徴量を抽出する処理とみなすことができる。さらに、その後の層における処理は、識別処理であるとみなす事もできる。つまり、１つのＣＮＮを学習することによって、特徴量抽出の設計（特徴量抽出用のパラメータ）と、識別パラメータとを、同時に求める事が可能だとも言える。
Olympus Corporation of the Americas, "Narrow Band Imaging", [online], [2016年4月19日検索], インターネット, <http://medical.olympusamerica.com/technology/narrow-band-imaging> Thomas Stehle, Roland Auer, Alexander Behrens, Jonas Wulff, TilAach, Ron Winograd, Christian Trautwein, Jens Tischendorf,"Classification of Colon Polyps in NBI Endoscopy Using Vascularization Features", Proc. Of Medical Imaging 2009, Computer―Aided Diagnosis. Vol. 7260, 72602S, 2009 Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton, "ImageNet classification with deep convolutional neural networks" Advances in neural information processing systems, 2012.
　しかしながら、上述の関連技術には、以下の課題がある。
　非特許文献２の関連技術は、非特許文献１のＮＢＩによる内視鏡画像を用いて、識別を行う。また、非特許文献３の関連技術は、血管や腺構造が大きく鮮明に撮影されたＮＢＩによる内視鏡画像を用いることにより、対象を識別する能力がある特徴量を抽出する。
　しかしながら、前述したように、非特許文献１のＮＢＩによる撮像を、常態的に行う事は現実的ではない。このように、特殊機能によらない通常の撮影方法で得られた診断対象画像を入力とする場合、非特許文献２の関連技術を用いて、異常領域を精度よく検知することは難しい。また、特殊機能を持たない通常の撮影方法で得られた診断対象画像を入力とする場合、非特許文献３の関連技術を用いても、対象を識別する能力がある特徴量を抽出することは難しい。さらには、前述したテカり箇所のように、診断対象画像には、本来の診断対象が充分に写されていない領域が含まれることも多い。そのような診断対象画像を入力とする場合、非特許文献３の関連技術を用いて、対象を識別する能力がある特徴量を抽出することはさらに難しい。その結果、非特許文献３の関連技術を用いても、異常領域を精度よく検知することは難しい。
　本発明は、上述の課題を解決するためになされたものである。すなわち、特殊機能によらない通常の撮影方法で得られた診断対象画像において、本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知する技術を提供することを目的とする。
　本発明の画像診断学習装置は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成を記憶するＣＮＮ構成記憶部と、前記ＣＮＮにおける学習対象のパラメータを記憶するパラメータ記憶部と、診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出する不適当領域検出部と、前記学習用画像を入力した前記ＣＮＮのネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化する不適当領域無効化部と、前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を前記パラメータを用いて実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算する損失値計算部と、前記損失値に基づいて前記パラメータ記憶部のパラメータを更新するパラメータ更新部と、を備える。
　また、本発明の画像診断装置は、上述の画像診断学習装置を１つまたは複数の学習用画像に適用して更新された前記ＣＮＮの前記パラメータを記憶するパラメータ記憶部と、前記パラメータの更新の際に前記画像診断学習装置によって用いられたＣＮＮのネットワーク構成を記憶するＣＮＮ構成記憶部と、前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別するＣＮＮ識別部とを備える。
　また、本発明の方法は、コンピュータ装置が、診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新する。
　また、本発明の記憶媒体に格納されたプログラムは、診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新することをコンピュータ装置に実行させる。
　また、本発明の他の方法は、コンピュータ装置が、１つまたは複数の学習用画像に対して上述の方法を実行することにより更新された前記ＣＮＮの前記パラメータと、前記パラメータの更新の際に用いられたＣＮＮのネットワーク構成とを用いて、前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別する。
　また、本発明の他のプログラムは、１つまたは複数の学習用画像に対して上述のプログラムをコンピュータ装置に実行させることにより更新された前記ＣＮＮの前記パラメータと、前記パラメータの更新の際に用いられたＣＮＮのネットワーク構成とを用いて、前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別することをコンピュータ装置に実行させる。
　本発明は、特殊機能によらない通常の撮影方法で得られた診断対象画像において、本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知する技術を提供することができる。
第１の実施の形態としての画像診断学習装置の構成を示すブロック図である。 第１の実施の形態としての画像診断学習装置のハードウェア構成の一例を示す図である。 第１の実施の形態における不適当領域の無効化を模式的に説明する図である。 第１の実施の形態としての画像診断学習装置の動作を説明するフローチャートである。 第２の実施の形態としての画像診断学習装置の構成を示すブロック図である。 第２の実施の形態においてテカりが発生した内視鏡画像の一例を模式的に示す図である。 第２の実施の形態においてテカりが発生した内視鏡画像の輝度ヒストグラムの一例を示す図である。 第２の実施の形態としての画像診断学習装置の動作を説明するフローチャートである。 第３の実施の形態としての画像診断装置の構成を示すブロック図である。 第３の実施の形態としての画像診断装置のハードウェア構成の一例を示す図である。 第３の実施の形態としての画像診断装置の動作を説明するフローチャートである。 第４の実施の形態としての画像診断装置の構成を示すブロック図である。 第４の実施の形態としての画像診断装置の動作を説明するフローチャートである。 関連技術におけるニューラルネットワークのネットワーク構造を模式的に示す図である。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　（第１の実施の形態）
　第１の実施の形態としての画像診断学習装置１の機能ブロック構成を図１に示す。図１において、画像診断学習装置１は、ＣＮＮ構成記憶部１１と、パラメータ記憶部１２と、不適当領域検出部１３と、不適当領域無効化部１４と、損失値計算部１５と、パラメータ更新部１６とを備える。画像診断学習装置１は、診断対象が写された画像における異常領域を識別するＣＮＮで用いられるパラメータを学習する装置である。ここで、異常領域とは、診断対象が写された画像において診断対象が異常性を有する可能性がある領域をいうものとする。
　ここで、画像診断学習装置１は、図２に示すようなハードウェア要素によって構成可能である。図２において、画像診断学習装置１は、ＣＰＵ（Central Processing Unit）１００１およびメモリ１００２を含むコンピュータ装置によって構成される。メモリ１００２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）等によって構成される。この場合、ＣＮＮ構成記憶部１１およびパラメータ記憶部１２は、メモリ１００２によって構成される。また、不適当領域検出部１３、不適当領域無効化部１４、損失値計算部１５およびパラメータ更新部１６は、メモリ１００２に格納されるコンピュータ・プログラムを読み込んで実行するＣＰＵ１００１によって構成される。なお、画像診断学習装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
　ＣＮＮ構成記憶部１１は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成を表す情報を記憶する。ネットワーク構成を表す情報とは、例えば、入力層の画像サイズとチャネル数、複数の中間層それぞれの種類とサイズと処理パラメータ、出力層のユニット数などの情報を含んでいてもよい。中間層の種類としては、前述したように、Ｃｏｎｖｏｌｕｔｉｏｎ層、Ｐｏｏｌｉｎｇ層、全結合層（線形結合層）などがある。また、処理パラメータの一例としては、次のものがある。例えば、Ｃｏｎｖｏｌｕｔｉｏｎカーネルのサイズ（幅、高さ、チャネル数）、Ｃｏｎｖｏｌｕｔｉｏｎ計算時のｓｔｒｉｄｅの幅、Ｃｏｎｖｏｌｕｔｉｏｎ計算時にサイズを調整するために画像端を特定値で埋める処理の有無、といったパラメータ等がある。
　パラメータ記憶部１２は、上述したＣＮＮにおける学習対象のパラメータ群を記憶する。学習対象のパラメータ群としては、例えば、各ユニットの計算で用いられる重みおよびバイアスが挙げられる。これらのパラメータは、異常領域の特徴量を抽出するためのパラメータ、または、その特徴量を用いて異常領域を識別するためのパラメータとみなされるものである。
　なお、パラメータ記憶部１２に記憶されるパラメータの初期値は、乱数であってもよい。また、パラメータの初期値は、他の画像認識応用のために学習された値でも構わない。例えば、パラメータの初期値が、動物や乗り物など一般物体を認識するためのパラメータや、画像中の模様を識別するために学習されたパラメータである場合、高い学習効果を得られることがあり、有用である。
　不適当領域検出部１３は、診断対象が写された学習用画像において、異常領域の識別に不適切な領域である不適当領域を、所定の基準に基づいて検出する。不適当領域としては、例えば、本来の診断対象が充分に写されていない領域が適用される。この場合、不適当領域検出部１３は、本来の診断対象が充分に写されていないことを判定可能な条件を満たす領域を、不適当領域として検出すればよい。
　なお、学習用画像は、例えば、診断対象が撮影された画像の部分画像であってもよい。また、学習用画像には、写されている診断対象に関する異常性を表す情報が、正解情報として付与されているものとする。異常性を表す情報とは、例えば、異常性を有する可能性があるか否かを表す情報であってもよい。また、異常性を表す情報とは、例えば、異常性を有する可能性がある場合にはその種類を表す情報であってもよい。また、異常性を表す情報とは、異常性がある可能性の高さを表す情報であってもよい。ただし、異常性を表す情報の内容は、これらに限らない。
　不適当領域無効化部１４は、学習用画像を入力したＣＮＮのネットワーク構成において、入力層のユニットのうち不適当領域に対応するユニットを無効化する。学習用画像を入力するＣＮＮのネットワーク構成は、前述のＣＮＮ構成記憶部１１に記憶されている。ここで、不適当領域に対応する入力層のユニットの無効化について、図３の模式図を用いて説明する。ここでは、ＣＮＮのネットワーク構成が、図１４に示した構造であることを想定する。また、ＣＮＮの入力層には、学習用画像の各画素値が入力されるとする。この場合、不適当領域に含まれる画素が入力されるユニットは、図３に示すように無効化される。図中の三角印は、無効化されたユニットを表す。この例では、画素１および画素３が不適当領域に含まれている。そのため、画素１および画素３が入力される各ユニットが無効化されている。ＣＮＮの計算では、無効化されたユニットから隣の層のユニットへの接続が、存在しないものとして扱われる。図中の破線は、存在しないものとして扱われる接続を表している。なお、不適当領域無効化部１４による無効化は、一時的なものである。すなわち、不適当領域無効化部１４は、ある学習用画像について一部の入力層のユニットを無効化しても、他の異なる学習用画像を処理する時には、まず、無効化したユニットの無効化を解除する。その上で、不適当領域無効化部１４は、改めてその学習用画像における不適当領域に対応する入力層のユニットを無効化すればよい。
　損失値計算部１５は、不適当領域に対応する入力層のユニットが無効化された状態において、ＣＮＮを学習するための損失値を、パラメータを用いて計算する。具体的には、損失値計算部１５は、不適当領域に対応する入力層のユニットが無効化された状態で、パラメータ記憶部１２に記憶されているパラメータを適用して、Ｆｏｒｗａｒｄ計算を行う。そして、損失値計算部１５は、計算結果と、学習用画像に事前に付与された異常性を表す情報とに基づいて、損失値を計算する。
　ここで、損失値は、ニューラルネットワークの学習時に計算される最適化のための指標であって、任意の指標を適用可能である。良く利用される損失値の例としては、Ｆｏｒｗａｒｄ計算で出力された数値群（計算結果）を、ＳｏｆｔＭａｘ関数を用いて０から１の範囲の値を取りうる実数値に変換した上で、正解クラスを１．０としてその差分を損失値とするものがある。なお、前述の「学習用画像に事前に付与された異常性を表す情報」は、正解の異常性を示す情報であり、正解クラスの１．０に対応する。ただし、損失値の計算手法は、これに限らない。
　パラメータ更新部１６は、損失値に基づいて、パラメータ記憶部１２に記憶された学習対象のパラメータを更新する。更新するパラメータは、前述のように、例えば、重みとバイアスである。また、例えば、パラメータ更新部１６は、複数の学習用画像についてそれぞれ計算された損失値の累積値を用いて、損失を最小化するようパラメータを更新してもよい。ここで、複数の学習用画像は、診断対象が撮影された画像の複数の部分画像でもよい。この際の最小化（最適化）手法には、例えば、確率的降下法等が適用可能である。ただし、この際の最小化手法は、この方式に限らず、任意の方式を適用可能である。
　以上のように構成された画像診断学習装置１の動作について、図４を参照して説明する。
　図４では、まず、不適当領域検出部１３は、学習用画像から、所定の基準に基づいて不適当領域を検出する（ステップＳ１１）。
　次に、不適当領域無効化部１４は、ＣＮＮの入力層のユニットのうち不適当領域に対応するユニットを無効化する（ステップＳ１２）。
　次に、損失値計算部１５は、不適当領域に対応する入力層のユニットが無効化された状態においてＣＮＮの計算を実行する。そして、損失値計算部１５は、計算結果および学習用画像に事前に付与された異常性を表す情報に基づいて、損失値を計算する（ステップＳ１３）。
　次に、パラメータ更新部１６は、計算された損失値に基づいて、学習対象のパラメータを更新する（ステップＳ１４）。
　以上で、画像診断学習装置１は、動作を終了する。
　次に、第１の実施の形態の効果について述べる。
　第１の実施の形態としての画像診断学習装置は、特殊機能によらない通常の撮影方法で診断対象が撮影された画像において、本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知することができる。
　その理由について説明する。本実施の形態では、不適当領域検出部が、診断対象が写された学習用画像において、異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出する。そして、不適当領域無効化部が、学習用画像が入力されるＣＮＮのネットワーク構成に基づいて、ＣＮＮの入力層のユニットのうち不適当領域に対応するユニットを無効化する。そして、損失値計算部が、不適当領域に対応する入力層のユニットが無効化された状態においてＣＮＮの計算を実行する。そして、損失値計算部が、ＣＮＮの計算結果および学習用画像に事前に付与された正解の異常性を表す情報に基づいて、損失値を計算する。そして、パラメータ更新部が、損失値に基づいてＣＮＮにおける学習対象のパラメータを更新するからである。
　このように、本実施の形態は、学習用画像に基づいて、ＣＮＮにおける学習対象のパラメータを決定する。そのため、本実施の形態は、特殊機能によらない撮影方法で得られた画像から得られた学習用画像であっても、異常領域を識別するのに十分な特徴量を自動的に抽出する。さらには、本実施の形態は、本来の診断対象が充分に写されていない不適当領域を自動的に検知して、不適当領域を無効化してＣＮＮのパラメータを学習する。このため、本実施の形態は、不適当領域の影響を抑えて、ＣＮＮを精度よく学習させることができる。さらには、本実施の形態は、より多数の学習用画像に対して動作することにより、さらに精度のよい識別を可能とする特徴量を自動的に抽出してパラメータを学習することができる。その結果、本実施の形態は、診断対象が写された画像における異常領域を識別するＣＮＮにより精度良いパラメータを提供することができ、より高精度に異常領域を検知させることができる。
　（第２の実施の形態）
　次に、第２の実施の形態について図面を参照して詳細に説明する。本実施の形態では、診断対象として内臓壁面を適用する。また、学習用画像として、内視鏡カメラにより内臓壁面が撮影された内視鏡画像に基づく画像を適用する。なお、本実施の形態の説明において参照する各図面において、第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
　まず、第２の実施の形態としての画像診断学習装置２の構成を、図５に示す。図５において、画像診断学習装置２は、第１の実施の形態としての画像診断学習装置１に対して、不適当領域検出部１３に替えて不適当領域検出部２３を備え、さらに、摂動部２７を備える点が異なる。なお、画像診断学習装置２およびその各機能ブロックは、図２を参照して説明した第１の実施の形態としての画像診断学習装置１と同様のハードウェア要素によって構成可能である。ただし、画像診断学習装置２およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
　摂動部２７は、内視鏡画像の学習サンプルに対して摂動処理を実施することにより、学習用画像を生成する。摂動処理とは、位置やスケール、回転角度について微小な変動を与える処理である。
　例えば、摂動部２７には、内視鏡画像が分割されたパッチ画像が入力される。パッチ画像は、内視鏡画像に含まれる部分画像である。また、各パッチ画像には、病変クラスを表す病変クラス情報が正解情報として付与されているものとする。この場合、摂動部２７は、そのようなパッチ画像に対して、摂動処理を実施したものを、学習用画像として生成する。
　なお、病変クラス情報は、例えば、病変および非病変のいずれかを表す情報であってもよい。この場合、病変を含むパッチ画像には、「病変」を示す病変クラス情報として数値の１が付与されていてもよい。また、病変を含まないパッチ画像には「非病変」を示す病変クラス情報として数値の０が付与されていてもよい。
　また、例えば、病変クラス情報は、病変の種類１～ｎ（ｎは２以上の正の整数）および非病変のいずれかを表す情報であってもよい。この場合、種類ｉ（ｉは１～ｎの整数）の病変を含むパッチ画像には、「病変部（種類ｉ）」を示す病変クラス情報として数値のｉが付与されていてもよい。また、病変を含まないパッチ画像には「非病変」を示す病変クラス情報として数値の０が付与されていてもよい。
　不適当領域検出部２３は、学習用画像から、不適当領域として、テカり箇所を検出する。テカり箇所は、前述したように、内視鏡カメラによる撮影の際に内臓壁面に水をかける等の作業が行われることにより発生する。テカり箇所を検出する方式については、任意の方式で構わない。例えば、不適当領域検出部２３は、輝度値を閾値処理することにより、テカり箇所を検出してもよい。輝度値を用いたテカり箇所の検出について、図６から図７を用いて説明する。図６は、テカりが発生した内視鏡画像の一例を模式的に示す図である。図６のように、内臓壁面にテカりが発生している場合、内視鏡画像中におけるその箇所は、高輝度の白色になる。また、図７は、テカりが発生した内視鏡画像の輝度ヒストグラムの一例である。図７のように、輝度分布ヒストグラムにおいては、テカり箇所の輝度値は、極端に高くなる。つまり、不適当領域検出部２３は、閾値を超える輝度の画素を、テカり箇所の画素であると判定することができる。また、不適当領域検出部２３は、例えば、閾値より高い輝度値の出現率が所定基準を満たす部分領域を、テカり箇所と判断してもよい。また、不適当領域検出部２３は、着目画素が周辺画素に比べて極端に高輝度となる孤立点を探す処理を利用して、テカり箇所を検出しても良い。
　以上のように構成された画像診断学習装置２の動作について、図８を参照して説明する。なお、ニューラルネットワークの学習処理では、学習データセットからサブセットを選択して、それらから計算された損失の累積値を最小化するようにパラメータを更新する方式が、識別精度を高める効果を得るためによく利用される。そこで、ここでは、内視鏡画像から切り出されて病変クラス情報がそれぞれ付与されたパッチ画像からなる学習データセット、および、その学習データセットから選択されたサブセットを用いた動作例について説明する。
　そのような学習データセットおよびサブセットの情報は、メモリ１００２に保存されていてもよい。この場合、画像診断学習装置２は、メモリ１００２からこれらの学習データセットおよびサブセットの情報を読み込んで、以下の動作を実行すればよい。
　また、パッチ画像のサイズは、任意のサイズでよい。例えば、幅および高さが２５６画素で色のＲＧＢ成分が３つ（＝３チャネル）の場合、ＣＮＮの入力層のユニット数は、２５６×２５６×３となる。また、識別させる病変クラスが「非病変」、「病変（腺腫）」および「病変（進行がん）」の３つの場合、出力層のユニット数は、３となる。
　また、ＣＮＮのネットワーク構成は、例えば、複数のＣｏｎｖｏｌｕｔｉｏｎ層と１つのＰｏｏｌｉｎｇ層を１セットとして、このセットが複数接続されたものであってもよい。
　ただし、以下の動作において、識別させたい病変クラスの数、パッチ画像のサイズ、ＣＮＮの入力層および出力層のユニット数、および、ネットワーク構成等は、上述の例に限定されない。
　図８では、まず、摂動部２７は、このサブセットに含まれるパッチ画像の１つを入力として、位置・スケール・回転等について摂動させた学習用画像を生成する（ステップＳ２１）。例えば、摂動部２７は、大きめに作成されたパッチ画像を取得し、取得したパッチ画像から摂動を実施した画像を学習用画像として切り出してもよい。
　次に、不適当領域検出部２３は、学習用画像から、不適当領域としてテカり箇所を検出する（ステップＳ２２）。
　次に、不適当領域無効化部１４は、第１の実施の形態におけるステップＳ１２と略同様に動作して、学習用画像を入力したＣＮＮの入力層において不適当領域に対応するユニットを一時的に無効化する。ここでは、不適当領域無効化部１４は、テカり箇所に対応するユニットを一時的に無効化することになる（ステップＳ２３）。
　次に、損失値計算部１５は、第１の実施の形態におけるステップＳ１３と略同様に動作して、ＣＮＮのＦｏｒｗａｒｄ計算を行う。ここでは、損失値計算部１５は、テカり箇所に対応する入力層のユニットが一時的に無効化された状態で、ＣＮＮのＦｏｒｗａｒｄ計算を行うことになる。そして、損失値計算部１５は、計算結果およびこの学習用画像に付与されていた正解の病変クラス情報を用いて、損失値を計算する（ステップＳ２４）。
　次に、このサブセットに含まれる他のパッチ画像があれば（ステップＳ２５でＹｅｓ）、画像診断学習装置２は、ステップＳ２１からの処理を繰り返す。
　一方、このサブセットに含まれる他のパッチ画像がなければ（ステップＳ２５でＮｏ）、パラメータ更新部１６は、学習対象のパラメータを更新する処理を行う。具体的には、パラメータ更新部１６は、このサブセットに含まれる各学習用画像について計算された損失値の累積値に基づいて、重みおよびバイアスを更新すればよい（ステップＳ２６）。
　次に、他のサブセットがあれば（ステップＳ２７でＹｅｓ）、画像診断学習装置２は、ステップＳ２１からの処理を繰り返す。
　一方、他のサブセットがなければ（ステップＳ２７でＮｏ）、画像診断学習装置２は、動作を終了する。
　なお、画像診断学習装置２は、他の学習データセットについても同様の動作を行い、更新される損失値または識別エラー率が低下しなくなった時点で、動作を終了してもよい。
　以上で、画像診断学習装置２の動作の説明を終了する。
　次に、第２の実施の形態の効果について述べる。
　第２の実施の形態としての画像診断学習装置は、ＮＢＩ内視鏡や拡大内視鏡等の特殊機能によらない通常の撮影方法で得られた内視鏡画像において、テカり箇所が含まれていても、病変部の候補をより精度よく検知することができる。
　その理由について説明する。本実施の形態は、第１の実施の形態と同様に構成されることに加えて、次のような構成を備えるからである。すなわち、摂動部が、内視鏡画像が分割されて病変クラス情報が付与されたパッチ画像に摂動処理を施すことにより、学習用画像を生成する。そして、不適当領域検出部が、学習用画像における不適当領域として、テカり箇所を検出するからである。
　これにより、本実施の形態は、内視鏡画像に基づく学習用画像のセットに基づいて、特徴量抽出用のパラメータとしてＣＮＮを構成する重みとバイアスを更新する。そのため、ＮＢＩ内視鏡や拡大内視鏡によらない一般的な内視鏡画像であっても、正常な内臓壁面の領域と、異常性すなわち病変部の可能性がある異常領域とを識別するのに十分な特徴量を、自動的に抽出することが可能である。
　さらに、本実施の形態は、テカり箇所を自動的に検知し無効化してＣＮＮのパラメータを学習するため、内視鏡画像においてテカり箇所に発生する異常値の影響を抑えて、ＣＮＮを学習させることができる。つまり、本実施の形態では、内視鏡画像中にテカり箇所を含む学習用画像からも、悪影響なくパラメータを学習する事ができる。
　その結果、本実施の形態によって学習されたパラメータを使用したＣＮＮによる識別器は、特殊機能によらない内視鏡画像であっても、病変部の候補をより正確に検知できる。
　なお、本実施の形態は、摂動部を含まないでも実施可能である。ただし、摂動部は、摂動処理の実行によりテカり箇所を摂動させるため、テカり箇所を偏らせず、テカり箇所による悪影響をさらに抑えてパラメータを学習できるという効果を奏する。摂動部によるこのような効果は、特に、少ない学習データセットを用いて動作する場合に顕著となる。
　（第３の実施の形態）
　次に、第３の実施の形態について図面を参照して詳細に説明する。本実施の形態では、第１の実施の形態によって更新されたＣＮＮのパラメータを用いて、診断対象画像における異常領域を識別する画像診断装置の一例について説明する。なお、診断対象画像とは、診断対象が写された画像であって、異常領域の識別を行う対象の画像をいうものとする。
　まず、第３の実施の形態としての画像診断装置３の構成を図９に示す。図９において、画像診断装置３は、ＣＮＮ構成記憶部３１と、パラメータ記憶部３２と、ＣＮＮ識別部３８とを備える。
　ここで、画像診断装置３は、図１０に示すようなハードウェア要素によって構成可能である。図１０において、画像診断装置３は、ＣＰＵ３００１およびメモリ３００２を含むコンピュータ装置によって構成される。メモリ３００２は、ＲＡＭ、ＲＯＭ、補助記憶装置等によって構成される。この場合、ＣＮＮ構成記憶部３１およびパラメータ記憶部３２は、メモリ３００２によって構成される。また、ＣＮＮ識別部３８は、メモリ３００２に格納されるコンピュータ・プログラムを読み込んで実行するＣＰＵ３００１によって構成される。なお、画像診断装置３およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。また、画像診断装置３は、画像診断学習装置１と同一のコンピュータ装置によって構成されていてもよいし、異なるコンピュータ装置によって構成されていてもよい。
　ＣＮＮ構成記憶部３１は、第１の実施の形態としての画像診断学習装置１によって用いられたＣＮＮと同一のネットワーク構成を表す情報を記憶する。
　パラメータ記憶部３２は、第１の実施の形態としての画像診断学習装置１を１つまたは複数の学習用画像に適用して更新されたＣＮＮのパラメータを記憶する。例えば、そのようなパラメータは、ＣＮＮにおける重みとバイアスである。なお、パラメータ記憶部３２に記憶されるＣＮＮのパラメータは、より多数の内視鏡画像から得られた学習用画像に画像診断学習装置１を適用して更新されたパラメータであることが望ましい。
　ＣＮＮ識別部３８は、パラメータ記憶部３２に記憶されたＣＮＮのパラメータを用いて、診断対象画像に基づく情報をＣＮＮに入力して計算を実行する。そして、ＣＮＮ識別部３８は、ＣＮＮの計算結果に基づいて、診断対象画像における異常領域を識別する。
　以上のように構成された画像診断装置３の動作を、図１１に示す。
　図１１において、まず、ＣＮＮ識別部３８は、診断対象画像を、第１の実施の形態としての画像診断学習装置１によって用いられたネットワーク構成のＣＮＮに入力する（ステップＳ３１）。
　次に、ＣＮＮ識別部３８は、第１の実施の形態の画像診断学習装置１によって更新されたＣＮＮのパラメータを用いて、ＣＮＮの計算を実行する（ステップＳ３２）。
　次に、ＣＮＮ識別部３８は、ＣＮＮの計算結果に基づいて、診断対象画像における異常領域を識別する（ステップＳ３３）。
　以上で、画像診断装置３は、動作を終了する。
　次に、第３の実施の形態の効果について述べる。
　第３の実施の形態としての画像診断装置は、特殊機能によらない通常の撮影方法で診断対象が撮影された診断対象画像において、本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知することができる。
　その理由について説明する。本実施の形態では、ＣＮＮ構成記憶部が、第１の実施の形態としての画像診断学習装置によって用いられたＣＮＮのネットワーク構成を記憶している。また、パラメータ記憶部が、第１の実施の形態としての画像診断学習装置によって更新されたＣＮＮのパラメータを記憶している。そして、ＣＮＮ識別部が、診断対象画像を、第１の実施の形態としての画像診断学習装置によって用いられたネットワーク構成のＣＮＮに入力する。そして、ＣＮＮ識別部が、第１の実施の形態としての画像診断学習装置によって更新されたＣＮＮのパラメータを用いて、ＣＮＮの計算を行いその計算結果に基づいて、診断対象画像における異常領域を識別するからである。
　ここで、第１の実施の形態としての画像診断学習装置によって更新されたＣＮＮのパラメータは、診断対象が写された学習用画像において不適当領域による影響を抑えて学習されている。したがって、本実施の形態は、そのようなパラメータを用いたＣＮＮを診断対象画像に適用するので、異常領域を精度よく識別可能となる。
　（第４の実施の形態）
　次に、第４の実施の形態について図面を参照して詳細に説明する。本実施の形態では、診断対象として内臓壁面を適用する。また、本実施の形態では、第２の実施の形態によって更新されたＣＮＮのパラメータを用いて、内視鏡画像における病変部の候補を識別する画像診断装置の一例について説明する。なお、本実施の形態の説明において参照する各図面において、第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
　まず、第４の実施の形態としての画像診断装置４の構成を図１２に示す。図１２において、画像診断装置４は、第３の実施の形態としての画像診断装置３に対して、ＣＮＮ識別部３８に替えてＣＮＮ識別部４８を備え、さらに、不適当領域検出部４３と、不適当領域無効化部４４とを備える点が異なる。なお、ＣＮＮ構成記憶部３１およびパラメータ記憶部３２には、第２の実施の形態としての画像診断学習装置によって用いられたＣＮＮのネットワーク構成および更新されたパラメータが記憶されているものとする。
　ここで、画像診断装置４およびその各機能ブロックは、図１０を参照して説明した第３の実施の形態としての画像診断装置３と同様のハードウェア要素によって構成可能である。ただし、画像診断装置４およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
　不適当領域検出部４３は、診断対象画像における不適当領域として、テカり箇所を検出する。テカり箇所を検出する処理の詳細については、第２の実施の形態における不適当領域検出部２３と同様であるため、本実施の形態における説明を省略する。例えば、不適当領域検出部４３は、診断対象画像の部分領域であるパッチ画像について、テカり箇所を検出する処理を行ってもよい。
　不適当領域無効化部４４は、診断対象画像を入力したＣＮＮの入力層のユニットのうち、テカり箇所に対応するユニットを無効化する。例えば、不適当領域無効化部４４は、診断対象画像の部分領域であるパッチ画像について、無効化の処理を行ってもよい。この場合、不適当領域無効化部４４は、パッチ画像が入力されるＣＮＮの入力層のユニットのうち、テカり箇所に対応するユニットを無効化すればよい。なお、診断対象画像またはそのパッチ画像が入力されるＣＮＮのネットワーク構成は、ＣＮＮ構成記憶部３１に記憶されている。テカり箇所に対応するユニットを無効化する処理の詳細については、第１の実施の形態における不適当領域無効化部１４と同様であるため、本実施の形態における説明を省略する。
　ＣＮＮ識別部４８は、診断対象画像について、非病変部または病変部の種類の識別を行う。具体的には、ＣＮＮ識別部４８は、診断対象画像が入力されてテカり箇所が無効化された状態のＣＮＮに、パラメータ記憶部３２に記憶されたＣＮＮのパラメータを適用して、ＣＮＮのＦｏｒｗａｒｄ計算を行う。例えば、ＣＮＮ識別部４８は、診断対象画像の部分領域であるパッチ画像について、識別を行ってもよい。この場合、ＣＮＮ識別部４８は、パッチ画像が入力されてテカり箇所が無効化された状態のＣＮＮに、パラメータ記憶部３２に記憶されたＣＮＮのパラメータを適用して、ＣＮＮのＦｏｒｗａｒｄ計算を行えばよい。そして、ＣＮＮ識別部４８は、ＣＮＮの識別結果として、パッチ画像に写された内臓壁面の病変クラス情報を出力する。
　ここで、ＣＮＮのＦｏｒｗａｒｄ計算を行うことにより、ＣＮＮからは、病変クラス別の識別スコアが出力される。そこで、例えば、ＣＮＮ識別部４８は、病変クラス別の識別スコアに対してＳｏｆｔＭａｘ関数を実行することにより、０から１を値域とする実数値のスコアに変換してもよい。これにより、ＣＮＮ識別部４８は、このパッチ画像に写された内臓壁面について、各病変クラスらしさを表すスコアを算出できる。
　また、ＣＮＮ識別部４８は、診断対象画像の各部分領域であるパッチ画像について識別を行った場合、パッチ画像毎のスコアを出力してもよい。例えば、ＣＮＮ識別部４８は、パッチ画像毎のスコアを、診断対象画像における病変クラスらしさを表すスコアマップとして、図示されない表示装置に表示させてもよい。ここでは、スコアマップとは、各パッチ画像の診断対象画像における位置に、そのパッチ画像のスコアを画像として含む画像である。また、ＣＮＮ識別部４８は、そのようなスコアマップを、診断対象画像に重畳して出力してもよい。
　以上のように構成された画像診断装置４の動作について、図１３を参照して説明する。ここでは、画像診断装置４は、診断対象の内視鏡画像から切り出された各パッチ画像について動作するものとする。
　図１３では、まず、不適当領域検出部４３は、内視鏡画像から切り出されたパッチ画像において、テカり箇所を検出する（ステップＳ４１）。
　次に、不適当領域無効化部４４は、パッチ画像を入力したＣＮＮの入力層のユニットのうち、テカり箇所に対応するユニットを一時的に無効化する（ステップＳ４２）。
　次に、ＣＮＮ識別部４８は、テカり箇所に対応する入力層のユニットが一時的に無効化された状態で、ＣＮＮのＦｏｒｗａｒｄ計算を行う。これにより、ＣＮＮから、病変クラス別のスコアが出力される（ステップＳ４３）。
　ここで、内視鏡画像に含まれる他のパッチ画像があれば（ステップＳ４４でＹｅｓ）、画像診断装置４は、ステップＳ４１からの動作を繰り返す。
　一方、内視鏡画像に含まれる他のパッチ画像がなければ（ステップＳ４４でＮｏ）、ＣＮＮ識別部４８は、パッチ画像毎の病変クラスらしさを出力する（ステップＳ４５）。なお、前述のように、例えば、ＣＮＮ識別部４８は、パッチ画像毎の病変クラスらしさを、そのパッチ画像の内視鏡画像における位置に表示させるためのスコアマップとして、内視鏡画像に重畳し表示装置に表示させるようにしてもよい。ＣＮＮ識別部４８は、その表示装置を含んでもよい。これにより、病変部の箇所が、人間による目視により確認しやすくなるという利点がある。
　次に、第４の実施の形態の効果について述べる。
　本実施の形態としての画像診断装置は、ＮＢＩ内視鏡や拡大内視鏡のような特殊機能によらない通常の撮影方法で内臓壁面が撮影された内視鏡画像において、テカり箇所が含まれていても、病変部の可能性がある領域をより精度よく検知することができる。
　その理由について説明する。本実施の形態では、ＣＮＮ構成記憶部およびパラメータ記憶部が、第２の実施の形態としての画像診断学習装置によって用いられたＣＮＮのネットワーク構成および更新されたパラメータを記憶している。そして、不適当領域検出部が、内視鏡画像におけるテカり箇所を検出する。また、不適当領域無効化部が、第２の実施の形態としての画像診断学習装置によって用いられたネットワーク構成のＣＮＮに内視鏡画像のパッチ画像を入力し、その入力層においてテカり箇所に対応するユニットを一時的に無効化する。そして、ＣＮＮ識別部が、テカり箇所に対応するユニットが一時的に無効化された状態のＣＮＮのＦｏｒｗａｒｄ計算を、第２の実施の形態としての画像診断学習装置によって更新されたパラメータを用いて実行することにより、識別を行うからである。
　このように、本実施の形態は、第２の実施の形態によって学習されたパラメータを用いて、第２の実施の形態において利用されたＣＮＮと同一のネットワーク構成のＣＮＮによる識別を実行する。このため、本実施の形態は、ＮＢＩ内視鏡や拡大内視鏡ではない一般的な内視鏡画像であっても、内視鏡画像における病変らしさを正しく検知できる。
　また、本実施の形態は、テカり部分を除いた状態で学習されたパラメータを用いて、識別を行う。このため、本実施の形態は、識別対象画像からテカり部分を除いても、精度よく識別を行うことができる。このように、本実施の形態は、テカり箇所を自動的に検知しＣＮＮの入力層において対応するユニットを無効化して識別を行うため、診断対象画像におけるテカり箇所に発生する異常値の影響を抑えて、識別を行うことができる。つまり、本実施の形態では、診断対象画像にテカりを含むデータからも、テカり箇所の影響を極力抑えて識別を行うことができる。
　なお、本実施の形態で使用するＣＮＮのネットワーク構成として、ＣＮＮ構成記憶部には、第２の実施の形態で使用されたＣＮＮと同一のネットワーク構成が記憶されている例について説明した。これに限らず、ＣＮＮ構成記憶部には、第２の実施の形態で使用されたＣＮＮのネットワーク構成において入力層から特徴量が抽出される途中層までの構成が記憶されていてもよい。例えば、第２の実施の形態で使用されたＣＮＮのネットワーク構成のうち、全結合層を除いたＣｏｎｖｏｌｕｔｉｏｎ層およびＰｏｏｌｉｎｇ層からなる構成が記憶されていてもよい。その場合、ＣＮＮ構成記憶部には、パラメータとして、入力層から途中層までの計算に必要なパラメータが少なくとも記憶されていればよい。この場合、本実施の形態において、ＣＮＮ識別部から出力される情報は、病変クラスを識別するのに有効な特徴量を表す数値列であるとみなすことができる。この場合、本実施の形態の出力である数値列が、サポートベクトルマシンなどの任意の識別器に入力されることにより、病変クラスの識別が可能となる。
　また、第２の実施の形態で使用されたＣＮＮのネットワーク構成のうち、入力層から前述の途中層までの構成を用いる場合、ＣＮＮ識別部は、内視鏡画像から切り出されたパッチ画像ではなく、内視鏡画像の全域を、ＣＮＮに入力してもよい。この場合、ＣＮＮ識別部から出力される情報は、内視鏡画像において各病変クラスを識別するのに有効な特徴量である。そこで、ＣＮＮ識別部は、途中層までの計算結果を、内視鏡画像における位置に応じて画像として表すことにより、内視鏡画像における各病変クラスの可能性を表すスコアマップとして出力すればよい。このように、診断対象画像の全域を入力する場合に、本実施の形態は、診断対象画像をスキャンしながらパッチ画像毎に識別処理をくり返す場合と比較して、計算量を削減して高速に、病変クラスの可能性を表すスコアマップを生成することができる。
　なお、上述した各実施の形態において、ＣＮＮの入力層の各ユニットには、学習用画像または診断対象画像の各画素が割り当てられる例を中心に説明した。これに限らず、入力層の各ユニットには、学習用画像または診断対象画像が事前に処理された情報が入力されてもよい。例えば、入力層の各ユニットには、学習用画像または診断対象画像がＳｏｂｅｌオペレータやＬａｐｌａｃｉａｎオペレータ等で処理されることにより、輝度の１次微分画像または２次微分画像の各画素が入力されてもよい。この場合、第１、２、４の実施の形態では、不適当領域無効化部は、入力層の各ユニットのうち、処理が行われる前の学習用画像または診断対象画像において検出された不適当領域に対応する微分画像の画素が入力されるユニットを、無効化すればよい。
　また、上述した第２、４の実施の形態において、診断対象として内臓壁面を適用し、診断対象画像として内視鏡画像に基づく画像を適用する例を中心に説明した。これに限らず、これらの各実施の形態において、診断対象としてその他の対象を適用した診断対象画像を用いてもよい。また、これらの各実施の形態において、不適当領域としてテカり箇所を適用する例を中心に説明した。これに限らず、これらの各実施の形態において、不適当領域として、異常領域の識別に適していないその他の領域を適用してもよい。
　また、上述した各実施の形態において、損失値計算部およびパラメータ更新部は、上述した計算手法以外にも、一部のユニットが無効化されたＣＮＮに適用可能な各種の公知の計算方法を適用可能である。
　また、上述した各実施の形態において、画像診断学習装置および画像診断装置の各機能ブロックが、メモリに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。
　また、上述した各実施の形態において、画像診断学習装置または画像診断装置の機能ブロックは、複数の装置に分散されて実現されてもよい。
　また、上述した各実施の形態において、各フローチャートを参照して説明した画像診断学習装置または画像診断装置の動作を、コンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておく。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、コンピュータ・プログラムのコードあるいは記憶媒体によって構成される。
　また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
　また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
　この出願は、２０１６年７月４日に出願された日本出願特願２０１６－１３２６５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１、２　　画像診断学習装置
　３、４　　画像診断装置
　１１、３１　　ＣＮＮ構成記憶部
　１２、３２　　パラメータ記憶部
　１３、２３、４３　　不適当領域検出部
　１４、４４　　不適当領域無効化部
　１５　　損失値計算部
　１６　　パラメータ更新部
　２７　　摂動部
　３８、４８　　ＣＮＮ識別部
　１００１、３００１　　ＣＰＵ
　１００２、３００２　　メモリ

Claims (10)

  1. 　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成を記憶するＣＮＮ構成記憶手段と、
    　前記ＣＮＮにおける学習対象のパラメータを記憶するパラメータ記憶手段と、
    　診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出する不適当領域検出手段と、
    　前記学習用画像を入力した前記ＣＮＮのネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化する不適当領域無効化手段と、
    　前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を前記パラメータを用いて実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算する損失値計算手段と、
    　前記損失値に基づいて前記パラメータ記憶手段の前記パラメータを更新するパラメータ更新手段と、
    　を備えた画像診断学習装置。
  2. 　前記診断対象が写された画像の学習サンプルに対して摂動処理を実施することにより、前記学習用画像を生成する摂動手段をさらに備えることを特徴とする請求項１に記載の画像診断学習装置。
  3. 　請求項１または請求項２に記載の画像診断学習装置を１つまたは複数の学習用画像に適用して更新された前記ＣＮＮの前記パラメータを記憶するパラメータ記憶手段と、
    　前記パラメータの更新の際に前記画像診断学習装置によって用いられたＣＮＮのネットワーク構成を記憶するＣＮＮ構成記憶手段と、
    　前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別するＣＮＮ識別手段と、
    　を備えた画像診断装置。
  4. 　前記診断対象画像における前記不適当領域を、所定の基準に基づいて検出する不適当領域検出手段と、
    　前記診断対象画像を入力した前記ＣＮＮの入力層のユニットのうち前記不適当領域に対応するユニットを無効化する不適当領域無効化手段と、
    　をさらに備え、
    　前記ＣＮＮ識別手段は、前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行することにより、前記診断対象画像における前記異常領域を識別することを特徴とする請求項３に記載の画像診断装置。
  5. 　前記ＣＮＮ識別手段は、前記診断対象画像に含まれる各部分領域について前記ＣＮＮを用いて前記識別を行うことにより、前記部分領域毎の識別結果を出力することを特徴とする請求項３または請求項４に記載の画像診断装置。
  6. 　前記ＣＮＮ識別手段は、前記ＣＮＮに前記診断対象画像の全域を入力し、前記ＣＮＮのネットワーク構成のうち特徴量が抽出される層までの構成を用いて前記ＣＮＮの計算を行うことにより、前記診断対象画像における前記異常領域に関連する特徴量を出力することを特徴とする請求項３または請求項４に記載の画像診断装置。
  7. 　コンピュータ装置が、
    　診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、
    　前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、
    　前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、
    　前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新する方法。
  8. 　診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、
    　前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、
    　前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、
    　前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新する、
    　ことをコンピュータ装置に実行させるプログラムを格納した記憶媒体。
  9. 　コンピュータ装置が、
    　１つまたは複数の学習用画像に対して請求項７に記載の方法を実行することにより更新された前記ＣＮＮの前記パラメータと、前記パラメータの更新の際に用いられたＣＮＮのネットワーク構成とを用いて、
    　前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別する方法。
  10. 　１つまたは複数の学習用画像に対して請求項８に記載の記憶媒体に格納されたプログラムをコンピュータ装置に実行させることにより更新された前記ＣＮＮの前記パラメータと、前記パラメータの更新の際に用いられたＣＮＮのネットワーク構成とを用いて、
    　前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別することをコンピュータ装置に実行させるプログラムを格納する記憶媒体。
PCT/JP2017/024332 2016-07-04 2017-07-03 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 WO2018008593A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/315,015 US10803582B2 (en) 2016-07-04 2017-07-03 Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program
JP2018526365A JP6927211B2 (ja) 2016-07-04 2017-07-03 画像診断学習装置、画像診断装置、方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-132659 2016-07-04
JP2016132659 2016-07-04

Publications (1)

Publication Number Publication Date
WO2018008593A1 true WO2018008593A1 (ja) 2018-01-11

Family

ID=60912964

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024332 WO2018008593A1 (ja) 2016-07-04 2017-07-03 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体

Country Status (3)

Country Link
US (1) US10803582B2 (ja)
JP (1) JP6927211B2 (ja)
WO (1) WO2018008593A1 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241994A (zh) * 2018-07-31 2019-01-18 顺丰科技有限公司 一种用户异常行为检测方法、装置、设备及存储介质
WO2019198233A1 (ja) * 2018-04-13 2019-10-17 日本電気株式会社 動作認識装置、動作認識方法、及びコンピュータ読み取り可能な記録媒体
WO2019221222A1 (ja) * 2018-05-18 2019-11-21 国立大学法人東京農工大学 学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
WO2020012872A1 (ja) * 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
WO2020054032A1 (ja) * 2018-09-13 2020-03-19 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
CN110992303A (zh) * 2019-10-29 2020-04-10 平安科技（深圳）有限公司 一种异常细胞筛选方法、装置、电子设备和存储介质
WO2020080299A1 (ja) 2018-10-16 2020-04-23 富士フイルム株式会社 医療画像処理システム及び学習方法
WO2020195807A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
CN112435246A (zh) * 2020-11-30 2021-03-02 武汉楚精灵医疗科技有限公司 窄带成像放大胃镜下胃癌的人工智能诊断方法
JP2021513435A (ja) * 2018-02-12 2021-05-27 エイアイ.スコピー, インコーポレイテッドAi.Skopy, Inc. 胃腸腫瘍を診断するシステム及び方法
JPWO2020008834A1 (ja) * 2018-07-05 2021-06-24 富士フイルム株式会社 画像処理装置、方法及び内視鏡システム
JP2021519663A (ja) * 2018-10-30 2021-08-12 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 内視鏡画像の処理方法、システム、コンピュータデバイス及びコンピュータプログラム
JP2022502150A (ja) * 2018-10-02 2022-01-11 インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ 胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法
JP2022507002A (ja) * 2018-10-02 2022-01-18 インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ リアルタイムに取得される胃内視鏡イメージに基づいて胃病変を診断する内視鏡装置及び方法
US11357396B1 (en) 2019-01-25 2022-06-14 Verily Life Sciences Llc Diagnostic model optimization for variations in mechanical components of imaging devices
JP2022162028A (ja) * 2018-06-12 2022-10-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
WO2023053991A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
JP7299542B1 (ja) 2022-05-18 2023-06-28 キヤノンマーケティングジャパン株式会社 情報処理システム及びその制御方法、プログラム
JP7485332B2 (ja) 2020-01-16 2024-05-16 国立大学法人九州工業大学 ソフトウェアプログラム、回路基板及びニューラルネットワークの生成方法
JP7487469B2 (ja) 2019-12-11 2024-05-21 富士電機株式会社 画像生成装置、画像生成方法及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076698B2 (ja) * 2017-11-17 2022-05-30 国立研究開発法人国立がん研究センター 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
WO2020003450A1 (ja) * 2018-06-28 2020-01-02 オリンパス株式会社 データ処理システムおよびデータ処理方法
JP7128135B2 (ja) * 2019-03-08 2022-08-30 富士フイルム株式会社 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置
CN112766481B (zh) * 2020-03-13 2023-11-24 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置及图像检测的方法
US11726784B2 (en) 2020-04-09 2023-08-15 Micron Technology, Inc. Patient monitoring using edge servers having deep learning accelerator and random access memory
US20220044108A1 (en) * 2020-08-06 2022-02-10 Micron Technology, Inc. Real time medical image processing using deep learning accelerator with integrated random access memory

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259598A (ja) * 1999-03-12 2000-09-22 Fuji Electric Co Ltd ニューラルネットワークの最適化学習方法
JP2006122502A (ja) * 2004-10-29 2006-05-18 Olympus Corp 画像処理方法及びカプセル型内視鏡装置
WO2015177268A1 (en) * 2014-05-23 2015-11-26 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259598A (ja) * 1999-03-12 2000-09-22 Fuji Electric Co Ltd ニューラルネットワークの最適化学習方法
JP2006122502A (ja) * 2004-10-29 2006-05-18 Olympus Corp 画像処理方法及びカプセル型内視鏡装置
WO2015177268A1 (en) * 2014-05-23 2015-11-26 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKIHIRO TANAKA ET AL.: "Construction of Fingerprint Recognition System on fast fourier transform preprocessing by Layered Neural Network", IEICE TECHNICAL REPORT, vol. 105, no. 659, 10 March 2006 (2006-03-10), pages 91 - 96 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021513435A (ja) * 2018-02-12 2021-05-27 エイアイ.スコピー, インコーポレイテッドAi.Skopy, Inc. 胃腸腫瘍を診断するシステム及び方法
JPWO2019198233A1 (ja) * 2018-04-13 2021-03-11 日本電気株式会社 動作認識装置、動作認識方法、及びプログラム
WO2019198233A1 (ja) * 2018-04-13 2019-10-17 日本電気株式会社 動作認識装置、動作認識方法、及びコンピュータ読み取り可能な記録媒体
US11809997B2 (en) 2018-04-13 2023-11-07 Nec Corporation Action recognition apparatus, action recognition method, and computer-readable recording medium
WO2019221222A1 (ja) * 2018-05-18 2019-11-21 国立大学法人東京農工大学 学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
JP7352261B2 (ja) 2018-05-18 2023-09-28 国立大学法人東京農工大学 学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
JPWO2019221222A1 (ja) * 2018-05-18 2021-08-12 国立大学法人東京農工大学 学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
JP7350954B2 (ja) 2018-06-12 2023-09-26 富士フイルム株式会社 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
JP2022162028A (ja) * 2018-06-12 2022-10-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
JP7289296B2 (ja) 2018-07-05 2023-06-09 富士フイルム株式会社 画像処理装置、内視鏡システム及び画像処理装置の作動方法
JPWO2020008834A1 (ja) * 2018-07-05 2021-06-24 富士フイルム株式会社 画像処理装置、方法及び内視鏡システム
JP7270626B2 (ja) 2018-07-09 2023-05-10 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体
US11991478B2 (en) 2018-07-09 2024-05-21 Fujifilm Corporation Medical image processing apparatus, medical image processing system, medical image processing method, and program
WO2020012872A1 (ja) * 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
JPWO2020012872A1 (ja) * 2018-07-09 2021-08-02 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
CN109241994A (zh) * 2018-07-31 2019-01-18 顺丰科技有限公司 一种用户异常行为检测方法、装置、设备及存储介质
JPWO2020054032A1 (ja) * 2018-09-13 2021-05-20 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
US11800967B2 (en) 2018-09-13 2023-10-31 Olympus Corporaton Endoscopic image processing apparatus, endoscopic image processing method, and recording medium recording program
WO2020054032A1 (ja) * 2018-09-13 2020-03-19 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
JP6994582B2 (ja) 2018-09-13 2022-01-14 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
JP7218432B2 (ja) 2018-10-02 2023-02-06 インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ リアルタイムに取得される胃内視鏡イメージに基づいて胃病変を診断する内視鏡装置及び方法
JP2022502150A (ja) * 2018-10-02 2022-01-11 インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ 胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法
JP2022507002A (ja) * 2018-10-02 2022-01-18 インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ リアルタイムに取得される胃内視鏡イメージに基づいて胃病変を診断する内視鏡装置及び方法
JPWO2020080299A1 (ja) * 2018-10-16 2021-09-30 富士フイルム株式会社 医療画像処理システム及び学習方法
CN112867430A (zh) * 2018-10-16 2021-05-28 富士胶片株式会社 医疗图像处理系统及学习方法
WO2020080299A1 (ja) 2018-10-16 2020-04-23 富士フイルム株式会社 医療画像処理システム及び学習方法
EP3868281A4 (en) * 2018-10-16 2021-12-08 FUJIFILM Corporation MEDICAL IMAGE PROCESSING SYSTEM AND LEARNING PROCESS
US11830185B2 (en) 2018-10-16 2023-11-28 Fujifilm Corporation Medical image processing system and learning method
JP7092888B2 (ja) 2018-10-16 2022-06-28 富士フイルム株式会社 医療画像処理システム及び学習方法
JP7214291B2 (ja) 2018-10-30 2023-01-30 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム
US11849914B2 (en) 2018-10-30 2023-12-26 Tencent Technology (Shenzhen) Company Limited Endoscopic image processing method and system, and computer device
JP2021519663A (ja) * 2018-10-30 2021-08-12 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 内視鏡画像の処理方法、システム、コンピュータデバイス及びコンピュータプログラム
US11357396B1 (en) 2019-01-25 2022-06-14 Verily Life Sciences Llc Diagnostic model optimization for variations in mechanical components of imaging devices
JP2020156903A (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
WO2020195807A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
CN110992303A (zh) * 2019-10-29 2020-04-10 平安科技（深圳）有限公司 一种异常细胞筛选方法、装置、电子设备和存储介质
CN110992303B (zh) * 2019-10-29 2023-12-22 平安科技（深圳）有限公司 一种异常细胞筛选方法、装置、电子设备和存储介质
JP7487469B2 (ja) 2019-12-11 2024-05-21 富士電機株式会社 画像生成装置、画像生成方法及びプログラム
JP7485332B2 (ja) 2020-01-16 2024-05-16 国立大学法人九州工業大学 ソフトウェアプログラム、回路基板及びニューラルネットワークの生成方法
CN112435246A (zh) * 2020-11-30 2021-03-02 武汉楚精灵医疗科技有限公司 窄带成像放大胃镜下胃癌的人工智能诊断方法
WO2023053991A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
JP7299542B1 (ja) 2022-05-18 2023-06-28 キヤノンマーケティングジャパン株式会社 情報処理システム及びその制御方法、プログラム
JP2023169922A (ja) * 2022-05-18 2023-12-01 キヤノンマーケティングジャパン株式会社 情報処理システム及びその制御方法、プログラム

Also Published As

Publication number Publication date
JP6927211B2 (ja) 2021-08-25
JPWO2018008593A1 (ja) 2019-04-25
US10803582B2 (en) 2020-10-13
US20190311475A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
WO2018008593A1 (ja) 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体
US11132794B2 (en) System and method for detection of suspicious tissue regions in an endoscopic procedure
WO2020110278A1 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
WO2014155778A1 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
JP7304951B2 (ja) コンピュータプログラム、内視鏡用プロセッサの作動方法及び内視鏡用プロセッサ
US20230043645A1 (en) Systems and methods for detection and analysis of polyps in colon images
KR102103280B1 (ko) 딥러닝 기반의 대장 질환 보조 진단 방법
US20210202072A1 (en) Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network
KR20160118037A (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
CN116848588A (zh) 医学图像中的健康状况特征的自动标注
JP2020062355A (ja) 画像処理装置、データ生成装置及びプログラム
JPWO2019187049A1 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
KR20230097646A (ko) 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
JP6824868B2 (ja) 画像解析装置及び画像解析方法
Avram et al. CathAI: fully automated interpretation of coronary angiograms using neural networks
JP6710853B2 (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
JP2022132180A (ja) 人工知能基盤の胃内視鏡映像診断支援システム及び方法
WO2021199152A1 (ja) 情報処理装置、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2017149310A1 (en) Frame selection in medical image data
WO2023188169A1 (ja) 内視鏡、教師データ候補画像取得装置、教師データ候補画像取得方法、およびプログラム
EP3998015A1 (en) Image analyzing device and image analyzing method
WO2023042273A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
Xu et al. Self-supervised Approach for a Fully Assistive Esophageal Surveillance: Quality, Anatomy and Neoplasia Guidance
JP2009061176A (ja) 医用画像処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17824196

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018526365

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17824196

Country of ref document: EP

Kind code of ref document: A1