WO2020170791A1 - 医療画像処理装置及び方法 - Google Patents

医療画像処理装置及び方法 Download PDF

Info

Publication number
WO2020170791A1
WO2020170791A1 PCT/JP2020/004024 JP2020004024W WO2020170791A1 WO 2020170791 A1 WO2020170791 A1 WO 2020170791A1 JP 2020004024 W JP2020004024 W JP 2020004024W WO 2020170791 A1 WO2020170791 A1 WO 2020170791A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
classification result
reliability
image
attention area
Prior art date
Application number
PCT/JP2020/004024
Other languages
English (en)
French (fr)
Inventor
麻依子 遠藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021501819A priority Critical patent/JP7308258B2/ja
Publication of WO2020170791A1 publication Critical patent/WO2020170791A1/ja
Priority to US17/382,293 priority patent/US20210350534A1/en
Priority to JP2023108216A priority patent/JP2023115352A/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a medical image processing apparatus and method, and more particularly to a technique for automatically classifying lesions and the like based on medical images.
  • Patent Documents 1 and 2 An image processing apparatus that classifies a medical image into abnormalities (lesions) or the like for each pixel or region, highlights the regions classified as abnormalities (lesions) included in the medical image, and supports user observation and diagnosis.
  • Patent Documents 1 and 2 An image processing apparatus that classifies a medical image into abnormalities (lesions) or the like for each pixel or region, highlights the regions classified as abnormalities (lesions) included in the medical image, and supports user observation and diagnosis.
  • the image processing device described in Patent Document 1 classifies the medical image for each pixel or region, and also determines whether the medical image is in-focus or out-of-focus for each pixel or region. Then, the image processing apparatus corrects the classification result for each pixel or area of the medical image according to the result of the focus determination in the pixel or area of the medical image. If the result of focusing determination for each pixel or area of the medical image is "out-of-focus", the classification result for each pixel or area of the medical image corresponding to that "out-of-focus" (classification of normal part and abnormal part) Correct the result) as unknown.
  • the image processing device described in Patent Document 2 calculates a score indicating the presence or absence of a lesion and the severity of the lesion for each pixel in a color medical image, and the reliability of the score calculated based on the color medical image. Evaluate. Then, when the lesion area of the medical image is highlighted, the lesion area is highlighted based on the severity of the lesion (score) and the reliability of the score.
  • the reliability of the score is evaluated based on the color balance of the color medical image based on the quality of the shooting condition of the entire medical image.
  • the image processing apparatus described in Patent Document 2 calculates a score indicating the degree of serious injury of the lesion based on the color information of the lesion of the color medical image. Therefore, when the color information is incorrect (for example, halation occurs). If the color channel (color component) is saturated), the reliability of the score is low.
  • the type of lesion determined by the image processing device described in Patent Document 2 can be selected according to the examination content, and the lesion to be examined is selected in advance.
  • inflammation which is a lesion of inflammatory bowel disease, is set as a lesion to be determined, and the severity of the lesion is scored by the color information of the lesion.
  • the image processing device described in Patent Document 1 is a result of focus determination for each pixel or region of a medical image in order to improve reliability of the highlighted display when highlighting an abnormal part included in a medical image.
  • "unknown” is not a classification result for each pixel or area of the medical image.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide a medical image processing apparatus and method capable of improving the reliability of a medical image or a classification result of a region of interest included in a medical image. To do.
  • a medical image processing apparatus is an image acquisition unit that acquires a medical image, and a medical image or a medical image included in the medical image based on a feature amount obtained from the medical image.
  • a classifier that classifies the region into one of two or more classes
  • a reliability calculation unit that calculates the reliability of the classification result of the medical image or the region of interest by the classifier, and the medical image or the attention based on the reliability.
  • a determination unit that determines the classification result of the region.
  • the classifier classifies the medical image or the attention area included in the medical image into one of two or more classes based on the feature amount obtained from the medical image.
  • This classification result is not always stable. Therefore, the reliability calculation unit calculates the reliability of the classification result.
  • the determining unit determines the classification result based on the calculated reliability, but does not determine the classification result depending on the reliability. Thereby, the reliability of the classification result determined by the determination unit can be improved.
  • the confirming unit confirms the classification result of the medical image or the attention area when the reliability is equal to or higher than the threshold.
  • the image acquisition unit acquires time-series medical images
  • the determination unit is sequentially calculated by the reliability calculation unit for the time-series medical images. It is preferable to determine the classification result of the medical image or the attention area based on the reliability of the plurality of classification results.
  • the number of specific classification results whose reliability calculated by the reliability calculation unit is a threshold value or more is a reference number or more
  • the reliability calculation unit calculates a variation amount of the reliability of a specific classification result among the plurality of classification results, and the determination unit determines the specific classification result. It is preferable to determine the specific classification result as the classification result of the medical image or the attention area when the variation amount of the reliability is within the reference range.
  • the classifier classifies the medical image into classes on a pixel-by-pixel or region-by-region basis based on the medical image, and creates a region image indicating a classification result of the medical images.
  • the reliability calculation unit calculates the reliability of the classification result of the medical image or the attention area based on the area image.
  • the reliability of the classification result can be calculated using the created area image.
  • the reliability calculation unit calculates the area of the attention area based on the area image
  • the confirmation unit determines the medical image when the area of the attention area is equal to or larger than a threshold value. Alternatively, it is preferable to determine the classification result of the attention area.
  • the reliability calculation unit calculates a representative value of the reliability of the classification result for each pixel in the attention area based on the area image, and the determination unit calculates It is preferable to determine the classification result of the medical image or the attention area when the representative value of the reliability is equal to or more than the threshold value.
  • the reliability calculation unit calculates the variance or standard deviation of the classification result for each pixel in the attention region based on the region image, and the determination unit calculates It is preferable to determine the classification result of the medical image or the attention area when the variance or the standard deviation is equal to or less than the threshold value.
  • a threshold value setting unit that arbitrarily sets a threshold value by a user operation.
  • a display control unit that causes the display unit to display the medical image acquired by the image acquisition unit and the classification result determined by the determination unit. As a result, the user can determine that the classification result displayed on the display unit is confirmed.
  • the display control unit displays the classification result on the display unit and then hides the classification result after a predetermined time.
  • the classification result may be hidden by hiding all of the plurality of information or hiding a part of the plurality of information.
  • the display control unit causes the display unit to distinguishably display the classification result of the medical image or the attention area by the classifier and the classification result determined by the determination unit. It is preferable. This allows the user to confirm the undetermined classification result and the confirmed classification result.
  • a medical image processing method includes a step of acquiring a medical image and a medical image or a region of interest included in the medical image based on a feature amount obtained from the medical image, out of two or more classes. And the step of calculating the reliability of the classification result of the medical image or the attention area, and the step of determining the classification result of the medical image or the attention area based on the reliability.
  • the reliability of the classification result can be improved.
  • FIG. 1 is a schematic diagram showing the overall configuration of an endoscope system 9 including a medical image processing apparatus according to the present invention.
  • FIG. 2 is a block diagram showing an embodiment of the medical image processing apparatus 14.
  • FIG. 3 is a schematic diagram showing a typical configuration example of the CNN applied to the classifier 42 of this example.
  • FIG. 4 is a diagram showing an example of a region image showing the classification result of medical images.
  • FIG. 5 is a diagram showing an example of the medical image 60 and the classification results S1 and S2 displayed on the display 16.
  • FIG. 6 is a flowchart showing an embodiment of the medical image processing method according to the present invention.
  • FIG. 7 is a flowchart showing an embodiment of the processing in steps S20 and S30 of the flowchart shown in FIG.
  • FIG. 1 is a schematic diagram showing the overall configuration of an endoscope system 9 including a medical image processing apparatus according to the present invention.
  • the endoscope system 9 includes an endoscope scope 10 which is an electronic endoscope, a light source device 11, an endoscope processor device 12, a display device 13, and a medical image processing device 14. And an operating unit 15 and a display unit 16.
  • the endoscope scope 10 captures medical images in time series including a subject image, and is, for example, a flexible endoscope.
  • the endoscope scope 10 is an insertion portion 20 that is inserted into a subject and has a distal end and a proximal end, and a hand that is continuously provided on the proximal end side of the insertion portion 20 and that is gripped by an operator to perform various operations. It has an operating section 21 and a universal cord 22 connected to the hand operating section 21.
  • the entire insertion portion 20 is formed in a long shape with a small diameter.
  • the insertion portion 20 has a flexible portion 25 having flexibility in order from the proximal end side to the distal end side, a bending portion 26 that can be bent by the operation of the hand operation unit 21, and an imaging optical system (objective lens not shown). ) And the tip portion 27 in which the image pickup device 28 and the like are incorporated are continuously provided.
  • the image pickup device 28 is a complementary metal oxide semiconductor (CMOS) type or a charge coupled CCD (CCD). device) type image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled CCD
  • the image pickup surface of the image pickup device 28 On the image pickup surface of the image pickup device 28, the image light of the observed region is passed through an observation window (not shown) opened in the tip surface of the tip portion 27 and an objective lens (not shown) arranged behind the observation window. Is incident.
  • the image pickup device 28 picks up (converts into an electric signal) the image light of the observed region which has entered the image pickup surface, and outputs an image pickup signal.
  • the hand-side operation unit 21 is provided with various operation members operated by an operator. Specifically, the hand operation unit 21 includes two types of bending operation knobs 29 used for bending the bending unit 26, an air/water supply button 30 for air/water supply operation, and a suction button 31 for suction operation. , Are provided. Further, in the hand operation unit 21, a still image shooting instruction unit 32 for instructing the shooting of the still image 39 of the observed region and a treatment instrument insertion passage (not shown) inserted through the insertion unit 20 are provided. A treatment instrument introducing port 33 for inserting a treatment instrument (not shown) is provided.
  • the universal cord 22 is a connection cord for connecting the endoscope scope 10 to the light source device 11.
  • the universal cord 22 includes a light guide 35 inserted through the insertion portion 20, a signal cable 36, and a fluid tube (not shown).
  • a connector 37a connected to the light source device 11 and a connector 37b branched from the connector 37a and connected to the endoscope processor device 12 are provided at the end of the universal cord 22.
  • the light guide 35 and the fluid tube (not shown) are inserted into the light source device 11.
  • necessary illumination light, water, and gas are supplied from the light source device 11 to the endoscope scope 10 via the light guide 35 and the fluid tube (not shown).
  • the illumination light is emitted from the illumination window (not shown) on the tip surface of the tip portion 27 toward the observed region.
  • gas or water is jetted from an air/water supply nozzle (not shown) on the tip surface of the tip portion 27 toward an observation window (not shown) on the tip surface in response to a pressing operation of the air/water supply button 30 described above.
  • the signal cable 36 and the endoscope processor device 12 are electrically connected.
  • the image pickup device 28 of the endoscope scope 10 outputs the image pickup signal of the observed region to the endoscope processor device 12 via the signal cable 36, and the endoscope processor device 12 also outputs the image pickup signal.
  • a control signal is output to 10.
  • the light source device 11 supplies illumination light to the light guide 35 of the endoscope scope 10 via the connector 37a.
  • Illumination light may be white light (light of a white wavelength band or light of a plurality of wavelength bands), light of one or a plurality of specific wavelength bands, or light of various wavelength bands according to an observation purpose such as a combination thereof. To be selected.
  • the specific wavelength band is a band narrower than the white wavelength band.
  • a first example of a specific wavelength band is, for example, a visible blue band or a green band.
  • the wavelength band of the first example includes a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and the light of the first example has a peak wavelength within the wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less. ..
  • a second example of a specific wavelength band is, for example, the visible red band.
  • the wavelength band of the second example includes a wavelength band of 585 nm or more and 615 nm or less or 610 nm or more and 730 nm or less, and the light of the second example has a peak wavelength within the wavelength band of 585 nm or more and 615 nm or less or 610 nm or more and 730 nm or less. ..
  • the third example of the specific wavelength band includes a wavelength band in which oxyhemoglobin and reduced hemoglobin have different absorption coefficients, and the light of the third example has a peak wavelength in a wavelength band in which oxyhemoglobin and reduced hemoglobin have different absorption coefficients.
  • the wavelength band of the third example includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm or less, and the light of the third example is 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470. It has a peak wavelength in a wavelength band of ⁇ 10 nm or 600 nm or more and 750 nm or less.
  • the fourth example of the specific wavelength band is the wavelength band (390 nm to 470 nm) of the excitation light used for observing the fluorescence emitted by the fluorescent substance in the living body (fluorescence observation) and exciting this fluorescent substance.
  • the fifth example of the specific wavelength band is the wavelength band of infrared light.
  • the wavelength band of the fifth example includes a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less, and the light of the fifth example has a peak wavelength in the wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less.
  • the endoscope processor device 12 controls the operation of the endoscope scope 10 via the connector 37b and the signal cable 36. Further, the endoscope processor device 12 is an image including a time-series frame image 38a including a subject image, based on the image pickup signal acquired from the image pickup device 28 of the endoscope scope 10 via the connector 37b and the signal cable 36 ( (Also referred to as “moving image 38”). Furthermore, when the still image capturing instruction unit 32 is operated by the hand operation unit 21 of the endoscope scope 10, the endoscope processor device 12 generates one moving image 38 in parallel with the generation of the moving image 38. The frame image is a still image 39 corresponding to the timing of the shooting instruction.
  • the moving image 38 and the still image 39 are medical images obtained by imaging the inside of the subject, that is, the inside of the living body. Furthermore, when the moving image 38 and the still image 39 are images obtained by light (special light) in the above-mentioned specific wavelength band, both are special light images. Then, the endoscope processor device 12 outputs the generated moving image 38 and still image 39 to the display device 13 and the medical image processing device 14, respectively.
  • the endoscope processor device 12 may generate (acquire) the special light image having the information on the specific wavelength band described above, based on the normal light image obtained by the white light described above.
  • the endoscope processor device 12 functions as a special light image acquisition unit. Then, the endoscope processor device 12 outputs signals of a specific wavelength band to red, green, and blue [RGB (Red, Green, Blue)] or cyan, magenta, and yellow [CMY(which are included in the normal light image). Cyan, Magenta, Yellow)] to obtain by performing calculation based on color information.
  • the endoscope processor device 12 is based on, for example, at least one of the normal light image obtained by the white light described above and the special light image obtained by the light (special light) in the specific wavelength band described above. Then, a characteristic amount image such as a known oxygen saturation image may be generated. In this case, the endoscope processor device 12 functions as a feature amount image generation unit.
  • the moving image 38 or the still image 39 including the in-vivo image, the normal light image, the special light image, and the feature amount image are both imaged or measured for a human body for the purpose of image diagnosis and inspection. It is a medical image which imaged the result.
  • the display device 13 is connected to the endoscope processor device 12 and functions as a display unit for displaying the moving image 38 and the still image 39 input from the endoscope processor device 12.
  • the user operates the insertion unit 20 to move back and forth while checking the moving image 38 displayed on the display device 13, and operates the still image capturing instruction unit 32 when a lesion or the like is found in the observed region. Then, the still image capturing of the observed region is performed, and the diagnosis and biopsy are performed.
  • the medical image processing apparatus 14 mainly classifies the medical image being captured or the attention area included in the medical image into one of two or more classes based on the time-series medical images, and notifies the user of the classification result.
  • a personal computer is used.
  • the operation unit 15 includes a keyboard and a mouse that are wired or wirelessly connected to a personal computer, and the display (display unit) 16 includes various monitors such as a liquid crystal monitor that can be connected to the personal computer.
  • FIG. 2 is a block diagram showing an embodiment of the medical image processing apparatus 14.
  • the medical image processing apparatus 14 illustrated in FIG. 2 mainly includes an image acquisition unit 40, a CPU (Central Processing Unit) 41, a classifier 42, a reliability calculation unit 43, a determination unit 44, a threshold setting unit 45, a display control unit 46, and a storage unit. It is composed of a part 47.
  • a CPU Central Processing Unit
  • the CPU 41 operates based on the program stored in the storage unit 47, and integrally controls the image acquisition unit 40, the classifier 42, the reliability calculation unit 43, the determination unit 44, the threshold value setting unit 45, and the display control unit 46. , Also functions as part of each of these parts.
  • the image acquisition unit 40 uses the image input/output interface (not shown) that is connected to the endoscope processor device 12 (FIG. 1) by wire or wirelessly to connect the endoscope processor device 12 to the time series of frames including the subject image.
  • An image (in this example, the moving image 38 captured by the endoscope 10) including the image 38a is acquired.
  • the image acquisition unit 40 acquires the moving image 38 and the still image 39 from the endoscope processor device 12. To do.
  • the classifier 42 acquires the characteristic amount of the frame image 38a based on the time-series frame image 38a acquired by the image acquisition unit 40, and based on the acquired characteristic amount, selects each frame image 38a or each frame image 38a.
  • the attention area included is classified into one of two or more classes.
  • the two or more classes are classified into one of the three classes of "neoplastic", “non-neoplastic", and “other", but the class to be classified is limited to these. Not done. For example, it includes classification by tumor shape, size, position, etc., classification by severity of lesion, and combination of these.
  • the reliability calculation unit 43 calculates the reliability of the classification result of the frame image 38a or the attention area by the classifier 42. For example, when the classifier 42 calculates the probabilities of belonging to each class of “neoplastic”, “non-neoplastic”, and “other”, the calculated probabilities correspond to the reliability.
  • the reliability of the classification result is not limited to the probability of belonging to each class, and can be calculated based on various criteria.
  • the determination unit 44 determines the classification result of the frame image 38a or the attention area based on the reliability of the classification result calculated by the reliability calculation unit 43.
  • the determination of the classification result does not mean the determination of the lesion part by the definite diagnosis by the pathological diagnosis, which is performed by collecting a part of the lesion part, but the determination of the classification result by the automatic diagnosis by the classifier 42.
  • the method of finalizing the classification result can be determined according to the method of calculating the reliability of the classification result. For example, when the reliability of the classification result is quantified, a predetermined numerical value for fixing the classification result is used as a threshold, and the classification result can be fixed when the reliability (numerical value) is equal to or higher than the threshold.
  • the detailed operations of the reliability calculation unit 43 and the determination unit 44 will be described later.
  • the threshold value setting unit 45 is a unit that sets the threshold value required for the finalizing unit 44 to finalize the classification result.
  • the user can operate the operation unit 15 to set the threshold value set by the threshold value setting unit 45 to an arbitrary value. For example, it is conceivable to increase the threshold when the classification result confirmed by the confirming unit 44 changes frequently and to lower the threshold when it takes a long time to confirm the classification result in the confirming unit 44.
  • the display control unit 46 generates an image data for display based on the medical image (moving image 38, still image 39) acquired by the image acquiring unit 40 and outputs the image data to the display device 16, and a confirming unit.
  • a classification result display control unit 46B that generates image data for display showing the classification result based on the classification result determined by 44 and outputs the image data to the display 16.
  • the display control unit 46 combines the image data output from the image display control unit 46A and the image data indicating the classification result output from the classification result display control unit 46B, and displays the combined image data on the display 16. By outputting, the display 16 displays the medical image and the classification result.
  • the storage unit 47 includes a storage unit as a work area of the CPU 41 and a storage unit that stores various programs such as an operating system and a medical image processing program, and a captured still image 39.
  • the classifier 42 of this example includes a convolutional neural network (CNN) that calculates a feature amount from an image (frame image 38a) and performs image recognition processing, and includes color information and a gradient of pixel values in the image. Etc. to calculate the feature amount.
  • the classifier 42 determines an image (medical image) or a region of interest included in the image based on the calculated feature amount from among a plurality of classes such as “neoplastic”, “non-neoplastic”, and “other” in this example. Classify as either.
  • FIG. 3 is a schematic diagram showing a typical configuration example of a CNN applied to the classifier 42 of this example.
  • the classifier (CNN) 42 includes an input layer 42A, an intermediate layer 42B having a plurality of sets of convolutional layers and pooling layers, and a fully connected layer, and an output layer 42C.
  • Each layer has a structure in which a plurality of "nodes" are connected by "edges".
  • Each frame image 38a of the moving image 38 is sequentially input to the input layer 42A.
  • the middle layer 42B has a plurality of sets each including a convolutional layer and a pooling layer, and a fully connected layer, and extracts a feature amount from the frame image 38a input from the input layer.
  • the convolutional layer filters the nearby nodes in the previous layer (performs a convolution operation using the filter) to obtain a "feature map".
  • the pooling layer reduces the feature map output from the convolutional layer to a new feature map.
  • the “convolutional layer” plays a role of feature extraction such as edge extraction from an image, and the “pooling layer” plays a role of imparting robustness so that the extracted features are not affected by translation or the like.
  • the intermediate layer 42B is not limited to the case where the convolutional layer and the pooling layer are set as one set, and includes the case where the convolutional layers are continuous and the normalization layer.
  • the fully connected layer is a part that performs weighted connection with all the nodes of the previous layer and outputs a value (feature variable) converted by the activation function, and in this example, is included in the frame image 38a or the frame image 38a.
  • the feature variable for each classification is output for the region of interest such as a lesion.
  • the output layer 42C which functions as an inference unit, converts the output (feature variable) from the fully connected layer into a probability using a softmax function, and calculates a score (probability) for each class to be classified.
  • the output layer 42C since the frame image 38a or the region of interest is classified into one of the three classes of "neoplastic", “non-neoplastic", and "other", the output layer 42C has a score of three classes (three classes). The class having the maximum score out of the total score of 100%) and the score of the class are output as the classification result.
  • the reliability calculation unit 43 of the first embodiment sets the score (probability) for the classified class included in the classification result of the frame image 38a or the attention area by the classifier 42 as the reliability. This is because the higher the score, the higher the reliability of the class classified by the score.
  • the determination unit 44 of the first embodiment determines the classification result of the frame image 38a or the attention area by the classifier 42 when the score (reliability) obtained by the reliability calculation unit 43 is equal to or more than the set threshold value. ..
  • the threshold is 70%
  • the class having a score equal to or higher than this threshold has sufficiently high reliability as compared to other classes (other classes having a score of 30% or less). Therefore, even if the score for each class changes due to movement of the living body or changes in the shooting position, etc., and the classification result changes, if a highly reliable classification result that is equal to or greater than the threshold value is obtained, the classification result is confirmed. It is preferable that it is not changed.
  • the determination unit 44 of the second embodiment determines the classification result of the frame image 38a or the attention area based on the plurality of classification results obtained for the time-series frame image 38a.
  • the reliability calculation unit 43 is a plurality of classification results sequentially calculated for the time-series frame images 38a, and a specific classification result (eg, “tumor The number of "classification results" is calculated.
  • the plurality of classification results are 15 classification results when the classification results of 15 consecutive frames are used.
  • the determination unit 44 of the second embodiment determines the specific classification result to be the frame image 38a or the attention area. Confirm as the classification result of. For example, if the reference number for 15 consecutive frames is 12, and the number of specific classification results is 12 or more, the specific classification result is determined as the classification result of the frame image 38a or the attention area. That is, when 12 out of 15 consecutive frames have a specific classification result, the specific classification result is confirmed.
  • the modification of the determination unit 44 of the second embodiment is such that the specific classification result when the reliability calculated by the reliability calculation unit 43 is equal to or higher than a threshold and the ratio of the number of specific classification results is equal to or higher than a reference ratio.
  • the result is confirmed as the classification result of the frame image 38a or the attention area. For example, when the reference ratio is 80%, if the ratio of the number of specific classification results among the plurality of classification results (15 classification results) is 80% or more, the specific classification result is confirmed.
  • the number or ratio of the specific classification results is the reference number or the reference ratio or more, the specific classification result can be confirmed. You can It is preferable that the number of the plurality of classification results, the reference number, or the reference ratio can be arbitrarily set.
  • the reliability calculation unit 43 calculates the amount of change in reliability of a specific classification result among a plurality of classification results. For example, assuming that the reliability of a specific classification result is the score (probability) for the classified class, the variation amount (variation width) of the score in the set number of frames is calculated. For example, when the set number of frames is 5 and the score of each frame is 50, 60, 55, 65, 62, the variation amount is 15.
  • the determination unit 44 of the third embodiment determines the specific classification result as the classification result of the frame image 38a or the attention area when the variation amount of the reliability of the specific classification result is within the reference range. For example, if the reference range is 15, the variation amount is 15 or less in the above case, so that the specific classification result is confirmed.
  • the number of frames for calculating the fluctuation amount of the reliability of a specific classification result and the reference range for determining the classification result can be set arbitrarily.
  • the classifier 42 of one embodiment shown in FIG. 3 classifies the entire medical image or the region of interest within the medical image into one of a plurality of classes, while the classifier of other embodiments classifies it into a medical image. Based on this, the medical image is classified into classes for each pixel or each area, and an area image showing the classification result of the medical image is created.
  • the classifier according to another embodiment can be configured by, for example, a full-layer convolutional network (FCN) having no fully connected layer.
  • FCN full-layer convolutional network
  • the region image showing the classification result of the medical image can be color-coded according to the class of the classification result, or can have different brightness according to the score included in the classification result, and can be displayed on the display unit 16. is there.
  • FIG. 4 is a diagram showing an example of a region image showing a classification result of medical images
  • 50 indicates a region image displayed on the display 16
  • 52 indicates a region image corresponding to the attention region. ..
  • the reliability of the classification result of the medical image or the attention area is calculated by using the area image 50 showing the classification result of the medical image shown in FIG.
  • the reliability calculation unit 43 of the fourth embodiment calculates the area of the attention area 52 in the area image 50 based on the area image 50. Since the size of the attention area 52 varies depending on the shooting distance, it is preferable to calculate the area of the attention area 52 standardized according to the shooting distance.
  • the determination unit 44 of the fourth embodiment determines the classification result of the medical image or the attention area 52 when the area of the attention area 52 calculated by the reliability calculation unit 43 is equal to or larger than the threshold value.
  • the determining unit 44 increases the reliability of the classification result as the area occupied by the attention area 52 in the area image 50 increases, and determines the classification result of the attention area 52.
  • the reliability calculation unit 43 of the fifth embodiment calculates a representative value of the reliability of the classification result for each pixel in the attention area 52 based on the area image 50.
  • As the representative value an average value, a median value, a mode value, a maximum value, etc. of the reliability in the attention area 52 can be considered.
  • the determining unit 44 of the fifth embodiment determines the classification result of the medical image or the attention area 52 when the representative value of the reliability calculated by the reliability calculating unit 43 is equal to or more than the threshold value.
  • the reliability of the classification result for each pixel in the area image 50 corresponds to the density for each pixel of the area image 50.
  • the determining unit 44 increases the reliability of the classification result as the representative value of the density in the attention area 52 is higher, and determines the classification result of the attention area 52.
  • the reliability calculation unit 43 of the sixth embodiment calculates the variance or standard deviation of the classification result for each pixel in the attention area 52 based on the area image 50.
  • the determination unit 44 of the sixth embodiment determines the classification result of the medical image or the attention area 52 when the variance or standard deviation calculated by the reliability calculation unit 43 is less than or equal to the threshold value.
  • the determination unit 44 determines the classification result of the attention area 52. To do.
  • the image display control unit 46A of the display control unit 46 illustrated in FIG. 2 generates image data for display based on the medical image (moving image 38, still image 39) acquired by the image acquisition unit 40 and displays the image. Output to 16. Thereby, the display 16 displays the medical image.
  • the classification result display control unit 46B generates image data for display showing the classification result based on the classification result confirmed by the confirming unit 44 and outputs the image data to the display unit 16.
  • the display device 16 displays the determined classification result of the medical image or the attention area included in the medical image.
  • FIG. 5 is a diagram showing an example of the medical image 60 and the classification results S1 and S2 displayed on the display 16.
  • reference numeral 61 is a region of interest included in the medical image 60.
  • the classification result S1 of this example is the size of the attention area 61 in addition to one of the three classes of “neoplastic”, “non-neoplastic”, and “other” (“neoplastic” in this example). (In this example, “7 mm”) and the severity of lesion (in this example, stage classification “stage 1”).
  • the classification result S2 is a figure (rectangular frame) for notifying the user of the position of the attention area 61.
  • the rectangular frame is created so as to surround the attention area 61 and is displayed so as to be superimposed on the medical image 60.
  • the rectangular frame can be created based on the position information of the attention area 52 of the area image 50 shown in FIG.
  • the display control unit 46 combines the image data output from the image display control unit 46A and the image data indicating the classification result output from the classification result display control unit 46B, and displays the combined image data on the display 16. By outputting, the medical image 60 and the classification results S1 and S2 are displayed on the display 16.
  • the display control unit 46 displays the composite image of the medical image 60 and the determined classification results S1 and S2 on the display device 16, and then displays the classification results S1 and S2 after a certain time (for example, several seconds). It can be displayed (only the medical image 60 is displayed). Note that only the rectangular frame may be hidden. This is so as not to interfere with the interpretation of the medical image 60.
  • the classification result display control unit 46B generates image data indicating the classification result determined by the determination unit 44 and the classification result (undetermined classification result) by the classifier 42, and the determined classification result and the undetermined classification result. And may be displayed on the display device 16.
  • the confirmed classification result and the unconfirmed classification result are preferably displayed in a distinguishable manner by different display forms (for example, different colors).
  • FIG. 6 is a flowchart showing an embodiment of the medical image processing method according to the present invention, and shows the processing procedure of each unit of the medical image processing apparatus 14 shown in FIG.
  • the image acquisition unit 40 acquires one frame of the medical image of the time series medical image to be processed from the endoscope processor device 12 (step S10).
  • the classifier 42 obtains the characteristic amount of the medical image from the medical image acquired in step S10, and classifies the medical image or the attention area included in the medical image into one of two or more classes based on the characteristic amount. (Step S20).
  • the reliability calculation unit 43 calculates the reliability of the classification result of the medical image or the attention area by the classifier 42 (step S30).
  • the determining unit 44 determines whether or not the reliability of the classification result calculated in step S30 satisfies the condition (threshold value) for determining the classification result (step S40), and the determination condition is satisfied. ("Yes"), the classification result is confirmed (step S50). If the condition to be confirmed is not satisfied (in the case of “No”), the process proceeds to step S10, and in step S10, the medical image of the frame is acquired next.
  • the classification result display control unit 46B generates image data for display showing the confirmed classification result, and outputs the generated image data to the display device 16. As a result, the classification result is displayed on the display 16 (step S60). The time-series medical images are displayed on the display device 16, and the classification result is displayed together with the medical images.
  • the classification result display control unit 46B determines whether or not the classification result is displayed on the display device 16 for a certain period of time (for example, several seconds) (step S70), and when it is not displayed for the certain period of time (“No”). Continues to display the classification result on the display device 16, and when it is displayed for a certain period of time (in the case of "Yes"), the display of the classification result is hidden (step S80).
  • a certain period of time for example, several seconds
  • the medical image processing in steps S10 to S80 is preferably repeated, for example, when the observation site of the living body changes or when a set time elapses.
  • FIG. 7 is a flowchart showing an embodiment of the processing in steps S20 and S30 of the flowchart shown in FIG.
  • the classifier classifies the medical image on a pixel-by-pixel or region-by-region basis based on the medical image (step S22), and creates a region image 50 (FIG. 4) indicating the classification result of the medical image (FIG. Step S24).
  • the reliability calculation unit 43 calculates the area of the attention area 52 in the area image 50 based on the area image 50 (step S32).
  • the determining unit 44 calculates the reliability of the classification result according to the area of the attention area 52 (step S34). That is, the determination unit 44 increases the reliability of the classification result as the area occupied by the attention area 52 in the area image 50 increases.
  • step S40 shown in FIG. 6 the determination unit 44 determines that the reliability corresponding to the area of the attention area 52 satisfies the condition for determining the classification result (that is, the area of the attention area 52 is equal to or larger than the threshold value). , The classification result of the attention area 52 is confirmed.
  • the classifier according to the present invention is not limited to classifying a medical image or a region of interest included in a medical image by a learning device such as CNN, and features such as color, gradient of pixel value, shape, and size in the medical image.
  • the amount may be analyzed by image processing to detect a region of interest, and the medical image or the region of interest included in the medical image may be classified into one of two or more classes according to the feature amount of the detected region of interest.
  • a combination of this and a learning device may be used.
  • the medical image processing device 14 does not provide the image display control unit 46A, but the classification result generated by the classification result display control unit 46B for the image (moving image or still image) displayed by the endoscope processor device 12. May be superimposed and displayed.
  • the endoscope processor device 12 and the medical image processing device 14 are provided separately, but the endoscope processor device 12 and the medical image processing device 14 may be integrated. That is, the endoscope processor device 12 may be provided with a function as the medical image processing device 14.
  • the hardware-like structure that executes various controls of the medical image processing apparatus 14 of the above embodiment is various processors as described below.
  • the circuit configuration of various processors can be changed after manufacturing such as CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), which are general-purpose processors that execute software (programs) and function as various control units.
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • a dedicated electrical circuit that is a processor that has a circuit configuration specifically designed to execute specific processing, such as a programmable logic device (PLD) that is a standard processor, and an ASIC (Application Specific Integrated Circuit) Be done.
  • PLD programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various types of processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPU and FPGA). May be. Further, the plurality of control units may be configured by one processor. As an example of configuring a plurality of control units with one processor, firstly, as represented by a computer such as a client or a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of control units.
  • SoC system-on-chip
  • a processor that realizes the functions of the entire system including a plurality of control units by one IC (Integrated Circuit) chip is used.
  • the various control units are configured by using one or more of the above various processors as a hardware structure.
  • the time-series image or the still image captured by the endoscope 10 is used as the medical image to be processed.
  • the present invention is not limited to this.
  • an ultrasonic diagnostic apparatus, an X-ray imaging apparatus, etc. It may be a medical image captured by another modality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

医療画像又は医療画像に含まれる注目領域の分類結果の信頼性を向上させることができる医療画像処理装置及び方法を提供する。医療画像処理装置１４は、医療画像を取得する画像取得部４０と、医療画像から得られる特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する分類器４２と、分類器４２による医療画像又は注目領域の分類結果の信頼度を算出する信頼度算出部４３と、算出された信頼度に基づいて医療画像又は注目領域の分類結果を確定する確定部４４と、を備える。

Description

医療画像処理装置及び方法
　本発明は医療画像処理装置及び方法に係り、特に医療画像に基づいて病変等を自動的に分類する技術に関する。
　従来、医療画像を画素又は領域毎に異常（病変）等の分類を行い、医療画像に含まれる異常（病変）と分類された領域を強調表示し、ユーザの観察や診断を支援する画像処理装置が提案されている（特許文献１、２）。
　特許文献１に記載の画像処理装置は、医療画像を画素又は領域毎に分類を行うとともに、医療画像を画素又は領域毎に「合焦」、「非合焦」の合焦判定を行う。そして、画像処理装置は、医療画像の画素又は領域における合焦判定の結果に応じて、医療画像の画素又は領域毎の分類結果を修正する。医療画像の画素又は領域毎の合焦判定の結果が「非合焦」の場合、その「非合焦」に対応する医療画像の画素又は領域毎の分類結果（正常部、非正常部の分類結果）が不明であると修正する。
　これにより、医療画像の異常部に対する強調表示の信頼性を向上させている。
　特許文献２に記載の画像処理装置は、カラーの医療画像に対して画素毎に病変の有無とその病変の重傷度を示すスコアを計算し、カラーの医療画像に基づいて計算したスコアの信頼性を評価する。そして、医療画像の病変部を強調表示する際に、病変の重傷度（スコア）とそのスコアの信頼性に基づいて病変部を強調表示している。
　ここで、スコアの信頼性は、カラーの医療画像のカラーバランスに基づいて医療画像の全体での撮影条件の良否により評価する。
　特許文献２に記載の画像処理装置は、カラーの医療画像の病変部の色情報によりその病変部の重傷度を示すスコアを計算しているため、色情報が正しくない場合（例えば、ハレーションが発生している場合や、カラーチャンネル（色成分）のいずれかが飽和している場合）には、スコアの信頼性を低くしている。
　尚、特許文献２に記載の画像処理装置が判定する病変の種類は、検査内容に応じて選択することができるようになっており、検査しようとする病変は予め選択されている。特許文献２に記載の発明の実施例では、炎症性腸疾患の病変である炎症を判定対象の病変とし、その病変の重傷度を病変部の色情報によりスコア化している。
特開２０１４－１８８２２３号公報 特開２０１８－１２６６３２号公報
　医療画像に基づいてその医療画像又は医療画像に含まれる注目領域の良悪性等を自動的に分類する場合、生体の動きや撮影位置の変動等により分類結果が安定しないという問題がある。
　特許文献１に記載の画像処理装置は、医療画像に含まれる異常部を強調表示する際に、その強調表示の信頼性を向上させるために、医療画像の画素又は領域毎の合焦判定の結果を使用し、「非合焦」に対応する医療画像の画素又は領域に対する分類結果に対しては「不明」とすることで、少なくとも異常部に対する強調表示が不明の領域を含まないようするが、医療画像又は医療画像に含まれる注目領域の分類結果の信頼性を向上させるものではない。また、「不明」は、医療画像の画素又は領域毎の分類結果ではない。
　一方、特許文献２に記載の画像処理装置が判定する病変自体は決まっており、特許文献２に記載の発明は、病変の分類結果の信頼性を向上させるものではない。
　本発明はこのような事情に鑑みてなされたもので、医療画像又は医療画像に含まれる注目領域の分類結果の信頼性を向上させることができる医療画像処理装置及び方法を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る医療画像処理装置は、医療画像を取得する画像取得部と、医療画像から得られる特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する分類器と、分類器による医療画像又は注目領域の分類結果の信頼度を算出する信頼度算出部と、信頼度に基づいて医療画像又は注目領域の分類結果を確定する確定部と、を備える。
　本発明の一の態様によれば、分類器は、医療画像から得られる特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する。この分類結果は必ずしも安定したものとは言えない。そこで、信頼度算出部は、分類結果の信頼度を算出する。確定部は、算出された信頼度に基づいて分類結果を確定するが、信頼度によっては分類結果を確定させない。これにより、確定部により確定した分類結果の信頼性を向上させることができる。
　本発明の他の態様に係る医療画像処理装置において、確定部は、信頼度が閾値以上の場合に医療画像又は注目領域の分類結果を確定することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、画像取得部は、時系列の医療画像を取得し、確定部は、時系列の医療画像に対して信頼度算出部により順次算出される、複数の分類結果の信頼度に基づいて医療画像又は注目領域の分類結果を確定することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、確定部は、信頼度算出部により算出された信頼度が閾値以上となる特定の分類結果の個数が基準個数以上の場合、又は特定の分類結果の個数の割合が基準割合以上の場合に特定の分類結果を医療画像又は注目領域の分類結果として確定することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、信頼度算出部は、複数の分類結果のうち特定の分類結果の信頼度の変動量を算出し、確定部は、特定の分類結果の信頼度の変動量が基準範囲内の場合に特定の分類結果を医療画像又は注目領域の分類結果として確定することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、分類器は、医療画像に基づいて医療画像を画素毎又は領域毎にクラスの分類を行い、医療画像の分類結果を示す領域画像を作成し、信頼度算出部は、領域画像に基づいて医療画像又は注目領域の分類結果の信頼度を算出することが好ましい。医療画像の分類結果を示す領域画像を作成する場合、その作成した領域画像を利用して分類結果の信頼度を算出することができる。
　本発明の更に他の態様に係る医療画像処理装置において、信頼度算出部は、領域画像に基づいて注目領域の面積を算出し、確定部は、注目領域の面積が閾値以上の場合に医療画像又は注目領域の分類結果を確定することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、信頼度算出部は、領域画像に基づいて注目領域における画素毎の分類結果の信頼度の代表値を算出し、確定部は、算出された信頼度の代表値が閾値以上の場合に医療画像又は注目領域の分類結果を確定することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、信頼度算出部は、領域画像に基づいて注目領域における画素毎の分類結果の分散又は標準偏差を算出し、確定部は、算出された分散又は標準偏差が閾値以下の場合に医療画像又は注目領域の分類結果を確定することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、ユーザの操作により閾値を任意に設定する閾値設定部を備えることが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、画像取得部が取得した医療画像と確定部により確定された分類結果を表示部に表示させる表示制御部を備えることが好まし。これにより、ユーザは、表示部に表示された分類結果が確定しているものと判断することができる。
　本発明の更に他の態様に係る医療画像処理装置において、表示制御部は、分類結果を表示部に表示した後、一定時間後に非表示にすることが好ましい。分類結果が複数の情報を有する場合、分類結果の非表示は、複数の情報の全てを非表示にしてもよいし、複数の情報の一部を非表示にしてもよい。
　本発明の更に他の態様に係る医療画像処理装置において、表示制御部は、分類器による医療画像又は注目領域の分類結果と確定部により確定された分類結果とを表示部に識別可能に表示させることが好ましい。これにより、ユーザは、確定していない分類結果と確定した分類結果とを確認することができる。
　本発明の更に他の態様に係る医療画像処理方法は、医療画像を取得するステップと、医療画像から得られる特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類するステップと、医療画像又は注目領域の分類結果の信頼度を算出するステップと、信頼度に基づいて医療画像又は注目領域の分類結果を確定するステップと、を含む。
　本発明によれば、医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する際に、その分類結果の信頼性を向上させることができる。
図１は、本発明に係る医療画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。 図２は、医療画像処理装置１４の実施形態を示すブロック図である。 図３は、本例の分類器４２に適用されるＣＮＮの代表的な構成例を示す模式図である。 図４は、医療画像の分類結果を示す領域画像の一例を示す図である。 図５は、表示器１６に表示される医療画像６０及び分類結果Ｓ１，Ｓ２の一例を示す図である。 図６は、本発明に係る医療画像処理方法の一実施形態を示すフローチャートである。 図７は、図６に示したフローチャートのステップＳ２０及びＳ３０における処理の一実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る医療画像処理装置及び方法の好ましい実施形態について説明する。
　［医療画像処理装置を含む内視鏡システムの全体構成］
　図１は、本発明に係る医療画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。
　図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医療画像処理装置１４と、操作部１５と、表示器１６と、を備える。
　内視鏡スコープ１０は、被写体像を含む時系列の医療画像を撮影するものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。
　挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
　撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled
device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。
　手元操作部２１には、術者によって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
　ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。
　コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
　コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されると共に、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。
　光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。尚、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
　特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。
　内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａからなる画像（「動画３８」ともいう）を生成する。更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮影指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像を撮影指示のタイミングに応じた静止画３９とする。
　動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医療画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医療画像処理装置１４とにそれぞれ出力する。
　尚、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青［ＲＧＢ（Red,Green,Blue）］あるいはシアン、マゼンタ、及びイエロー［ＣＭＹ（Cyan，Magenta，Yellow）］の色情報に基づく演算を行うことで得る。
　また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。尚、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的でヒトの人体を撮像し、又は計測した結果を画像化した医療画像である。
　表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する表示部として機能する。ユーザ（医師）は、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。
　［医療画像処理装置］
　医療画像処理装置１４は、主として時系列の医療画像に基づいて撮影中の医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類し、分類結果をユーザに報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器（表示部）１６はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
　＜医療画像処理装置１４の実施形態＞
　図２は、医療画像処理装置１４の実施形態を示すブロック図である。
　図２に示す医療画像処理装置１４は、主として画像取得部４０、ＣＰＵ（Central Processing Unit）４１、分類器４２、信頼度算出部４３、確定部４４、閾値設定部４５、表示制御部４６及び記憶部４７から構成されている。
　ＣＰＵ４１は、記憶部４７に記憶されたプログラムに基づいて動作し、画像取得部４０、分類器４２、信頼度算出部４３、確定部４４、閾値設定部４５、及び表示制御部４６を統括制御し、また、これらの各部の一部として機能する。
　画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列のフレーム画像３８ａからなる画像（本例では、内視鏡スコープ１０により撮影される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮影途中に既述の静止画３９の撮像が行われた場合、画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。
　分類器４２は、画像取得部４０により取得された時系列のフレーム画像３８ａに基づいてフレーム画像３８ａの特徴量を取得し、取得した特徴量に基づいて各フレーム画像３８ａ、又は各フレーム画像３８ａに含まれる注目領域を２以上のクラスのうちのいずれかに分類する。本例では、後述するように２以上のクラスとして、「腫瘍性」、「非腫瘍性」、「その他」の３つのクラスのうちの１つのクラスに分類するが、分類するクラスはこれらに限定されない。例えば、腫瘍の形状、大きさ、位置等による分類、病変部の重傷度による分類、及びこれらを組み合せた分類を含む。
　信頼度算出部４３は、分類器４２によるフレーム画像３８ａ又は注目領域の分類結果の信頼度を算出する。例えば、分類器４２が「腫瘍性」、「非腫瘍性」及び「その他」の各クラスに属する確率を算出する場合、その算出された確率は信頼度に対応するものとなる。尚、分類結果の信頼度は、各クラスに属する確率に限らず、種々の基準に基づいて算出することができる。
　確定部４４は、信頼度算出部４３により算出された分類結果の信頼度に基づいてフレーム画像３８ａ又は注目領域の分類結果を確定する。ここで、分類結果の確定とは、病変部の一部を採取して行われる、病理診断による確定診断による病変部の確定ではなく、分類器４２による自動診断による分類結果の確定をいう。
　分類結果の確定方法は、分類結果の信頼度の算出方法に応じて決定することができる。例えば、分類結果の信頼度を数値化した場合、分類結果を確定させる所定の数値を閾値とし、信頼度（数値）が閾値以上の場合に分類結果を確定することができる。尚、信頼度算出部４３及び確定部４４の詳細な作用については後述する。
　閾値設定部４５は、確定部４４が分類結果を確定させるために必要な閾値を設定する部分である。ユーザは、操作部１５を操作することで、閾値設定部４５により設定される閾値を任意の値にすることができる。例えば、確定部４４により確定した分類結果が頻繁に変化する場合には閾値を高くし、確定部４４での分類結果の確定に長時間を要する場合には閾値を低くすることが考えられる。
　表示制御部４６は、画像取得部４０が取得した医療画像（動画３８、静止画３９）に基づいて表示用の画像データを生成して表示器１６に出力する画像表示制御部４６Ａと、確定部４４により確定した分類結果に基づいて分類結果を示す表示用の画像データを生成して表示器１６に出力する分類結果表示制御部４６Ｂとを有する。
　表示制御部４６は、画像表示制御部４６Ａから出力される画像データと、分類結果表示制御部４６Ｂから出力される分類結果を示す画像データとを合成し、合成した合成画像データを表示器１６に出力することで、表示器１６に医療画像と分類結果とを表示させる。
　記憶部４７は、ＣＰＵ４１の作業領域としての記憶部と、オペレーティングシステム、医療画像処理プログラム等の各種のプログラム及び撮影された静止画３９等を記憶する記憶部とを含む。
　＜分類器＞
　次に、分類器４２の一実施形態について説明する。
　本例の分類器４２は、画像（フレーム画像３８ａ）から特徴量を算出し、画像の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含み、画像内の色情報、画素値の勾配等で特徴量を算出する。分類器４２は、算出した特徴量に基づいて画像（医療画像）又は画像に含まれる注目領域を、本例では「腫瘍性」、「非腫瘍性」、「その他」といった複数のクラスのうちのいずれかに分類する。
　図３は、本例の分類器４２に適用されるＣＮＮの代表的な構成例を示す模式図である。
　図３に示すように、分類器（ＣＮＮ）４２は、入力層４２Ａと、畳み込み層とプーリング層から構成された複数セット、及び全結合層を有する中間層４２Ｂと、出力層４２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
　入力層４２Ａには、動画３８の各フレーム画像３８ａが順次入力される。
　中間層４２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有し、入力層から入力したフレーム画像３８ａから特徴量を抽出する。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
　尚、中間層４２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。
　全結合層は、前の層の全てのノードと重み付き結合し、活性化関数によって変換された値（特徴変数）を出力する部分であり、本例では、フレーム画像３８ａ又はフレーム画像３８ａに含まれる病変等の注目領域に対する分類ごとの特徴変数を出力する。
　推論部として機能する出力層４２Ｃは、全結合層からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、分類する各クラスに対するスコア（確率）を算出する。本例では、フレーム画像３８ａ又は注目領域を「腫瘍性」、「非腫瘍性」、「その他」の３つのクラスのいずれかに分類するため、出力層４２Ｃは、３つのクラスのスコア（３つのスコアの合計は１００％）のうちのスコアが最大となるクラスと、そのクラスのスコアを分類結果として出力する。
　尚、中間層４２Ｂの各畳み込み層にて使用されるフィルタのパラメータや全結合層の重み係数等は、予め多数の学習データにより最適化されている。
　＜信頼度算出部４３及び確定部４４の第１実施形態＞
　第１実施形態の信頼度算出部４３は、分類器４２によるフレーム画像３８ａ又は注目領域の分類結果に含まれる分類されたクラスに対するスコア（確率）を信頼度とする。スコアが高ければ、そのスコアにより分類されたクラスの信頼度も高くなるからである。
　第１実施形態の確定部４４は、信頼度算出部４３により得られたスコア（信頼度）が設定された閾値以上の場合に、分類器４２によるフレーム画像３８ａ又は注目領域の分類結果を確定する。
　例えば、閾値を７０％とすると、この閾値以上のスコアを有するクラスは、他のクラス（３０％以下のスコアを有する他のクラス）に比べて信頼度が十分に高くなる。したがって、生体の動きや撮影位置の変動等により各クラスに対するスコアが変化して分類結果が変化する場合でも、閾値以上の信頼度の高い分類結果が得られた場合には、その分類結果を確定させ変化させないことが好ましい。
　＜信頼度算出部４３及び確定部４４の第２実施形態＞
　第２実施形態の確定部４４は、時系列のフレーム画像３８ａに対して得られる複数の分類結果に基づいてフレーム画像３８ａ又は注目領域の分類結果を確定する。
　具体的には、信頼度算出部４３は、時系列のフレーム画像３８ａに対して順次算出される複数の分類結果であって、信頼度が閾値以上となる特定の分類結果（例えば、「腫瘍性」の分類結果）の個数を算出する。複数の分類結果は、連続する１５フレームの分類結果を使用する場合、１５個の分類結果である。
　第２実施形態の確定部４４は、信頼度算出部４３により算出された信頼度が閾値以上となる特定の分類結果の個数が基準個数以上の場合、特定の分類結果をフレーム画像３８ａ又は注目領域の分類結果として確定する。例えば、連続する１５フレームに対する基準個数を１２とすると、特定の分類結果の個数が１２以上の場合、特定の分類結果をフレーム画像３８ａ又は注目領域の分類結果として確定する。即ち、連続する１５フレームのうちの、１２フレームが特定の分類結果を有する場合、その特定の分類結果を確定させる。
　また、第２実施形態の確定部４４の変形例は、信頼度算出部４３により算出された信頼度が閾値以上となる特定の分類結果の個数の割合が、基準割合以上の場合に特定の分類結果をフレーム画像３８ａ又は注目領域の分類結果として確定する。例えば、基準割合を８割とすると、複数の分類結果（１５個の分類結果）のうちの特定の分類結果の個数の割合が８割以上の場合、その特定の分類結果を確定させる。
　これにより、生体の動きや撮影位置の変動等により分類結果が安定しない場合でも、特定の分類結果の個数又は割合が基準個数又は基準割合以上の場合には、その特定の分類結果を確定させるこができる。尚、複数の分類結果の数や基準個数又は基準割合は、任意に設定できることが好ましい。
　＜信頼度算出部４３及び確定部４４の第３実施形態＞
　第３実施形態の信頼度算出部４３は、複数の分類結果のうち特定の分類結果の信頼度の変動量を算出する。例えば、特定の分類結果の信頼度を、その分類されたクラスに対するスコア（確率）とすると、設定されたフレーム数におけるスコアの変動量（変動幅）を算出する。例えば、設定されたフレーム数を５とし、各フレームのスコアが５０、６０、５５、６５、６２の場合、変動量は１５となる。
　第３実施形態の確定部４４は、特定の分類結果の信頼度の変動量が基準範囲内の場合に特定の分類結果をフレーム画像３８ａ又は注目領域の分類結果として確定する。例えば、基準範囲を１５とすると、上記の場合には変動量が１５以内であるため、特定の分類結果を確定させる。
　尚、特定の分類結果の信頼度の変動量を算出するためのフレーム数や分類結果を確定させるための基準範囲は、任意に設定できることが好ましい。
　＜分類器の他の実施形態＞
　図３に示した一実施形態の分類器４２は、医療画像全体又は医療画像内の注目領域を複数のクラスのうちのいずれかに分類するが、他の実施形態の分類器は、医療画像に基づいて医療画像を画素毎又は領域毎にクラスの分類を行い、医療画像の分類結果を示す領域画像を作成する。他の実施形態の分類器は、例えば、全結合層を有しない全層畳み込みネットワーク（ＦＣＮ：Fully Convolution Network）で構成することができる。
　医療画像の分類結果を示す領域画像は、分類結果のクラスにより色分けしたり、分類結果に含まれるスコアに応じて輝度が異なるものとしたりすることができ、表示器１６に表示することが可能である。
　図４は、医療画像の分類結果を示す領域画像の一例を示す図であり、５０は、表示器１６に表示された領域画像を示し、５２は、注目領域に対応する領域画像を示している。
　以下に示す実施形態は、図４に示した医療画像の分類結果を示す領域画像５０を利用して医療画像又は注目領域の分類結果の信頼度を算出する。
　＜信頼度算出部４３及び確定部４４の第４実施形態＞
　第４実施形態の信頼度算出部４３は、領域画像５０に基づいて領域画像５０内の注目領域５２の面積を算出する。尚、注目領域５２の大きさは、撮影距離により変動するため、撮影距離に応じて規格化した注目領域５２の面積を算出することが好ましい。
　第４実施形態の確定部４４は、信頼度算出部４３により算出された注目領域５２の面積が閾値以上の場合に医療画像又は注目領域５２の分類結果を確定する。確定部４４は、領域画像５０における注目領域５２の占める面積が大きいほど分類結果の信頼度を高くし、注目領域５２の分類結果を確定する。
　＜信頼度算出部４３及び確定部４４の第５実施形態＞
　第５実施形態の信頼度算出部４３は、領域画像５０に基づいて注目領域５２における画素毎の分類結果の信頼度の代表値を算出する。代表値としては、注目領域５２における信頼度の平均値、中央値、最頻値、最大値などが考えられる。
　第５実施形態の確定部４４は、信頼度算出部４３により算出された信頼度の代表値が閾値以上の場合に医療画像又は注目領域５２の分類結果を確定する。
　ここで、領域画像５０における画素毎の分類結果の信頼度は、領域画像５０の画素毎の濃度に対応する。確定部４４は、注目領域５２における濃度の代表値が高いほど分類結果の信頼度を高くし、注目領域５２の分類結果を確定する。
　＜信頼度算出部４３及び確定部４４の第６実施形態＞
　第６実施形態の信頼度算出部４３は、領域画像５０に基づいて注目領域５２における画素毎の分類結果の分散又は標準偏差を算出する。
　第６実施形態の確定部４４は、信頼度算出部４３により算出された分散又は標準偏差が閾値以下の場合に医療画像又は注目領域５２の分類結果を確定する。
　即ち、確定部４４は、注目領域５２における画素毎の分類結果のバラツキ（分散又は標準偏差）が小さいほど、その注目領域５２に対する分類結果の信頼度を高くし、注目領域５２の分類結果を確定する。
　＜表示制御部＞
　図２に示した表示制御部４６のうちの画像表示制御部４６Ａは、画像取得部４０が取得した医療画像（動画３８、静止画３９）に基づいて表示用の画像データを生成して表示器１６に出力する。これにより、表示器１６は、医療画像を表示する。
　また、分類結果表示制御部４６Ｂは、確定部４４により確定した分類結果に基づいて分類結果を示す表示用の画像データを生成して表示器１６に出力する。これにより、表示器１６は、医療画像又は医療画像に含まれる注目領域の確定した分類結果を表示する。
　図５は、表示器１６に表示される医療画像６０及び分類結果Ｓ１，Ｓ２の一例を示す図である。
　図５において、６１は、医療画像６０に含まれる注目領域である。本例の分類結果Ｓ１は、「腫瘍性」、「非腫瘍性」、「その他」の３つのクラスのうちの１つのクラス（本例では「腫瘍性」）の他に、注目領域６１のサイズ(本例では「７ｍｍ」）、病変の重症度（本例ではステージ分類「ステージ１」）を含んでいる。
　また、分類結果Ｓ２は、注目領域６１の位置をユーザに報知する図形（矩形枠）である。矩形枠は、注目領域６１を囲むように作成され、医療画像６０に重畳表示される。矩形枠は、図４に示した領域画像５０の注目領域５２の位置情報に基づいて作成することができる。
　表示制御部４６は、画像表示制御部４６Ａから出力される画像データと、分類結果表示制御部４６Ｂから出力される分類結果を示す画像データとを合成し、合成した合成画像データを表示器１６に出力することで、表示器１６に医療画像６０と分類結果Ｓ１，Ｓ２とを表示させる。
　また、表示制御部４６は、医療画像６０と確定した分類結果Ｓ１，Ｓ２との合成画像を表示器１６に表示させた後、一定時間後（例えば、数秒後）に分類結果Ｓ１，Ｓ２を非表示にする（医療画像６０のみを表示する）ことができる。尚、矩形枠のみを非表示にしてもよい。医療画像６０の読影の妨げにならないようにするためである。
　更に、分類結果表示制御部４６Ｂは、確定部４４により確定した分類結果及び分類器４２による分類結果（未確定の分類結果）を示す画像データを生成し、確定した分類結果と未確定の分類結果とを表示器１６に表示させるようにしてもよい。この場合、確定した分類結果と未確定の分類結果とは、表示形態を異ならせる（例えば、色分けする）ことで、識別可能に表示することが好ましい。
　［医療画像処理方法］
　図６は、本発明に係る医療画像処理方法の一実施形態を示すフローチャートであり、図２に示した医療画像処理装置１４の各部の処理手順に関して示している。
　図６において、画像取得部４０は、内視鏡プロセッサ装置１２から処理対象である時系列の医療画像のうちの１フレームの医療画像を取得する（ステップＳ１０）。
　分類器４２は、ステップＳ１０で取得した医療画像から医療画像の特徴量を求め、その特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する（ステップＳ２０）。
　信頼度算出部４３は、分類器４２による医療画像又は注目領域の分類結果の信頼度を算出する（ステップＳ３０）。
　確定部４４は、ステップＳ３０で算出された分類結果の信頼度が、その分類結果を確定する条件（閾値）を満たしているか否かを判別し（ステップＳ４０）、確定する条件を満たしている場合（「Yes」の場合）、分類結果を確定する（ステップＳ５０）。確定する条件を満たしていない場合（「No」の場合）には、ステップＳ１０に遷移し、ステップＳ１０では、次にフレームの医療画像を取得する。
　分類結果表示制御部４６Ｂは、確定した分類結果を示す表示用の画像データを生成し、生成した画像データを表示器１６に出力する。これにより、分類結果を表示器１６に表示する（ステップＳ６０）。尚、時系列の医療画像は、表示器１６に表示されており、分類結果は、医療画像とともに表示される。
　分類結果表示制御部４６Ｂは、表示器１６に分類結果が一定時間（例えば、数秒）表示されたか否かを判別し（ステップＳ７０）、一定時間表示されていない場合（「No」の場合）には、引き続き分類結果を表示器１６に表示させ、一定時間表示された場合（「Yes」の場合）には、分類結果の表示を非表示にする（ステップＳ８０）。
　尚、ステップＳ１０～Ｓ８０の医療画像処理は、例えば生体の観察部位が変化した場合や設定された時間が経過すると、繰り返し行うことが好ましい。
　図７は、図６に示したフローチャートのステップＳ２０及びＳ３０における処理の一実施形態を示すフローチャートである。
　図７において、分類器は、医療画像に基づいて医療画像を画素毎又は領域毎にクラスの分類を行い（ステップＳ２２）、医療画像の分類結果を示す領域画像５０（図４）を作成する（ステップＳ２４）。
　信頼度算出部４３は、領域画像５０に基づいて領域画像５０内の注目領域５２の面積を算出する（ステップＳ３２）。確定部４４は、注目領域５２の面積に応じた分類結果の信頼度を算出する（ステップＳ３４）。即ち、確定部４４は、領域画像５０における注目領域５２の占める面積が大きいほど分類結果の信頼度を高くする。
　そして、図６に示したステップＳ４０において、確定部４４は、注目領域５２の面積に対応する信頼度が分類結果を確定する条件を満たす場合（即ち、注目領域５２の面積が閾値以上の場合）、注目領域５２の分類結果を確定する。
　［その他］
　本発明に係る分類器は、ＣＮＮ等の学習器により医療画像又は医療画像に含まれる注目領域を分類するものに限らず、医療画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出し、検出した注目領域の特徴量により医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類するものでもよいし、これと学習器とを併用したものでもよい。
　また、医療画像処理装置１４は、画像表示制御部４６Ａを設けずに、内視鏡プロセッサ装置１２により表示させる画像（動画又は静止画）に対して、分類結果表示制御部４６Ｂが生成した分類結果を重畳表示させるようにしてもよい。
　上記実施形態では、内視鏡プロセッサ装置１２と医療画像処理装置１４とが別体に設けられているが、内視鏡プロセッサ装置１２と医療画像処理装置１４とが一体化されていてもよい。即ち、内視鏡プロセッサ装置１２に、医療画像処理装置１４としての機能を設けてもよい。
　更に、上記実施形態の医療画像処理装置１４の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　また、上記実施形態では、内視鏡スコープ１０により撮影された時系列の画像又は静止画を、処理対象の医療画像としたが、これに限らず、例えば超音波診断装置、Ｘ線撮影装置等の他のモダリティで撮影された医療画像であってもよい。
　更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

９　内視鏡システム

１０　内視鏡スコープ

１１　光源装置

１２　内視鏡プロセッサ装置

１３　表示装置

１４　医療画像処理装置

１５　操作部

１６　表示器

２０　挿入部

２１　手元操作部

２２　ユニバーサルコード

２５　軟性部

２６　湾曲部

２７　先端部

２８　撮像素子

２９　湾曲操作ノブ

３０　送気送水ボタン

３１　吸引ボタン

３２　静止画撮影指示部

３３　処置具導入口

３５　ライトガイド

３６　信号ケーブル

３７ａ　コネクタ

３７ｂ　コネクタ

３８　動画

３８ａ　フレーム画像

３９　静止画

４０　画像取得部

４１　ＣＰＵ

４２　分類器

４２Ａ　入力層

４２Ｂ　中間層

４２Ｃ　出力層

４３　信頼度算出部

４４　確定部

４５　閾値設定部

４６　表示制御部

４６Ａ　画像表示制御部

４６Ｂ　分類結果表示制御部

４７　記憶部

５０　領域画像

５２，６１　注目領域

６０　医療画像

Ｓ１、Ｓ２　分類結果

Ｓ１０～Ｓ８０　ステップ

Claims (14)

  1. 　医療画像を取得する画像取得部と、
    　前記医療画像から得られる特徴量に基づいて前記医療画像又は前記医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する分類器と、
    　前記分類器による前記医療画像又は前記注目領域の分類結果の信頼度を算出する信頼度算出部と、
    　前記信頼度に基づいて前記医療画像又は前記注目領域の分類結果を確定する確定部と、
    　を備えた医療画像処理装置。
  2. 　前記確定部は、前記信頼度が閾値以上の場合に前記医療画像又は前記注目領域の分類結果を確定する請求項１に記載の医療画像処理装置。
  3. 　前記画像取得部は、時系列の医療画像を取得し、
    　前記確定部は、前記時系列の医療画像に対して前記信頼度算出部により順次算出される、複数の分類結果の信頼度に基づいて前記医療画像又は前記注目領域の分類結果を確定する請求項１に記載の医療画像処理装置。
  4. 　前記確定部は、前記信頼度算出部により算出された信頼度が閾値以上となる特定の分類結果の個数が基準個数以上の場合、又は前記特定の分類結果の個数の割合が基準割合以上の場合に前記特定の分類結果を前記医療画像又は前記注目領域の分類結果として確定する請求項３に記載の医療画像処理装置。
  5. 　前記信頼度算出部は、前記複数の分類結果のうち特定の分類結果の信頼度の変動量を算出し、
    　前記確定部は、前記特定の分類結果の信頼度の変動量が基準範囲内の場合に前記特定の分類結果を前記医療画像又は前記注目領域の分類結果として確定する請求項３に記載の医療画像処理装置。
  6. 　前記分類器は、前記医療画像に基づいて前記医療画像を画素毎又は領域毎に前記クラスの分類を行い、前記医療画像の分類結果を示す領域画像を作成し、
    　前記信頼度算出部は、前記領域画像に基づいて前記医療画像又は前記注目領域の分類結果の信頼度を算出する請求項１に記載の医療画像処理装置。
  7. 　前記信頼度算出部は、前記領域画像に基づいて前記注目領域の面積を算出し、
    　前記確定部は、前記注目領域の面積が閾値以上の場合に前記医療画像又は前記注目領域の分類結果を確定する請求項６に記載の医療画像処理装置。
  8. 　前記信頼度算出部は、前記領域画像に基づいて前記注目領域における前記画素毎の分類結果の信頼度の代表値を算出し、
    　前記確定部は、前記算出された前記信頼度の代表値が閾値以上の場合に前記医療画像又は前記注目領域の分類結果を確定する請求項６に記載の医療画像処理装置。
  9. 　前記信頼度算出部は、前記領域画像に基づいて前記注目領域における前記画素毎の分類結果の分散又は標準偏差を算出し、
    　前記確定部は、前記算出された前記分散又は前記標準偏差が閾値以下の場合に前記医療画像又は前記注目領域の分類結果を確定する請求項６に記載の医療画像処理装置。
  10. 　ユーザの操作により前記閾値を任意に設定する閾値設定部を備えた請求項２、４、７、８及び９のうちのいずれか１項に記載の医療画像処理装置。
  11. 　前記画像取得部が取得した医療画像と前記確定部により確定された前記分類結果を表示部に表示させる表示制御部を備えた請求項１から１０のいずれか１項に記載の医療画像処理装置。
  12. 　前記表示制御部は、前記分類結果を前記表示部に表示した後、一定時間後に非表示にする請求項１１に記載の医療画像処理装置。
  13. 　前記表示制御部は、前記分類器による前記医療画像又は前記注目領域の分類結果と前記確定部により確定された前記分類結果とを前記表示部に識別可能に表示させる請求項１１又は１２に記載の医療画像処理装置。
  14. 　医療画像を取得するステップと、
    　前記医療画像から得られる特徴量に基づいて前記医療画像又は前記医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類するステップと、
    　前記医療画像又は前記注目領域の分類結果の信頼度を算出するステップと、
    　前記信頼度に基づいて前記医療画像又は前記注目領域の分類結果を確定するステップと、
    　を含む医療画像処理方法。
PCT/JP2020/004024 2019-02-19 2020-02-04 医療画像処理装置及び方法 WO2020170791A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021501819A JP7308258B2 (ja) 2019-02-19 2020-02-04 医療画像処理装置及び医療画像処理装置の作動方法
US17/382,293 US20210350534A1 (en) 2019-02-19 2021-07-21 Medical image processing apparatus and method
JP2023108216A JP2023115352A (ja) 2019-02-19 2023-06-30 医療画像処理装置、医療画像処理システム、医療画像処理装置の作動方法及び医療画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019027513 2019-02-19
JP2019-027513 2019-02-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/382,293 Continuation US20210350534A1 (en) 2019-02-19 2021-07-21 Medical image processing apparatus and method

Publications (1)

Publication Number Publication Date
WO2020170791A1 true WO2020170791A1 (ja) 2020-08-27

Family

ID=72144674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004024 WO2020170791A1 (ja) 2019-02-19 2020-02-04 医療画像処理装置及び方法

Country Status (3)

Country Link
US (1) US20210350534A1 (ja)
JP (2) JP7308258B2 (ja)
WO (1) WO2020170791A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022224446A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2023112499A1 (ja) * 2021-12-13 2023-06-22 富士フイルム株式会社 内視鏡画像観察支援装置及び内視鏡システム
WO2023162216A1 (ja) * 2022-02-28 2023-08-31 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024013848A1 (ja) * 2022-07-12 2024-01-18 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
JP7462188B2 (ja) 2021-03-12 2024-04-05 株式会社スペック・システム 医用画像処理装置、医用画像処理方法、およびプログラム
WO2024111106A1 (ja) * 2022-11-25 2024-05-30 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690498B (zh) * 2022-10-31 2023-06-13 北京医准智能科技有限公司 椎体骨密度确认方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232425A1 (en) * 2013-11-06 2016-08-11 Lehigh University Diagnostic system and method for biological tissue analysis
JP2016158681A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
JP2017213058A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム
US20180225820A1 (en) * 2015-08-07 2018-08-09 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
WO2018225448A1 (ja) * 2017-06-09 2018-12-13 智裕 多田 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058210B2 (en) * 2001-11-20 2006-06-06 General Electric Company Method and system for lung disease detection
WO2003070102A2 (en) * 2002-02-15 2003-08-28 The Regents Of The University Of Michigan Lung nodule detection and classification
US8150192B2 (en) * 2006-11-27 2012-04-03 Merge Cad Inc. System and method for feature score mapping and visualization of medical images
US20100189326A1 (en) * 2009-01-29 2010-07-29 Mcginnis Ryan Computer-aided detection of folds in medical imagery of the colon
US9798918B2 (en) * 2012-10-05 2017-10-24 Cireca Theranostics, Llc Method and system for analyzing biological specimens by spectral imaging
JP2016006635A (ja) * 2014-05-29 2016-01-14 パナソニック株式会社 制御方法及びプログラム
US10216762B2 (en) * 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
US10043054B2 (en) * 2014-10-17 2018-08-07 Cireca Theranostics, Llc Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
US10748661B2 (en) * 2014-10-30 2020-08-18 Panasonic Corporation Method for controlling information terminal, and recording medium
JP6697743B2 (ja) * 2015-09-29 2020-05-27 パナソニックＩｐマネジメント株式会社 情報端末の制御方法及びプログラム
CA3074106A1 (en) * 2016-05-19 2017-11-23 Psip, Llc Methods for polyp detection
WO2018015414A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
US10748277B2 (en) * 2016-09-09 2020-08-18 Siemens Healthcare Gmbh Tissue characterization based on machine learning in medical imaging
JP6955303B2 (ja) * 2017-04-12 2021-10-27 富士フイルム株式会社 医用画像処理装置および方法並びにプログラム
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems
US11744453B2 (en) * 2019-06-13 2023-09-05 Boston Scientific Scimed, Inc. Methods and apparatus to detect bleeding vessels
US11298017B2 (en) * 2019-06-27 2022-04-12 Bao Tran Medical analysis system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232425A1 (en) * 2013-11-06 2016-08-11 Lehigh University Diagnostic system and method for biological tissue analysis
JP2016158681A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
US20180225820A1 (en) * 2015-08-07 2018-08-09 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
JP2017213058A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム
WO2018225448A1 (ja) * 2017-06-09 2018-12-13 智裕 多田 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7462188B2 (ja) 2021-03-12 2024-04-05 株式会社スペック・システム 医用画像処理装置、医用画像処理方法、およびプログラム
WO2022224446A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2023112499A1 (ja) * 2021-12-13 2023-06-22 富士フイルム株式会社 内視鏡画像観察支援装置及び内視鏡システム
WO2023162216A1 (ja) * 2022-02-28 2023-08-31 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024013848A1 (ja) * 2022-07-12 2024-01-18 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024111106A1 (ja) * 2022-11-25 2024-05-30 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Also Published As

Publication number Publication date
US20210350534A1 (en) 2021-11-11
JP2023115352A (ja) 2023-08-18
JP7308258B2 (ja) 2023-07-13
JPWO2020170791A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
WO2020170791A1 (ja) 医療画像処理装置及び方法
JP6890184B2 (ja) 医療画像処理装置及び医療画像処理プログラム
US11302092B2 (en) Inspection support device, endoscope device, inspection support method, and inspection support program
US11991478B2 (en) Medical image processing apparatus, medical image processing system, medical image processing method, and program
US11910994B2 (en) Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
US11950760B2 (en) Endoscope apparatus, endoscope operation method, and program
US11607109B2 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
US12020808B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
WO2011052491A1 (ja) 診断補助装置及び診断補助方法
WO2020184257A1 (ja) 医用画像処理装置及び方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2020054542A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
EP4101364A1 (en) Medical image processing device, endoscope system, medical image processing method, and program
JP2013048646A (ja) 診断システム
US20210201080A1 (en) Learning data creation apparatus, method, program, and medical image recognition apparatus
JP7402314B2 (ja) 医用画像処理システム、医用画像処理システムの作動方法
US20230206445A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system
WO2022191058A1 (ja) 内視鏡画像処理装置、方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759308

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501819

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759308

Country of ref document: EP

Kind code of ref document: A1