WO2019054045A1 - 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム - Google Patents

医療画像処理装置、医療画像処理方法及び医療画像処理プログラム Download PDF

Info

Publication number
WO2019054045A1
WO2019054045A1 PCT/JP2018/026945 JP2018026945W WO2019054045A1 WO 2019054045 A1 WO2019054045 A1 WO 2019054045A1 JP 2018026945 W JP2018026945 W JP 2018026945W WO 2019054045 A1 WO2019054045 A1 WO 2019054045A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognizer
medical image
recognition
image processing
image
Prior art date
Application number
PCT/JP2018/026945
Other languages
English (en)
French (fr)
Inventor
正明 大酒
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019541932A priority Critical patent/JP6890184B2/ja
Publication of WO2019054045A1 publication Critical patent/WO2019054045A1/ja
Priority to US16/795,541 priority patent/US11222243B2/en
Priority to US17/543,654 priority patent/US11734820B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a medical image processing apparatus, a medical image processing method, and a medical image processing program, and more particularly to a technology for performing medical image recognition processing using a recognizer.
  • Non-Patent Document 1 In the medical field, examinations using an endoscope system are performed. In recent years, a system that recognizes a lesion included in an image by image analysis is known. For example, a convolutional neural network (CNN: Convolutional Neural Network) is known which calculates feature amounts from images by learning and performs image recognition processing (Non-Patent Document 1).
  • CNN Convolutional Neural Network
  • the CNN has a plurality of layer structures including a convolutional layer that performs a convolution operation of an image and a filter, and it is known that the recognition accuracy of the image is improved by the number of layers of the layer (Non-patent Document 2).
  • the probability that an image to be recognized belongs to each class among a plurality of classes is output as an estimated value from a feature quantity obtained by analyzing the image, and an image is generated based on the estimated value.
  • Patent Document 1 An apparatus which recognizes a class to which C. belongs and calculates a certainty factor with respect to a recognition result using estimated values of each class.
  • the information processing apparatus described in Patent Document 1 analyzes a medical image, classifies the medical image into any one of three classes of imaging regions (chest, abdomen, foot), and results of classification (recognition result (recognition result) The degree of certainty for) is calculated.
  • the information processing apparatus described in Patent Document 1 determines whether the certainty factor is high or low based on the calculated certainty factor, and when it is determined that the certainty factor is low, the certainty factor together with the class recognition result
  • the warning means is displayed on the display means to warn that it is low.
  • an endoscope apparatus it may be necessary to recognize a lesion position and a type from an image and display a recognition result in real time.
  • the recognition process of the image by the recognizer must be fast.
  • a recognizer with high speed image recognition processing has a problem that the image recognition accuracy is low.
  • the recognition accuracy of an image is lowered.
  • the number of layers in the layer structure is increased to increase the recognition accuracy of the image, the amount of calculation increases, the load of calculation in the recognizer increases, and a problem occurs that the recognition processing is delayed.
  • the information processing apparatus described in Patent Document 1 recognizes the class to which the medical image belongs by the recognizer, displays the recognition result of the class, calculates the certainty factor to the recognition result, and when the certainty factor is low. Stay on displaying warning information.
  • the present invention has been made in view of such circumstances, and provides a medical image processing apparatus, a medical image processing method, and a medical image processing program capable of speeding up image recognition processing and improving recognition accuracy. With the goal.
  • a medical image processing apparatus includes a medical image acquisition unit that acquires a medical image including a subject image, a first recognizer that recognizes a medical image, and medical treatment.
  • a second recognizer for recognizing an image which is a second recognizer having higher recognition accuracy than the first recognizer, and a recognition certainty determination that determines the certainty factor of the recognition result by the first recognizer
  • a control unit that causes the second recognizer to execute a medical image recognition process according to the determination result of the recognition certainty factor determination unit.
  • it is a first recognizer that recognizes a medical image, and the speed of the image recognition process is increased by using the first recognizer that reduces the load of the image recognition process. And when using the first recognizer, if the certainty of the recognition result is low, the image is recognized by using the second recognizer with high recognition accuracy (high load of recognition processing) I try to improve the accuracy.
  • the first recognizer and the second recognizer each have a layered structure.
  • the second recognizer has more stages of layers forming the layer structure than the first recognizer. Since the second recognizer has more steps than the first recognizer in the layer structure, the image recognition process is more computationally intensive than the first recognizer, and the image recognition process is slower However, the recognition accuracy of the image is higher than that of the first recognizer, and the certainty factor of the recognition result can be improved.
  • the first recognizer and the second recognizer have at least one filter in a layer constituting the layer structure.
  • the second recognizer is a layer that constitutes a layer structure than the first recognizer, and that the number of layers having a filter be more.
  • the first recognizer and the second recognizer are each preferably a convolutional neural network.
  • the first recognizer and the second recognizer each of which is a convolutional neural network, differ in the number of layers having filters (the number of stages), and the first recognizer has a small number of layers having filters.
  • the processing time of the image processing time is short (the calculation load is small), and the speed of the image recognition process can be increased, which is effective when confirming the image recognition result in real time.
  • the second recognizer has a large number of layers having filters, so the processing time of convolution operation becomes long (calculation load becomes large) and the image recognition processing becomes slow, but the conviction of the image recognition result Since the degree is high, in the first recognizer, if the degree of certainty becomes low, the recognition is corrected by re-recognition by the second recognizer having higher recognition accuracy than the first recognizer. Can.
  • the first recognizer and the second recognizer respectively detect the position of a lesion candidate from a medical image. Thereby, it is possible to display on the display unit which region in the medical image the lesion candidate is.
  • the first recognizer and the second recognizer respectively classify the medical image into any one of a plurality of categories relating to a lesion. .
  • the first recognizer and the second recognizer are each configured to set a plurality of lesion areas on a medical image to one of a plurality of categories related to a lesion. It is preferable to classify into categories.
  • categories such as “neoplastic”, “non-neoplastic”, “others” and the like correspond.
  • the plurality of categories are a plurality of categories regarding the type of lesion, a plurality of categories regarding the stage stage of the lesion, or a combination of the type of stage and the stage Preferably it is a plurality of categories.
  • a plurality of categories regarding the stage stage of the lesion are stages I, II, III, IV and the like indicating the progress of the lesion and the like.
  • the control unit preferably causes the display unit to display the recognition result of at least one of the first recognizer and the second recognizer with respect to the medical image.
  • the certainty factor of the recognition result by the first recognizer is high, the recognition process by the second recognizer is not executed, so the recognition result by the first recognizer is displayed on the display unit.
  • the certainty factor of the recognition result by the first recognizer is low, the recognition process by the second recognizer is executed, so only the recognition result by the second recognizer may be displayed on the display unit.
  • the recognition results of the first recognizer and the second recognizer may be displayed on the display.
  • the control unit may, when the second recognizer is used for recognizing the medical image, information indicating that the second recognizer has been used, It is preferable to display on the display unit. For example, when the user delays the display of the recognition result, a recognizer different from a normal recognizer (first recognizer) (a second recognizer having a large operation load and a long processing time) is used. As a result, it can be understood that the display of the recognition result has been delayed, and with a normal recognizer, it can be confirmed that this is a lesion in which the certainty factor of the recognition result is low.
  • first recognizer a normal recognizer having a large operation load and a long processing time
  • control unit is configured to, when the second recognizer is used to recognize a medical image, a period from the start to the end of the recognition process by the second recognizer.
  • the display unit displays information indicating that the second recognition device is in the process of recognition processing.
  • the recognition process by the second recognizer it takes more processing time than the first recognizer, and the waiting time until the recognition result is displayed becomes longer.
  • the user can confirm that at least the recognition process is being performed by displaying information indicating that the recognition process is being performed by the device.
  • the medical image processing apparatus preferably includes a recording unit that records the recognition result of at least one of the first recognition device and the second recognition device with respect to the medical image.
  • the medical image processing apparatus further includes a classification selection unit for manually selecting a medical image category, and the recognition certainty factor judgment unit categorizes the medical image by the second classifier.
  • the degree of certainty is determined, and when the degree of certainty of the category classification for the medical image is low, the display unit displays a category selection menu used to select the category of the medical image, and the category selection unit using the category selection menu Preferably, the selection of the medical image category according to.
  • the certainty factor of the recognition result (category classification) by the second recognizer may be low.
  • the possibility of presenting an erroneous categorization is high. Therefore, the category selection menu is displayed on the display unit, and the selection of the category classification by the user is accepted.
  • the control unit determines the category priorities of the plurality of categories based on the category recognition result by the second recognizer for the medical image, and responds to the category priorities. It is preferable to change the display order of the plurality of categories in the category selection menu. As a result, the category classification highly likely to be selected by the user can be displayed at the top, and the user can easily select the category classification.
  • the control unit when the category of the medical image is determined by the classification and selection unit, information indicating that the category of the medical image is determined by the classification and selection unit It is preferable to display on the display unit. Thereby, it is possible to confirm whether the category classification of the medical image is one automatically performed by the medical image processing apparatus or one selected by the user.
  • a medical image processing method comprising: acquiring a medical image including an image of a subject; recognizing a medical image using a first recognizer; Determining a certainty factor of the recognition result by the step of performing the medical image recognition using the second recognizer having higher recognition accuracy than the first recognizer according to the certainty factor determination result; Including.
  • the recognition result of the first recognition device is displayed on the display unit.
  • the certainty factor of the recognition result of the medical image by the first recognition device is less than the reference value, it is preferable to display the recognition result of the second recognition device on the display unit.
  • a medical image processing program has a function of acquiring a medical image including a subject image, a function of performing recognition of a medical image using a first recognizer, and a first recognizer.
  • the recognition result of the first recognizer is displayed on the display unit.
  • the certainty factor of the recognition result of the medical image by the first recognition device is less than the reference value, it is preferable to display the recognition result of the second recognition device on the display unit.
  • recognition of an image by a first recognizer by using a first recognizer for recognizing a medical image and a second recognizer having higher recognition accuracy than the first recognizer
  • the processing speed can be increased, and the recognition accuracy of the second recognizer can be improved.
  • FIG. 1 is a schematic view showing an entire configuration of an endoscope system 9 including a medical image processing apparatus according to the present invention.
  • the endoscope system 9 includes an endoscope 10 which is an electronic endoscope, a light source device 11, a processor device 12, a display device 13, a medical image processing device 14, and an operation unit. And a display unit 16.
  • the endoscope 10 corresponds to the medical device of the present invention, and is, for example, a flexible endoscope.
  • the endoscope 10 is inserted into the subject and has a distal end and a proximal end.
  • the endoscope 10 is connected to the proximal end of the insertion portion 20 and is operated by the operator while performing various operations. It has a unit 21 and a universal cord 22 connected to the hand operation unit 21.
  • the insertion part 20 is formed in a long and narrow shape as a whole.
  • the insertion portion 20 has a flexible portion 25 having flexibility in order from the proximal end toward the distal end, a bending portion 26 that can be bent by the operation of the hand operation portion 21, a photographing optical system and an imaging device (not shown)
  • a distal end portion 27 in which the 28 and the like are incorporated is continuously provided.
  • the imaging device 28 is a complementary metal oxide semiconductor (CMOS) type or charge coupled device (CCD) type imaging device.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image pickup surface of the image pickup device 28 includes an observation window (not shown) opened at the tip end surface of the tip end portion 27 and a photographing optical system (not shown) disposed behind the observation window. Image light is incident.
  • the imaging device 28 captures (converts into electrical signals) the image light of the region to be observed that has entered the imaging surface, and outputs an imaging signal.
  • the hand operation unit 21 is provided with various operation members operated by the operator. Specifically, the hand operation unit 21 includes two types of bending operation knobs 29 used for bending operation of the bending unit 26, an air / water feeding button 30 for air / water feeding operation, and a suction button 31 for suction operation. , Is provided. In addition, the hand operation unit 21 includes a still image photographing instruction unit 32 for instructing to photograph the still image 39 of the region to be observed, and a treatment tool insertion path (not shown) inserted through the insertion unit 20. A treatment instrument inlet 33 for inserting a treatment instrument (not shown) is provided.
  • the universal cord 22 is a connection cord for connecting the endoscope 10 to the light source device 11.
  • the universal cord 22 includes a light guide 35, a signal cable 36, and a fluid tube (not shown) which are inserted through the insertion portion 20. Further, at the end of the universal cord 22, a connector 37A connected to the light source device 11 and a connector 37B branched from the connector 37A and connected to the processor device 12 are provided.
  • the light guide 35 and the fluid tube (not shown) are inserted into the light source device 11.
  • necessary illumination light, water, and gas are supplied from the light source device 11 to the endoscope 10 through the light guide 35 and the fluid tube (not shown).
  • illumination light is emitted from the illumination window (not shown) on the tip surface of the tip 27 toward the region to be observed.
  • gas or water is jetted from an air / water nozzle (not shown) on the tip surface of the tip 27 toward an observation window (not shown) on the tip surface.
  • the signal cable 36 and the processor unit 12 are electrically connected.
  • an imaging signal of the region to be observed is output from the imaging element 28 of the endoscope 10 to the processor 12 via the signal cable 36, and a control signal is output from the processor 12 to the endoscope 10. .
  • the flexible endoscope has been described as an example of the endoscope 10, but various types of electronic endoscopes capable of shooting moving images of a region to be observed such as a rigid endoscope, for example, are described. You may use.
  • the light source device 11 supplies illumination light to the light guide 35 of the endoscope 10 via the connector 37A.
  • the illumination light may be white light (light of white wavelength band or light of plural wavelength bands), light of one or more specific wavelength bands, or light of various wavelength bands according to the observation purpose such as a combination thereof. It is selected.
  • the specific wavelength band is a band narrower than the white wavelength band.
  • the first example of the specific wavelength band is, for example, a blue band or a green band in the visible range.
  • the wavelength band of this first example includes the wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and the light of the first example has a peak wavelength within the wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less .
  • the second example of the specific wavelength band is, for example, a red band in the visible range.
  • the wavelength band of this second example includes a wavelength band of 585 nm to 615 nm or less or 610 nm to 730 nm, and the light of the second example has a peak wavelength within the wavelength band of 585 nm to 615 nm or 610 nm to 730 nm. .
  • the third example of the specific wavelength band includes wavelength bands in which the absorption coefficient is different between oxygenated hemoglobin and reduced hemoglobin, and the light of the third example has peak wavelengths in wavelength bands where the absorption coefficient is different between oxygenated hemoglobin and reduced hemoglobin.
  • the wavelength band of this third example includes the wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and the light of the third example has the above 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 It has a peak wavelength in a wavelength band of ⁇ 10 nm, or 600 nm or more and 750 nm or less.
  • a fourth example of the specific wavelength band is a wavelength band (390 nm to 470 nm) of excitation light which is used for observation of fluorescence emitted by a fluorescent substance in the living body (fluorescent observation) and which excites the fluorescent substance.
  • the fifth example of the specific wavelength band is a wavelength band of infrared light.
  • the wavelength band of the fifth example includes the wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and the light of the fifth example has a peak wavelength in the wavelength band of 790 nm to 820 nm or 905 nm to 970 nm.
  • the processor unit 12 controls the operation of the endoscope 10 via the connector 37 B and the signal cable 36. Further, the processor device 12 generates a moving image 38 of the region to be observed based on the imaging signal acquired from the imaging device 28 of the endoscope 10 via the connector 37B and the signal cable 36. Furthermore, when the still image photographing instruction unit 32 is operated by the hand operation unit 21 of the endoscope 10, the processor device 12 generates the moving image 38 in parallel based on the imaging signal acquired from the imaging device 28. A still image 39 of the region to be observed is generated. The still image 39 may be generated at a higher resolution than the moving image 38.
  • the moving image 38 and the still image 39 are in-vivo images obtained by imaging the inside of a subject, that is, the inside of a living body. Furthermore, when the moving image 38 and the still image 39 are images obtained by the light (special light) of the above-mentioned specific wavelength band, both are special light images. Then, the processor device 12 outputs the generated moving image 38 and still image 39 to the display device 13 and the medical image processing device 14, respectively.
  • the processor unit 12 may generate (acquire) a special light image having information of the above-mentioned specific wavelength band based on the above-mentioned normal light image obtained by the white light.
  • the processor unit 12 functions as a special light image acquisition unit.
  • the processor unit 12 controls the signal of the specific wavelength band to be red, green and blue [RGB (Red, Green, Blue)] or cyan, magenta and yellow [CMY (Cyan, Magenta) included in the normal light image. , Yellow)] is obtained by performing an operation based on the color information.
  • the processor unit 12 is known based on, for example, at least one of the normal light image obtained by the above-mentioned white light and the special light image obtained by the light (special light) of the above-mentioned specific wavelength band.
  • a feature amount image such as an oxygen saturation image may be generated.
  • the processor device 12 functions as a feature amount image generation unit.
  • the moving image 38 or the still image 39 including the in-vivo image, the normal image, the special light image, and the feature amount image described above is obtained by photographing or measuring the human body for the purpose of image diagnosis and examination. It is a medical image which imaged the result.
  • the display device 13 is connected to the processor device 12 and displays the moving image 38 and the still image 39 input from the processor device 12.
  • the user performs an operation such as advancing and retracting the insertion unit 20 while checking the moving image 38 displayed on the display device 13 and finds the still image photographing instruction unit 32 when a lesion etc. is found in the observed region.
  • the operation is performed to perform still image shooting of a region to be observed, and diagnosis, biopsy and the like are performed.
  • a personal computer is used as the medical image processing apparatus 14.
  • the operation unit 15 uses a keyboard, a mouse or the like connected by wire or wireless to a personal computer, and the display unit 16 uses various monitors such as a liquid crystal monitor connectable to the personal computer.
  • a diagnosis support device such as a workstation (server) may be used as the medical image processing device 14.
  • the operation unit 15 and the display unit 16 are provided for each of a plurality of terminals connected to the workstation.
  • a medical care operation support apparatus that supports creation of a medical report or the like may be used.
  • the medical image processing apparatus 14 is a part that mainly recognizes moving images 38 or still images 39 (medical images) and performs category classification of medical images. Acquisition and storage of medical images, reproduction control of medical images, Display the recognition result (category classification).
  • the operation unit 15 is used to input an operation instruction to the medical image processing apparatus 14.
  • the display unit 16 displays a moving image 38 or a still image 39, displays a recognition result such as category classification of a medical image, displays a category selection menu described later, and the like under the control of the medical image processing apparatus 14. Further, the display unit 16 cooperates with the operation unit 15 and bears part of a user interface that functions as a classification selection unit for manually selecting a medical image category.
  • FIG. 2 is a functional block diagram showing the function of the medical image processing apparatus 14.
  • the hardware structure for executing various controls of the medical image processing apparatus 14 including display of moving image 38 or still image 39, recognition of medical image, display of recognition result, etc. is shown below.
  • Such as various processors It is possible to change the circuit configuration after manufacturing a central processing unit (CPU) or a field programmable gate array (FPGA) that is a general-purpose processor that executes software (programs) and functions as various control units for various processors.
  • Logic circuits Programmable Logic Devices: PLDs), ASICs (Application Specific Integrated Circuits), etc., including dedicated electric circuits that are processors with a circuit configuration specifically designed to execute specific processing.
  • PLDs Programmable Logic Devices
  • ASICs Application Specific Integrated Circuits
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA) May be Also, the plurality of control units may be configured by one processor.
  • a plurality of control units are configured by one processor
  • one processor is configured by a combination of one or more CPUs and software as represented by computers such as clients and servers.
  • a processor functions as a plurality of control units.
  • SoC system on chip
  • IC integrated circuit
  • a control unit 44 corresponding to a processor (not shown) of the medical image processing apparatus 14 has a medical image acquisition unit 40, a first recognizer 41, and the like based on a program (medical image processing program) 51 stored in the storage unit 47. It comprehensively controls the second recognizer 42, the recognition certainty factor determination unit 43, and the display control unit 45, and functions as part of these units.
  • the storage unit 47 functions as a recording unit that records the recognition result of at least one of the first recognizer 41 and the second recognizer 42, and an image storage unit 50 that stores the captured moving image 38 and still image 39.
  • the storage unit 47 stores information related to various controls of the program 51 and the medical image processing apparatus 14.
  • the storage unit 47 is provided in the medical image processing apparatus 14.
  • the storage unit 47 may be provided in a server or a database on the Internet.
  • the medical image processing apparatus of the present invention also includes a medical image processing system configured of a plurality of apparatuses.
  • the medical image acquisition unit 40 uses the image input / output interface (not shown) connected by wire or wirelessly to the processor device 12 (FIG. 1) to obtain a medical image including an object image from the processor device 12 (in this example, A moving image 38) captured by the mirror 10 is acquired. Further, when the still image 39 described above is taken during photographing of the moving image 38 by the endoscope 10, the medical image acquiring unit 40 acquires the moving image 38 and the still image 39 from the processor device 12. . Then, the medical image acquisition unit 40 stores the acquired moving image 38 and still image 39 in the image storage unit 50 in the storage unit 47.
  • Reference numeral 38 a in the drawing is a plurality of frame images constituting the moving image 38.
  • the medical image acquiring unit 40 may acquire the moving image 38 and the still image 39 via various information storage media such as a memory card instead of directly acquiring the moving image 38 and the still image 39 from the processor device 12. Good. Further, the medical image acquisition unit 40 may acquire the moving image 38 and the still image 39 uploaded to a server or a database on the Internet via the Internet.
  • the medical image acquisition unit 40 also functions as a special light image acquisition unit when acquiring a special light image having information of the specific wavelength band described above as the moving image 38 and the still image 39.
  • the medical image acquisition unit 40 does not have to store all of the moving images 38 input from the processor device 12 or the like in the image storage unit 50.
  • the medical image acquisition unit 40 When a still image of a region is taken, a moving image 38 of one minute (one minute before photographing to one minute after photographing) may be stored in the image storage unit 50.
  • the first recognizer 41 is a part that recognizes an image (a moving image 38 and a still image 39) taken during observation of a body cavity, and in this example, the feature amount is calculated from the image by learning, It includes a convolutional neural network (CNN: Convolutional Neural Network) that performs recognition processing, and calculates a feature amount using color information in an image, a gradient of pixel values, and the like.
  • the calculated feature amount is used to detect a lesion (lesion candidate) on the image, or, for example, in any category among a plurality of categories related to the lesion such as “tumor”, “non-tumor”, and “other”.
  • a first recognition result such as category classification of whether the medical image belongs is obtained.
  • FIG. 3 is a schematic view showing a typical configuration example of CNN applied to the first recognition device 41. As shown in FIG.
  • the CNN includes an input layer 41A, an intermediate layer 41B having a plurality of sets composed of a convolution layer and a pooling layer, and an entire bonding layer, and an output layer 41C, Nodes are connected by "edges".
  • An image to be recognized is input to the input layer 41A.
  • the middle layer 41B includes a plurality of sets including a convolution layer and a pooling layer as one set, and an entire bonding layer, and extracts features from the image input from the input layer.
  • the convolutional layer filters the nearby nodes in the previous layer (performs a convolution using a filter) to obtain a "feature map".
  • the pooling layer reduces the feature map output from the convolution layer to a new feature map.
  • the "convolution layer” plays a role of feature extraction such as edge extraction from an image, and the “pooling layer” plays a role of providing robustness so that the extracted feature is not affected by translation or the like.
  • the middle layer 41B is not limited to the case where one set of the convolution layer and the pooling layer is used, and includes a case where the convolution layers are continuous and a normalization layer. Also, the parameters of the filters used in each convolutional layer are automatically learned in advance by a large number of learning data.
  • the output layer 41C outputs the recognition result for each classification of the image based on the features extracted by the intermediate layer 41B.
  • the image is classified into three categories of "neoplastic", “non-neoplastic” and “other", and the recognition results correspond to “neoplastic”, “non-neoplastic” and “other”. Output as three scores (the sum of the three scores is 100%).
  • the second recognizer 42 has a configuration similar to that of the first recognizer 41, performs recognition processing of a captured image, and obtains a second recognition result such as category classification.
  • the recognition accuracy of the image is higher than that of the first recognition device 41.
  • the calculation load of the recognition processing is larger than that of the first recognition device 41, and the time of the recognition processing of the image is longer.
  • the number of stages of layers of CNN having a layer structure is greater than that of the first recognizer 41, and in particular, the number of convolutional layers having filters in the middle layer is the first More than the recognizer 41.
  • the second recognizer 42 uses a part of the first recognizer 41 in common, and includes, for example, an input of a “feature map” of the intermediate layer 41 B of the first recognizer 41.
  • the number of convolutional layers in the middle layer of the second recognizer 42 is larger than the number of convolutional layers in the middle layer after the “feature map” of the first recognizer 41.
  • the recognition certainty factor determiner 43 is a part that determines the certainty factor of the recognition result by the first recognizer 41, and calculates the certainty factor from the recognition result (for example, the score of the lesion likeness) by the first recognizer 41, In this example, it is determined whether the certainty factor is "high” or "low".
  • the score itself of lesion likelihood may be a certainty factor.
  • the recognition certainty factor determiner 43 inputs the recognition result (three scores in this example) by the first recognizer 41, and the largest score among the three scores is the other score. If the difference is large, the categorization confidence is determined to be "high", which classifies the image into the category having the largest score. On the contrary, when the difference in score between the respective categories is small, the image classification is classified into the category having the largest score, and the certainty factor of the category classification is determined to be "low".
  • the certainty factor of the category classification for classifying the image to be recognized as “tumor” is determined as “high”. If the score for "neoplastic” is 33%, the score for "nonneoplastic” is 30%, and the score for “others” is 37%, the score for the largest “other” of these scores is 37 “%” Has a small difference from the other categories' scores of 30% and 33% (especially the second highest score of 33%), so the certainty of categorizing the image to be recognized as “other” is “low It is determined that
  • the determination result as to whether the certainty factor is "high” or “low” is determined depending on whether the difference between the highest score and the second highest score is equal to or greater than the first reference value, or 2 It can be determined depending on whether the ratio to the highest score is equal to or greater than the second reference value.
  • the first reference value or the second reference value (hereinafter simply referred to as “reference value”) may be a preset fixed value or a value set by the user.
  • the recognition certainty factor determiner 43 can determine the certainty factor of the recognition result by the second recognizer 42 in the same manner as the determination of the certainty factor of the recognition result by the first recognizer 41.
  • the reference value at the time of determining the certainty factor of the recognition result obtained by the second recognizer 42 is Alternatively, it may be smaller than a reference value for determining the certainty factor of the recognition result obtained by the first recognizer 41.
  • the control unit 44 causes the second recognizer 42 to execute the medical image recognition process according to the determination result by the recognition certainty factor determiner 43. That is, when the recognition certainty factor determiner 43 determines that the certainty factor of the recognition result by the first recognizer 41 is "low", the control unit 44 performs the medical image for which the certainty factor is determined as "low”. , Recognition processing by the second recognition device 42.
  • control unit 44 causes the first recognition unit 41 to perform the recognition process of the image in advance, and the recognition certainty factor determination unit 43 has a low certainty factor of the recognition result of the image by the first recognizer 41. If it is determined that the second recognition unit 42 performs the image recognition processing.
  • control unit 44 causes the display unit 16 to display a category selection menu or the like used by the user to select a category. , Accept a selection of medical image categories using the category selection menu. The details of the category classification of the medical image performed by the user will be described later.
  • control unit 44 associates the recognition result of at least one of the first recognition device 41 and the second recognition device 42 with respect to the medical image with the medical image, and records the recording unit (the storage unit 47 or a header portion of the image file). It is preferable to record in
  • the display control unit 45 controls the display by the display unit 16.
  • the display control unit 45 functions as an image display control unit 45A and an information display control unit 45B.
  • the image display control unit 45A causes the display unit 16 to display the moving image 38 and the still image 39 during shooting, or displays the moving image 38 (still image 39 acceptable) stored for each folder in the image storage unit 50.
  • the display control to be reproduced by the section 16 is performed.
  • the information display control unit 45 B displays necessary information other than the image such as the recognition result of at least one of the first and second recognition results by the first recognition device 41 and the second recognition device 42 on the display unit 16. It functions as a control unit to be displayed on
  • FIG. 4 is a diagram used to explain the operation of the first recognizer 41, the second recognizer 42, the recognition certainty factor determiner 43, and the information display control unit 45B on the moving image 38.
  • a moving image 38 captured by the endoscope system 9 is input to the first recognizer 41 and the second recognizer 42 via the medical image acquisition unit 40.
  • the first recognizer 41 has a feature extraction unit and a recognition processing unit, and performs image recognition for each of the frame images 38a (or frame images 38a at a constant interval) constituting the moving image 38 to be input.
  • the recognition result (three first scores indicating “tumor”, “non-tumor” and “other”) is output to the recognition certainty determination unit 43.
  • the recognition certainty factor determiner 43 determines the certainty factor of the category classification specified by the maximum score of the three first scores based on the three first scores input.
  • screens 17A, 17B and 17C show screens at different times of the display unit 16 and screens 17A, 17B and 17C show time elapsing from the start of shooting of the moving image 38 "00: 04 Images and the like captured at “21:”, “00:04:23”, and “00:04:32” are displayed.
  • the recognition certainty factor determination unit 43 is specified by the maximum score of the first score for the frame image 38 a captured at time “00:04:21” and “00:04:32”.
  • the certainty factor of the category classification is determined as “high”, and the certainty factor of the category classification specified by the maximum score of the first score for the image captured at the time “00:04:23” is determined as “low” doing.
  • the information display control unit 45B displays various types of information (in this example, shooting time, category classification, recognition result, and the like) in the area on the right side of the screens 17A, 17B, and 17C.
  • the category classification of the images taken at time “00:04:21", “00:04:23” and “00:04:32” based on the first recognition result is “tumor", "tumor”, respectively.
  • “other”, “tumor”, “tumor” and “other” are displayed on the screens 17A, 17B and 17C, respectively.
  • the information display control unit 45B displays the recognition result represented by a bar graph below the category classification.
  • the first recognizer 41 and the second recognizer 42 each have a function of detecting the position of the lesion candidate from the medical image
  • the information display control unit 45B has the first recognizer 41 and the second recognizer 42. Based on the position of the lesion candidate detected by the recognizer 42, indices 18A, 18B and 18C indicating the lesion candidate can be superimposed and displayed on the image.
  • the second recognizer 42 has a feature extraction unit and a recognition processing unit, and is a frame image 38a constituting the moving image 38 to be input, and is a recognition conviction based on the first recognition result of the first recognizer 41.
  • the recognition process of the frame image 38a is performed on the frame image 38a according to the determination result of the certainty factor (the determination result that the certainty factor is "low") by the degree determiner 43, and the second recognition result is output.
  • the recognition certainty factor determination unit 43 determines that “the certainty factor of the category classification specified by the maximum score of the first score for the frame image 38 a captured at time“ 00:04:23 ”is“ low In order to determine “1”, the second recognizer 42 performs recognition processing of the frame image 38 a captured at time “00:04:23”, and outputs a second recognition result.
  • the first recognition result by the first recognizer 41 for the frame image 38a captured at the time "00:04:23” and the second recognition result by the second recognizer 42 differ from each other.
  • the category classification of the image is “tumorigenic”
  • the category classification of the image is changed (corrected) to "nontumorigenic”.
  • the correction content of the category classification by the second recognizer 42 is displayed on the screen 17C on which the image captured at time "00:04:32” is displayed. That is, the control unit 44 or the information display control unit 45B sets the time “00:04:23” and the “tumor property with strike-through line in the upper area of the time“ 00:04:32 ”on the screen 17C of the display unit 16. And "corrected" non-neoplastic "is displayed.
  • the user can understand that the category classification of the frame image 38a captured at the time "00:04:23” has been changed from “tumor” to "non-tumor".
  • the user also knows that the second recognizer 42 is used for the frame image 38a captured at time "00:04:23". That is, when the second recognition device 42 is used for recognition of a medical image, the control unit 44 or the information display control unit 45B performs two recognition results (first and second recognition results and a first recognition result). By displaying the correction content, the information indicating that the second recognizer 42 has been used is displayed indirectly.
  • the certainty factor of the first recognition result by the first recognizer 41 for the frame image 38a captured at the time "00:04:23" is determined to be "low", and the same as the second recognizer 42.
  • the recognition process of the frame image 38a is started.
  • the second recognizer 42 requires more processing time than the first recognizer 41, and the first recognizer 41 performs the first process in substantially real time. It takes some time for the second recognizer 42 to acquire the second recognition result while acquiring the recognition result of
  • the control unit 44 or the information display control unit 45B indicates that the second recognizer 42 is performing the recognition process during the period from the start to the end of the recognition process.
  • the information to be displayed is displayed on the display unit 16.
  • the first recognizer 41 which can operate at high speed is used. It is possible to obtain the first recognition result in substantially real time (speeding up of the image recognition processing), and on the other hand, when the first recognition device 41 can not obtain a high recognition result of the certainty factor, the image Since the second recognition device 42 with high recognition accuracy is used, the certainty factor of the image category classification can be improved.
  • FIG. 5 is a view showing an embodiment of information displayed on the display unit 16 by the medical image processing apparatus 14.
  • the medical image processing apparatus 14 can display the category classification of the medical image, the certainty factor of the category classification, and the like on the screen of the display unit 16.
  • identification information (No. 1, No. 2) for specifying a plurality of medical images (a plurality of still images taken during observation by the endoscope) of the patient with the examination number "003".
  • the certainty factor of the category classification, the category classification, and the information "display option" indicating the display of the option are displayed.
  • the determination result (“high” or “low”) determined by the recognition certainty determination unit 43 is displayed in the column indicating the certainty factor of the category classification, and the first recognizer 41 and the first recognition unit 41 are displayed in the category column.
  • a “window” for a category selection menu is displayed.
  • the first recognition result by the first recognizer 41 for the image of “No. 3” The certainty factor of the category classification of “neoplastic” is low, and the second recognition result “non-neoplastic” by the second recognizer 42 The degree of certainty of categorization is high. That is, the recognition process is performed on the image of “No. 3” by the first recognition device 41 and the second recognition device 42 respectively, and the first recognition result “tumorigenicity” is the second recognition result “non- It has been changed to "neoplastic".
  • the certainty factor of the category classification based on the first and second recognition results of the first recognizer 41 and the second recognizer 42 to the image of “No. 5” is low, in this case,
  • a "window" for a category selection menu is displayed which functions as a classification selection unit for manually selecting a category classification.
  • the user can operate the mouse functioning as the operation unit 15 and place the cursor on the “window” and click it to display a category selection menu as a pull-down menu.
  • the control unit 44 determines the category priorities of the plurality of categories based on the category recognition result by the second recognizer 42 for the image, and a plurality of categories in the category selection menu are selected according to the category priorities. It is preferable that the display order of the categories is changed and displayed on the display unit 16.
  • the user can select the category classification of the No. 5 image from this category selection menu.
  • the category classification selected by the user is the category classification of the image of No. 5, and the selected category classification is displayed in the "window".
  • the user can know that the category classification of the image is determined by the user. That is, the “window” in which the category classification is displayed is information indicating that the category classification of the image is determined by the user.
  • (5) is preferably displayed in a distinguishable manner.
  • the "cursor” is displayed at the position of the image of "No. 3” and "No. 5" with low confidence. Since the recognition process by the second recognizer 42 is performed for the images of “No. 3” and “No. 5” in which the “cursor” is displayed with low confidence, the “cursor” is the second The information indicates that the recognizer 42 has been used.
  • the display may be made distinguishable by color coding.
  • identification information (No. 1, No. 2, No. 3,...) That specifies an image
  • the image corresponding to the identification information is displayed enlarged by switching the screen of the display unit 16, or It can be enlarged and displayed in another window.
  • FIG. 6 is a view showing another embodiment of an image and information displayed on the display unit 16 by the medical image processing apparatus 14 when a plurality of lesion areas are detected on one medical image, and a category classification. It shows about the display form in the case where a stage stage is included.
  • the first recognizer 41 or the second recognizer 42 performs recognition processing for each of the lesion areas 61 and 62, and the recognition result (lesion Output the category classification of lesions according to region.
  • the first recognizer 41 or the second recognizer 42 is in a plurality of categories regarding the type of lesion (e.g. "neoplastic", “non-neoplastic", “other” etc.) It should be possible to perform classification and classification in multiple categories regarding the stage stage of the lesion.
  • a plurality of categories relating to the stage of the lesion are stages I, II, III, IV and the like indicating the degree of progression of the lesion and the like.
  • the control unit 44 or the information display control unit 45 ⁇ / b> B controls the display unit 16 based on the recognition result (category classification for each lesion area) of each of the lesion areas 61 and 62 by the first recognizer 41 or the second recognizer 42.
  • the category classification is displayed in the vicinity of the lesion areas 61 and 62 on the screen.
  • the category classification of the lesion for each of the lesion areas 61 and 62 is the same, and the category classification of the stage is different.
  • the category classification of the lesions of a plurality of lesion areas is different.
  • FIG. 7 is a flowchart showing an embodiment of the medical image processing method according to the present invention, and shows the processing procedure of each part of the medical image processing apparatus 14.
  • the medical image acquisition unit 40 acquires a medical image which is a target of recognition processing from the processor device 12 or the image storage unit 50.
  • the acquired medical image is input to the first recognizer 41 (step S10).
  • the first recognizer 41 executes recognition processing of the medical image acquired in step S10, and acquires a recognition result (first recognition result) (step S12).
  • the first recognizer 41 classifies the medical image into any one of a plurality of categories related to the lesion (for example, "tumor”, “non-tumor” and “other"), but the recognition result is It is output as three scores corresponding to "neoplastic", “nonneoplastic” and "other".
  • the recognition certainty factor determination unit 43 determines the certainty factor of the category classification of the medical image specified from the recognition result based on the first recognition result (step S14). Specifically, the recognition certainty factor determiner 43 inputs the first recognition result (three scores in this example) by the first recognizer 41, and the maximum score among the three scores is the other If the difference with respect to the score is greater than or equal to the reference value, the image is classified into the category having the largest score, and the categorization confidence is determined to be “high”. On the contrary, when the difference in score of each category is less than the reference value, the image is classified into the category having the largest score, and the categorization confidence is determined as "low”.
  • step S14 If it is determined in step S14 that the certainty factor of the first recognition result of the image by the first recognition device 41 is "low", the process proceeds to step S16.
  • step S16 the second recognizer 42 having higher recognition accuracy than the first recognizer 41 is used, and the second recognizer 42 executes recognition processing of the medical image input in step S10, and recognizes Obtain the result (second recognition result).
  • step S14 determines that the certainty factor of the first recognition result of the image by the first recognition device 41 is "high”.
  • step S18 When it is determined in step S18 that the certainty factor of the first recognition result of the image by the first recognition device 41 is "high”, the control unit 44 or the information display control unit 45B displays the first recognition result as a display unit. Display on 16 On the other hand, when it is determined that the certainty factor of the first recognition result of the image by the first recognizer 41 is "low” and the second recognition result by the second recognizer 42 is acquired, the first The second recognition result is displayed on the display unit 16 instead of the recognition result or together with the first recognition result.
  • control unit 44 determines whether or not to end the image processing of the category classification of the medical image, and when not ending the image processing (in the case of “No”), transits to step S10 and Steps S10 to S20 are repeatedly executed with the medical image as an object of recognition processing.
  • control unit 44 ends the processing in the medical image processing method.
  • the control unit 44 ends the image processing when all the recognition processing of the medical image which is the target of the recognition processing is completed.
  • the CNN having a layered structure with different numbers of stages is applied as the first recognition device 41 and the second recognition device 42 of the medical image processing apparatus 14 of the above embodiment, the present invention is not limited to this.
  • the medical image may be recognized by another different method.
  • the first recognizer 41 recognizes the medical image by another method different from CNN, and the second recognizer 42 recognizes the medical image.
  • CNN may be used to recognize a medical image.
  • a medical image is divided into a plurality of rectangular areas, and each divided rectangular area is set as a local area. Then, the feature amount of the pixel in the local region is calculated for each local region of the medical image, the lesion candidate having a specific hue, shape and the like is extracted, and the extracted lesion candidate image (image feature amount) It is possible to perform category classification of a medical image by matching with a standard lesion image (feature amount of a lesion image) for each prepared category classification.
  • processor device 12 and the medical image processing device 14 are separately provided in the above embodiment, the processor device 12 and the medical image processing device 14 may be integrated. That is, the processor device 12 may be provided with a function as the medical image processing device 14.
  • the medical image captured by the endoscope 10 is the recognition target of the category classification, for example, an ultrasonic diagnostic apparatus, an X-ray diagnostic imaging system, digital mammography, a CT (Computed Tomography) apparatus, and MRI (A medical image acquired by a Magnetic Resonance Imaging device or the like may be the recognition target of the category classification.
  • the medical image processing apparatus further includes a medical image analysis processing unit, and the medical image analysis processing unit detects a notable area which is a notable area based on the feature amount of pixels of the medical image.
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires an analysis result of the medical image analysis processing unit.
  • the medical image processing apparatus further includes a medical image analysis processing unit, and the medical image analysis processing unit detects the presence or absence of an object to be noticed based on the feature amount of the pixels of the medical image.
  • the image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • the medical image analysis result acquisition unit acquires from the recording apparatus that records the analysis result of the medical image, and the analysis result is a notable area included in the medical image A medical image processing apparatus that is a region of interest and / or the presence or absence of an object of interest.
  • the medical image is a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band. Certain medical imaging equipment.
  • the medical image is an image obtained by irradiating light of a specific wavelength band, and the specific wavelength band is a band narrower than the white wavelength band.
  • Medical imaging device In the medical image processing apparatus according to appendix B1, the medical image is an image obtained by irradiating light of a specific wavelength band, and the specific wavelength band is a band narrower than the white wavelength band. Medical imaging device.
  • the specific wavelength band includes a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and light of the specific wavelength band is 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less Medical imaging apparatus having a peak wavelength within the wavelength band of
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and light of the specific wavelength band is 585 nm to 615 nm or 610 nm to 730 nm Medical imaging apparatus having a peak wavelength within the wavelength band of
  • the specific wavelength band includes wavelength bands in which the absorption coefficient is different between oxyhemoglobin and reduced hemoglobin, and light of the specific wavelength band is absorbed by oxyhemoglobin and reduced hemoglobin A medical image processing apparatus having peak wavelengths in wavelength bands having different coefficients.
  • the specific wavelength band includes wavelength bands of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and light of the specific wavelength band is A medical imaging apparatus having a peak wavelength in a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm.
  • the specific wavelength band includes a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and light of the specific wavelength band is 790 nm to 820 nm or 905 nm to 970 nm.
  • the medical image acquisition unit is a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band.
  • a medical image processing apparatus comprising: a special light image acquisition unit for acquiring a special light image having information of a specific wavelength band on the basis of, and the medical image is a special light image.
  • a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band, and a specific wavelength band A medical image processing apparatus comprising: a feature amount image generation unit configured to generate a feature amount image by performing an operation based on at least one of the special light image obtained by irradiating the light; and the medical image is a feature amount image.
  • Appendix C1 An endoscope configured to emit an image by irradiating at least one of light in a white wavelength band and light in a specific wavelength band, and the medical image processing apparatus according to any one of the above-mentioned appendices; Endoscope apparatus provided.
  • a diagnosis support apparatus comprising the medical image processing apparatus according to any one of the above-mentioned appendices.
  • Appendix C3 A medical service support device comprising the medical image processing device according to any one of the above-mentioned appendices.
  • Endoscope system 10
  • Endoscope 11 Light source device 12
  • Processor device 13 Display device 14
  • Medical image processing device 15 Operation unit 16
  • Display unit 17A, 17B, 17C Screen 18A, 18B, 18C Index 19 Information 20
  • Insertion unit 21 Hand operation unit 22
  • universal cord 25 flexible section 26
  • curved section 27 tip
  • curved operation knob 30 air / water feed button 31
  • suction button 32 still image photographing instruction section
  • treatment instrument introduction port 35 light guide 36 signal cable 37A, 37B connector 38 movie Image 38a Frame image 39
  • Still image 40 Medical image acquisition unit 41
  • First recognition device 41A Input layer 41B Intermediate layer 41C Output layer 42
  • Recognition certainty determination unit 44 Control unit 45
  • Storage section 50 51 Gram 61, 62 lesion area S10 to S20 step

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

画像の認識処理の高速化及び認識精度の向上を図ることができる医療画像処理装置、医療画像処理方法及び医療画像処理プログラムを提供する。医療画像処理装置は、医療画像の認識を行う第１の認識器（４１）と、第１の認識器（４１）よりも認識精度が高い第２の認識器（４２）と、第１の認識器（４１）による認識結果の確信度を判定する認識確信度判定器（４３）とを備え、認識確信度判定器（４３）による判定結果に応じて第２の認識器（４２）による医療画像の認識処理を実行させる。画像の認識処理の負荷が小さい第１の認識器（４１）を使用することにより画像の認識処理の高速化を図り、かつ第１の認識器（４１）を使用すると、認識結果の確信度が低くなる場合には、画像の認識精度の高い第２の認識器（４２）を使用することにより認識精度の向上を図るようにしている。

Description

医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
　本発明は医療画像処理装置、医療画像処理方法及び医療画像処理プログラムに係り、特に認識器を使用して医療画像の認識処理を行う技術に関する。
　医療分野においては、内視鏡システムを用いた検査が行われている。近年においては、画像解析によって画像に含まれる病変の認識を行うシステムが知られている。例えば、学習によって画像から特徴量を算出し、画像の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が知られている（非特許文献１）。
　このＣＮＮは、画像とフィルタとの畳み込み演算を行う畳み込み層を含む複数の層構造になっており、層の段数によって画像の認識精度が向上することが知られている（非特許文献２）。
　従来、この種の情報処理装置として、画像を解析して得られた特徴量から、複数のクラスのうち認識対象の画像が各クラスに属する確率を推定値として出力し、推定値に基づいて画像が属するクラスを認識し、また、各クラスの推定値を用いて認識結果に対する確信度を算出する装置が提案されている（特許文献１）。
　特許文献１に記載の情報処理装置は、例えば、医療画像を画像解析し、その医療画像を撮影部位（胸部、腹部、足）の３クラスのいずれかのクラスに分類し、分類結果（認識結果）に対する確信度を算出している。
　また、特許文献１に記載の情報処理装置は、算出した確信度の値に基づいて確信度が高いか低いかを判定し、確信度が低いと判定された場合、クラスの認識結果とともに確信度が低いことを警告する警告情報を表示手段に表示させている。
A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, 2012 K Simonyan, A Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv preprint arXiv:1409.1556
国際公開第２０１０／０５０３３３号
　内視鏡装置に代表されるように、画像から病変位置、種類を認識し、認識結果をリアルタイムで表示することが必要とされる場合がある。このようなリアルタイムで表示が必要な場合、認識器による画像の認識処理は高速でなければならない。
　しかしながら、画像の認識処理が高速の認識器は、画像の認識精度が低くなるという問題がある。例えば、ＣＮＮの場合、高速化のために複数の層構造の層の段数を少なくする必要があるが、画像の認識精度が低くなるという問題がある。一方、画像の認識精度を上げるために、層構造の段数を増加させると、計算量が増加し、認識器での演算の負荷が増大し、認識処理が遅延するといった問題が発生する。
　一方、特許文献１に記載の情報処理装置は、認識器により医療画像が属するクラスを認識し、クラスの認識結果を表示するとともに、認識結果に対する確信度を算出し、確信度が低い場合には、警告情報を表示させるにとどまる。
　したがって、特許文献１に記載の情報処理装置において、画像の認識の処理が高速の認識器（画像の認識精度が低い認識器）を適用すると、認識結果の確信度が低くなり、警告情報が頻繁に表示されることになるという問題がある。
　一方、特許文献１に記載の情報処理装置において、画像の認識の処理が低速の認識器（画像の認識精度が高い認識器）を適用すると、認識結果の確信度が向上するものの、演算の負荷が増大し、認識結果をリアルタイムで表示することができなくなるという問題がある。
　本発明はこのような事情に鑑みてなされたもので、画像の認識処理の高速化及び認識精度の向上を図ることができる医療画像処理装置、医療画像処理方法及び医療画像処理プログラムを提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る医療画像処理装置は、被写体像を含む医療画像を取得する医療画像取得部と、医療画像の認識を行う第１の認識器と、医療画像の認識を行う第２の認識器であって、第１の認識器よりも認識精度が高い第２の認識器と、第１の認識器による認識結果の確信度を判定する認識確信度判定器と、認識確信度判定器による判定結果に応じて第２の認識器による医療画像の認識処理を実行させる制御部と、を備える。
　本発明の一の態様によれば、医療画像の認識を行う第１の認識器であって、画像の認識処理の負荷が小さい第１の認識器を使用することにより画像の認識処理の高速化を図り、かつ第１の認識器を使用すると、認識結果の確信度が低くなる場合には、画像の認識精度の高い（認識処理の負荷が大きい）第２の認識器を使用することにより認識精度の向上を図るようにしている。
　本発明の他の態様に係る医療画像処理装置において、第１の認識器及び第２の認識器は、それぞれ層構造を有することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、第２の認識器は、第１の認識器よりも層構造を構成する層の段数が多いことが好ましい。第２の認識器は、第１の認識器よりも層構造を構成する層の段数が多いため、画像の認識処理は、第１の認識器よりも演算負荷が大きく、画像の認識処理が低速になるが、第１の認識器よりも画像の認識精度が高く、認識結果の確信度を向上させることができる。
　本発明の更に他の態様に係る医療画像処理装置において、第１の認識器及び第２の認識器は、層構造を構成する層に少なくとも１つのフィルタを有することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、第２の認識器は、第１の認識器よりも層構造を構成する層であって、フィルタを有する層が多いことが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、第１の認識器及び第２の認識器は、それぞれ畳み込みニューラルネットワークであることが好ましい。
　それぞれ畳み込みニューラルネットワークである第１の認識器及び第２の認識器は、フィルタを有する層の数（段数）が異なり、第１の認識器は、フィルタを有する層の数が少ないため、畳み込み演算の処理時間が短く（演算負荷が小さく）なり、画像の認識処理の高速化が可能であり、リアルタイムに画像の認識結果を確認する場合に有効である。一方、第２の認識器は、フィルタを有する層の数が多いため、畳み込み演算の処理時間が長く（演算負荷が大きく）なり、画像の認識処理が低速になるものの、画像の認識結果の確信度が高いため、第１の認識器では、確信度が低くなる場合には、第１の認識器よりも認識精度の高い第２の認識器によって認識し直すことで、認識の修正を行うことができる。
　本発明の更に他の態様に係る医療画像処理装置において、第１の認識器及び第２の認識器は、それぞれ医療画像から病変候補の位置を検出することが好ましい。これにより、医療画像の中のどの領域に病変候補があるかを表示部に表示させることが可能である。
　本発明の更に他の態様に係る医療画像処理装置において、第１の認識器及び第２の認識器は、それぞれ医療画像を病変に関する複数のカテゴリのうちのいずれかのカテゴリに分類することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、第１の認識器及び第２の認識器は、医療画像上の複数の病変領域を、それぞれ病変に関する複数のカテゴリのうちのいずれかのカテゴリに分類することが好ましい。病変に関する複数のカテゴリとしては、例えば、「腫瘍性」、「非腫瘍性」、「その他」等のカテゴリが該当する。
　本発明の更に他の態様に係る医療画像処理装置において、複数のカテゴリは、病変の種類に関する複数のカテゴリ、病変の病期ステージに関する複数のカテゴリ、又は病変の種類と病期ステージとを組合せた複数のカテゴリであることが好ましい。例えば、病変の病期ステージに関する複数のカテゴリは、病変の進行程度等を示すステージI,II,III,IV等である。
　本発明の更に他の態様に係る医療画像処理装置において、制御部は、医療画像に対する第１の認識器及び第２の認識器の少なくとも一方の認識結果を、表示部に表示させることが好ましい。第１の認識器による認識結果の確信度が高い場合、第２の認識器による認識処理は実行されないため、第１の認識器の認識結果が表示部に表示されることになる。一方、第１の認識器による認識結果の確信度が低い場合、第２の認識器による認識処理が実行されるため、第２の認識器の認識結果のみを表示部に表示してもよいし、第１の認識器及び第２の認識器の各認識結果をそれぞれ表示器に表示してもよい。
　本発明の更に他の態様に係る医療画像処理装置において、制御部は、第２の認識器が医療画像の認識に使用された場合、第２の認識器が使用されたことを示す情報を、表示部に表示させることが好ましい。例えば、ユーザは、認識結果の表示が遅れた場合、通常の認識器（第１の認識器）とは異なる認識器（演算負荷が大きく、処理時間の長い第２の認識器）が使用された結果、認識結果の表示が遅れたと把握することができ、また、通常の認識器では、認識結果の確信度が低くなる病変であることを確認することができる。
　本発明の更に他の態様に係る医療画像処理装置において、制御部は、第２の認識器が医療画像の認識に使用される場合、第２の認識器による認識処理の開始から終了までの期間、第２の認識器による認識処理中であることを示す情報を、表示部に表示させることが好ましい。第２の認識器による認識処理が行われる場合、第１の認識器よりも多くの処理時間を要し、認識結果が表示されるまでの待ち時間が長くなるが、その期間に第２の認識器による認識処理中であることを示す情報が表示されることで、ユーザは、少なくとも認識処理が継続して行われていることを確認することができる。
　本発明の更に他の態様に係る医療画像処理装置において、医療画像に対する第１の認識器及び第２の認識器の少なくとも一方の認識結果を記録する記録部を有することが好ましい。
　本発明の更に他の態様に係る医療画像処理装置において、医療画像のカテゴリを手動で選択する分類選択部を有し、認識確信度判定器は、医療画像に対する第２の認識器によるカテゴリ分類の確信度を判定し、制御部は、医療画像に対するカテゴリ分類の確信度が低い場合、医療画像のカテゴリの選択に使用するカテゴリ選択メニューを表示部に表示させ、カテゴリ選択メニューを使用した分類選択部による医療画像のカテゴリの選択を受け付けることが好ましい。
　第２の認識器による認識処理が行われる場合でも、第２の認識器による認識結果（カテゴリ分類）の確信度が低くなる場合がある。この場合、確信度の低いカテゴリ分類をユーザに提示すると、誤ったカテゴリ分類を提示するおそれが高くなる。そこで、表示部にカテゴリ選択メニューを表示し、ユーザによるカテゴリ分類の選択を受け付けるようにしている。
　本発明の更に他の態様に係る医療画像処理装置において、制御部は、医療画像に対する第２の認識器によるカテゴリ認識結果に基づいて複数のカテゴリのカテゴリ優先度を決定し、カテゴリ優先度に応じてカテゴリ選択メニューにおける複数のカテゴリの表示順を変更することが好ましい。これにより、ユーザにより選択される可能性の高いカテゴリ分類を上位に表示させることができ、ユーザによるカテゴリ分類の選択をしやすくしている。
　本発明の更に他の態様に係る医療画像処理装置において、制御部は、分類選択部により医療画像のカテゴリが決定されると、分類選択部により医療画像のカテゴリが決定されたことを示す情報を表示部に表示させることが好ましい。これにより、医療画像のカテゴリ分類が、医療画像処理装置により自動的に行われたものか、又はユーザにより選択されたものかを確認することができる。
　本発明の更に他の態様に係る医療画像処理方法は、被写体像を含む医療画像を取得するステップと、第１の認識器を使用して医療画像の認識を行うステップと、第１の認識器による認識結果の確信度を判定するステップと、確信度の判定結果に応じて第１の認識器よりも認識精度が高い第２の認識器を使用して医療画像の認識を行うステップと、を含む。
　本発明の更に他の態様に係る医療画像処理方法において、第１の認識器による医療画像の認識結果の確信度が基準値以上の場合には、第１の認識器の認識結果を表示部に表示させ、第１の認識器による医療画像の認識結果の確信度が基準値未満の場合には、第２の認識器の認識結果を表示部に表示させることが好ましい。
　本発明の更に他の態様に係る医療画像処理プログラムは、被写体像を含む医療画像を取得する機能と、第１の認識器を使用して医療画像の認識を行う機能と、第１の認識器による認識結果の確信度を判定する機能と、確信度の判定結果に応じて第１の認識器よりも認識精度が高い第２の認識器を使用して医療画像の認識を行う機能と、をコンピュータに実行させる。
　本発明の更に他の態様に係る医療画像処理プログラムにおいて、第１の認識器による医療画像の認識結果の確信度が基準値以上の場合には、第１の認識器の認識結果を表示部に表示させ、第１の認識器による医療画像の認識結果の確信度が基準値未満の場合には、第２の認識器の認識結果を表示部に表示させることが好ましい。
　本発明によれば、医療画像の認識を行う第１の認識器と第１の認識器よりも認識精度が高い第２の認識器とを使用することにより、第１の認識器による画像の認識処理の高速化を図るとともに、第２の認識器による認識精度の向上を図ることができる。
内視鏡システムの全体構成を示す概略図である。 医療画像処理装置の機能を示す機能ブロック図である。 第１の認識器に適用されるＣＮＮの代表的な構成例を示す模式図である。 動画像に対する第１の認識器、第２の認識器、認識確信度判定器、及び情報表示制御部の作用を説明するために用いた図である。 医療画像処理装置により表示部に表示される情報の実施形態を示す図である。 医療画像処理装置により表示部に表示される画像及び情報の他の実施形態を示す図である。 医療画像処理方法の実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る医療画像処理装置、医療画像処理方法及び医療画像処理プログラムの好ましい実施形態について説明する。
　［内視鏡システムの全体構成］
　図１は、本発明に係る医療画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡１０と、光源装置１１と、プロセッサ装置１２と、表示装置１３と、医療画像処理装置１４と、操作部１５と、表示部１６と、を備える。
　内視鏡１０は、本発明の医療装置に相当するものであり、例えば軟性内視鏡である。この内視鏡１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。
　挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮影光学系及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
　撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の撮影光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。
　手元操作部２１には、術者によって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画像３９の撮影指示を行うための静止画像撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
　ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７Ａと、このコネクタ３７Ａから分岐され且つプロセッサ装置１２に接続されるコネクタ３７Ｂと、が設けられている。
　コネクタ３７Ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
　コネクタ３７Ｂをプロセッサ装置１２に接続することで、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力されると共に、プロセッサ装置１２から内視鏡１０へ制御信号が出力される。
　尚、本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、例えば硬性内視鏡等の被観察部位の動画撮影を可能な各種の電子内視鏡を用いてもよい。
　光源装置１１は、コネクタ３７Ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。尚、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
　特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。
　プロセッサ装置１２は、コネクタ３７Ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７Ｂ及び信号ケーブル３６を介して内視鏡１０の撮像素子２８から取得した撮像信号に基づき、被観察部位の動画像３８を生成する。更に、プロセッサ装置１２は、内視鏡１０の手元操作部２１にて静止画像撮影指示部３２が操作された場合、動画像３８の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。この静止画像３９は、動画像３８よりも高解像度に生成されていてもよい。
　動画像３８及び静止画像３９は、被検体内、即ち生体内を撮影した生体内画像である。更に動画像３８及び静止画像３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、プロセッサ装置１２は、生成した動画像３８及び静止画像３９を、表示装置１３と医療画像処理装置１４とにそれぞれ出力する。
　尚、プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青［ＲＧＢ（Red,Green,Blue）］あるいはシアン、マゼンタ、及びイエロー［ＣＭＹ（Cyan，Magenta，Yellow）］の色情報に基づく演算を行うことで得る。
　また、プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、プロセッサ装置１２は、特徴量画像生成部として機能する。尚、上記の生体内画像、通常画像、特殊光画像、及び特徴量画像を含む動画像３８又は静止画像３９は、いずれも画像による診断、検査の目的でヒトの人体を撮影し、又は計測した結果を画像化した医療画像である。
　表示装置１３は、プロセッサ装置１２に接続されており、このプロセッサ装置１２から入力された動画像３８及び静止画像３９を表示する。ユーザ（医師）は、表示装置１３に表示される動画像３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画像撮影指示部３２を操作して被観察部位の静止画撮影を実行し、また、診断、生検等を行う。
　［医療画像処理装置］
　医療画像処理装置１４は、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部１５はパーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示部１６はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
　また、医療画像処理装置１４として、ワークステーション（サーバ）等の診断支援装置を用いてよく、この場合、操作部１５及び表示部１６はそれぞれワークステーションに接続した複数の端末ごとに設けられる。更に、医療画像処理装置１４として、例えば医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。
　医療画像処理装置１４は、主として動画像３８又は静止画像３９（医療画像）の認識を行い、医療画像のカテゴリ分類を行う部分であり、医療画像の取得及び記憶と、医療画像の再生制御と、認識結果（カテゴリ分類）の表示とを行う。操作部１５は、医療画像処理装置１４に対する操作指示の入力に用いられる。表示部１６は、医療画像処理装置１４の制御の下、動画像３８又は静止画像３９の表示、医療画像のカテゴリ分類等の認識結果の表示、後述するカテゴリ選択メニューの表示等を行う。また、表示部１６は、操作部１５と協働し、医療画像のカテゴリを手動で選択する分類選択部として機能するユーザインターフェースの一部を担う。
　＜医療画像処理装置の機能＞
　図２は、医療画像処理装置１４の機能を示す機能ブロック図である。図２に示すように、動画像３８又は静止画像３９の表示、医療画像の認識、認識結果の表示等を含む医療画像処理装置１４の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　医療画像処理装置１４のプロセッサ（不図示）に相当する制御部４４は、記憶部４７に記憶されたプログラム（医療画像処理プログラム）５１に基づき、医療画像取得部４０、第１の認識器４１、第２の認識器４２、認識確信度判定器４３、及び表示制御部４５を統括制御し、また、これらの各部の一部として機能する。
　記憶部４７は、第１の認識器４１及び第２の認識器４２の少なくとも一方の認識結果を記録する記録部、及び撮影された動画像３８及び静止画像３９を記憶する画像記憶部５０として機能し、また、記憶部４７には、プログラム５１及び医療画像処理装置１４の各種制御に係る情報等が記憶される。
　尚、本実施形態では、記憶部４７が医療画像処理装置１４内に設けられているが、記憶部４７はインターネット上のサーバ或いはデータベース内に設けられていてもよい。このため、本発明の医療画像処理装置には、複数の装置で構成される医療画像処理システムも含まれる。
　医療画像取得部４０は、プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、プロセッサ装置１２から被写体像を含む医療画像（本例では、内視鏡１０により撮影される動画像３８）を取得する。また、内視鏡１０にて動画像３８の撮影途中に既述の静止画像３９の撮影が行われた場合、医療画像取得部４０は、プロセッサ装置１２から動画像３８及び静止画像３９を取得する。そして、医療画像取得部４０は、取得した動画像３８及び静止画像３９を記憶部４７内の画像記憶部５０に記憶させる。図中の符号３８ａは、動画像３８を構成する複数のフレーム画像である。
　尚、医療画像取得部４０は、プロセッサ装置１２から動画像３８及び静止画像３９を直接取得する代わりに、メモリーカード等の各種情報記憶媒体を介して動画像３８及び静止画像３９を取得してもよい。また、医療画像取得部４０は、インターネット上のサーバ或いはデータベース等にアップロードされた動画像３８及び静止画像３９をインターネット経由で取得してもよい。
　また、医療画像取得部４０は、動画像３８及び静止画像３９として、既述の特定の波長帯域の情報を有する特殊光画像を取得する場合には、特殊光画像取得部として機能する。
　更にまた、医療画像取得部４０は、プロセッサ装置１２等から入力される動画像３８の全てを画像記憶部５０に記憶させる必要はなく、例えば、静止画像撮影指示部３２の操作に応じて被観察部位の静止画撮影が行われた場合、その前後の一分間（撮影前一分間から撮影後一分間）の動画像３８を画像記憶部５０に記憶させてもよい。
　第１の認識器４１は、体腔の観察中に撮影された画像（動画像３８及び静止画像３９）の認識を行う部分であり、本例では、学習によって画像から特徴量を算出し、画像の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）、を含み、画像内の色情報、画素値の勾配等で特徴量を算出する。算出された特徴量を用いて画像上の病変（病変候補）を検出し、または例えば、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに医療画像が属するかのカテゴリ分類等の第１の認識結果を得る。
　図３は、第１の認識器４１に適用されるＣＮＮの代表的な構成例を示す模式図である。
　図３に示すように、ＣＮＮは、入力層４１Ａと、畳み込み層とプーリング層から構成された複数セット、及び全結合層を有する中間層４１Ｂと、出力層４１Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
　入力層４１Ａには、認識処理の対象である画像が入力される。
　中間層４１Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有し、入力層から入力した画像から特徴を抽出する。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
　尚、中間層４１Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。また、各畳み込み層にて使用されるフィルタのパラメータは、予め多数の学習データにより自動的に学習されている。
　出力層４１Ｃは、中間層４１Ｂにより抽出された特徴に基づき画像の分類ごとの認識結果を出力する。本例では、画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類しており、認識結果は、「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力される。
　図２に戻って、第２の認識器４２は、第１の認識器４１と同様の構成を有し、撮影された画像の認識処理を行い、カテゴリ分類等の第２の認識結果を得るが、第１の認識器４１よりも画像の認識精度が高く、その一方、第１の認識器４１よりも認識処理の演算負荷が大きく、画像の認識処理の時間が長くなる点で相違する。
　具体的には、第２の認識器４２は、層構造を有するＣＮＮの層の段数が、第１の認識器４１よりも多く、特に中間層におけるフィルタを有する畳み込み層の数が、第１の認識器４１よりも多い。尚、第２の認識器４２は、第１の認識器４１の一部を共通に使用し、例えば、第１の認識器４１の中間層４１Ｂのある「特徴マップ」を入力するものも含む。この場合、第２の認識器４２の中間層における畳み込み層の数は、第１の認識器４１のある「特徴マップ」以降の中間層における畳み込み層の数よりも多いことになる。
　認識確信度判定器４３は、第１の認識器４１による認識結果の確信度を判定する部分であり、第１の認識器４１による認識結果（例えば病変らしさのスコア）から確信度を算出し、本例では、確信度が、「高い」か「低い」かを判定する。尚、病変らしさのスコアそのものが確信度であってもよい。
　具体的には、認識確信度判定器４３は、第１の認識器４１による認識結果（本例では、３つのスコア）を入力し、３つのスコアのうちの最大のスコアが、他のスコアに対して差が大きい場合、最大のスコアを有するカテゴリに画像を分類する、カテゴリ分類の確信度は「高い」と判定する。反対に、それぞれのカテゴリのスコアの差が小さい場合、最大のスコアを有するカテゴリに画像を分類する、カテゴリ分類の確信度は「低い」と判定する。
　例えば、「腫瘍性」のスコア（確信度）が80％、「非腫瘍性」のスコアが15％、「その他」のスコアが5％であった場合は、「腫瘍性」のスコアが突出しているため、認識対象の画像を「腫瘍性」に分類するカテゴリ分類の確信度は、「高い」と判定する。もし、「腫瘍性」のスコアが33％、「非腫瘍性」のスコアが30％、「その他」のスコアが37％であった場合、これらのスコアのうちの最大の「その他」のスコア37％は、他のカテゴリのスコア30％、33％（特に２番目に大きいスコア33％）との差が小さいため、認識対象の画像を「その他」に分類するカテゴリ分類の確信度は、「低い」と判定する。
　尚、確信度が「高い」か「低い」かの判定結果は、最大のスコアと２番目に大きいスコアとの差が、第1基準値以上か否かにより決定し、又は最大のスコアと２番目に大きいスコアとの比が、第２基準値以上か否かにより決定することができる。また、第１基準値又は第２基準値（以下、単に「基準値」という）は、予め設定された固定値でもよいし、ユーザにより設定した値でもよい。
　また、認識確信度判定器４３は、第１の認識器４１による認識結果の確信度の判定と同様に、第２の認識器４２による認識結果の確信度の判定を行うことができる。この場合、第２の認識器４２は、第１の認識器４１よりも画像の認識精度が高いため、第２の認識器４２により得られた認識結果の確信度を判定する際の基準値は、第１の認識器４１により得られた認識結果の確信度を判定する際の基準値よりも小さくしてもよい。
　制御部４４は、認識確信度判定器４３による判定結果に応じて第２の認識器４２による医療画像の認識処理を実行させる。即ち、認識確信度判定器４３により第１の認識器４１による認識結果の確信度が「低い」と判定された場合、制御部４４は、確信度が「低い」と判定された医療画像に対し、第２の認識器４２による認識処理を行わせる。
　即ち、制御部４４は、第１の認識器４１による画像の認識処理を先行して行わせ、認識確信度判定器４３により第１の認識器４１による画像の認識結果の確信度が「低い」と判定されると、第２の認識器４２による画像の認識処理を行わせる。
　また、制御部４４は、第２の認識器４２による画像の認識結果の確信度が「低い」と判定されると、ユーザがカテゴリの選択に使用するカテゴリ選択メニュー等を表示部１６に表示させ、カテゴリ選択メニューを使用した医療画像のカテゴリの選択を受け付ける。尚、ユーザにより行われる医療画像のカテゴリ分類の詳細については後述する。
　また、制御部４４は、医療画像に対する第１の認識器４１及び第２の認識器４２の少なくとも一方の認識結果を、医療画像に関連付けて記録部（記憶部４７又は画像ファイルのヘッダ部等）に記録することが好ましい。
　表示制御部４５は、表示部１６による表示を制御する。この表示制御部４５は、画像表示制御部４５Ａ及び情報表示制御部４５Ｂとして機能する。
　画像表示制御部４５Ａは、撮影中の動画像３８及び静止画像３９を表示部１６に表示させ、又は画像記憶部５０内のフォルダごとに記憶された動画像３８（静止画像３９も可）を表示部１６で再生させる表示制御を行う。
　情報表示制御部４５Ｂは、第１の認識器４１及び第２の認識器４２による第１、第２の認識結果のうちの少なくとも一方の認識結果等の画像以外の必要な情報を、表示部１６に表示させる制御部として機能する。
　図４は、動画像３８に対する第１の認識器４１、第２の認識器４２、認識確信度判定器４３、及び情報表示制御部４５Ｂの作用を説明するために用いた図である。
　図４において、内視鏡システム９により撮影される動画像３８は、医療画像取得部４０を介して第１の認識器４１及び第２の認識器４２に入力される。
　第１の認識器４１は、特徴抽出部及び認識処理部を有し、入力する動画像３８を構成するフレーム画像３８ａ（又は一定間隔置きのフレーム画像３８ａ）毎に画像認識を行い、第１の認識結果（「腫瘍性」、「非腫瘍性」及び「その他」を示す３つの第１のスコア）を認識確信度判定器４３に出力する。
　認識確信度判定器４３は、入力する３つの第１のスコアに基づいて３つの第１のスコアのうちの最大スコアにより特定されるカテゴリ分類の確信度を判定する。
　図４において、画面１７Ａ、１７Ｂ及び１７Ｃは、表示部１６の異なる時刻の画面を示し、画面１７Ａ、１７Ｂ及び１７Ｃには、動画像３８の撮影開始時点からの経過時間を示す時刻「00:04:21」、「00:04:23」及び「00:04:32」に撮影された画像等が表示されている。
　図４に示す例では、認識確信度判定器４３は、時刻「00:04:21」及び「00:04:32」に撮影されたフレーム画像３８ａに対する第１のスコアの最大スコアにより特定されるカテゴリ分類の確信度をそれぞれ「高い」と判定し、時刻「00:04:23」に撮影された画像に対する第１のスコアの最大スコアにより特定されるカテゴリ分類の確信度を「低い」と判定している。
　情報表示制御部４５Ｂは、画面１７Ａ、１７Ｂ及び１７Ｃの右側の領域に各種の情報（本例では、撮影時刻、カテゴリ分類、及び認識結果等）を表示させる。第１の認識結果に基づく時刻「00:04:21」、「00:04:23」及び「00:04:32」に撮影された画像のカテゴリ分類は、それぞれ「腫瘍性」、「腫瘍性」、「その他」であるため、画面１７Ａ、１７Ｂ及び１７Ｃには、それぞれ「腫瘍性」、「腫瘍性」、「その他」が表示される。また、情報表示制御部４５Ｂにより、カテゴリ分類の下側には棒グラフで表現された認識結果が表示される。
　更に、第１の認識器４１及び第２の認識器４２は、それぞれ医療画像から病変候補の位置を検出する機能を有し、情報表示制御部４５Ｂは、第１の認識器４１及び第２の認識器４２により検出された病変候補の位置に基づいて、その病変候補を示す指標１８Ａ，１８Ｂ、１８Ｃを画像上に重ねて表示させることができる。
　第２の認識器４２は、特徴抽出部及び認識処理部を有し、入力する動画像３８を構成するフレーム画像３８ａであって、第１の認識器４１の第１の認識結果に基づく認識確信度判定器４３による確信度の判定結果（確信度が「低い」との判定結果）に応じたフレーム画像３８ａに対し、そのフレーム画像３８ａの認識処理を行い、第２の認識結果を出力する。
　図４に示す例では、認識確信度判定器４３は、時刻「00:04:23」に撮影されたフレーム画像３８ａに対する第１のスコアの最大スコアにより特定されるカテゴリ分類の確信度を「低い」と判定するため、第２の認識器４２は、時刻「00:04:23」に撮影されたフレーム画像３８ａの認識処理を行い、第２の認識結果を出力する。
　本例では、時刻「00:04:23」に撮影されたフレーム画像３８ａに対する第１の認識器４１による第１の認識結果と、第２の認識器４２による第２の認識結果とは異なり、第１の認識結果では、画像のカテゴリ分類が「腫瘍性」になっているが、第２の認識結果では、画像のカテゴリ分類が「非腫瘍性」に変更（修正）されている。
　また、第２の認識器４２によるカテゴリ分類の修正内容は、時刻「00:04:32」に撮影された画像を表示する画面１７Ｃ上に表示される。即ち、制御部４４又は情報表示制御部４５Ｂは、表示部１６の画面１７Ｃの時刻「00:04:32」の上側の領域に、時刻「00:04:23」及び取り消し線付きの「腫瘍性」と、修正した「非腫瘍性」とを表示させる。
　この表示形態によれば、ユーザは、時刻「00:04:23」に撮影されたフレーム画像３８ａのカテゴリ分類が、「腫瘍性」から「非腫瘍性」に変更されたことが分かる。また、ユーザは、時刻「00:04:23」に撮影されたフレーム画像３８ａに対して、第２の認識器４２が使用されたことも分かる。即ち、制御部４４又は情報表示制御部４５Ｂは、第２の認識器４２が医療画像の認識に使用された場合、２つの認識結果（第１、第２の認識結果や第１の認識結果の修正内容）を表示することで、間接的に第２の認識器４２が使用されたことを示す情報を表示することになる。
　更に、時刻「00:04:23」に撮影されたフレーム画像３８ａに対する第１の認識器４１による第１の認識結果の確信度は、「低い」と判定され、第２の認識器４２による同じフレーム画像３８ａの認識処理が開始される。第２の認識器４２による認識処理が行われる場合、第２の認識器４２は、第１の認識器４１よりも多くの処理時間を要し、第１の認識器４１が略リアルタイムで第１の認識結果を取得するのに対し、第２の認識器４２が第２の認識結果を取得するまでには、ある程度の時間を要する。
　制御部４４又は情報表示制御部４５Ｂは、第２の認識器４２が画像の認識処理を行う場合、認識処理の開始から終了までの期間、第２の認識器４２による認識処理中であることを示す情報を表示部１６に表示させる。
　図４に示す例では、表示部１６の画面１７Ｂにおいて、第２の認識器４２による認識処理中であることを示す情報１９が表示されている。ユーザは、この情報１９により少なくとも認識処理が継続して行われていることを確認することができ、また、現在の認識結果の確信度が「低い」ことも確認することができる。
　この医療画像処理装置１４によれば、動画像を認識対象とする場合のようにリアルタイムで認識結果の取得又は表示が必要な場合であっても、高速に動作可能な第１の認識器４１が略リアルタイムで第１の認識結果を取得すること（画像の認識処理の高速化）が可能であり、一方、第１の認識器４１では確信度の高い認識結果が得られない場合には、画像の認識処理が遅いが、認識精度の高い第２の認識器４２を使用するため、画像のカテゴリ分類の確信度を向上させることができる。
　図５は、医療画像処理装置１４により表示部１６に表示される情報の実施形態を示す図である。医療画像処理装置１４は、医療画像のカテゴリ分類、カテゴリ分類の確信度等を表示部１６の画面に表示させることができる。
　図５に示す画面には、診察番号「003」の患者の複数の医療画像（内視鏡による観察中に撮影された複数の静止画像）を特定する識別情報（No.1,No.2,No.3,…）に関連付けて、カテゴリ分類の確信度と、カテゴリ分類と、選択肢の表示を指示する情報「選択肢を表示する」とが表示されている。
　カテゴリ分類の確信度を示す欄には、認識確信度判定器４３により判定された判定結果（「高い」又は「低い」）が表示され、カテゴリの欄には、第１の認識器４１及び第２の認識器４２による認識されたカテゴリ分類（「腫瘍性」、「非腫瘍性」、「その他」）の他、カテゴリ選択メニュー用の「ウインドウ」が表示される。
　図５に示す例では、「No.1」,「No.2」,「No.4」の画像に対する「腫瘍性」、「非腫瘍性」及び「その他」のカテゴリ分類の確信度が高くなっている。
　「No.3」の画像に対する第１の認識器４１による第１の認識結果「腫瘍性」のカテゴリ分類の確信度は低く、第２の認識器４２による第２の認識結果「非腫瘍性」のカテゴリ分類の確信度は高くなっている。即ち、「No.3」の画像は、第１の認識器４１及び第２の認識器４２によりそれぞれ認識処理が行われ、第１の認識結果「腫瘍性」が、第２の認識結果「非腫瘍性」に変更されている。
　一方、「No.5」の画像に対する第１の認識器４１及び第２の認識器４２の第１、第２の認識結果に基づくカテゴリ分類の確信度はいずれも低くなっており、この場合、カテゴリの欄には、カテゴリ分類を手動で選択する分類選択部として機能するカテゴリ選択メニュー用の「ウインドウ」が表示される。
　ユーザは、操作部１５として機能するマウスを操作し、「ウインドウ」にカーソルを合わせてクリックすることで、プルダウンメニューとしてカテゴリ選択メニューを表示させることができる。
　カテゴリ選択メニューを表示させる場合、制御部４４は、画像に対する第２の認識器４２によるカテゴリ認識結果に基づいて複数のカテゴリのカテゴリ優先度を決定し、カテゴリ優先度に応じてカテゴリ選択メニューにおける複数のカテゴリの表示順を変更して、表示部１６に表示させることが好ましい。
　図５に示すカテゴリ選択メニューでは、「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコアのうち、スコアの高い順に「非腫瘍性」、「その他」及び「腫瘍性」が表示されている。
　ユーザは、このカテゴリ選択メニューからNo.5の画像のカテゴリ分類を選択することができる。ユーザにより選択されたカテゴリ分類は、No.5の画像のカテゴリ分類とされ、「ウインドウ」には選択されたカテゴリ分類が表示されることになる。
　また、カテゴリの欄にカテゴリ分類が「ウインドウ」で表示されている場合、ユーザは、その画像のカテゴリ分類がユーザにより決定されたものであることが分かる。即ち、カテゴリ分類が表示された「ウインドウ」は、画像のカテゴリ分類がユーザにより決定されたことを示す情報となる。
　尚、自動的にカテゴリ分類が決定された画像であっても、「選択肢を表示する」のアイコンボタンをクリックすることで、カテゴリの欄にカテゴリ選択メニュー用の「ウインドウ」を表示させることができ、カテゴリ選択メニューを使用してユーザが手動でカテゴリ分類を変更することができる。
　また、カテゴリ分類の確信度が高い画像（「No.1」「No.2」,「No.4」の画像）に対し、カテゴリ分類の確信度が低い画像（「No.3」,「No.5」の画像）を識別可能に表示することが好ましい。図５に示す例では、確信度が低い「No.3」,「No.5」の画像の位置に「カーソル」を表示している。「カーソル」が表示されている確信度が低い「No.3」,「No.5」の画像については、第２の認識器４２による認識処理が行われるため、「カーソル」は、第２の認識器４２が使用されたことを示す情報となる。尚、「カーソル」の表示に代えて、例えば、色分けにより識別可能に表示するようにしてもよい。
　更に、画像を特定する識別情報（No.1,No.2,No.3,…）をクリックすることで、識別情報に対応する画像を、表示部１６の画面を切り替えて拡大表示し、又は別ウインドウで拡大表示することができる。
　図６は、医療画像処理装置１４により表示部１６に表示される画像及び情報の他の実施形態を示す図であり、１つの医療画像上で複数の病変領域が検出された場合、及びカテゴリ分類として病期ステージを含む場合の表示形態に関して示している。
　図６に示すように複数の病変領域６１、６２が検出された場合、第１の認識器４１又は第２の認識器４２は、病変領域６１、６２毎に認識処理を行い、認識結果（病変領域別の病変のカテゴリ分類）を出力する。
　図６に示す実施形態では、第１の認識器４１又は第２の認識器４２は、病変の種類に関する複数のカテゴリ（例えば、「腫瘍性」、「非腫瘍性」及び「その他」等）における分類と、病変の病期ステージに関する複数のカテゴリにおける分類とを行うことができるものとする。病変の病期ステージに関する複数のカテゴリは、病変の進行程度等を示すステージI,II,III,IV等である。
　制御部４４又は情報表示制御部４５Ｂは、第１の認識器４１又は第２の認識器４２による病変領域６１、６２毎の認識結果（病変領域毎のカテゴリ分類）に基づいて、表示部１６の画面上の病変領域６１、６２の近傍に、カテゴリ分類を表示させる。
　図６に示す例では、病変領域６１の近傍に「腫瘍性」、「ステージII」が表示され、病変領域６２の近傍に「腫瘍性」、「ステージI」が表示されている。
　尚、図６に示す例では、病変領域６１、６２毎の病変に関するカテゴリ分類は同一であり、病期ステージのカテゴリ分類が異なっているが、例えば、複数の病変領域の病変に関するカテゴリ分類が異なる場合、病期ステージが同一の場合、又は病期ステージによる分類がない病変に関するカテゴリ分類等が存在し得る。
　［医療画像処理］
　図７は、本発明に係る医療画像処理方法の実施形態を示すフローチャートであり、医療画像処理装置１４の各部の処理手順に関して示している。
　図７において、医療画像取得部４０は、プロセッサ装置１２又は画像記憶部５０から認識処理の対象である医療画像を取得する。取得した医療画像は、第１の認識器４１に入力される（ステップＳ１０）。
　第１の認識器４１は、ステップＳ１０で取得した医療画像の認識処理を実行し、認識結果（第１の認識結果）を取得する（ステップＳ１２）。第１の認識器４１が、医療画像を病変に関する複数のカテゴリ（例えば、「腫瘍性」、「非腫瘍性」及び「その他」）のうちのいずれかのカテゴリに分類するが、認識結果は、「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコアとして出力される。
　認識確信度判定器４３は、第１の認識結果に基づいて、認識結果より特定される医療画像のカテゴリ分類の確信度を判定する（ステップＳ１４）。具体的には、認識確信度判定器４３は、第１の認識器４１による第１の認識結果（本例では、３つのスコア）を入力し、３つのスコアのうちの最大のスコアが、他のスコアに対して差が基準値以上の場合、最大のスコアを有するカテゴリに画像を分類し、カテゴリ分類の確信度は「高い」と判定する。反対に、それぞれのカテゴリのスコアの差が基準値未満の場合、最大のスコアを有するカテゴリに画像を分類し、カテゴリ分類の確信度は「低い」と判定する。
　ステップＳ１４において、第１の認識器４１による画像の第１の認識結果の確信度が「低い」と判定されると、ステップＳ１６に遷移する。
　ステップＳ１６では、第１の認識器４１よりも認識精度の高い第２の認識器４２が使用され、第２の認識器４２は、ステップＳ１０で入力された医療画像の認識処理を実行し、認識結果（第２の認識結果）を取得する。
　一方、ステップＳ１４において、第１の認識器４１による画像の第１の認識結果の確信度が「高い」と判定されると、ステップＳ１８に遷移する。
　ステップＳ１８において、第１の認識器４１による画像の第１の認識結果の確信度が「高い」と判定された場合、制御部４４又は情報表示制御部４５Ｂは、第１の認識結果を表示部１６に表示させる。一方、第１の認識器４１による画像の第１の認識結果の確信度が「低い」と判定され、第２の認識器４２による第２の認識結果が取得された場合には、第１の認識結果に代えて、又は第１の認識結果と共に第２の認識結果を表示部１６に表示させる。
　続いて、制御部４４は、医療画像のカテゴリ分類の画像処理を終了させるか否かを判別し、画像処理を終了させない場合（「No」の場合）には、ステップＳ１０に遷移させ、次の医療画像を認識処理の対象として、ステップＳ１０からステップＳ２０を繰り返し実行させる。
　一方、画像処理を終了させる場合（「Yes」の場合）には、制御部４４は、医療画像処理方法における処理を終了させる。尚、制御部４４は、認識処理の対象である医療画像の全ての認識処理が終了した場合、画像処理を終了させる。
　［その他］
　上記実施形態の医療画像処理装置１４の第１の認識器４１及び第２の認識器４２として、段数が異なる層構造を有するＣＮＮを適用した場合について説明したが、これに限らず、ＣＮＮとは異なる他の方法により医療画像の認識を行うものでもよいし、例えば、第１の認識器４１は、ＣＮＮとは異なる他の方法により医療画像の認識を行うものとし、第２の認識器４２は、ＣＮＮにより医療画像の認識を行うものとしてもよい。
　医療画像を認識する他の方法としては、例えば医療画像を複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。そして、医療画像の局所領域ごとに局所領域内の画素の特徴量を算出し、特定の色相、形状等を有する病変候補を抽出し、抽出した病変候補の画像（画像の特徴量）と、予め準備されたカテゴリ分類毎に標準の病変画像（病変画像の特徴量）とのマッチングにより、医療画像のカテゴリ分類を行うことが考えられる。
　上記実施形態では、プロセッサ装置１２と医療画像処理装置１４とが別体に設けられているが、プロセッサ装置１２と医療画像処理装置１４とが一体化されていてもよい。即ち、プロセッサ装置１２に、医療画像処理装置１４としての機能を設けてもよい。
　上記実施形態では、内視鏡１０により撮影された医療画像をカテゴリ分類の認識対象としたが、例えば超音波診断装置、Ｘ線画像診断システム、デジタルマンモグラフィ、ＣＴ（Computed Tomography）装置、及びＭＲＩ（Magnetic Resonance Imaging）装置等により取得される医療画像をカテゴリ分類の認識対象としてよい。
　［付記］
　本明細書では以下に示す発明を含む多様な技術思想の開示を含んでいる。
　［付記Ａ１］
　本発明に係る医療画像処理装置において、更に、医療画像解析処理部を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　［付記Ａ２］
　本発明に係る医療画像処理装置において、更に、医療画像解析処理部を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　［付記Ａ３］
　付記Ａ１又は付記Ａ２に係る医療画像処理装置において、医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
　［付記Ｂ１］
　付記Ａ１から付記Ａ３のいずれか１つに記載の医療画像処理装置において、医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
　［付記Ｂ２］
　付記Ｂ１に係る医療画像処理装置において、医療画像は、特定の波長帯域の光を照射して得た画像であることを特徴とし、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
　［付記Ｂ３］
　付記Ｂ２に係る医療画像処理装置において、特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
　［付記Ｂ４］
　付記Ｂ３に係る医療画像処理装置において、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　［付記Ｂ５］
　付記Ｂ２に係る医療画像処理装置において、特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
　［付記Ｂ６］
　付記Ｂ５に係る医療画像処理装置において、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　［付記Ｂ７］
　付記Ｂ２に係る医療画像処理装置において、特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
　［付記Ｂ８］
　付記Ｂ７に係る医療画像処理装置において、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　［付記Ｂ９］
　付記Ｂ２に係る医療画像処理装置において、医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
　［付記Ｂ１０］
　付記Ｂ９に係る医療画像処理装置において、蛍光は、ピークが３９０ｎｍから４７０ｎｍである励起光を生体内に照射して得る医療画像処理装置。
　［付記Ｂ１１］
　付記Ｂ２に係る医療画像処理装置において、医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
　［付記Ｂ１２］
　付記Ｂ１１に係る医療画像処理装置において、特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　［付記Ｂ１３］
　付記Ａ１から付記Ａ３のいずれか１つに記載の医療画像処理装置において、医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。
　［付記Ｂ１４］
　付記Ｂ１３に係る医療画像処理装置において、特定の波長帯域の信号は、通常光画像に含まれる赤、緑、及び青あるいはシアン、マゼンタ、及びイエローの色情報に基づく演算により得る医療画像処理装置。
　［付記Ｂ１５］
　付記Ａ１から付記Ａ３のいずれか１つに記載の医療画像処理装置において、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。
　［付記Ｃ１］
　上記各付記のいずれか１つに記載の医療画像処理装置と、白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。
　［付記Ｃ２］
　上記各付記のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
　［付記Ｃ３］
　上記各付記のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
９　内視鏡システム
１０　内視鏡
１１　光源装置
１２　プロセッサ装置
１３　表示装置
１４　医療画像処理装置
１５　操作部
１６　表示部
１７Ａ、１７Ｂ、１７Ｃ　画面
１８Ａ、１８Ｂ、１８Ｃ　指標
１９　情報
２０　挿入部
２１　手元操作部
２２　ユニバーサルコード
２５　軟性部
２６　湾曲部
２７　先端部
２８　撮像素子
２９　湾曲操作ノブ
３０　送気送水ボタン
３１　吸引ボタン
３２　静止画像撮影指示部
３３　処置具導入口
３５　ライトガイド
３６　信号ケーブル
３７Ａ、３７Ｂ　コネクタ
３８　動画像
３８ａ　フレーム画像
３９　静止画像
４０　医療画像取得部
４１　第１の認識器
４１Ａ　入力層
４１Ｂ　中間層
４１Ｃ　出力層
４２　第２の認識器
４３　認識確信度判定器
４４　制御部
４５　表示制御部
４５Ａ　画像表示制御部
４５Ｂ　情報表示制御部
４７　記憶部
５０　画像記憶部
５１　プログラム
６１、６２　病変領域
Ｓ１０～Ｓ２０　ステップ

Claims (21)

  1. 　被写体像を含む医療画像を取得する医療画像取得部と、
    　前記医療画像の認識を行う第１の認識器と、
    　前記医療画像の認識を行う第２の認識器であって、前記第１の認識器よりも認識精度が高い第２の認識器と、
    　前記第１の認識器による認識結果の確信度を判定する認識確信度判定器と、
    　前記認識確信度判定器による判定結果に応じて前記第２の認識器による前記医療画像の認識処理を実行させる制御部と、
    　を備えた医療画像処理装置。
  2. 　前記第１の認識器及び前記第２の認識器は、それぞれ層構造を有する請求項１に記載の医療画像処理装置。
  3. 　前記第２の認識器は、前記第１の認識器よりも前記層構造を構成する層の段数が多い請求項２に記載の医療画像処理装置。
  4. 　前記第１の認識器及び前記第２の認識器は、前記層構造を構成する層に少なくとも１つのフィルタを有する請求項２又は３に記載の医療画像処理装置。
  5. 　前記第２の認識器は、前記第１の認識器よりも前記層構造を構成する層であって、フィルタを有する層が多い請求項４に記載の医療画像処理装置。
  6. 　前記第１の認識器及び前記第２の認識器は、それぞれ畳み込みニューラルネットワークである請求項１から５のいずれか１項に記載の医療画像処理装置。
  7. 　前記第１の認識器及び前記第２の認識器は、それぞれ前記医療画像から病変候補の位置を検出する請求項１から６のいずれか１項に記載の医療画像処理装置。
  8. 　前記第１の認識器及び前記第２の認識器は、それぞれ前記医療画像を病変に関する複数のカテゴリのうちのいずれかのカテゴリに分類する請求項１から７のいずれか１項に記載の医療画像処理装置。
  9. 　前記第１の認識器及び前記第２の認識器は、前記医療画像上の複数の病変領域を、それぞれ病変に関する複数のカテゴリのうちのいずれかのカテゴリに分類する請求項１から７のいずれか１項に記載の医療画像処理装置。
  10. 　前記複数のカテゴリは、病変の種類に関する複数のカテゴリ、病変の病期ステージに関する複数のカテゴリ、又は病変の種類と病期ステージとを組合せた複数のカテゴリである請求項８又は９に記載の医療画像処理装置。
  11. 　前記制御部は、前記医療画像に対する前記第１の認識器及び前記第２の認識器の少なくとも一方の認識結果を、表示部に表示させる請求項１から１０のいずれか１項に記載の医療画像処理装置。
  12. 　前記制御部は、前記第２の認識器が前記医療画像の認識に使用された場合、前記第２の認識器が使用されたことを示す情報を、前記表示部に表示させる請求項１１に記載の医療画像処理装置。
  13. 　前記制御部は、前記第２の認識器が前記医療画像の認識に使用される場合、前記第２の認識器による認識処理の開始から終了までの期間、前記第２の認識器による認識処理中であることを示す情報を、前記表示部に表示させる請求項１１又は１２に記載の医療画像処理装置。
  14. 　前記医療画像に対する前記第１の認識器及び前記第２の認識器の少なくとも一方の認識結果を記録する記録部を有する請求項１から１３のいずれか１項に記載の医療画像処理装置。
  15. 　前記医療画像のカテゴリを手動で選択する分類選択部を有し、
    　前記認識確信度判定器は、前記医療画像に対する前記第２の認識器によるカテゴリ分類の確信度を判定し、
    　前記制御部は、前記医療画像に対する前記カテゴリ分類の確信度が低い場合、前記医療画像のカテゴリの選択に使用するカテゴリ選択メニューを表示部に表示させ、前記カテゴリ選択メニューを使用した前記分類選択部による前記医療画像のカテゴリの選択を受け付ける請求項１０に記載の医療画像処理装置。
  16. 　前記制御部は、前記医療画像に対する前記第２の認識器によるカテゴリ認識結果に基づいて前記複数のカテゴリのカテゴリ優先度を決定し、前記カテゴリ優先度に応じて前記カテゴリ選択メニューにおける前記複数のカテゴリの表示順を変更する請求項１５に記載の医療画像処理装置。
  17. 　前記制御部は、前記分類選択部により前記医療画像のカテゴリが決定されると、前記分類選択部により前記医療画像のカテゴリが決定されたことを示す情報を前記表示部に表示させる請求項１５又は１６に記載の医療画像処理装置。
  18. 　被写体像を含む医療画像を取得するステップと、
    　第１の認識器を使用して前記医療画像の認識を行うステップと、
    　前記第１の認識器による認識結果の確信度を判定するステップと、
    　前記確信度の判定結果に応じて前記第１の認識器よりも認識精度が高い第２の認識器を使用して前記医療画像の認識を行うステップと、
    　を含む医療画像処理方法。
  19. 　前記第１の認識器による前記医療画像の認識結果の確信度が基準値以上の場合には、前記第１の認識器の認識結果を表示部に表示させ、前記第１の認識器による前記医療画像の認識結果の確信度が基準値未満の場合には、前記第２の認識器の認識結果を前記表示部に表示させる請求項１８に記載の医療画像処理方法。
  20. 　被写体像を含む医療画像を取得する機能と、
    　第１の認識器を使用して前記医療画像の認識を行う機能と、
    　前記第１の認識器による認識結果の確信度を判定する機能と、
    　前記確信度の判定結果に応じて前記第１の認識器よりも認識精度が高い第２の認識器を使用して前記医療画像の認識を行う機能と、
    　をコンピュータに実行させる医療画像処理プログラム。
  21. 　前記第１の認識器による前記医療画像の認識結果の確信度が基準値以上の場合には、前記第１の認識器の認識結果を表示部に表示させ、前記第１の認識器による前記医療画像の認識結果の確信度が基準値未満の場合には、前記第２の認識器の認識結果を前記表示部に表示させる請求項２０に記載の医療画像処理プログラム。
PCT/JP2018/026945 2017-09-15 2018-07-18 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム WO2019054045A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019541932A JP6890184B2 (ja) 2017-09-15 2018-07-18 医療画像処理装置及び医療画像処理プログラム
US16/795,541 US11222243B2 (en) 2017-09-15 2020-02-19 Medical image processing device, medical image processing method, and medical image processing program
US17/543,654 US11734820B2 (en) 2017-09-15 2021-12-06 Medical image processing device, medical image processing method, and medical image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017177491 2017-09-15
JP2017-177491 2017-09-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/795,541 Continuation US11222243B2 (en) 2017-09-15 2020-02-19 Medical image processing device, medical image processing method, and medical image processing program

Publications (1)

Publication Number Publication Date
WO2019054045A1 true WO2019054045A1 (ja) 2019-03-21

Family

ID=65722623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026945 WO2019054045A1 (ja) 2017-09-15 2018-07-18 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム

Country Status (3)

Country Link
US (2) US11222243B2 (ja)
JP (1) JP6890184B2 (ja)
WO (1) WO2019054045A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166378A (ja) * 2019-03-28 2020-10-08 京セラ株式会社 疾患推定システム
JP2020175051A (ja) * 2019-04-23 2020-10-29 学校法人慈恵大学 診断支援システム、及び診断支援用プログラム
WO2021152784A1 (ja) * 2020-01-30 2021-08-05 株式会社インキュビット 手術支援システム
WO2021181564A1 (ja) * 2020-03-11 2021-09-16 オリンパス株式会社 処理システム、画像処理方法及び学習方法
JPWO2021205778A1 (ja) * 2020-04-08 2021-10-14
WO2022025151A1 (ja) * 2020-07-30 2022-02-03 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
WO2022163514A1 (ja) * 2021-01-27 2022-08-04 富士フイルム株式会社 医療画像処理装置、方法及びプログラム
JP2022541897A (ja) * 2019-07-16 2022-09-28 ドックボット， インコーポレイテッド 機械学習システムのリアルタイム展開
JPWO2022250031A1 (ja) * 2021-05-24 2022-12-01
WO2023058388A1 (ja) * 2021-10-04 2023-04-13 富士フイルム株式会社 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
WO2023080170A1 (ja) * 2021-11-04 2023-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
WO2023100475A1 (ja) * 2021-11-30 2023-06-08 富士フイルム株式会社 医療画像処理装置及びその作動方法
US11937767B2 (en) 2019-07-18 2024-03-26 Hoya Corporation Endoscope

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427060A (zh) * 2018-10-30 2019-03-05 腾讯科技（深圳）有限公司 一种影像识别的方法、装置、终端设备和医疗系统
EP3660741B1 (en) * 2018-11-29 2022-05-04 Koninklijke Philips N.V. Feature identification in medical imaging
US20220172511A1 (en) * 2019-10-10 2022-06-02 Google Llc Camera Synchronization and Image Tagging For Face Authentication
US11538135B2 (en) * 2020-02-25 2022-12-27 Raytheon Company Automatic multi-image 3D ground control point extraction
KR102505791B1 (ko) * 2021-01-11 2023-03-03 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
CN113011418B (zh) * 2021-02-09 2024-02-23 杭州海康慧影科技有限公司 确定图像中待处理区域的方法、装置、设备
KR102569976B1 (ko) * 2021-04-01 2023-08-23 주식회사 뷰노 의료 영상 처리 방법
TWI832057B (zh) * 2021-05-27 2024-02-11 宏碁股份有限公司 醫療影像判讀方法與系統
TWI825643B (zh) * 2022-03-30 2023-12-11 緯創資通股份有限公司 醫療輔助資訊產生方法與醫療輔助資訊產生系統

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR20080021723A (ko) * 2005-06-02 2008-03-07 더 메디패턴 코포레이션 컴퓨터­보조 검진을 위한 시스템 및 방법
US20090099862A1 (en) * 2007-10-16 2009-04-16 Heuristic Analytics, Llc. System, method and computer program product for providing health care services performance analytics
JPWO2010050333A1 (ja) 2008-10-30 2012-03-29 コニカミノルタエムジー株式会社 情報処理装置
US11664114B2 (en) * 2017-05-25 2023-05-30 Enlitic, Inc. Medical scan assisted review system
JP6719421B2 (ja) * 2017-06-20 2020-07-08 富士フイルム株式会社 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAMADA MASAYOSHI ET AL.: "Development of real-time endoscopic image automatic analysis system for colorectal cancer and precancerous lesion detection utilizing A1 system based on morphological information quantification", JAPANESE JOURNAL OF GASTROENTEROLOGY, vol. 114, 15 September 2017 (2017-09-15), pages A498, ISSN: 0446-6586 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252035B2 (ja) 2019-03-28 2023-04-04 京セラ株式会社 疾患推定システム
JP2020166378A (ja) * 2019-03-28 2020-10-08 京セラ株式会社 疾患推定システム
JP2020175051A (ja) * 2019-04-23 2020-10-29 学校法人慈恵大学 診断支援システム、及び診断支援用プログラム
JP7127779B2 (ja) 2019-04-23 2022-08-30 学校法人慈恵大学 診断支援システム、及び診断支援用プログラム
JP2022541897A (ja) * 2019-07-16 2022-09-28 ドックボット， インコーポレイテッド 機械学習システムのリアルタイム展開
JP7420916B2 (ja) 2019-07-16 2024-01-23 サティスファイ ヘルス インコーポレイテッド 機械学習システムのリアルタイム展開
US11937767B2 (en) 2019-07-18 2024-03-26 Hoya Corporation Endoscope
WO2021152784A1 (ja) * 2020-01-30 2021-08-05 株式会社インキュビット 手術支援システム
JPWO2021153797A1 (ja) * 2020-01-30 2021-08-05
WO2021153797A1 (ja) * 2020-01-30 2021-08-05 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、画像処理装置、及び手術支援システム
JP7153974B2 (ja) 2020-01-30 2022-10-17 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び画像処理装置
JPWO2021181564A1 (ja) * 2020-03-11 2021-09-16
JP7451680B2 (ja) 2020-03-11 2024-03-18 オリンパス株式会社 処理システム、画像処理方法、学習方法及び処理装置
WO2021181564A1 (ja) * 2020-03-11 2021-09-16 オリンパス株式会社 処理システム、画像処理方法及び学習方法
JPWO2021205778A1 (ja) * 2020-04-08 2021-10-14
JP7348386B2 (ja) 2020-04-08 2023-09-20 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
US11954897B2 (en) 2020-04-08 2024-04-09 Fujifilm Corporation Medical image processing system, recognition processing processor device, and operation method of medical image processing system
WO2021205778A1 (ja) * 2020-04-08 2021-10-14 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
JP7194889B2 (ja) 2020-07-30 2022-12-23 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
JP2022069464A (ja) * 2020-07-30 2022-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
JP7031925B1 (ja) * 2020-07-30 2022-03-08 アナウト株式会社 コンピュータプログラム、手術支援装置、及び情報処理方法
WO2022025151A1 (ja) * 2020-07-30 2022-02-03 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
WO2022163514A1 (ja) * 2021-01-27 2022-08-04 富士フイルム株式会社 医療画像処理装置、方法及びプログラム
JP7368922B2 (ja) 2021-05-24 2023-10-25 アナウト株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2022250031A1 (ja) * 2021-05-24 2022-12-01 アナウト株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JPWO2022250031A1 (ja) * 2021-05-24 2022-12-01
WO2023058388A1 (ja) * 2021-10-04 2023-04-13 富士フイルム株式会社 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
WO2023080170A1 (ja) * 2021-11-04 2023-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
JP7311936B1 (ja) * 2021-11-04 2023-07-20 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
WO2023100475A1 (ja) * 2021-11-30 2023-06-08 富士フイルム株式会社 医療画像処理装置及びその作動方法

Also Published As

Publication number Publication date
US20220092362A1 (en) 2022-03-24
JPWO2019054045A1 (ja) 2020-10-29
US11222243B2 (en) 2022-01-11
JP6890184B2 (ja) 2021-06-18
US11734820B2 (en) 2023-08-22
US20200193236A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
JP6890184B2 (ja) 医療画像処理装置及び医療画像処理プログラム
US11600385B2 (en) Medical image processing device, endoscope system, diagnosis support method, and program
JP7308258B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法
US11991478B2 (en) Medical image processing apparatus, medical image processing system, medical image processing method, and program
JP7166430B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
US20210366593A1 (en) Medical image processing apparatus and medical image processing method
US11449988B2 (en) Medical image processing apparatus
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2019130924A1 (ja) 画像処理装置、内視鏡システム、画像処理方法、及びプログラム
CN113498323A (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
JP6840263B2 (ja) 内視鏡システム及びプログラム
WO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
US20200184644A1 (en) Medical image processing device and medical image processing method
WO2019088008A1 (ja) 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
US20210201080A1 (en) Learning data creation apparatus, method, program, and medical image recognition apparatus
US20230206445A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system
US20240205374A1 (en) Medical image processing apparatus, medical image processing system, medical image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18856624

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019541932

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18856624

Country of ref document: EP

Kind code of ref document: A1