WO2022044606A1 - 医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラム - Google Patents

医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラム Download PDF

Info

Publication number
WO2022044606A1
WO2022044606A1 PCT/JP2021/026720 JP2021026720W WO2022044606A1 WO 2022044606 A1 WO2022044606 A1 WO 2022044606A1 JP 2021026720 W JP2021026720 W JP 2021026720W WO 2022044606 A1 WO2022044606 A1 WO 2022044606A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
interest
image processing
medical image
region
Prior art date
Application number
PCT/JP2021/026720
Other languages
English (en)
French (fr)
Inventor
美沙紀 目黒
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21861035.0A priority Critical patent/EP4201301A4/en
Priority to JP2022545530A priority patent/JPWO2022044606A1/ja
Priority to CN202180057349.7A priority patent/CN116234487A/zh
Publication of WO2022044606A1 publication Critical patent/WO2022044606A1/ja
Priority to US18/158,336 priority patent/US20230157768A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Definitions

  • the present invention relates to a medical image processing apparatus, a medical image processing method, an endoscope system, and a medical image processing program.
  • the endoscope system described in Patent Document 1 includes an image acquisition unit that acquires an image of a subject, a recognition unit that performs recognition processing that recognizes the subject using the image, and a discrimination unit that discriminates an operation on the subject. It also includes a setting unit for setting the recognition unit to be valid or invalid using the discrimination result of the discrimination unit, and a notification unit for notifying the valid or invalid state of the recognition unit.
  • One embodiment of the present invention provides a medical image processing apparatus, a medical image processing method, an endoscopic system, and a medical image processing program capable of displaying an area of interest with appropriate discriminating power.
  • the medical image processing apparatus is a medical image processing apparatus including a processor, and the processor recognizes an image acquisition process for acquiring an observation image of a subject and a region of interest from the observation image.
  • the area of interest recognition process, the device information recognition process that recognizes the device information that is the information of the device used for the treatment of the subject from the observed image, and the discriminating power according to the recognition result of the device information in the observed image.
  • a display control process for causing the display device to identify and display the image is performed.
  • the medical image processing apparatus is the treatment state in which the processor is performing treatment on the region of interest by the instrument based on the instrument information in the instrument information recognition process, and preparation for treatment.
  • the treatment state and the pre-treatment state are identified more than the non-treatment state by determining whether the state is a pre-treatment state, a treatment state, or a non-treatment state other than the pre-treatment state. The force is reduced to display the observation image.
  • the processor displays the observation image in the treatment state with a lower discriminating power than in the pretreatment state.
  • the medical image processing apparatus is the device, in which the device is inserted, the type of the inserted device, the length of the insertion, and the device in the device information recognition process.
  • the treated, pre-treated, and untreated states based on the instrument information, including at least one of the operational state, the distance between the instrument and the area of interest, and whether the instrument and the area of interest overlap in the observation image. Determine which is which.
  • the medical image processing apparatus is in any one of the second to fourth aspects, in which the processor observes the frame surrounding the region of interest in the treatment state and / or the pretreatment state in the display control process. Overlay on the image.
  • the medical image processing apparatus is in any one of the second to fifth aspects, in which the processor displays a symbol indicating a region of interest in the observation image in the treatment state and the pretreatment state in the display control processing. Display in superimposition.
  • the medical image processing apparatus is in any one of the second to sixth aspects, in which the processor becomes a part of the region of interest in the observed image in the treatment state and the pre-treatment state in the display control process. At least one of characters, figures, and symbols is superimposed and displayed.
  • the medical image processing apparatus is the region of interest in any one of the second to eighth aspects, in the display control process, in the treated state and the pre-treatment state, as compared with the non-treated state.
  • the observation image is displayed by changing the color and / or brightness of.
  • the endoscope system includes a medical image processing device according to any one of the first to ninth aspects, a display device for displaying an observation image, and an endoscope inserted into a subject.
  • the scope includes an endoscope scope having a photographing unit for photographing an observation image.
  • the medical image processing method includes an image acquisition step of acquiring an observation image of a subject on a computer, an interest region recognition step of recognizing an interest region from the observation image, and a subject from the observation image.
  • the instrument information recognition process for recognizing the instrument information, which is the information of the instrument used for the treatment, and the display for displaying the observation image on the display device in a manner in which the region of interest has discriminating power according to the recognition result of the instrument information. Let the control process be performed.
  • the eleventh aspect and the medical image processing method according to each of the following aspects can also be grasped as an operation method of the medical image processing apparatus.
  • the medical image processing method is the eleventh aspect, in which, in the instrument information recognition step, the treatment state in which the treatment is performed on the region of interest by the instrument based on the instrument information, and the treatment are prepared. It is made to judge whether it is a pre-treatment state, a treatment state, or a non-treatment state which is a state other than the pre-treatment state, and in the display control step, the treatment state and the pre-treatment state have more discriminating power than the non-treatment state.
  • the observed image is displayed on the display device by lowering it.
  • the medical image processing method is the twelfth aspect, in which in the display control step, in the treated state, the discriminating power is lowered as compared with the pre-treatment state, and the observed image is displayed.
  • the medical image processing method is the twelfth or thirteenth aspect, in which the instrument is inserted, the type of the inserted instrument, the length of the insertion, the operating state of the instrument, and the like in the instrument information recognition step. It is either a treated state, a pretreatment state, or a non-treated state based on the device information including at least one of the distance between the device and the area of interest and whether or not the device and the area of interest overlap in the observation image. To judge.
  • the medical image processing program according to the fifteenth aspect causes a computer to execute the medical image processing method according to any one of the eleventh to fourteenth aspects.
  • a non-temporary recording medium on which a computer-readable code of the medical image processing program according to the fifteenth aspect is recorded can also be mentioned as one aspect of the present invention.
  • FIG. 1 is an external view of the endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram showing a main configuration of an endoscope system.
  • FIG. 3 is a functional block diagram of the image processing unit.
  • FIG. 4 is a diagram showing the configuration of a convolutional neural network.
  • FIG. 5 is a diagram showing a state of the convolution process by the filter.
  • FIG. 6 is a flowchart showing the procedure of the medical image processing method according to the first embodiment.
  • FIG. 7 is a diagram showing an example of a screen for setting a definition such as a treatment state.
  • FIG. 8 is a diagram showing an example of a screen for setting an aspect of identification display.
  • FIG. 9 is a diagram showing an example of identification display of a biopsy target range (region of interest).
  • FIG. 1 is an external view of the endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram showing a main configuration of an endoscope system.
  • FIG. 3 is
  • FIG. 10 is a diagram showing an example in which the observed image is displayed with the discriminating power of the region of interest reduced.
  • FIG. 11 is a diagram showing an example of identification display according to the distance between the instrument and the region of interest.
  • FIG. 12 is a diagram showing an example of identification display according to the operating state of the instrument.
  • FIG. 13 is a diagram showing another example of the identification display according to the operating state of the instrument.
  • FIG. 14 is a diagram showing still another example of the identification display according to the operating state of the instrument.
  • FIG. 15 is a diagram showing still another example of the identification display according to the operating state of the instrument.
  • FIG. 1 is an external view of the endoscope system 10 (endoscope system), and FIG. 2 is a block diagram showing a configuration of a main part of the endoscope system 10.
  • the endoscope system 10 includes an endoscope scope 100 (image acquisition unit, endoscope scope), a medical image processing device 200 (medical image processing device, processor, medical image acquisition unit). It is composed of an area of interest recognition unit, an instrument information recognition unit, a display control unit, a recording control unit), a light source device 300 (light source device), and a monitor 400 (display device, display).
  • the endoscope scope 100 includes a hand operation unit 102 and an insertion unit 104 connected to the hand operation unit 102.
  • the operator grips and operates the hand operation unit 102, inserts the insertion unit 104 into the body of the subject (living body), and observes it.
  • the hand operation unit 102 is provided with an air supply / water supply button 141, a suction button 142, a function button 143 to which various functions are assigned, and a shooting button 144 for receiving a shooting instruction operation (still image, moving image). ..
  • the hand operation unit 102 is provided with a scope information recording unit 139 that records individual information (individual information, scope information) of the endoscope scope 100.
  • the individual information includes, for example, the type of the endoscope scope 100 (direct view or side view, etc.), the model, the individual identification number, the characteristics of the optical system (viewing angle, distortion, etc.), and the instrument used for treating the subject (viewing angle, distortion, etc.). Information on treatment tools, etc.).
  • the scope information acquisition unit 230 (scope information acquisition unit, individual information acquisition unit; see FIG. 3) of the image processing unit 204 acquires this individual information and processes it by the medical image processing device 200 (image acquisition processing, area of interest recognition). It is used for processing, instrument information recognition processing, display control processing).
  • the scope information recording unit 139 may be provided in another portion such as inside the light guide connector 108.
  • the insertion portion 104 is composed of a flexible portion 112, a curved portion 114, and a hard tip portion 116 in this order from the hand operation portion 102 side. That is, the curved portion 114 is connected to the proximal end side of the hard tip portion 116, and the flexible portion 112 is connected to the proximal end side of the curved portion 114.
  • the hand operation unit 102 is connected to the base end side of the insertion unit 104. The user can bend the curved portion 114 and change the direction of the hard tip portion 116 up, down, left and right by operating the hand operation portion 102.
  • the hard tip 116 is provided with a photographing optical system 130, an illumination unit 123, a forceps opening 126, and the like (see FIGS. 1 and 2).
  • white light and / or narrow band light red narrow band light, green narrow band light, One or more of blue narrow band light and purple narrow band light
  • white light and / or narrow band light red narrow band light, green narrow band light, One or more of blue narrow band light and purple narrow band light
  • cleaning water is discharged from a water supply nozzle (not shown) to clean the photographing lens 132 (photographing lens, photographing unit) of the photographing optical system 130 and the lighting lenses 123A and 123B. Can be done.
  • a pipe line (not shown) is communicated with the forceps opening 126 opened by the hard tip portion 116, and a treatment tool (not shown) for removing a tumor or the like is inserted into this pipe line, and the patient moves back and forth as appropriate to the subject. You can take the necessary measures.
  • a photographing lens 132 (photographing portion) is arranged on the tip end surface 116A of the tip rigid portion 116.
  • a CMOS (Complementary Metal-Oxide Semiconductor) type image sensor 134 image sensor, image acquisition unit), a drive circuit 136, and an AFE138 (AFE: Analog Front End) are arranged behind the photographing lens 132, and these elements are arranged. Outputs an image signal.
  • the image pickup element 134 is a color image pickup element, and is composed of a plurality of light receiving elements arranged in a matrix (two-dimensional arrangement) in a specific pattern arrangement (Bayer arrangement, X-Transs (registered trademark) arrangement, honeycomb arrangement, etc.).
  • Each pixel of the image sensor 134 includes a microlens, a red (R), green (G), or blue (B) color filter and a photoelectric conversion unit (photodiode or the like).
  • An image sensor in which the image sensor 134, the drive circuit 136, and the AFE 138 are included in one package may be used.
  • the photographing optical system 130 can also generate a color image from pixel signals of three colors of red, green, and blue, and generate an image from a pixel signal of any one or two colors of red, green, and blue. You can also do it.
  • the image sensor 134 may be an XY address type or a CCD (Charge Coupled Device) type.
  • each pixel of the image pickup device 134 may further include a purple color filter corresponding to a purple light source 310V and / or an infrared filter corresponding to an infrared light source.
  • the optical image of the subject is imaged on the light receiving surface (imaging surface) of the image pickup element 134 by the photographing lens 132, converted into an electric signal, and output to the medical image processing apparatus 200 via a signal cable (not shown) to form a video signal. Is converted to.
  • the endoscopic image (observation image, medical image) of the subject is displayed on the screen on the monitor 400 connected to the medical image processing device 200.
  • the illumination lenses 123A and 123B of the illumination portion 123 are provided adjacent to the photographing lens 132.
  • An ejection end of a light guide 170 which will be described later, is arranged behind the illumination lenses 123A and 123B, and the light guide 170 is inserted into an insertion portion 104, a hand operation portion 102, and a universal cable 106, and the light guide 170 is inserted.
  • the incident end is arranged within the light guide connector 108.
  • the user takes an image at a predetermined frame rate while inserting or removing the endoscope scope 100 (insertion unit 104) having the above-described configuration into the living body as the subject (under the control of the medical image acquisition unit 220). By doing so, it is possible to sequentially take time-series images in the living body.
  • the light source device 300 includes a light source 310 for illumination, a diaphragm 330, a condenser lens 340, a light source control unit 350, and the like, and causes observation light to enter the light guide 170.
  • the light source 310 includes a red light source 310R, a green light source 310G, a blue light source 310B, and a purple light source 310V that irradiate narrow-band light of red, green, blue, and purple, respectively, and is narrow in red, green, blue, and purple. It can irradiate band light.
  • the illuminance of the observation light by the light source 310 is controlled by the light source control unit 350, and the illuminance of the observation light can be changed (increased or decreased) and the illumination can be stopped as needed.
  • the light source 310 can emit red, green, blue, and purple narrow band light in any combination.
  • narrow-band light of red, green, blue, and purple can be emitted at the same time to irradiate white light (normal light) as observation light, or one or two of them can be emitted to emit narrow-band light. It is also possible to irradiate light (special light).
  • the light source 310 may further include an infrared light source that irradiates infrared light (an example of narrow band light).
  • white light or narrow band light may be irradiated as observation light by a light source that irradiates white light and a filter that transmits white light and each narrow band light.
  • the light source 310 may be a light source having a white band or a light source having a plurality of wavelength bands as the light having a white band, or a light source having a specific wavelength band narrower than the white wavelength band.
  • the specific wavelength band may be a blue band or a green band in the visible region, or a red band in the visible region.
  • a specific wavelength band is a visible blue band or green band, it includes a wavelength band of 390 nm or more and 450 nm or less, or 530 nm or more and 550 nm or less, and peaks in a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less. It may have a wavelength. Further, when the specific wavelength band is the red band in the visible region, the wavelength band of 585 nm or more and 615 nm or less, or 610 nm or more and 730 nm or less is included, and the light of the specific wavelength band is 585 nm or more and 615 nm or less or 610 nm or more. It may have a peak wavelength in the wavelength band of 730 nm or less.
  • the specific wavelength band includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm, and 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm. It may have a peak wavelength in the following wavelength band.
  • the light generated by the light source 310 may include a wavelength band of 790 nm or more and 820 nm or less, or 905 nm or more and 970 nm or less, and may have a peak wavelength in a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less.
  • the light source 310 may include a light source that irradiates excitation light having a peak of 390 nm or more and 470 nm or less.
  • a medical image medical image, in-vivo image
  • a dye for the fluorescence method fluorestin, acridine orange, etc.
  • the light source type laser light source, xenon light source, LED light source (LED: Light-Emitting Diode), etc.
  • wavelength, presence / absence of filter, etc. of the light source 310 it is preferable to combine and / or switch the wavelength of the observation light according to the type, part, observation purpose, and the like of the subject.
  • switching the wavelength for example, by rotating a disk-shaped filter (rotary color filter) arranged in front of the light source and provided with a filter that transmits or blocks light of a specific wavelength, the wavelength of the irradiated light is switched. May be good.
  • the image pickup element used in carrying out the present invention is not limited to the color image pickup element in which the color filter is arranged for each pixel as in the image pickup element 134, and may be a monochrome image pickup element.
  • the wavelength of the observation light can be sequentially switched to perform surface-sequential (color-sequential) imaging.
  • the wavelength of the emitted observation light may be sequentially switched between (purple, blue, green, red), or a rotary color filter (red, green, blue, purple, etc.) is irradiated with broadband light (white light). You may switch the wavelength of the observation light emitted by.
  • the wavelength of the observation light emitted by the rotary color filter may be switched by irradiating one or a plurality of narrow band lights (green, blue, purple, etc.).
  • the narrow band light may be infrared light having two or more wavelengths (first narrow band light, second narrow band light) having different wavelengths.
  • the observation light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B via the light guide 170, and the illumination lens.
  • the observation range is irradiated from 123A and 123B.
  • the configuration of the medical image processing apparatus 200 will be described with reference to FIG.
  • the medical image processing apparatus 200 inputs an image signal output from the endoscope scope 100 by the image input controller 202, performs necessary image processing by the image processing unit 204 (processor, computer), and outputs the image signal from the video output unit 206. do.
  • the observation image (medical image, endoscopic image, in-vivo image) is displayed on the monitor 400 (display device).
  • These processes are performed under the control of a CPU 210 (CPU: Central Processing Unit, processor, computer).
  • the communication control unit 205 controls communication for acquiring medical images with an in-hospital system (HIS: Hospital Information System), an in-hospital LAN (Local Area Network), and / or an external system or network (not shown). I do.
  • FIG. 3 is a functional block diagram of the image processing unit 204.
  • the image processing unit 204 includes a medical image acquisition unit 220 (medical image acquisition unit), an interest area recognition unit 222 (interest area recognition unit), an instrument information recognition unit 224 (instrument information recognition unit), and a display control unit 226 (display). It includes a control unit), a recording control unit 228 (recording control unit), and a scope information acquisition unit 230 (scope information acquisition unit). The details of the processing using these functions will be described later.
  • the image processing unit 204 uses the above-mentioned functions to recognize a medical image, determine a biopsy state, calculate a feature amount, emphasize or reduce a component in a specific frequency band, and specify a specific target (region of interest, desired). It is possible to perform a process of emphasizing or making inconspicuous blood vessels of depth, etc.).
  • the image processing unit 204 acquires special light having information in a specific wavelength band based on a normal light image obtained by irradiating light in a white band or light in a plurality of wavelength bands as light in the white band. It may be provided with an image acquisition unit.
  • the signal in a specific wavelength band is used for RGB (R: red, G: green, B: blue) or CMY (C: cyan, M: magenta, Y: yellow) color information contained in a normal optical image. It can be obtained by the calculation based on.
  • the image processing unit 204 includes a normal light image obtained by irradiating light in a white band or light in a plurality of wavelength bands as light in the white band, and a special optical image obtained by irradiating light in a specific wavelength band.
  • a feature amount image generation unit that generates a feature amount image by an operation based on at least one of the above may be provided, and a feature amount image as a medical image (medical image) may be acquired and displayed. The above-mentioned processing is performed under the control of the CPU 210.
  • the functions of the respective parts of the image processing unit 204 described above can be realized by using various processors and recording media.
  • the various processors include, for example, a CPU (Central Processing Unit), which is a general-purpose processor that executes software (program) to realize various functions.
  • the various processors described above include programmable logic devices (PLCs) such as GPUs (Graphics Processing Units) and FPGAs (Field Programmable Gate Arrays), which are specialized processors for image processing, whose circuit configurations can be changed after manufacturing.
  • PLCs programmable logic devices
  • GPUs Graphics Processing Units
  • FPGAs Field Programmable Gate Arrays
  • PLD Programmable Logic Device
  • the above-mentioned various processors also include a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each part may be realized by one processor, or may be realized by a plurality of processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example of configuring a plurality of functions with one processor, first, as represented by a computer, one processor is configured by a combination of one or more CPUs and software, and this processor is used as a plurality of functions. There is a form to be realized.
  • SoC System On Chip
  • various functions are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • These electric circuits may be electric circuits that realize the above-mentioned functions by using logical sum, logical product, logical denial, exclusive logical sum, and logical operations combining these.
  • the above-mentioned processor or electric circuit executes software (program), it can be read by a computer of the software (for example, various processors and electric circuits constituting the image processing unit 204, and / or a combination thereof).
  • the code is stored in a non-temporary recording medium such as ROM 211 (ROM: Read Only Memory) or flash memory (not shown), and the computer refers to the software.
  • the software stored in the non-temporary recording medium includes a program for executing the medical image processing method (method of operating the medical image processing device) according to the present invention and data used for executing the program (data related to acquisition of medical images, etc.). Includes data used to define the biopsy state, etc., and to set the mode of identification display, parameters used in the recognition unit, etc.).
  • the code may be recorded on a non-temporary recording medium such as various optical magnetic recording devices or semiconductor memories instead of the ROM 211.
  • a non-temporary recording medium such as various optical magnetic recording devices or semiconductor memories instead of the ROM 211.
  • RAM212 RAM: RandomAccessMemory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the recording unit 207 may be used as a “non-temporary recording medium”.
  • the ROM 211 (ROM: ReadOnlyMemory) is a non-volatile storage element (non-temporary recording medium), and various image processing methods (including the medical image processing method according to the present invention) are used in the CPU 210 and / or image processing.
  • the computer-readable code of the program to be executed by unit 204 (computer) is stored.
  • the RAM 212 (RAM: Random Access Memory) is a storage element for temporary storage during various processes, and can also be used as a buffer for image acquisition.
  • the voice processing unit 209 outputs a message (voice) related to medical image processing, site recognition, notification, etc. from the speaker 209A (notification unit, speaker) under the control of the CPU 210 and the image processing unit 204.
  • the program may be recorded and distributed on an external recording medium (not shown) and installed by the CPU 210 from the recording medium.
  • the program may be stored in a server or the like connected to the network in a state accessible from the outside, downloaded to the ROM 211 by the CPU 210 in response to a request, and installed and executed.
  • the operation unit 208 can be configured by a device such as a keyboard and a mouse (not shown), and the user can instruct the execution of the medical image processing method and conditions necessary for execution (for example, a treatment state described later) via the operation unit 208.
  • Definition and identification display mode can be set.
  • a trained model such as a neural network (a model trained using an image set composed of images of a living body) is used to configure a region of interest recognition unit 222 and an instrument information recognition unit 224.
  • the region of interest recognition unit 222 recognizes the region of interest from the observation image (area of interest recognition processing), and the instrument information recognition unit 224 recognizes the information of the instrument (treatment state, pretreatment state, non-treatment state) from the observation image (instrument). Information recognition processing).
  • the instrument information recognition unit 224 determines whether or not the instrument is inserted, the amount of insertion, the distance between the instrument and the region of interest, and the like from the observation image, and based on the result, the endoscope scope 100 (medical image processing device 200). , It is determined whether the state of the endoscope system 10) is a treated state, a pre-treatment state, or a non-treatment state.
  • the "treatment state”, “pre-treatment state”, and “non-treatment state” are, for example, "a state in which a treatment is actually performed on an area of interest by an instrument (a state in which a user is performing treatment)", respectively.
  • a state in which the user is preparing for treatment such as insertion of an instrument, or a state in which the distance between the instrument and the area of interest is short
  • a state in which no operation for treatment (instrument insertion, etc.) is performed the user performs treatment
  • the state in which the preparation is not made or the state in which the instrument and the area of interest are distant (the state other than the treatment state and the pre-treatment state) ”.
  • the treated state and the pre-treatment state may not be separated, but may be divided into a treated state and a non-treated state.
  • ESD Endoscopic Submucosal Dissection
  • EMR Endoscopic Mucosal Resection
  • FIG. 4 is a diagram showing the configuration of CNN562 (neural network).
  • the CNN 562 has an input layer 562A, an intermediate layer 562B, and an output layer 562C.
  • the input layer 562A inputs an endoscopic image (medical image, observation image) acquired by the medical image acquisition unit 220 and outputs a feature amount.
  • the intermediate layer 562B includes a convolution layer 564 and a pooling layer 565, and the feature amount output by the input layer 562A is input to calculate other feature amounts.
  • These layers have a structure in which a plurality of "nodes" are connected by “edges”, and the weighting factor applied to the input image is associated with the node and the edge and stored in a weighting factor storage unit (not shown). It is remembered. The value of the weighting factor changes as learning progresses.
  • the intermediate layer 562B calculates the feature amount by the convolution calculation and the pooling process.
  • the convolution operation performed in the convolution layer 564 is a process of acquiring a feature map by a convolution operation using a filter, and plays a role of feature extraction such as edge extraction from an image. By the convolution operation using this filter, one channel (one sheet) of "feature map" is generated for one filter. When downscaled by convolution, the size of the "feature map" becomes smaller as each layer is convolved.
  • the pooling process performed in the pooling layer 565 is a process of reducing (or enlarging) the feature map output by the convolution operation to make a new feature map, so that the extracted features are not affected by translation or the like. Plays the role of giving robustness to.
  • the intermediate layer 562B can be composed of one or a plurality of layers that perform these processes.
  • the CNN 562 may be configured without the pooling layer 565.
  • CNN562 may include a fully bonded layer 566 as in the example shown in the part (b) of FIG.
  • the layer structure of the CNN 562 is not limited to the case where the convolution layer 564 and the pooling layer 565 are repeated one by one, and any one layer (for example, the convolution layer 564) may be continuously included.
  • FIG. 5 is a diagram showing a state of the convolution process by the filter shown in FIG.
  • an image set composed of a plurality of medical images (a learning image set during learning, a site recognition image set during site recognition) and a filter F1 are convolved.
  • the operation is performed.
  • the image set is composed of N images (N channels) having an image size of H in the vertical direction and W in the horizontal direction.
  • the images constituting the image set are images of three channels of R (red), G (green), and B (blue).
  • the filter size is 5 ⁇ 5 ⁇ N.
  • the filter F 2 used in the second convolution layer has a filter size of 3 ⁇ 3 ⁇ M, for example, in the case of a filter of size 3 (3 ⁇ 3).
  • the second to nth convolution layers perform a convolution operation using the filters F2 to Fn.
  • the size of the "feature map" in the nth convolution layer is smaller than the size of the "feature map” in the second convolution layer because it is downscaled by the convolution layer or pooling layer up to the previous stage. Is.
  • low-order feature extraction is performed in the convolutional layer near the input side
  • higher-order feature extraction is performed as the intermediate layer 562B approaches the output side. Extraction) is performed.
  • the intermediate layer 562B may include a layer for batch normalization in addition to the convolution layer 564 and the pooling layer 565.
  • the batch normalization process is a process for normalizing the distribution of data in units of mini-batch when learning, and plays a role of advancing learning quickly, reducing dependence on initial values, suppressing overfitting, and the like.
  • the output layer 562C outputs the feature amount calculated by the intermediate layer 562B in a format suitable for site recognition.
  • the output layer 562C may include a fully connected layer.
  • the region of interest recognition process by the region of interest recognition unit 222 and the instrument information recognition process by the instrument information recognition unit 224 may be performed by a common neural network or by a separate neural network.
  • ⁇ Identification display of biopsy target area> When observing a range of diseases using an endoscopic system or the like, it is often the case that a biopsy is performed on an area where the disease is progressing and a pathological examination is performed. At this time, the medical image processing apparatus detects the biopsy target area (area of interest, etc.) and displays the area suitable for the biopsy. However, when performing a biopsy using an instrument (treatment instrument), the doctor knows the biopsy position when the instrument is inserted, and even in that state, the identification display (discrimination power) for the target area is maintained (described later). (See Figure 9), which may interfere with the doctor's biopsy.
  • the instrument information in the observation image is recognized and the biopsy target region (region of interest) has the discriminating power according to the recognition result of the instrument information in the observation image. Then, the display device is made to identify and display.
  • discriminating power means "a user such as a doctor who visually recognizes an observation image can distinguish an area of interest from another area”. The higher the discriminating power, the more clearly the user can clearly distinguish the area of interest from other areas.
  • the "identification display” means that the observed image is displayed in a state where the discriminating power of the region of interest is enhanced. Specifically, as shown in the display example described later, the region of interest itself is emphasized (for example, filled). , Outline display) and information indicating the area of interest (for example, display of a frame surrounding the area of interest, display of figures and symbols indicating the area of interest).
  • FIG. 6 is a flowchart showing the procedure of the medical image processing method (operation method of the medical image processing device) according to the first embodiment. It is assumed that the learning of CNN562 using the learning data has been executed.
  • the image processing unit 204 sets a definition such as a biopsy state according to a user's operation via the operation unit 208 (step S100: definition setting step).
  • the user can perform the setting operation via the screen 700 (displayed on the monitor 400) illustrated in FIG. 7.
  • the screen 700 has areas 702,710, and 720 in which radio buttons and numerical input areas are arranged.
  • the user can set whether or not to make a judgment based on each item by operating the radio button, and can input a numerical value as a judgment criterion for each item.
  • the user turns on the radio button 703A of "instrument insertion XX mm or more" in the area 702 (the area for defining the biopsy state), and inputs a numerical value (10 mm in the example of FIG. 7) in the area 703B to ".
  • the instrument insertion amount is 10 mm or more, it is determined that the biopsy state (treatment state) "can be set.
  • the instrument information recognition unit 224 can determine that "the instrument and the region of interest overlap" when the distance between the instrument and the region of interest is zero or equal to or less than the threshold value in the observation image.
  • the user can set to judge the biopsy state based on the distance between the device and the area of interest and the state of use (operation state) of the device.
  • the instrument is in the used state (operated state) includes, for example, the case where the blade of the forceps is open and the case where the ring of the wire of the snare is contracted (see FIGS. 9 to 15 described later). ). Further, different definitions may be set depending on the type of instrument (forceps, snare, brush, etc.).
  • FIG. 7 shows an example in which the instrument information is divided into three stages of "biopsy state (treatment state)", “biopsy preparation state (pre-treatment state)", and “non-biopsy state (non-treatment state)". However, it may be divided into two stages, a biopsy state and a non-biopsy state.
  • the user can turn on / off such judgment criteria and input numerical values for a plurality of items, and if there are a plurality of items turned on, the instrument information recognition unit 224 (processor) inputs the items to those items.
  • the instrument information recognition unit 224 inputs the items to those items.
  • it can be determined that the patient is in a biopsy state (or a biopsy preparation state or a non-biopsy state).
  • the instrument information recognition unit 224 is "in a biopsy state" when the instrument insertion amount is 10 mm or more, the distance between the instrument and the region of interest is less than 10 mm, and the instrument is in use. You can judge.
  • the display control unit 226 sets the mode of identification display according to the user's operation via the operation unit 208 (step S110: display control step).
  • the user can perform the setting operation via the screen 750 (displayed on the monitor 400) illustrated in FIG.
  • the screen 750 has areas 760, 770, 780 in which radio buttons are arranged. These areas are areas for setting the mode of identification display in the biopsy state, the biopsy preparation state, and the non-biopsy state, respectively, and the user can identify by operating the radio button in each area.
  • the display mode can be set.
  • Radio buttons 760A to 760D are provided in the area 760 for the biopsy state. For example, when the radio button 760A is turned on, the area of interest is outlined by a dotted line in the biopsy state. Similarly, the user can set the mode of identification display in the biopsy preparation state and the non-biopsy state with the radio buttons of the areas 770 and 780.
  • the user can set the mode of identification display such that the discriminating power of the region of interest is lower in the biopsy state and the biopsy preparation state than in the non-biopsy state by operating the radio button or the like described above.
  • the user may set the biopsy state to have lower discriminating power than the biopsy preparation state.
  • the instrument information recognition unit 224 (processor) outputs a warning message when the discriminating power in the biopsy state and the biopsy preparation state is not lower than the discriminating power in the non-biopsy state according to the user's setting.
  • the display mode in the other state may be set in conjunction with each other (in the biopsy state and the biopsy preparation state, the area of interest is higher than in the non-biopsy state. Decreases discernment).
  • the user can set the definition such as the biopsy state and the mode of identification display as needed.
  • the definition of the biopsy state and the setting of the mode of identification display may be performed not only at the start of the medical image processing but also at any time during the processing. Further, the endoscope system 10 may automatically define the biopsy state and the like and set the mode of the identification display without the user's operation.
  • the medical image acquisition unit 220 acquires a time-series endoscopic image (observation image, medical image) (step S120: image acquisition step, image acquisition process).
  • the medical image acquisition unit 220 may acquire an endoscope image taken by the endoscope scope 100, or may acquire an endoscope image recorded by the recording unit 207.
  • the recording control unit 228 can record the acquired endoscopic image in the recording unit 207.
  • the region of interest recognition unit 222 recognizes the region of interest from the observed image by the CNN 562 (step S130: region of interest recognition step, region of interest recognition process). Further, the instrument information recognition unit 224 (processor) CNN562 recognizes the instrument information from the observation image (step S140: instrument information recognition step, instrument information recognition process).
  • the instrument information includes whether the instrument inserted in the conduit that communicates with the forceps opening 126 of the endoscope scope 100 is inserted in the subject, the type of instrument inserted in the subject, and the length of insertion (subject).
  • the region of interest recognition unit 222 and the instrument information recognition unit 224 may refer to the individual information of the endoscope scope 100 in the above recognition.
  • the instrument information recognition unit 224 determines whether or not the biopsy state or the biopsy preparation state is based on the definition set in FIG. 7, the numerical value as a judgment criterion, and the instrument information recognized in step S140 (step).
  • S150 State determination step).
  • the display control unit 226 determines the identification display mode of the biopsy state in the biopsy state according to the mode set in FIG. In the case of the ready state, the identification display mode of the biopsy preparation state is set (step S160: display control step).
  • step S150 the display control unit 226 sets the identification display mode of the non-biopsy state according to the mode set in FIG. 8 (step S170: display control step). If the region of interest is not recognized in the first place, it is not necessary to display the identification.
  • the display control unit 226 causes the display device to identify and display the observation image in such a manner that the region of interest has discriminating power according to the recognition result of the instrument information (step S180: display control step).
  • FIG. 9 is an example of identification display of the biopsy target range (region of interest).
  • the region 830 is a true region of interest (the boundaries of the region 830 are displayed for convenience of explanation; the same applies hereinafter), and the region 850 is recognized by the region of interest recognition unit 222 (CNN562). This is the area of interest (detected).
  • the instrument is not inserted and is in a non-biopsy state (non-use state, non-operation state).
  • the display control unit 226 fills in the area 850 and has a high discriminating power of the area of interest.
  • the doctor's opinion It may be an obstacle. Therefore, in the present embodiment, in the biopsy state and the biopsy preparation state, as illustrated below, the discriminating power of the region of interest is reduced as compared with the non-biopsy state.
  • these identification indications can be similarly performed in the case of treatments other than biopsy (ESD, EMR, etc.).
  • FIG. 10 is a diagram showing an example in which the discriminating power of the region of interest is reduced and the observation image is displayed (a biopsy-prepared state in which the forceps 900, which is an example of an instrument (treatment tool), is inserted).
  • the part (a) in FIG. 10 is an example in which the arrow 852 (symbol) is superimposed and displayed on a part of the region of interest in the observation image 802, and the part (b) in the figure is the region 850 (region of interest) in the observation image 804.
  • the outline is displayed
  • the part (c) in the figure shows an example in which a circular figure 854 (figure) is superimposed and displayed on a part of the region of interest in the observation image 806.
  • the figure to be superimposed and displayed is a medium size (see “Partial display (middle)” in the area 770 of FIG. 8). It should be noted that the superimposed display is not limited to the figures and symbols shown in these examples, but may be characters or numbers. Further, the display control unit 226 may superimpose and display a frame (bounding box or the like) surrounding the region of interest on the observation image. In the biopsy state, the display control unit 226 can reduce the discriminating power of the superimposed display from the biopsy preparation state by reducing the number of characters, numbers, and symbols to be superimposed and making the solid line a dotted line. Further, the display control unit 226 lowers the discriminating power of the region of interest from the biopsy preparation state by changing the color and / or brightness of the region of interest in addition to lowering the discriminating power of the superimposed display in the biopsy state. You may let me.
  • FIG. 11 is a diagram showing an example of identification display according to the distance between the instrument and the image of interest.
  • the distance between the forceps 900 (instrument, treatment tool) and the region of interest (true region of interest 832, region of interest 834 recognized by the region of interest recognition unit 222) in the observation image 808 is long. Therefore, the region of interest 834 is outlined, but in the state shown in the portion (b) of the figure, since the distance between the forceps 900 and the region of interest is short, the ratio of the region of interest is reduced by the circular figure 835 (figure). It is displayed to reduce the discriminating power.
  • the outline of the region of interest 834 is shown by a dotted line, but since this dotted line is a reference line for indicating that the ratio of the region of interest is displayed small, it is actually displayed on the monitor 400. No need to display.
  • FIG. 12 is a diagram showing an example of identification display according to the operating state of the instrument.
  • the forceps 900A is inserted in the observation image 812, but the blade is closed (non-operated state), so that the instrument information recognition unit 224 is “prepared for biopsy”. Can be judged. Therefore, the display control unit 226 fills in and displays the region of interest 836 (the region of interest recognized by the region of interest 222; the true region of interest is the region of interest 832) to enhance the discriminating power.
  • the region of interest 836 the region of interest recognized by the region of interest 222; the true region of interest is the region of interest 832
  • the instrument information recognition unit 224 determines that it is in the “biopsy state”. As a result, the display control unit 226 displays the contour of the region of interest 838 to reduce the discriminating power.
  • FIG. 13 is a diagram showing another example of the identification display according to the operating state of the instrument.
  • the snare 902 instrument, treatment instrument
  • the wire ring 902A is not caught in the region of interest 840 (lesion), so that the instrument information
  • the recognition unit 224 can determine that it is "ready for biopsy". Therefore, the display control unit 226 superimposes and displays the figure 866A (figure) on the region of interest 840 to enhance the discriminating power.
  • the display control unit 226 superimposes and displays the figure 866A (figure) on the region of interest 840 to enhance the discriminating power.
  • the instrument information recognition unit 224 can determine that it is in the “biopsy state”. .. Therefore, the display control unit 226 superimposes and displays a small circular figure 866B (graphic figure) on the region of interest 840, and the discriminating power is lower than the state shown in the portion (a) of the figure.
  • the instrument information recognition unit 224 may determine that "the instrument overlaps the observation area (distance is equal to or less than the threshold value)".
  • FIG. 14 is a diagram showing still another example of the identification display according to the operating state of the instrument.
  • the snare 902 instrument, treatment tool
  • the wire ring 902A is caught in the region of interest 840 (lesion), but the ring 902A is open.
  • the instrument information recognition unit 224 can determine that the device is "ready for biopsy". Therefore, the display control unit 226 superimposes and displays the figure 868A (figure) on the region of interest 840 to enhance the discriminating power.
  • the display control unit 226 superimposes and displays the figure 868A (figure) on the region of interest 840 to enhance the discriminating power.
  • the instrument information recognition unit 224 can determine that it is in the “biopsy state”. Therefore, the display control unit 226 superimposes and displays the arrow 869A (symbol) and the point 869B (figure, symbol) on the region of interest 840, and the discriminating power is lower than the state shown in the portion (a) of the figure.
  • FIG. 15 is a diagram showing still another example of the identification display according to the operating state of the instrument.
  • the instrument information recognition unit 224 can determine that it is "ready for biopsy” and display it.
  • the control unit 226 superimposes and displays the figure 870A (figure) on the region of interest 842 to enhance the discriminating power.
  • the instrument information recognition unit 224 can determine that it is in the “biopsy state”.
  • the display control unit 226 superimposes and displays the arrow 870B (symbol) and the point 870C (figure, symbol) on the region of interest 840, and the discriminating power is lower than the state shown in the portion (a) of the figure.
  • the user can define the biopsy state and the like as necessary.
  • the mode of identification display can be set, the instrument information recognition unit 224 recognizes the instrument information, and the display control unit 226 identifies and displays the observation image based on the recognition result, so that the region of interest is displayed with appropriate discriminating power. can do.
  • Fluorescence is a medical image processing device obtained by irradiating a living body with excitation light having a peak of 390 or more and 470 nm or less.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Endoscopes (AREA)

Abstract

本発明は、関心領域を適切な識別力で表示することができる医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラムを提供することを目的とする。本発明の一の態様に係る医療画像処理装置は、プロセッサを備える医療画像装置であって、プロセッサは、被検体の観察画像を取得する画像取得処理と、観察画像から関心領域を認識する関心領域認識処理と、観察画像から被検体の処置に用いられる器具の情報である器具情報を認識する器具情報認識処理と、観察画像を、関心領域が器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる表示制御処理と、を行う。

Description

医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラム
　本発明は医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラムに関する。
　特許文献１に記載された内視鏡システムは、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える。
ＷＯ２０２０／０３６２２４号公報
　本発明の一つの実施形態は、関心領域を適切な識別力で表示することができる医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラムを提供する。
　本発明の第１の態様に係る医療画像処理装置は、プロセッサを備える医療画像処理装置であって、プロセッサは、被検体の観察画像を取得する画像取得処理と、観察画像から関心領域を認識する関心領域認識処理と、観察画像から被検体の処置に用いられる器具の情報である器具情報を認識する器具情報認識処理と、観察画像を、関心領域が器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる表示制御処理と、を行う。
　第２の態様に係る医療画像処理装置は第１の態様において、プロセッサは、器具情報認識処理において、器具情報に基づいて、器具により関心領域に対し処置が行われている処置状態、処置の準備がされている処置前状態、処置状態及び処置前状態以外の状態である非処置状態のいずれであるかを判断し、表示制御処理において、処置状態及び処置前状態では、非処置状態よりも識別力を低下させて観察画像を表示させる。
　第３の態様に係る医療画像処理装置は第２の態様において、プロセッサは、表示制御処理において、処置状態では、処置前状態よりも識別力を低下させて観察画像を表示させる。
　第４の態様に係る医療画像処理装置は第２または第３の態様において、プロセッサは、器具情報認識処理において、器具が挿入されているか、挿入された器具の種類、挿入の長さ、器具の操作状態、器具と関心領域の距離、観察画像で器具と関心領域が重なっているか否か、のうち少なくとも１つを含む器具情報に基づいて、処置状態、処置前状態、及び非処置状態のうちいずれであるかを判断する。
　第５の態様に係る医療画像処理装置は第２から第４の態様のいずれか１つにおいて、プロセッサは、表示制御処理において、処置状態及び／または処置前状態では、関心領域を囲む枠を観察画像に重畳表示させる。
　第６の態様に係る医療画像処理装置は第２から第５の態様のいずれか１つにおいて、プロセッサは、表示制御処理において、処置状態及び処置前状態では、関心領域を示す記号を観察画像に重畳表示させる。
　第７の態様に係る医療画像処理装置は第２から第６の態様のいずれか１つにおいて、プロセッサは、表示制御処理において、処置状態及び処置前状態では、観察画像において関心領域の一部に文字、図形、記号のうち少なくとも１つを重畳表示させる。
　第８の態様に係る医療画像処理装置は第５から第７の態様のいずれか１つにおいて、プロセッサは、処置状態及び前記処置前状態では、非処置状態と比較して重畳表示の識別力を低下させる。
　第９の態様に係る医療画像処理装置は第２から第８の態様のいずれか１つにおいて、プロセッサは、表示制御処理において、処置状態及び処置前状態では、非処置状態と比較して関心領域の色彩及び／または明るさを変化させて観察画像を表示させる。
　第１０の態様に係る内視鏡システムは、第１から第９の態様のいずれか１つに係る医療画像処理装置と、観察画像を表示する表示装置と、被検体に挿入される内視鏡スコープであって、観察画像を撮影する撮影部を有する内視鏡スコープと、を備える。
　本発明の第１１の態様に係る医療画像処理方法は、コンピュータに、被検体の観察画像を取得する画像取得工程と、観察画像から関心領域を認識する関心領域認識工程と、観察画像から被検体の処置に用いられる器具の情報である器具情報を認識する器具情報認識工程と、観察画像を、関心領域が器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる表示制御工程と、を行わせる。第１１の態様及び以下の各態様に係る医療画像処理方法は、医療画像処理装置の作動方法として把握することもできる。
　第１２の態様に係る医療画像処理方法は第１１の態様において、器具情報認識工程においては、器具情報に基づいて、器具により関心領域に対し処置を行っている処置状態、処置の準備がされている処置前状態、処置状態及び処置前状態以外の状態である非処置状態のいずれであるかを判断させ、表示制御工程においては、処置状態及び処置前状態では、非処置状態よりも識別力を低下させて観察画像を表示装置に表示させる。
　第１３の態様に係る医療画像処理方法は第１２の態様において、表示制御工程においては、処置状態では、処置前状態よりも識別力を低下させて観察画像を表示させる。
　第１４の態様に係る医療画像処理方法は第１２または第１３の態様において、器具情報認識工程では、器具が挿入されているか、挿入された器具の種類、挿入の長さ、器具の操作状態、器具と関心領域の距離、観察画像で器具と関心領域が重なっているか否か、のうち少なくとも１つを含む器具情報に基づいて、処置状態、処置前状態、及び非処置状態のうちいずれであるかを判断する。
　第１５の態様に係る医療画像処理プログラムは第１１から第１４の態様のいずれか１つに係る医療画像処理方法をコンピュータに実行させる。第１５の態様に係る医療画像処理プログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の一態様として挙げることができる。
図１は、第１の実施形態に係る内視鏡システムの外観図である。 図２は、内視鏡システムの要部構成を示すブロック図である。 図３は、画像処理部の機能ブロック図である。 図４は、畳み込みニューラルネットワークの構成を示す図である。 図５は、フィルタによる畳み込み処理の様子を示す図である。 図６は、第１の実施形態に係る医療画像処理方法の手順を示すフローチャートである。 図７は、処置状態等の定義を設定する画面の例を示す図である。 図８は、識別表示の態様を設定する画面の例を示す図である。 図９は、生検ターゲット範囲（関心領域）の識別表示の例を示す図である。 図１０は、関心領域の識別力を低下させて観察画像を表示した例を示す図である。 図１１は、器具と関心領域の距離に応じた識別表示の例を示す図である。 図１２は、器具の操作状態に応じた識別表示の例を示す図である。 図１３は、器具の操作状態に応じた識別表示の他の例を示す図である。 図１４は、器具の操作状態に応じた識別表示のさらに他の例を示す図である。 図１５は、器具の操作状態に応じた識別表示のさらに他の例を示す図である。
　以下、添付図面を参照しつつ、本発明に係る医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラムの実施形態について詳細に説明する。
　＜第１の実施形態＞
　＜内視鏡システムの構成＞
　図１は、内視鏡システム１０（内視鏡システム）の外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡スコープ１００（画像取得部、内視鏡スコープ）、医療画像処理装置２００（医療画像処理装置、プロセッサ、医療画像取得部、関心領域認識部、器具情報認識部、表示制御部、記録制御部）、光源装置３００（光源装置）、及びモニタ４００（表示装置、ディスプレイ）から構成される。
　＜内視鏡スコープの構成＞
　内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。
　手元操作部１０２には、内視鏡スコープ１００の個体情報（個体情報、スコープ情報）を記録するスコープ情報記録部１３９が設けられている。個体情報は、例えば内視鏡スコープ１００のタイプ（直視か側視か、等）、機種、個体識別番号、光学系の特性（視野角、歪み等）、被検体の処置に使用される器具（処置具等）の情報等である。画像処理部２０４のスコープ情報取得部２３０（スコープ情報取得部、個体情報取得部；図３を参照）が、この個体情報を取得し、医療画像処理装置２００による処理（画像取得処理、関心領域認識処理、器具情報認識処理、表示制御処理）に用いられる。なお、スコープ情報記録部１３９はライトガイドコネクタ１０８内等、他の部分に設けられていてもよい。
　挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図１，２参照）。
　観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ、撮影部）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
　図１，２に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮影部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、画像取得部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮像素子１３４、駆動回路１３６、及びＡＦＥ１３８を１つのパッケージに含めたイメージセンサを用いてもよい。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、撮像素子１３４はＸＹアドレス型やＣＣＤ（Charge Coupled Device）型でもよい。また、撮像素子１３４の各画素は紫色光源３１０Ｖに対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
　被検体の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介して医療画像処理装置２００に出力されて映像信号に変換される。これにより、医療画像処理装置２００に接続されたモニタ４００に被写体の内視鏡画像（観察画像、医療画像）が画面表示される。
　また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
　ユーザは、上述した構成の内視鏡スコープ１００（挿入部１０４）を被検体である生体内に挿入または抜去しながら決められたフレームレートで撮影を行う（医療画像取得部２２０の制御により行うことができる）ことにより、生体内の時系列の画像を順次撮影することができる。
　＜光源装置の構成＞
　図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、または下げる）こと、及び照明を停止することができる。
　光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。
　＜光源の波長帯域＞
　光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
　上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医療画像（医用画像、生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。
　光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、部位、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、部位、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
　また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色、紫色等）を照射してロータリカラーフィルタ（緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
　ライトガイドコネクタ１０８（図１，２参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
　＜医療画像処理装置の構成＞
　図２に基づき医療画像処理装置２００の構成を説明する。医療画像処理装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２により入力し、画像処理部２０４（プロセッサ、コンピュータ）で必要な画像処理を行ってビデオ出力部２０６から出力する。これにより、モニタ４００（表示装置）に観察画像（医療画像、内視鏡画像、生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit、プロセッサ、コンピュータ）の制御下で行われる。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／または外部のシステムやネットワークとの間で医療画像の取得等についての通信制御を行う。
　＜画像処理部の機能＞
　図３は画像処理部２０４の機能ブロック図である。画像処理部２０４は、医療画像取得部２２０（医療画像取得部）と、関心領域認識部２２２（関心領域認識部）と、器具情報認識部２２４（器具情報認識部）、表示制御部２２６（表示制御部）と、記録制御部２２８（記録制御部）と、スコープ情報取得部２３０（スコープ情報取得部）と、を備える。これらの機能を用いた処理については、詳細を後述する。
　画像処理部２０４は、上述した機能により、医療画像の認識、生検状態等の判断、特徴量の算出、特定の周波数帯域の成分を強調または低減する処理、特定の対象（関心領域、所望の深さの血管等）を強調または目立たなくする処理を行うことができる。画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって特徴量画像を生成する特徴量画像生成部を備え、医療画像（医用画像）としての特徴量画像を取得及び表示してもよい。なお、上述した処理はＣＰＵ２１０の制御下で行われる。
　＜各種のプロセッサによる機能の実現＞
　上述した画像処理部２０４の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、画像処理部２０４を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ２１１（ＲＯＭ：Read Only Memory）やフラッシュメモリ（不図示）等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る医療画像処理方法（医療画像処理装置の作動方法）を実行するためのプログラム及び実行に際して用いられるデータ（医療画像の取得に関するデータ、生検状態等の定義や識別表示の態様設定に用いられるデータ、認識部で用いられるパラメータ等）を含む。ＲＯＭ２１１ではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ２１２（ＲＡＭ：Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」として記録部２０７を用いてもよい。
　また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、各種の画像処理方法（本発明に係る医療画像処理方法を含む）をＣＰＵ２１０及び／または画像処理部２０４（コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、医療画像処理、部位認識、報知等に関するメッセージ（音声）をスピーカ２０９Ａ（報知部、スピーカ）から出力する。なお、プログラムは、図示しない外部記録媒体に記録されて配布され、その記録媒体からＣＰＵ２１０によりインストールされてもよい。または、プログラムは、ネットワークに接続されたサーバ等に、外部からアクセス可能な状態で記憶され、要求に応じてＣＰＵ２１０によりＲＯＭ２１１にダウンロードされ、インストールおよび実行されてもよい。
　＜操作部＞
　操作部２０８は図示せぬキーボード、マウス等のデバイスにより構成することができ、ユーザは操作部２０８を介して医療画像処理方法の実行指示や実行に必要な条件（例えば、後述する処置状態等の定義や識別表示の態様）の設定を行うことができる。
　＜ニューラルネットワークを用いた認識部＞
　第１の実施形態では、ニューラルネットワーク等の学習済みモデル（生体を撮影した画像から構成される画像セットを用いて学習したモデル）を用いて、関心領域認識部２２２及び器具情報認識部２２４を構成することができる。関心領域認識部２２２は観察画像から関心領域を認識し（関心領域認識処理）、器具情報認識部２２４は観察画像から器具の情報（処置状態、処置前状態、非処置状態）を認識する（器具情報認識処理）。具体的には、器具情報認識部２２４は、観察画像から器具の挿入有無や挿入量、器具と関心領域の距離等を判断し、その結果に基づいて内視鏡スコープ１００（医療画像処理装置２００、内視鏡システム１０）の状態が処置状態、処置前状態、非処置状態のいずれであるかを判断する。なお、「処置状態」、「処置前状態」、「非処置状態」は、例えばそれぞれ「器具により関心領域に対し実際に処置が行われている状態（ユーザが処置を行っている状態）」、「器具挿入等、ユーザが処置の準備をしている状態、または、器具と関心領域の距離が近い状態」、「処置のための操作（器具挿入等）が行われていない状態（ユーザが処置及びその準備をしていない状態）や、器具と関心領域が遠い状態（処置状態及び処置前状態以外の状態）」として把握することができる。処置状態と処置前状態を分けずに、処置状態と非処置前状態に区分してもよい。
　なお、「処置」には生検（病変と疑わしい領域を切り取って病理などの検査に回すこと）の他、ＥＳＤ（Endoscopic Submucosal Dissection；内視鏡的粘膜下層剥離術）やＥＭＲ（Endoscopic Mucosal Resection；内視鏡的粘膜切除術）等の内視鏡的切除も含み、「器具」は生検用の器具の他にＥＳＤやＥＭＲ等に用いられる器具も含む。
　＜認識部の構成の例＞
　以下、ニューラルネットワークとしてＣＮＮ（Convolutional Neural Network）を用いて認識（検出、鑑別等）を行う場合の認識部の構成について説明する。図４はＣＮＮ５６２（ニューラルネットワーク）の構成を示す図である。図４の（ａ）部分に示す例では、ＣＮＮ５６２は、入力層５６２Ａ、中間層５６２Ｂ、及び出力層５６２Ｃを有する。入力層５６２Ａは医療画像取得部２２０が取得した内視鏡画像（医療画像、観察画像）を入力して特徴量を出力する。中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５を含み、入力層５６２Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、入力した画像に適用される重み係数が、ノード及びエッジに関連付けられて、図示せぬ重み係数記憶部に記憶されている。重み係数の値は、学習が進むにつれて変化していく。
　＜中間層における処理＞
　中間層５６２Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層５６４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされる場合は、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層５６５で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層５６２Ｂは、これらの処理を行う１または複数の層により構成することができる。なお、ＣＮＮ５６２はプーリング層５６５なしで構成されていてもよい。
　ＣＮＮ５６２は、図４の（ｂ）部分に示す例のように全結合層５６６を含んでいてもよい。ＣＮＮ５６２の層構成は、畳み込み層５６４とプーリング層５６５とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層５６４）が複数連続して含まれていてもよい。
　図５は、図４に示したフィルタによる畳み込み処理の様子を示す図である。中間層５６２Ｂの最初（１番目）の畳み込み層では、複数の医療画像により構成される画像セット（学習時は学習用画像セット、部位認識時は部位認識用画像セット）とフィルタＦ１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成される。通常光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ１を用いた畳み込み演算により、１つのフィルタＦ１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。
　１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ２～Ｆｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層またはプーリング層によりダウンスケーリングされているからである。
　中間層５６２Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（認識対象の形状、構造等に関する特徴の抽出）が行われる。
　なお、中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。
　出力層５６２Ｃは、中間層５６２Ｂが算出した特徴量を、部位認識に即した形式で出力する。出力層５６２Ｃは全結合層を含んでいてもよい。
　なお、関心領域認識部２２２による関心領域認識処理と器具情報認識部２２４による器具情報認識処理は共通のニューラルネットワークにより行ってもよいし、別個のニューラルネットワークにより行ってもよい。
　＜生検ターゲット領域の識別表示＞
　内視鏡システム等を用いて範囲的な疾患を観察する場合、病状の進行が進んでいる領域を生検し病理検査の対象とすることが多い。この際、医療画像処理装置で生検ターゲット領域（関心領域等）を検出し、生検に適した領域を表示することが行われる。しかし、器具（処置具）を用いて生検する場合、器具を挿入した時点で医師は生検位置を把握しており、その状態でもターゲット領域に対する識別表示（識別力）を維持すると（後述する図９を参照）、医師の生検を妨げる恐れがある。そこで本発明では、以下に詳細を説明するように、観察画像における器具情報を認識して、観察画像を、生検ターゲット領域（関心領域）が器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる。
　なお、本発明において「識別力」とは、「観察画像を視認した医師等のユーザが、関心領域を他の領域と識別できること」を意味する。ユーザは、識別力が高いほど、関心領域を他の領域と明確に識別することができる。また、「識別表示」とは関心領域の識別力を高めた状態で観察画像を表示することを意味し、具体的には、後述する表示例で示すように、関心領域自体の強調（例えば塗りつぶし、輪郭表示）や関心領域を示す情報（例えば関心領域を囲む枠の表示、関心領域を示す図形や記号の表示）が含まれる。
　＜医療画像処理方法の各処理＞
　図６は、第１の実施形態に係る医療画像処理方法（医療画像処理装置の作動方法）の手順を示すフローチャートである。なお、学習用データを用いたＣＮＮ５６２の学習を実行済みであるものとする。
　＜生検状態等の定義＞
　画像処理部２０４は、操作部２０８を介したユーザの操作に応じて生検状態等の定義を設定する（ステップＳ１００：定義設定工程）。ユーザは、図７に例示する画面７００（モニタ４００に表示される）を介して設定操作を行うことができる。
　画面７００は、ラジオボタン及び数値入力領域が配置された領域７０２，７１０，７２０を有する。ユーザは、ラジオボタンを操作することにより各項目による判断を行うか否かを設定することができ、また、各項目の判断基準となる数値を入力することができる。例えば、ユーザは領域７０２（生検状態の定義をする領域）において「器具挿入ＸＸｍｍ以上」のラジオボタン７０３Ａをオンにし、領域７０３Ｂに数値（図７の例では１０ｍｍ）を入力することにより、「器具挿入量が１０ｍｍ以上である場合に、生検状態（処置状態）と判断する」ことを設定することができる。なお、器具情報認識部２２４は、観察画像で器具と関心領域の距離がゼロ、あるいはしきい値以下の場合に「器具と関心領域が重なっている」と判断することができる。
　同様に、ユーザは器具と関心領域の距離、及び器具の使用状態（操作状態）により生検状態を判断することを設定できる。なお、「器具が使用状態（操作状態）である」には、例えば鉗子の刃が開いている場合や、スネアのワイヤーの環が縮んでいる場合が含まれる（後述する図９～１５を参照）。また、器具の種類（鉗子、スネア、ブラシ等）に応じて異なる定義を設定してもよい。
　ユーザは、生検状態（領域７０２）、生検準備状態（領域７１０）、及び非生検状態（領域７２０）についてこのような操作を行うことができる。なお、図７では器具情報を「生検状態（処置状態）」、「生検準備状態（処置前状態）」、「非生検状態（非処置状態）」の３段階に分ける例を示しているが、生検状態と非生検状態の２段階に分けてもよい。
　ユーザは、このような判断基準のオン／オフや数値の入力を複数の項目について行うことができ、オンにした項目が複数ある場合は、器具情報認識部２２４（プロセッサ）は、それらの項目に対応する条件が全て満たされた場合に「生検状態（あるいは、生検準備状態、非生検状態）である」と判断することができる。図７の例では、器具情報認識部２２４は、器具挿入量が１０ｍｍ以上であり、器具と関心領域の距離が１０ｍｍ未満であり、器具が使用状態である場合に「生検状態である」と判断することができる。
　＜識別表示の態様設定＞
　表示制御部２２６（プロセッサ）は、操作部２０８を介したユーザの操作に応じて識別表示の態様を設定する（ステップＳ１１０：表示制御工程）。ユーザは、図８に例示する画面７５０（モニタ４００に表示される）を介して設定操作を行うことができる。
　図８に示すように、画面７５０は、ラジオボタンが配置された領域７６０，７７０，７８０を有する。これらの領域は、それぞれ、生検状態、生検準備状態、及び非生検状態での識別表示の態様を設定するための領域であり、ユーザは、各領域でラジオボタンを操作することにより識別表示の態様を設定することができる。生検状態についての領域７６０にはラジオボタン７６０Ａ～７６０Ｄが設けられており、例えばラジオボタン７６０Ａをオンにすると、生検状態において関心領域は点線で輪郭表示される。同様に、ユーザは領域７７０，７８０のラジオボタンで生検準備状態、非生検状態での識別表示の態様を設定することができる。
　ユーザは上述したラジオボタン等の操作により、生検状態及び生検準備状態では非生検状態よりも関心領域の識別力が低下するような識別表示の態様を設定することができる。また、ユーザは、生検状態では生検準備状態よりも識別力が低下するように設定してもよい。器具情報認識部２２４（プロセッサ）は、ユーザの設定では生検状態及び生検準備状態での識別力が非生検状態での識別力よりも低下していない場合に警告のメッセージを出力してもよいし、いずれかの状態で表示態様が設定されたら他の状態での表示態様を連動して設定してもよい（生検状態及び生検準備状態では非生検状態よりも関心領域の識別力を低下させる）。
　このように、内視鏡システム１０（内視鏡システム）では、ユーザは必要に応じて生検状態等の定義及び識別表示の態様を設定できる。なお、生検状態等の定義及び識別表示の態様の設定は医療画像処理の開始時だけでなく、処理の間に任意のタイミングで行って良い。さらに、生検状態等の定義及び識別表示の態様の設定を、ユーザの操作によらずに内視鏡システム１０が自動的に行ってもよい。
　＜内視鏡画像の取得＞
　医療画像取得部２２０（プロセッサ）は、時系列の内視鏡画像（観察画像、医療画像）を取得する（ステップＳ１２０：画像取得工程、画像取得処理）。医療画像取得部２２０は、内視鏡スコープ１００で撮影された内視鏡画像を取得してもよいし、記録部２０７に記録された内視鏡画像を取得してもよい。記録制御部２２８は、取得した内視鏡画像を記録部２０７に記録することができる。
　＜関心領域及び器具情報の認識＞
　関心領域認識部２２２（プロセッサ）は、ＣＮＮ５６２により、観察画像から関心領域を認識する（ステップＳ１３０：関心領域認識工程、関心領域認識処理）。また、器具情報認識部２２４（プロセッサ）ＣＮＮ５６２により、観察画像から器具情報を認識する（ステップＳ１４０：器具情報認識工程、器具情報認識処理）。器具情報は、内視鏡スコープ１００の鉗子口１２６に連通する管路に挿通された器具が被検体内に挿入されているか、被検体内に挿入された器具の種類、挿入の長さ（被検体内に挿入されている器具の長さ）、被検体内に挿入されている器具の操作状態、被検体内に挿入されている器具と関心領域の距離、観察画像で器具と関心領域が重なっているか否か、のうち少なくとも１つを含む。関心領域認識部２２２及び器具情報認識部２２４は、上述の認識において内視鏡スコープ１００の個体情報を参照してもよい。
　＜生検状態等の判断＞
　器具情報認識部２２４は、図７で設定した定義及び判断基準となる数値、及びステップＳ１４０で認識した器具情報に基づいて、生検状態または生検準備状態であるか否かを判断する（ステップＳ１５０：状態判断工程）。生検状態または生検準備状態である場合（ステップＳ１５０でＹＥＳ）、表示制御部２２６は、図８で設定した態様にしたがって、生検状態の場合は生検状態の識別表示態様を、生検準備状態の場合は生検準備状態の識別表示態様を設定する（ステップＳ１６０：表示制御工程）。非生検状態である場合（ステップＳ１５０でＮＯ）は、表示制御部２２６は、図８で設定した態様にしたがって非生検状態の識別表示態様を設定する（ステップＳ１７０：表示制御工程）。なお、そもそも関心領域が認識されていない場合は、識別表示を行う必要がない。
　＜観察画像の識別表示＞
　表示制御部２２６（プロセッサ）は、観察画像を、関心領域が器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる（ステップＳ１８０：表示制御工程）。
　図９は、生検ターゲット範囲（関心領域）の識別表示の例である。同図に示す観察画像８００において、領域８３０は真の関心領域であり（領域８３０の境界は説明の便宜上表示したものである；以下同様）、領域８５０は関心領域認識部２２２（ＣＮＮ５６２）が認識（検出）した関心領域である。同図に示す状態では器具は挿入されておらず、非生検状態（非使用状態、非操作状態）である。同図において表示制御部２２６は領域８５０を塗りつぶし表示しており、関心領域の識別力が高いが、上述のように、生検状態や生検準備状態でもこのような識別表示が継続すると医師の妨げとなる恐れがある。そこで本実施形態では、生検状態及び生検準備状態において、以下に例示するように非生検状態よりも関心領域の識別力を低下させた識別表示を行う。なお、これらの識別表示は、生検以外の処置（ＥＳＤやＥＭＲ等）の場合も同様に行うことができる。
　（表示例：その１）
　図１０は、関心領域の識別力を低下させて観察画像を表示した例を示す図（器具（処置具）の一例である鉗子９００が挿入された生検準備状態）である。図１０の（ａ）部分は観察画像８０２において関心領域の一部に矢印８５２（記号）を重畳表示させた例であり、同図の（ｂ）部分は観察画像８０４において領域８５０（関心領域）を輪郭表示した例であり、同図の（ｃ）部分は観察画像８０６において関心領域の一部に円形の図形８５４（図形）を重畳表示した例を示す。重畳表示する図形は、中サイズ（図８の領域７７０の「一部表示（中）」を参照）である。なお、重畳表示するのは、これらの例に示す図形や記号に限らず文字や数字でもよい。また、表示制御部２２６は、関心領域を囲む枠（バウンディングボックス等）を観察画像に重畳表示してもよい。表示制御部２２６は、生検状態では、重畳表示する文字や数字、記号の数を減らす、実線を点線にする、等により重畳表示の識別力を生検準備状態より低下させることができる。また、表示制御部２２６は、生検状態においては重畳表示の識別力を低下させる他に関心領域の色彩及び／または明るさを変化させる、等により生検準備状態より関心領域の識別力を低下させてもよい。
　（表示例：その２）
　図１１は器具と関心画像との距離に応じた識別表示の例を示す図である。図１１の（ａ）部分に示す状態では、観察画像８０８において鉗子９００（器具、処置具）と関心領域（真の関心領域８３２，関心領域認識部２２２が認識した関心領域８３４）の距離が遠いので、関心領域８３４は輪郭表示されているが、同図の（ｂ）部分に示す状態では、鉗子９００と関心領域の距離が近いので、円形の図形８３５（図形）により関心領域の割合を小さく表示して識別力を低下させている。なお、図１１の（ｂ）部分では関心領域８３４の輪郭を点線で示しているが、この点線は関心領域の割合を小さく表示していることを示すための参考線なので、実際にモニタ４００に表示する必要はない。
　（表示例：その３）
　図１２は器具の操作状態に応じた識別表示の例を示す図である。図１２の（ａ）部分に示す状態では、観察画像８１２において鉗子９００Ａが挿入されているが刃が閉じている（非操作状態）ので、器具情報認識部２２４は「生検準備状態である」と判断することができる。そこで、表示制御部２２６は関心領域８３６（関心領域認識部２２２が認識した関心領域；真の関心領域は、関心領域８３２である）を塗りつぶし表示して識別力を高めている。これに対し、図１２の（ｂ）部分に示す状態では観察画像８１４において鉗子９００Ｂの刃が開いている（操作状態）ので、器具情報認識部２２４は「生検状態である」と判断することができ、これにより表示制御部２２６は関心領域８３８を輪郭表示にして識別力を低下させている。
　（表示例：その４）
　図１３は器具の操作状態に応じた識別表示の他の例を示す図である。図１３の（ａ）部分に示す状態では、観察画像８１６においてスネア９０２（器具、処置具）が挿入されているが、ワイヤーの輪９０２Ａが関心領域８４０（病変）に引っかかっていないため、器具情報認識部２２４は「生検準備状態である」と判断することができる。そこで、表示制御部２２６は関心領域８４０に図形８６６Ａ（図形）を重畳表示して識別力を高めている。これに対し、図１３の（ｂ）部分に示す状態では、観察画像８１８において輪９０２Ａが関心領域に引っかかりはじめているため、器具情報認識部２２４は「生検状態である」と判断することができる。そこで、表示制御部２２６は関心領域８４０に小さな円形の図形８６６Ｂ（図形）を重畳表示して、同図の（ａ）部分に示す状態よりも識別力を低下させている。
　なお、図１３の（ｂ）部分に示す状態において、器具情報認識部２２４は「器具が観察領域に重なっている（距離がしきい値以下である）」と判断してもよい。
　（表示例：その５）
　図１４は、器具の操作状態に応じた識別表示のさらに他の例を示す図である。図１４の（ａ）部分に示す状態では、観察画像８２０においてスネア９０２（器具、処置具）が挿入されておりワイヤーの輪９０２Ａが関心領域８４０（病変）に引っかかっているが、輪９０２Ａが開いた状態なので、器具情報認識部２２４は「生検準備状態である」と判断することができる。そこで、表示制御部２２６は関心領域８４０に図形８６８Ａ（図形）を重畳表示して識別力を高めている。これに対し、図１４の（ｂ）部分に示す状態では、観察画像８２２において輪９０２Ａが閉じかけているため、器具情報認識部２２４は「生検状態である」と判断することができる。そこで、表示制御部２２６は関心領域８４０に矢印８６９Ａ（記号）及び点８６９Ｂ（図形、記号）を重畳表示して、同図の（ａ）部分に示す状態よりも識別力を低下させている。
　（表示例：その６）
　図１５は、器具の操作状態に応じた識別表示のさらに他の例を示す図である。図１５の（ａ）部分に示す状態では、観察画像８２４においてブラシ９０４（器具）が関心領域８４２から遠いため器具情報認識部２２４は「生検準備状態である」と判断することができ、表示制御部２２６は関心領域８４２に図形８７０Ａ（図形）を重畳表示して識別力を高めている。これに対し、図１５の（ｂ）部分に示す状態では、観察画像８２６においてブラシ９０４が関心領域８４２に近いため、器具情報認識部２２４は「生検状態である」と判断することができ、表示制御部２２６は関心領域８４０に矢印８７０Ｂ（記号）及び点８７０Ｃ（図形、記号）を重畳表示して、同図の（ａ）部分に示す状態よりも識別力を低下させている。
　なお、上述した表示例において、表示制御部２２６は非生検状態と比較して塗りつぶし、輪郭、記号等の色彩及び／または明るさを変化させることにより生検状態、生検準備状態の識別力を低下させてもよい。
　ＣＰＵ２１０及び画像処理部２０４は、観察が終了するまで（ステップＳ１９０でＮＯの間）、ステップＳ１２０～Ｓ１８０の処理を繰り返す。
　以上説明したように、第１の実施形態に係る医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラムによれば、ユーザは必要に応じて生検状態等の定義及び識別表示の態様を設定でき、器具情報認識部２２４が器具の情報を認識し、表示制御部２２６が認識結果に基づいて観察画像の識別表示を行うことにより、関心領域を適切な識別力で表示することができる。
　（付記）
　上述した態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
　（付記１）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　（付記２）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　（付記３）
　医療画像解析結果取得部は、
　医療画像の解析結果を記録する記録装置から取得し、
　解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
　（付記４）
　医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
　（付記５）
　医療画像は、特定の波長帯域の光を照射して得た画像であり、
　特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
　（付記６）
　特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
　（付記７）
　特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記８）
　特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
　（付記９）
　特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記１０）
　特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
　（付記１１）
　特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１２）
　医療画像は生体内を写した生体内画像であり、
　生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
　（付記１３）
　蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
　（付記１４）
　医療画像は生体内を写した生体内画像であり、
　特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
　（付記１５）
　特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１６）
　医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
　医療画像は特殊光画像である医療画像処理装置。
　（付記１７）
　特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
　（付記１８）
　白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
　医療画像は特徴量画像である医療画像処理装置。
　（付記１９）
　付記１から１８のいずれか１つに記載の医療画像処理装置と、
　白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
　を備える内視鏡装置。
　（付記２０）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
　（付記２１）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
　以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０　　　内視鏡システム
１００　　内視鏡スコープ
１０２　　手元操作部
１０４　　挿入部
１０６　　ユニバーサルケーブル
１０８　　ライトガイドコネクタ
１１２　　軟性部
１１４　　湾曲部
１１６　　先端硬質部
１１６Ａ　先端側端面
１２３　　照明部
１２３Ａ　照明用レンズ
１２３Ｂ　照明用レンズ
１２６　　鉗子口
１３０　　撮影光学系
１３２　　撮影レンズ
１３４　　撮像素子
１３６　　駆動回路
１３８　　ＡＦＥ
１３９　　スコープ情報記録部
１４１　　送気送水ボタン
１４２　　吸引ボタン
１４３　　機能ボタン
１４４　　撮影ボタン
１７０　　ライトガイド
２００　　医療画像処理装置
２０２　　画像入力コントローラ
２０４　　画像処理部
２０５　　通信制御部
２０６　　ビデオ出力部
２０７　　記録部
２０８　　操作部
２０９　　音声処理部
２０９Ａ　スピーカ
２１０　　ＣＰＵ
２１１　　ＲＯＭ
２１２　　ＲＡＭ
２２０　　医療画像取得部
２２２　　関心領域認識部
２２４　　器具情報認識部
２２６　　表示制御部
２２８　　記録制御部
２３０　　スコープ情報取得部
３００　　光源装置
３１０　　光源
３１０Ｂ　青色光源
３１０Ｇ　緑色光源
３１０Ｒ　赤色光源
３１０Ｖ　紫色光源
３３０　　絞り
３４０　　集光レンズ
３５０　　光源制御部
４００　　モニタ
５６２Ａ　入力層
５６２Ｂ　中間層
５６２Ｃ　出力層
５６４　　畳み込み層
５６５　　プーリング層
５６６　　全結合層
７００　　画面
７０２　　領域
７０３Ａ　ラジオボタン
７０３Ｂ　領域
７１０　　領域
７２０　　領域
７５０　　画面
７６０　　領域
７６０Ａ　ラジオボタン
７６０Ｂ　ラジオボタン
７６０Ｃ　ラジオボタン
７６０Ｄ　ラジオボタン
７７０　　領域
７８０　　領域
８００　　観察画像
８０２　　観察画像
８０４　　観察画像
８０６　　観察画像
８０８　　観察画像
８１２　　観察画像
８１４　　観察画像
８１６　　観察画像
８１８　　観察画像
８２２　　観察画像
８２６　　観察画像
８３０　　領域
８３２　　関心領域
８３４　　関心領域
８３５　　図形
８３６　　関心領域
８３８　　関心領域
８４０　　関心領域
８４２　　関心領域
８５０　領域
８５２　　矢印
８５４　　図形
８６６Ａ　図形
８６６Ｂ　図形
８６８Ａ　図形
８６９Ａ　矢印
８６９Ｂ　点
８７０Ａ　図形
８７０Ｂ　矢印
８７０Ｃ　点
９００　　鉗子
９００Ａ　鉗子
９００Ｂ　鉗子
９０２　　スネア
９０２Ａ　輪
９０４　　ブラシ
Ｆ１　　　フィルタ
Ｆ２　　　フィルタ
Ｓ１００～Ｓ１９０　医療画像処理方法の各ステップ

Claims (15)

  1. 　プロセッサを備える医療画像処理装置であって、
    　前記プロセッサは、
    　被検体の観察画像を取得する画像取得処理と、
    　前記観察画像から関心領域を認識する関心領域認識処理と、
    　前記観察画像から前記被検体の処置に用いられる器具の情報である器具情報を認識する器具情報認識処理と、
    　前記観察画像を、前記関心領域が前記器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる表示制御処理と、
    　を行う医療画像処理装置。
  2. 　前記プロセッサは、
    　前記器具情報認識処理において、前記器具情報に基づいて、前記器具により前記関心領域に対し処置が行われている処置状態、前記処置の準備がされている処置前状態、前記処置状態及び前記処置前状態以外の状態である非処置状態のいずれであるかを判断し、
    　前記表示制御処理において、前記処置状態及び前記処置前状態では、前記非処置状態よりも前記識別力を低下させて前記観察画像を表示させる請求項１に記載の医療画像処理装置。
  3. 　前記プロセッサは、
    　前記表示制御処理において、前記処置状態では、前記処置前状態よりも前記識別力を低下させて前記観察画像を表示させる請求項２に記載の医療画像処理装置。
  4. 　前記プロセッサは、
    　前記器具情報認識処理において、前記器具が挿入されているか、挿入された前記器具の種類、前記挿入の長さ、前記器具の操作状態、前記器具と前記関心領域の距離、前記観察画像で前記器具と前記関心領域が重なっているか否か、のうち少なくとも１つを含む前記器具情報に基づいて、前記処置状態、前記処置前状態、及び前記非処置状態のうちいずれであるかを判断する請求項２または３に記載の医療画像処理装置。
  5. 　前記プロセッサは、
    　前記表示制御処理において、前記処置状態及び／または前記処置前状態では、前記関心領域を囲む枠を前記観察画像に重畳表示させる請求項２から４のいずれか１項に記載の医療画像処理装置。
  6. 　前記プロセッサは、
    　前記表示制御処理において、前記処置状態及び前記処置前状態では、前記関心領域を示す記号を前記観察画像に重畳表示させる請求項２から５のいずれか１項に記載の医療画像処理装置。
  7. 　前記プロセッサは、
    　前記表示制御処理において、前記処置状態及び前記処置前状態では、前記観察画像において前記関心領域の一部に文字、図形、記号のうち少なくとも１つを重畳表示させる請求項２から６のいずれか１項に記載の医療画像処理装置。
  8. 　前記プロセッサは、
    　前記処置状態及び前記処置前状態では、前記非処置状態と比較して前記重畳表示の識別力を低下させる請求項５から７のいずれか１項に記載の医療画像処理装置。
  9. 　前記プロセッサは、
    　前記表示制御処理において、前記処置状態及び前記処置前状態では、前記非処置状態と比較して前記関心領域の色彩及び／または明るさを変化させて前記観察画像を表示させる請求項２から８のいずれか１項に記載の医療画像処理装置。
  10. 　請求項１から９のいずれか１項に記載の医療画像処理装置と、
    　前記観察画像を表示する前記表示装置と、
    　前記被検体に挿入される内視鏡スコープであって、前記観察画像を撮影する撮影部を有する内視鏡スコープと、
    　を備える内視鏡システム。
  11. 　コンピュータに、
    　被検体の観察画像を取得する画像取得工程と、
    　前記観察画像から関心領域を認識する関心領域認識工程と、
    　前記観察画像から前記被検体の処置に用いられる器具の情報である器具情報を認識する器具情報認識工程と、
    　前記観察画像を、前記関心領域が前記情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる表示制御工程と、
    　を行わせる医療画像処理方法。
  12. 　前記器具情報認識工程においては、前記器具情報に基づいて、前記器具により前記関心領域に対し処置が行われている処置状態、前記処置の準備がされている処置前状態、前記処置状態及び前記処置前状態以外の状態である非処置状態のいずれであるかを判断させ、
    　前記表示制御工程においては、前記処置状態及び前記処置前状態では、前記非処置状態
    よりも前記識別力を低下させて前記観察画像を前記表示装置に表示させる請求項１１に記載の医療画像処理方法。
  13. 　前記表示制御工程においては、前記処置状態では、前記処置前状態よりも前記識別力を低下させて前記観察画像を表示させる請求項１２に記載の医療画像処理方法。
  14. 　前記器具情報認識工程では、前記器具が挿入されているか、挿入された前記器具の種類、前記挿入の長さ、前記器具の操作状態、前記器具と前記関心領域の距離、前記観察画像
    で前記器具と前記関心領域が重なっているか否か、のうち少なくとも１つを含む前記器具情報に基づいて、前記処置状態、前記処置前状態、及び前記非処置状態のうちいずれであるかを判断する請求項１２または１３に記載の医療画像処理方法。
  15. 　請求項１１から１４のいずれか１つに記載の医療画像処理方法をコンピュータに実行させる医療画像処理プログラム。
PCT/JP2021/026720 2020-08-24 2021-07-16 医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラム WO2022044606A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21861035.0A EP4201301A4 (en) 2020-08-24 2021-07-16 DEVICE FOR PROCESSING MEDICAL IMAGES, METHOD FOR PROCESSING MEDICAL IMAGES, ENDOSCOPE SYSTEM AND PROGRAM FOR PROCESSING MEDICAL IMAGES
JP2022545530A JPWO2022044606A1 (ja) 2020-08-24 2021-07-16
CN202180057349.7A CN116234487A (zh) 2020-08-24 2021-07-16 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序
US18/158,336 US20230157768A1 (en) 2020-08-24 2023-01-23 Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-140943 2020-08-24
JP2020140943 2020-08-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/158,336 Continuation US20230157768A1 (en) 2020-08-24 2023-01-23 Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program

Publications (1)

Publication Number Publication Date
WO2022044606A1 true WO2022044606A1 (ja) 2022-03-03

Family

ID=80355025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026720 WO2022044606A1 (ja) 2020-08-24 2021-07-16 医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラム

Country Status (5)

Country Link
US (1) US20230157768A1 (ja)
EP (1) EP4201301A4 (ja)
JP (1) JPWO2022044606A1 (ja)
CN (1) CN116234487A (ja)
WO (1) WO2022044606A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115265620A (zh) * 2022-09-28 2022-11-01 明度智云(浙江)科技有限公司 一种仪器显示数据的获取录入方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016064281A (ja) * 2015-12-25 2016-04-28 オリンパス株式会社 内視鏡装置
WO2020036224A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
US20200188033A1 (en) * 2018-12-13 2020-06-18 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6174676B2 (ja) * 2012-04-19 2017-08-02 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 術前及び術中３ｄ画像を用いて内視鏡を手動操作するガイダンスツール及びガイド下内視鏡ナビゲーションのための装置の作動方法
WO2018179986A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019079126A1 (en) * 2017-10-17 2019-04-25 Verily Life Sciences Llc DISPLAYING PREOPERATIVE AND INTRA-OPERATIVE IMAGES

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016064281A (ja) * 2015-12-25 2016-04-28 オリンパス株式会社 内視鏡装置
WO2020036224A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
US20200188033A1 (en) * 2018-12-13 2020-06-18 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4201301A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115265620A (zh) * 2022-09-28 2022-11-01 明度智云(浙江)科技有限公司 一种仪器显示数据的获取录入方法、装置和存储介质
CN115265620B (zh) * 2022-09-28 2023-01-17 明度智云(浙江)科技有限公司 一种仪器显示数据的获取录入方法、装置和存储介质

Also Published As

Publication number Publication date
EP4201301A4 (en) 2024-02-21
CN116234487A (zh) 2023-06-06
US20230157768A1 (en) 2023-05-25
EP4201301A1 (en) 2023-06-28
JPWO2022044606A1 (ja) 2022-03-03

Similar Documents

Publication Publication Date Title
JP7430287B2 (ja) 医用画像処理装置及び内視鏡システム
JP7038641B2 (ja) 医療診断支援装置、内視鏡システム、及び作動方法
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP7062068B2 (ja) 画像処理方法及び画像処理装置
JP7048732B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2021086350A (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
WO2021029292A1 (ja) 画像診断支援装置、内視鏡システム、画像診断支援方法、及び画像診断支援プログラム
WO2021149552A1 (ja) 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP7125499B2 (ja) 画像処理装置及び画像処理方法
WO2022044606A1 (ja) 医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラム
JP2020141995A (ja) 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置
WO2019167623A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2021029293A1 (ja) 医用画像処理装置、内視鏡システム、及び医用画像処理方法
WO2022181748A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2021153471A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム
WO2022054400A1 (ja) 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
WO2022064901A1 (ja) 学習済みモデル変換方法、推論方法、学習済みモデル変換装置、学習済みモデル、及び推論装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861035

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022545530

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021861035

Country of ref document: EP

Effective date: 20230324