WO2021201272A1 - 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム - Google Patents

医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム Download PDF

Info

Publication number
WO2021201272A1
WO2021201272A1 PCT/JP2021/014299 JP2021014299W WO2021201272A1 WO 2021201272 A1 WO2021201272 A1 WO 2021201272A1 JP 2021014299 W JP2021014299 W JP 2021014299W WO 2021201272 A1 WO2021201272 A1 WO 2021201272A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
highlighting
image processing
visibility
image
Prior art date
Application number
PCT/JP2021/014299
Other languages
English (en)
French (fr)
Inventor
麻依子 遠藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21780377.4A priority Critical patent/EP4129152A4/en
Priority to JP2022511157A priority patent/JPWO2021201272A1/ja
Priority to CN202180026610.7A priority patent/CN115361898A/zh
Publication of WO2021201272A1 publication Critical patent/WO2021201272A1/ja
Priority to US17/937,290 priority patent/US20230027950A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00057—Light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to a medical image processing device for detecting a region of interest such as a lesion, an operation method of an endoscopic system and a medical image processing device, and a program for the medical image processing device.
  • medical images such as endoscopic images, X-ray images, CT (Computed Tomography) images, and MR (Magnetic Resonanse) images are used to diagnose the patient's medical condition and perform diagnostic imaging such as follow-up. ing. Based on such diagnostic imaging, doctors and the like make decisions on treatment policies.
  • Patent Documents 1 and 2 describe a medical image processing apparatus that performs image processing based on the detection information when a region of interest such as a lesion is detected from a medical image.
  • a highlighting process for superimposing a highlighting for emphasizing a region of interest on a medical image is performed.
  • Patent Documents 1 and 2 since the medical image processing apparatus described in Patent Documents 1 and 2 does not consider the visibility of highlighting, it depends on the color of the subject in the medical image, the presence or absence of an object existing in the subject, and the like. , The highlighting may be assimilated with the surroundings or may not be noticeable to the surrounding parts. Such reduced visibility of highlighting may cause the physician to go unnoticed in the area of interest.
  • An object of the present invention is to provide a medical image processing device, an endoscopic system, an operation method of the medical image processing device, and a program for the medical image processing device capable of recognizing a decrease in visibility of highlighting.
  • the present invention is a medical image processing apparatus including a processor, in which the processor acquires a medical image, detects a region of interest in the medical image, sets highlighting for highlighting the detected region of interest, and highlights the region of interest.
  • the display is superimposed on the medical image, and the visibility of the highlighting is judged from the image information acquired from the medical image in which the region of interest is detected and the set highlighting, and the judgment result of the visibility is given to the user. Notify.
  • the processor preferably acquires image information from inside the highlighting in the medical image.
  • the processor preferably acquires image information from outside the highlighting in the medical image.
  • the processor acquires the color difference between the medical image and the highlighting from the color information calculated from the image information and the color information calculated from the highlighting, and determines the visibility from the color difference.
  • the processor preferably calculates the average value calculated from the image information as the color information.
  • the processor displays a frame-shaped figure surrounding the region of interest as a highlight and determines visibility from the thickness of the line of the frame shape with respect to the region of interest. Further, it is preferable that the processor displays a frame-shaped figure surrounding the region of interest as highlighting and determines the visibility from the similarity of the frame shape with respect to the region of interest.
  • the processor preferably displays the determination result on the display screen. Further, it is preferable that the processor calculates a quantified index value as a visibility determination result and displays it on the display screen, and the processor preferably displays the index value as a notification when the index value is equal to or less than a preset threshold value. It is more preferable to display.
  • the processor preferably uses the color difference calculated from the image information and highlighting as an index value. Further, the processor may calculate an index value obtained by quantifying the visibility determination result and display the identification information or the identification figure according to the index value.
  • the processor determines the visibility based on the presence or absence of an object not to be detected inside the highlighting.
  • the processor does not detect an object when the area ratio of the portion where the brightness or brightness inside the highlighting is equal to or greater than the second threshold value is equal to or greater than the third threshold value with respect to the range inside the highlighting in the medical image. It is more preferable to determine that there is.
  • the processor may display the determination result on a display screen different from the display screen for displaying the medical image.
  • the processor preferably automatically saves the medical image in which the region of interest is detected, and the processor preferably has the index value equal to or less than the preset first threshold value. In the case of, it is preferable to warn the user.
  • the endoscope system of the present invention includes a light source device, an endoscope, a processor, and a display unit.
  • the processor acquires the medical image, detects the area of interest in the medical image, sets the highlighting for highlighting the detected area of interest, superimposes the highlighting on the medical image, displays it on the monitor, and displays the area of interest on the monitor.
  • the visibility of the highlighting is determined from the image information acquired from the detected medical image and the set highlighting, and the determination result of the visibility is notified to the user.
  • the light source device emits illumination light for illuminating the observation target.
  • the endoscope has an imaging sensor that captures an observation object illuminated by illumination light.
  • the monitor displays a medical image obtained by signal-processing the image signal output by the image sensor.
  • a step of acquiring a medical image, a step of detecting a region of interest in the acquired medical image, and a highlighting for highlighting the detected region of interest are set.
  • a step of superimposing the highlighting on the medical image, a step of determining the visibility of the highlighting from the image information acquired from the medical image in which the region of interest is detected, and the set highlighting, and the visibility It includes a step of notifying the user of the determination result.
  • the medical image processing device program of the present invention is installed in a medical image processing device that acquires a medical image and performs image processing on the medical image, and has a function of acquiring the medical image on a computer and a region of interest from within the medical image.
  • a function of determining the visibility of the highlighting from the set highlighting and a function of notifying the user of the determination result of the visibility are realized.
  • the user can recognize the decrease in visibility of highlighting.
  • This is an example of a display screen when the display control unit highlights the area of interest and displays notification information.
  • It is a flowchart which shows the series flow of attention area detection mode.
  • It is explanatory drawing which shows the display state, and is explanatory drawing which shows the example (B) which detects the lesion part from the endoscopic image, and superimposes the figure as a highlight on the endoscopic image.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18 (display unit), and a console 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 has an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip portion 12d provided on the tip end side of the insertion portion 12a. doing.
  • the angle knob 13a of the operation unit 12b By operating the angle knob 13a of the operation unit 12b, the bending unit 12c bends. This bending motion directs the tip 12d in a desired direction.
  • the tip portion 12d has an illumination window, an observation window, an air supply / water supply nozzle, and a forceps outlet on the tip surface (none of which is shown).
  • the illumination window is for irradiating the observation site with illumination light.
  • the observation window is for taking in light from the observation site.
  • the air supply / water supply nozzle is for cleaning the illumination window and the observation window.
  • the forceps outlet is for performing various treatments using a forceps and a treatment tool such as an electric knife.
  • the operation unit 12b includes a still image acquisition unit 13b used for still image acquisition operation, a mode switching unit 13c used for observation mode switching operation, and a zoom operation unit 13d used for zoom magnification changing operation. Is provided.
  • the still image acquisition unit 13b can perform a freeze operation for displaying the still image to be observed on the monitor 18 and a release operation for saving the still image in the storage.
  • the endoscope system 10 has a normal mode, a special mode, and a region of interest detection mode as observation modes.
  • the observation mode is the normal mode
  • the normal light obtained by combining the light of a plurality of colors with the light amount ratio Lc for the normal mode is emitted.
  • the observation mode is the special mode
  • the special light obtained by combining the light of a plurality of colors with the light amount ratio Ls for the special mode is emitted.
  • the illumination light for the attention area detection mode is emitted.
  • normal light is emitted as the illumination light for the region of interest detection mode, but special light may be emitted.
  • the processor device 16 is electrically connected to the monitor 18 and the console 19.
  • the monitor 18 outputs and displays an image to be observed, information incidental to the image, and the like.
  • the console 19 functions as a user interface that accepts input operations such as designation of a region of interest (ROI: RegionOfInterest) and function settings.
  • ROI region of interest
  • the light source device 14 includes a light source unit 20 that emits illumination light used for illuminating an observation target, and a light source control unit 22 that controls the light source unit 20.
  • the light source unit 20 is a semiconductor light source such as a multi-color LED (Light Emitting Diode).
  • the light source control unit 22 controls the amount of light emitted from the illumination light by turning on / off the LED and the like, and adjusting the drive current and the drive voltage of the LED and the like. Further, the light source control unit 22 controls the wavelength band of the illumination light by changing the optical filter or the like.
  • the light source unit 20 includes a V-LED (VioletLightEmittingDiode) 20a, a B-LED (BlueLightEmittingDiode) 20b, a G-LED (GreenLightEmittingDiode) 20c, and an R-LED (Red). It has a 4-color LED of LightEmittingDiode) 20d and a wavelength cut filter 23. As shown in FIG. 3, the V-LED 20a emits purple light V having a wavelength band of 380 nm to 420 nm.
  • the B-LED20b emits blue light B having a wavelength band of 420 nm to 500 nm.
  • the blue light B emitted from the B-LED 23b at least the wavelength side longer than the peak wavelength of 450 nm is cut by the wavelength cut filter 23.
  • the blue light Bx after passing through the wavelength cut filter 23 is in the wavelength range of 420 to 460 nm.
  • the light in the wavelength region longer than 460 nm is cut because the light in the wavelength region longer than 460 nm reduces the vascular contrast of the blood vessel to be observed. Because there is.
  • the wavelength cut filter 23 may dimming the light in the wavelength region longer than 460 nm instead of cutting the light in the wavelength region longer than 460 nm.
  • the G-LED20c emits green light G having a wavelength band of 480 nm to 600 nm.
  • the R-LED20d emits red light R having a wavelength band of 600 nm to 650 nm.
  • the light emitted from each of the LEDs 20a to 20d may have the same center wavelength and the peak wavelength, or may be different from each other.
  • the light source control unit 22 adjusts the emission timing, emission period, light amount, and spectral spectrum of the illumination light by independently controlling the lighting and extinguishing of the LEDs 20a to 20d and the amount of light emitted at the time of lighting.
  • the control of turning on and off in the light source control unit 22 is different for each observation mode.
  • the reference brightness can be set by the brightness setting unit of the light source device 14, the console 19, or the like.
  • the light source control unit 22 lights all the V-LED20a, B-LED20b, G-LED20c, and R-LED20d.
  • the peak of the light intensity of the blue light Bx is the purple light V, the green light G.
  • red light R are set to be larger than the peak of any of the light intensities.
  • the multicolored light for the normal mode or the attention region detection mode including the purple light V, the blue light Bx, the green light G, and the red light R is usually emitted from the light source device 14. As light, is emitted. Normal light is almost white because it has a certain intensity or more from the blue band to the red band.
  • the light source control unit 22 lights all the V-LED20a, B-LED20b, G-LED20c, and R-LED20d.
  • the light intensity ratio Ls between the purple light V, the blue light B, the green light G, and the red light R has a peak of the light intensity of the purple light V, which is the blue light Bx and the green light G.
  • red light R are set to be larger than the peak of any of the light intensities.
  • the peaks of the light intensities of the green light G and the red light R are set to be smaller than the peaks of the light intensities of the purple light V and the blue light Bx.
  • the light source device 14 emits multicolored light for the special mode including purple light V, blue light Bx, green light G, and red light R as special light.
  • the special light is bluish because the proportion of purple light V is large.
  • the special light does not have to include light of all four colors, and may include light from at least one of the four color LEDs 20a to 20d. Further, the special light preferably has a main wavelength range of 450 nm or less, for example, a peak wavelength or a center wavelength.
  • the illumination light emitted by the light source unit 20 is incident on the light guide 24 inserted into the insertion unit 12a via an optical path coupling portion (not shown) formed by a mirror, a lens, or the like.
  • the light guide 24 is built in the endoscope 12 and the universal cord, and propagates the illumination light to the tip portion 12d of the endoscope 12.
  • the universal cord is a cord that connects the endoscope 12, the light source device 14, and the processor device 16.
  • a multimode fiber can be used as the light guide 24.
  • a fine fiber cable having a core diameter of 105 ⁇ m, a clad diameter of 125 ⁇ m, and a diameter of ⁇ 0.3 mm to ⁇ 0.5 mm including a protective layer serving as an outer skin can be used for the light guide 24.
  • the tip portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30a has an illumination lens 32.
  • the observation target is illuminated by the illumination light propagating through the illumination lens 32 and propagating through the light guide 24.
  • the imaging optical system 30b includes an objective lens 34, a magnifying optical system 36, and an imaging sensor 38 (corresponding to the “imaging unit” of the present invention).
  • Various types of light such as reflected light, scattered light, and fluorescence from the observation target are incident on the image pickup sensor 38 through the objective lens 34 and the magnifying optical system 36. As a result, an image to be observed is formed on the image sensor 38.
  • the magnifying optical system 36 includes a zoom lens 36a that magnifies the observation target and a lens driving unit 36b that moves the zoom lens 36a in the optical axis direction CL.
  • the zoom lens 36a is freely moved between the telephoto end and the wide-angle end according to the zoom control by the lens driving unit 36b, thereby enlarging or reducing the observation target imaged on the image sensor 38.
  • the image sensor 38 is a color image sensor that captures an observation target irradiated with illumination light.
  • Each pixel of the image sensor 38 is provided with any one of an R (red) color filter, a G (green) color filter, and a B (blue) color filter.
  • the image pickup sensor 38 receives purple to blue light from the B pixel provided with the B color filter, receives green light from the G pixel provided with the G color filter, and is provided with the R color filter.
  • the existing R pixel receives red light.
  • the image signals of each RGB color are output from the pixels of each color.
  • the image sensor 38 transmits the output image signal to the CDS circuit 40.
  • the image sensor 38 In the normal mode or the region of interest detection mode, the image sensor 38 outputs a Bc image signal from the B pixel and outputs a Gc image signal from the G pixel by imaging an observation target illuminated with normal light, and R The Rc image signal is output from the pixels. Further, in the special mode, the image sensor 38 outputs a Bs image signal from the B pixel, outputs a Gs image signal from the G pixel, and Rs from the R pixel by imaging the observation target illuminated with the special light. Output the image signal.
  • a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like can be used.
  • a complementary color imaging sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used. good.
  • the image signals of four colors of CMYG are output. Therefore, by converting the image signals of the four colors of CMYG into the image signals of the three colors of RGB by the complementary color-primary color conversion, it is possible to obtain the image signals of each RGB color similar to the image sensor 38.
  • a monochrome sensor without a color filter may be used.
  • the CDS circuit 40 performs correlated double sampling (CDS: Correlated Double Sampling) on the analog image signal received from the image sensor 38.
  • CDS Correlated Double Sampling
  • the image signal that has passed through the CDS circuit 40 is input to the AGC circuit 42.
  • the AGC circuit 40 performs automatic gain control (AGC: Automatic Gain Control) on the input image signal.
  • a / D (Analog to Digital) conversion circuit 44 converts an analog image signal that has passed through the AGC circuit 42 into a digital image signal.
  • the A / D conversion circuit 44 inputs the digital image signal after the A / D conversion to the processor device 16.
  • the processor device 16 includes an image signal acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, an image processing unit 56, and a display control unit 58.
  • DSP Digital Signal Processor
  • the processor device 16 includes a function as a medical image processing device, and as will be described later, the image processing unit 56 acquires an endoscopic image and detects a region of interest in the observation target from the endoscopic image. Then, the display control unit 58 highlights the region of interest with respect to the endoscopic image 75.
  • the image signal acquisition unit 50 acquires a digital image signal corresponding to the observation mode from the endoscope 12.
  • the Bc image signal, the Gc image signal, and the Rc image signal are acquired.
  • the Bs image signal, the Gs image signal, and the Rs image signal are acquired.
  • one frame of Bc image signal, Gc image signal, and Rc image signal is acquired when the normal light is illuminated, and one frame of Bs image signal, Gs image signal, is acquired when the special light is illuminated. Acquire the Rs image signal.
  • the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing for DSP, linear matrix processing, gamma conversion processing, and demosaic processing on the image signal acquired by the image signal acquisition unit 50.
  • the defect correction process corrects the signal of the defective pixel of the image sensor 38.
  • the offset processing removes the dark current component from the defect-corrected image signal and sets an accurate zero level.
  • the DSP gain correction process adjusts the signal level by multiplying the offset-processed image signal by a specific DSP gain.
  • the linear matrix processing enhances the color reproducibility of the image signal that has been gain-corrected for DSP.
  • the gamma conversion process adjusts the brightness and saturation of the image signal processed by the linear matrix.
  • the gamma-converted image signal is subjected to demosaic processing (also referred to as isotropic processing or simultaneous processing) to generate a signal of a color lacking in each pixel by interpolation. By this demosaic processing, all the pixels have RGB signals of each color.
  • the noise reduction unit 54 reduces noise by performing noise reduction processing by, for example, a moving average method, a median filter method, or the like on an image signal that has undergone demosaic processing or the like by DSP 52.
  • the image signal after noise reduction is input to the image processing unit 56.
  • the image processing unit 56 includes a normal mode image processing unit 60, a special mode image processing unit 62, and a region of interest detection mode image processing unit 64.
  • the normal mode image processing unit 60 operates when the normal mode is set, and performs color conversion processing, color enhancement processing, and structure enhancement processing on the received Bc image signal, Gc image signal, and Rc image signal. conduct.
  • the RGB image signal is subjected to color conversion processing by 3 ⁇ 3 matrix processing, gradation conversion processing, three-dimensional LUT (Look Up Table) processing, or the like.
  • the color enhancement process is performed on the RGB image signal that has undergone the color conversion process.
  • the structure enhancement process is a process for emphasizing the structure of the observation target, and is performed on the RGB image signal after the color enhancement process.
  • a normal image can be obtained by performing various image processing and the like as described above. Since the normal image is an image obtained based on normal light in which purple light V, blue light Bx, green light G, and red light R are emitted in a well-balanced manner, it is an image having a natural hue.
  • the normal image is input to the display control unit 58.
  • the special mode image processing unit 62 operates when the special mode is set.
  • the special mode image processing unit 62 performs color conversion processing, color enhancement processing, and structure enhancement processing on the received Bs image signal, Gs image signal, and Rs image signal.
  • the processing contents of the color conversion processing, the color enhancement processing, and the structure enhancement processing are the same as those of the normal mode image processing unit 60.
  • a special image can be obtained by performing various image processing as described above.
  • the special image is an image obtained based on special light in which purple light V, which has a high absorption coefficient of hemoglobin in blood vessels, emits a larger amount of light than blue light Bx, green light G, and red light R of other colors. Therefore, the resolution of the vascular structure and the ductal structure is higher than that of other structures.
  • the special image is input to the display control unit 58.
  • the attention area detection mode image processing unit 64 operates when the attention area detection mode is set. As shown in FIG. 6, the attention area detection mode image processing unit 64 includes a detection image processing unit 70, an attention area detection unit 71, a visibility determination unit 72, and a visibility notification control unit 73. There is.
  • the detection image processing unit 70 sequentially acquires the endoscopic image 75 from the received Bc image signal, Gc image signal, and Rc image signal by the same image processing as the normal mode image processing unit 60 such as color conversion processing. ..
  • the attention area detection unit 71 analyzes the endoscopic image 75 and performs the attention area detection process for detecting the attention area in the observation target.
  • the region of interest detection unit 71 detects a lesion (for example, a tumor, inflammation, etc.) in the observation target as the region of interest.
  • the region of interest detection unit 71 first divides the endoscopic image 75 into a plurality of small regions, for example, a square region for several pixels. Next, the image feature amount is calculated from the divided endoscopic image 75. Subsequently, based on the calculated feature amount, whether or not each small region is a lesion is recognized and processed.
  • a machine learning algorithm such as a convolutional neural network or deep learning is preferable.
  • the feature amount calculated from the endoscopic image 75 by the region of interest detection unit 71 is preferably a value obtained from the shape and color of a predetermined portion in the observation target or those shapes and colors.
  • a value obtained from the shape and color of a predetermined portion in the observation target or those shapes and colors is preferable.
  • the value is at least one of the length, the degree of tortuosity of the blood vessel, and the color information, or a combination of two or more of them.
  • the region of interest detection unit 71 associates information such as the position information, size, and type of lesion of the extracted lesion portion with the endoscopic image 75 as detection information 76.
  • the attention area detection mode image processing unit 64 outputs the endoscope image 75 associated with the detection information 76 to the display control unit 58.
  • the display control unit 58 performs display control for displaying the image or data from the image processing unit 56 on the monitor 18.
  • the display control unit 58 controls to display the normal image on the monitor 18.
  • the display control unit 58 controls to display the special image on the monitor 18.
  • the display control unit 58 highlights the attention area detected by the attention area detection unit 71 on the endoscopic image 75.
  • the display control unit 58 first bases on the endoscope image 75 output from the region of interest detection mode image processing unit 64 and the detection information 76 associated with the endoscope image 75. Set the emphasis area to emphasize the area of interest.
  • the display control unit 58 has an area larger than that of the lesion 77 and is an emphasized region 78 including the lesion 77, based on the detection information 76 such as the position, size, and type of the lesion 77.
  • a square area is set as the emphasis area 78.
  • the emphasized region 78 has, for example, a square outer circumference that is set at a predetermined distance from the outer circumference of the lesion portion 77.
  • the emphasized region 78 is not limited to this, and may be set to a square in contact with the outer circumference of the lesion portion 77.
  • the display control unit 58 highlights the highlighted area 78 set as described above. That is, the display control unit 58 superimposes and displays the graphic as the highlight display on the position of the highlight region 78 in the endoscope image 75.
  • the display control unit 58 displays the square frame-shaped (frame-shaped) figure 79 surrounding the lesion portion 77 in accordance with the position of the emphasized region 78.
  • the display control unit 58 resets the emphasized area 78 according to the amount of fluctuation of the lesion portion 77 in the endoscopic image 75, and shapes the figure according to the position of the reset emphasized area 78. 79 is displayed.
  • the graphic 79 as a highlighting is a display mode different from other parts of the endoscopic image 75, and the display control unit 58 is, for example, a color generally included in a large amount in the endoscopic image. Displayes the figure 79 in a color having a different hue. Further, the color of the figure 79 may be set according to the input operation of the user.
  • the display control unit 58 outputs the setting information 81 of the graphic 79 as highlighting to the image processing unit 56.
  • the setting information 81 includes position information, color information, and the like of the figure 79 with respect to the endoscopic image 75.
  • the setting information 81 is tagged with the information of the endoscopic image 75 from which the lesion 77 was detected.
  • the visibility determination unit 72 determines the visibility of the highlighting from the image information acquired from the endoscopic image 75 in which the lesion portion 77 is detected and the highlighting setting information 81 set by the display control unit 58.
  • the quantified index value is calculated as the judgment result.
  • the visibility determination unit 72 calculates the color information from the image information acquired from the endoscopic image 75 in which the lesion portion 77 is detected by the attention region detection unit 71 and the highlighting setting information 81. From these color information, the color difference between the endoscopic image 75 and the figure 79 is calculated as an index value.
  • the color information indicates information related to color such as hue, lightness, and saturation.
  • the visibility determination unit 72 calculates the color information from the image information acquired from the endoscopic image 75, the inside of the highlighting including the lesion portion 77, specifically, endoscopy.
  • the average value within the range 82 (see also FIG. 7) surrounded by the figure 79 in the mirror image 75 is calculated as the color information.
  • the setting information 81 includes the position information of the figure 79
  • the color information can be calculated by cutting out the range 82 surrounded by the figure 79 from the endoscope image 75 based on the position information. ..
  • the average value of the figure 79 is calculated as the color information.
  • the visibility determination unit 72 calculates the color difference between the endoscopic image 75 and the figure 79 from these color information.
  • the color difference in the visibility determination unit 72 for example, it is obtained by the color difference formula by CIEDE2000 defined in JIS Z 8730 7.3. By using the calculation method standardized in this way, it is possible to obtain a color difference that matches the human visual characteristics.
  • the color difference formula by CIEDE2000 is used, the color information for obtaining the color difference is from the L component indicating the brightness, the a component indicating the degree of red or green, and the b component indicating the degree of yellow or blue. Information on the configured CIELab color space is used.
  • the calculation method for obtaining the color difference is not limited to the above method, and any calculation method that considers human vision may be used.
  • the calculation method may be performed using the Euclidean distance (also referred to as CIE76) in the CIELab color space. good.
  • the visibility notification control unit 73 notifies the user of the determination result determined by the visibility determination unit 72. As shown in FIG. 9, the visibility notification control unit 73 outputs the color difference as the determination result calculated as described above to the display control unit 58 as the notification information 83, and displays it on the display screen 84 of the monitor 18. In the present embodiment, when the color difference is equal to or less than the preset first threshold value, the visibility notification control unit 73 outputs the color difference information as the notification information 83 to the display control unit 58.
  • a preset first threshold value is set to 2.0.
  • the difference can be discriminated when two colors are compared side by side, and when the color difference is 2 to 3, the two colors are separated and compared. It is defined as a level where you can sometimes tell the difference. Since the visibility notification control unit 73 sets the first threshold value to 2.0 as described above based on the JIS regulations, it is possible to notify that the visibility has deteriorated.
  • the flowchart shown in FIG. 10 and the process in which the image processing unit 56 and the display control unit 58 determine the visibility of highlighting and display the determination result on the display screen 84 of the monitor 18 in the attention area detection mode The description will be given with reference to the explanatory diagram shown in FIG.
  • the doctor who is the user operates the mode switching unit 13c to switch to the attention area detection mode.
  • the observation target is illuminated with the illumination light for the region of interest detection mode.
  • the observation target illuminated by the illumination light for the region of interest detection mode is imaged by the image sensor 38 to acquire the endoscopic image 75.
  • the display control unit 58 sequentially acquires the endoscope images 75 (S11) and displays them on the display screen 84 of the monitor 18 in real time.
  • the attention area detection unit 71 performs the attention area detection process for detecting the attention area in the observation target on the acquired endoscope image 75.
  • the detection information 76 by the region of interest 71 is output in association with the endoscopic image 75.
  • the display control unit 58 sets the emphasized region 78 using the detection information 76 associated with the endoscopic image 75, particularly the position and size information of the lesion 77 (S13).
  • the display control unit 58 After setting the highlighting area 78, as shown in FIG. 11B, the display control unit 58 superimposes and displays the graphic 79 as the highlighting on the position of the highlighting area 78 in the endoscopic image 75 (S14). , The setting information 81 of the figure 79 is output to the image processing unit 56.
  • the lesion 77 is not detected in the observation target (N in S12)
  • the highlighting is naturally not performed.
  • the visibility determination unit 72 reads out the original endoscopic image 75.
  • Color information is calculated from the image information acquired from the endoscope image 75 and the setting information 81 of the figure 79, and the visibility of highlighting is determined (S15).
  • the color difference calculated from the color information is compared with the first threshold value.
  • the graphic 79 when the graphic 79 as a highlighting display is displayed, the graphic 79 depends on the color of the subject in the endoscopic image 75, the presence or absence of an object existing in the subject, and the like. May be assimilated with the surroundings or become less noticeable with respect to the surrounding parts, resulting in reduced visibility. In such a case, in general, the value of the color difference between the endoscopic image 75 and the figure 79 also decreases.
  • the color difference information is output to the display control unit 58 as the notification information 83.
  • the display control unit 58 displays the notification information 83 on the display screen 84 to notify that the visibility is deteriorated (S17).
  • the visibility determination unit 72 does not notify.
  • the visibility of the highlighting in the endoscopic image 75 is determined, and when the visibility of the highlighting is reduced, the notification is given, so that the doctor who is the user reduces the visibility of the highlighting. It is possible to avoid a state in which the user does not notice the area of interest such as a lesion.
  • the example of displaying the color difference information on the display screen as the judgment result of the visibility is given, but the present invention is not limited to this, and the identification information is displayed according to the index value as the judgment result. It may be.
  • FIG. 13 shows an example in which the identification information 85A and 85B according to the color difference as the determination result are displayed on the display screen 84.
  • color information is calculated from the image information acquired from the endoscope image 75 and the highlighting setting information 81, and the color difference between the endoscope image 75 and the figure 79 is calculated from these color information.
  • the process of comparing the color difference with the first threshold value is the same as that of the first embodiment.
  • the visibility determination unit 72 outputs the identification information 85A to the display control unit 58.
  • the display control unit 58 displays the identification information 85A on the display screen 84 to notify that the visibility is deteriorated.
  • the character information "low visibility" is displayed as the identification information 85A.
  • the identification information is displayed not only when the color difference is equal to or less than the first threshold value but also when the color difference exceeds the first threshold value, that is, when the visibility is high. May be good.
  • the visibility determination unit 72 outputs the identification information 85B to the display control unit 58.
  • the display control unit 58 displays the identification information 85B on the display screen 84 to notify that the visibility is high.
  • the character information "high visibility" is displayed as the identification information 85B.
  • the setting for displaying the identification information according to the color difference is not limited to the two-step setting of the case where the identification information is displayed below the first threshold value or the case where the first threshold value is exceeded, and the setting may be set to three or more steps. good.
  • the visibility determination unit 72 is preset with three-step numerical values such that the color difference is 2.0 or less, larger than 2.0 and 4.0 or less and greater than 4.0, and the determination is made based on this setting. conduct. When the color difference is 2.0 or less, the visibility is low, when the color difference is larger than 2.0 and 4.0 or less, the visibility is medium, and when the color difference is larger than 4.0, the visibility is high. Is displayed on the display screen 84 as identification information. In this case, as the identification information, it is preferable to display character information such as "low visibility", "medium visibility", and "high visibility" according to the stage of color difference.
  • the example of displaying the identification information according to the color difference as the judgment result is given as the judgment result of the visibility, but the judgment result is not limited to this, as in the example shown in FIG.
  • the identification figure corresponding to the color difference may be displayed.
  • color information is calculated from the image information acquired from the endoscope image 75 and the highlighting setting information 81, and the color difference between the endoscope image 75 and the figure 79 is calculated from these color information.
  • the process of comparing the color difference with the first threshold value is the same as that of the first and second embodiments.
  • the information of the icon 86A is output to the display control unit 58.
  • the display control unit 58 displays the icon 86A as an identification figure on the display screen 84 to notify that the visibility is deteriorated.
  • a mark imitating a sign indicating that there is a danger is displayed as the icon 86A.
  • the doctor who is the user can recognize the decrease in visibility of the highlighting.
  • the identification figure is displayed not only when the color difference is equal to or less than the first threshold value but also when the color difference exceeds the first threshold value, that is, when the visibility is high. May be good.
  • the visibility determination unit 72 outputs the information of the icon 86B to the display control unit 58.
  • the display control unit 58 displays the icon 86B as an identification figure on the display screen 84 to notify that the visibility is high.
  • a double circle mark is displayed as the icon 86B.
  • the setting for displaying the identification information according to the color difference it may be set in three or more stages as in the second embodiment.
  • the visibility determination unit 72 sets numerical values in three stages in advance as in the second embodiment, and makes a determination based on these settings.
  • the color difference is 2.0 or less, the visibility is low, when the color difference is larger than 2.0 and 4.0 or less, the visibility is medium, and when the color difference is larger than 4.0, the visibility is high.
  • This is displayed on the display screen 84 as an identification figure.
  • the identification figure it is preferable to display icons having different shapes depending on the stage of color difference.
  • an image in which highlighting is superimposed on the endoscopic image is displayed on one display screen, and notification information or the like is displayed in a non-display area of the endoscopic image.
  • An image in which notification information or the like is superimposed may be displayed on a display screen different from the display screen for displaying the endoscope image.
  • a normal endoscope image 87 is displayed as a main image having a large display area, and a sub image having a display area smaller than that of the main image is included.
  • the image 88 in which the highlighting is superimposed on the endoscopic image is displayed.
  • the icon 86A as the identification information is further superimposed and displayed on the image 88 on which the highlighting is superimposed.
  • the normal endoscopic image 87 is the endoscopic image 75 itself acquired by the image processing unit 56 during the region of interest detection mode in each of the above embodiments, and is used as highlighting. It shows a state in which figures and the like are not superimposed.
  • the image 88 on which the highlighting is superimposed as a sub-image is an endoscopic image 75 on which a graphic 79 or the like as a highlighting is superimposed and displayed as in each of the above embodiments.
  • color information is calculated from the image information acquired from the endoscope image 75 and the highlighting setting information 81, and the endoscope image 75 and the figure 79 are calculated from these color information.
  • the color difference between and is calculated and compared with the first threshold value.
  • the information of the icon 86A is output to the display control unit 58.
  • the display control unit 58 further superimposes and displays the icon 86A on the image 88 on which the highlighting is superimposed to notify that the visibility is deteriorated.
  • the information to be displayed as the visibility determination result is not limited to the icon 86A, and the color difference information as an index value, the identification information according to the color difference, and the like may be displayed as in each of the above embodiments. , Different identification information or identification figures may be displayed depending on the color difference. Further, in the example shown in FIG. 15, two display screens are displayed side by side on one monitor 18, but the main image and the sub image may be displayed on separate monitors.
  • the visibility determination unit 72 calculates the color information from the inside of the graphic 79.
  • the present invention is not limited to this, and even if the average value of the portion outside the figure 79, specifically, in the endoscopic image 75, excluding the range 82 surrounded by the figure 79 and the figure 79, is calculated as color information. good.
  • the setting information 81 includes the position information of the figure 79
  • the color information can be calculated by cutting out the outside of the figure 79 from the endoscope image 75 based on the position information.
  • the doctor who is the user can recognize the decrease in the visibility of the highlighting.
  • the visibility determination unit 72 uses a preset first threshold value for determining the color difference between the endoscopic image 75 and the highlighting.
  • the first threshold value used for this determination is not always the same value, and the first threshold value may be weighted according to the thickness of the highlighting line.
  • the display control unit 58 makes it possible to change the line thickness of the graphic 79 as highlighting according to the size of the region of interest, or changes the line thickness of the graphic 79 according to the input operation of the user. Make it possible.
  • the visibility determination unit 72 weights the first threshold value according to the line thickness of the figure 79 when the highlighting setting information is acquired. do.
  • the first threshold value is set small in inverse proportion to the line thickness of the figure 79.
  • the first threshold value is 2.0
  • the first threshold value is set to 2.0
  • the first threshold value is made larger than 2.0.
  • the visibility of highlighting the thicker the line thickness of the figure 79, the higher the visibility. Therefore, even if the first threshold value is set small according to the line thickness of the figure 79, each of the above embodiments Similarly, the user doctor can recognize the reduced visibility of the highlighting.
  • the visibility determination unit 72 uses the color difference calculated from the image information of the endoscope image 75 and the highlighting setting information as an index value for determining the visibility, but the present invention is not limited to this.
  • the visibility may be determined by the presence or absence of a non-detection target object existing inside the highlighting.
  • an object 89 or a phenomenon that is not to be detected includes, for example, water, halation, bubbles, pigment, or the like other than the lesion portion 77. It may enter the inside of the figure 79 as a highlight.
  • the brightness value is used as the color information acquired from the endoscopic image.
  • the luminance value may be used as the color information acquired from the endoscopic image.
  • the visibility determination unit 72 sets the brightness of each pixel in the range 82 surrounded by the figure 79 as a second threshold value in order to detect that the object 89 or the phenomenon not to be detected exists inside the figure 79. Compare with.
  • This second threshold value is set to a value having high brightness assuming water, halation, bubbles, and the like. Therefore, when the brightness is equal to or higher than the second threshold value, there is a high possibility that an object 89 or a phenomenon not to be detected is reflected.
  • the visibility determination unit 72 further determines the area ratio of the portion whose brightness is equal to or greater than the second threshold value (the ratio of the area of the portion whose brightness is equal to or greater than the second threshold value to the area of the range 82) with respect to the range 82 surrounded by the figure 79. ) And the third threshold.
  • the third threshold value assumes that there are many areas with high brightness with respect to the range 82, and is set to, for example, an area ratio of 50%.
  • the visibility determination unit 72 is in a state where the object 89 or the phenomenon to be detected is inside the figure 79, that is, the visibility. Is determined to be low, and the information of the icon 86A is output to the display control unit 58.
  • the display control unit 58 superimposes and displays the icon 86A on the endoscope image 75 to notify that the visibility is deteriorated.
  • the information to be displayed as the visibility determination result is not limited to the icon 86A, and information on the area ratio of the portion whose brightness is equal to or higher than the second threshold value, identification information according to the area ratio, and the like may be displayed. , Different identification information or identification figures may be displayed depending on the area ratio.
  • the figure as highlighting is a square frame shape, but the frame shape is not limited to this and can surround a region of interest such as a polygon other than a rectangle (quadrangle), a circle, or an ellipse. It should be.
  • the figure as the highlighting is not limited to one frame shape surrounding the area of interest, and may be composed of a plurality of shapes.
  • the display control unit 58 arranges four L-shaped figures 91A to 91D surrounding the lesion 77 on each corner of the highlight area 78 as highlighting.
  • the two-dot chain line is shown for convenience of explaining the arrangement of the L-shaped figures 91A to 91D, and is not actually displayed.
  • the visibility determination unit 72 calculates the average value of the four L-shaped figures 91A to 91D as color information, and obtains the color information of the endoscopic image 75 and the color information of the average value of the L-shaped figures 91A to 91D. It is preferable to calculate the color difference from the above and compare it with the first threshold value.
  • the visibility determination unit 72 calculates the color information for each of the four L-shaped figures 91A to 91D, and the color information of the endoscope image 75 and the L-shaped figures 91A to 91D, respectively.
  • a total of four color differences are calculated from the color information of the above and compared with the first threshold value. In this case, for example, if any one of the four color differences is equal to or less than the first threshold value, it is determined that the visibility is low. Then, when the color difference is equal to or less than the first threshold value, information such as the color difference notification information 83, the identification information, and the identification figure is output to the display control unit 58. After that, the notification is performed in the same manner as in each of the above embodiments.
  • the image processing unit 56 determines that the visibility is low, performs notification in the same manner as in each of the above embodiments, and detects the region of interest.
  • the speculum image may be saved automatically. As a result, it is possible to later confirm the endoscopic image whose visibility has deteriorated even though the region of interest has been detected, so that it is possible to reliably avoid a state in which the user does not notice the region of interest such as a lesion.
  • the storage destination for storing the endoscopic image in which the region of interest is detected is stored in, for example, a storage device provided in the processor device 16 or a server such as a cloud. You may.
  • the image processing unit 56 not only notifies the user, but also emits a sound, emits an indicator, or blinks a part of the screen. May be done.
  • the visibility determination unit 72 determines the visibility based on the color difference information, the presence or absence of an object other than the detection target, and the like, but the present invention is not limited to this, and the highlighting line for the region of interest is used. It may be judged from the thickness.
  • FIG. 18 is an example of a display screen when the visibility determination unit 72 determines the visibility of the highlighting from the thickness of the highlighting line with respect to the region of interest.
  • the visibility determination unit 72 calculates the ratio of the line thickness T1 of the figure 79 to the maximum dimension LM of the lesion portion 77 detected from the endoscopic image 75 by the attention region detection unit 71 as an index value. do.
  • the maximum dimension LM of the lesion portion 77 is, for example, the dimension of the largest portion of the lesion portion 77 in either the X-axis direction or the Y-axis direction of the endoscopic image 75, and is shown in FIG.
  • the maximum dimension LM is defined as the dimension of the largest portion of the lesion portion 77 in the X-axis direction.
  • the visibility determination unit 72 compares the ratio of the line thickness T1 of the figure 79 to the maximum dimension LM of the lesion portion 77 described above with the threshold value, and when the ratio is equal to or less than the threshold value, the visibility is improved. Judge as low. Then, as in each of the above embodiments, information such as notification information, identification information, and identification figure is output to the display control unit 58. After that, the notification is performed in the same manner as in each of the above embodiments. In the example shown in FIG. 18, the character information "low visibility" is displayed as the identification information 92. As the ratio of the line thickness of the figure to the area of interest becomes smaller, the visibility becomes lower, so that the doctor who is the user can recognize the decrease in the visibility of the highlighting as in each of the above embodiments.
  • the visibility determination unit 72 determines the visibility from the thickness of the highlighting line with respect to the area of interest, but the present invention is not limited to this, and the frame-shaped figure surrounding the area of interest is used as the highlighting. May be displayed and the visibility may be determined from the similarity of the frame shape with respect to the region of interest.
  • FIG. 19 is an example of a display screen when determining the visibility of highlighting from the similarity of the frame shape with respect to the region of interest.
  • the visibility determination unit 72 analyzes the similarity between the shape of the lesion portion 77 detected from the endoscopic image 75 by the region of interest detection unit 71 and the frame-shaped figure 93 surrounding the lesion portion 77. ..
  • the figure 93 is a circular frame-shaped figure that surrounds the lesion portion 77 and is in contact with a plurality of locations on the outer periphery of the lesion portion 77.
  • the visibility determination unit 72 analyzes the similarity between the contour shape of the lesion portion 77 and the inner peripheral shape of the figure 93 by a method such as well-known template matching.
  • This similarity is compared with the threshold value, and if the similarity is equal to or higher than the threshold value, it is determined that the visibility is low. Then, as in each of the above embodiments, information such as notification information, identification information, and identification figure is output to the display control unit 58. After that, the notification is performed in the same manner as in each of the above embodiments. In the example shown in FIG. 19, the character information "low visibility" is displayed as the identification information 92. The higher the similarity of the frame shape to the region of interest, the lower the visibility. Therefore, as in each of the above embodiments, the doctor who is the user can recognize the decrease in visibility of the highlighting.
  • the display control unit 58 superimposes and displays the frame-shaped figure on the position of the highlighted area, but the present invention is not limited to this, and the color of the highlighted area may be changed as the highlighted area.
  • the display control unit 58 when the lesion portion 77 as the region of interest is detected and the highlight region is set, the display control unit 58 often sets the highlight region as a highlight in a color different from the original color, for example, in the endoscopic image 75.
  • the included colors may be extracted and the emphasized area may be changed to a color different from the other parts of the endoscopic image 75.
  • the different colors referred to here are, for example, colors having different hues.
  • the highlighting of the highlighted area is not limited to the above, as long as it is an image processing that can be visually distinguished from the surroundings, such as saturation change processing, contrast processing, negative / positive inversion processing, and filtering processing. good.
  • highlighting by image processing of the highlighted area and highlighting by a graphic surrounding the lesion portion in each of the above embodiments may be combined.
  • the four-color LEDs 20a to 20d are used to illuminate the observation target, but a laser light source and a phosphor may be used to illuminate the observation target. Further, in each of the above embodiments, the four-color LEDs 20a to 20d are used to illuminate the observation target, but a white light source such as a xenon lamp and a rotation filter may be used to illuminate the observation target. Further, instead of the color image sensor 38, a monochrome image sensor may be used to image the observation target.
  • the medical image processing apparatus of the present invention is applied to an endoscopic system that acquires an endoscopic image as a medical image, but various endoscopy such as a capsule endoscope is applied. Needless to say, it is applicable to mirror systems, and as other medical images, X-ray images, CT images, MR images, ultrasonic images, pathological images, PET (Positron Emission Tomography) images, etc. are acquired.
  • the medical image processing apparatus of the present invention can also be applied to various medical imaging devices.
  • the hardware structure of the processing unit that executes various processes is various processors as shown below.
  • Various processors include CPU (Central Processing Unit), GPU (Graphical Processing Unit), FPGA (Field Programmable Gate Array), which are general-purpose processors that execute software (programs) and function as various processing units.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field Programmable Gate Array
  • PLD Programmable Logic Device
  • PLD Programmable Logic Device
  • a dedicated electric circuit which is a processor having a circuit configuration specially designed to execute various processes.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a CPU. And GPU, etc.). Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used.
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)

Abstract

強調表示の視認性低下を認識することができる医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラムを提供する。　プロセッサ装置（１６）は、画像信号取得部（５０）、表示制御部（５８）、注目領域検出モード画像処理部（６４）を備えている。画像信号取得部（５０）は、内視鏡（１２）から画像信号を取得する。注目領域検出モード画像処理部（６４）は、内視鏡画像から注目領域を検出する。表示制御部（５８）は、注目領域の強調表示を内視鏡画像に重畳して表示させる。内視鏡画像の画像情報と強調表示から強調表示の視認性を判定し、判定結果をユーザに報知する。

Description

医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
　本発明は、病変部などの注目領域を検出するための医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラムに関する。
　医療分野においては、内視鏡画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像などの医療画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。
　近年、医療画像を用いた画像診断においては、医療画像を解析して臓器内の病変や腫瘍など注意して観察すべき注目領域を自動的に検出することが行われつつある。特に、ディープラーニングなどの機械学習を行うことによって、注目領域を検出する精度が飛躍的に向上している。
　特許文献１及び２には、医療画像から病変部などの注目領域を検出した場合、検出情報に基づいて画像処理を行う医療画像処理装置が記載されている。特許文献１及び２記載の医療画像処理装置では、注目領域を強調するための強調表示を、医療画像に重畳する強調処理を行う。
国際公開第２０１８／１９８１６１号 国際公開第２０１７／０８１９７６号
　しかしながら、特許文献１及び２記載の医療画像処理装置では、強調表示の視認性については考慮されていないため、医療画像内の被検体の色、被検体内に存在する物体の有無等に応じて、強調表示が周囲と同化したり、周囲の部分に対して目立たなくなることがある。このように強調表示の視認性が低下すると、医師が注目領域に気付かない可能性がある。
　本発明は、強調表示の視認性低下を認識することができる医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラムを提供することを目的とする。
　本発明は、プロセッサを備える医療画像処理装置であって、プロセッサは、医療画像を取得し、医療画像内から注目領域を検出し、検出した注目領域を強調するための強調表示を設定し、強調表示を医療画像に重畳して表示させ、注目領域が検出された医療画像から取得される画像情報と、設定した強調表示とから強調表示の視認性を判定し、視認性の判定結果をユーザに報知する。
　プロセッサは、医療画像における強調表示の内側から画像情報を取得することが好ましい。あるいは、プロセッサは、医療画像における強調表示の外側から画像情報を取得することが好ましい。
　プロセッサは、画像情報から算出した色情報と、強調表示から算出した色情報とから、医療画像と強調表示との色差を取得し、色差から視認性を判定することが好ましい。プロセッサは、画像情報から算出した平均値を色情報として算出することが好ましい。
　プロセッサは、強調表示として、注目領域を囲む枠形状の図形を表示し、注目領域に対する枠形状の線の太さから視認性を判定することが好ましい。また、プロセッサは、強調表示として、注目領域を囲む枠形状の図形を表示し、注目領域に対する枠形状の類似度から視認性を判定することが好ましい。
　プロセッサは、判定結果を表示画面上に表示させることが好ましい。また、プロセッサは、視認性の判定結果として、数値化した指標値を算出し、表示画面上に表示させることが好ましく、プロセッサは、指標値が予め設定された閾値以下の場合、報知として指標値の表示を行うことがさらに好ましい。
　プロセッサは、画像情報及び強調表示から算出した色差を指標値として用いることが好ましい。また、プロセッサは、視認性の判定結果を数値化した指標値を算出し、指標値に応じた識別情報又は識別図形を表示させてもよい。
　プロセッサは、強調表示の内側に存在する検出対象外の物体の有無で視認性の判定を行うことが好ましい。プロセッサは、医療画像における強調表示の内側の範囲に対して、強調表示の内側の明度又は輝度が第２の閾値以上である部分の面積比が第３の閾値以上の場合、検出対象外の物体が有ると判定することがさらに好ましい。
　プロセッサは、医療画像を表示させる表示画面とは異なる表示画面に判定結果を表示させてもよい。プロセッサは、指標値が予め設定された第１の閾値以下の場合、注目領域が検出された医療画像を自動で保存することが好ましく、プロセッサは、指標値が予め設定された第１の閾値以下の場合、ユーザに警告をすることが好ましい。
　本発明の内視鏡システムは、光源装置と、内視鏡と、プロセッサと、表示部とを備え、
プロセッサは、医療画像を取得し、医療画像内から注目領域を検出し、検出した注目領域を強調するための強調表示を設定し、強調表示を医療画像に重畳してモニタに表示させ、注目領域が検出された医療画像から取得される画像情報と、設定した強調表示とから強調表示の視認性を判定し、視認性の判定結果をユーザに報知する。光源装置は、観察対象を照明するための照明光を発する。内視鏡は、照明光で照明された観察対象を撮像する撮像センサを有する。モニタは、撮像センサが出力する画像信号を信号処理した医療画像を表示する。
　本発明の医療用画像処理装置の作動方法は、医療画像を取得するステップと、取得した医療画像内から注目領域を検出するステップと、検出した注目領域を強調するための強調表示を設定し、強調表示を医療画像に重畳して表示させるステップと、注目領域が検出された医療画像から取得される画像情報と、設定した強調表示とから強調表示の視認性を判定するステップと、視認性の判定結果をユーザに報知するステップとを含む。
　本発明の医療画像処理装置用プログラムは、医療画像を取得するとともに、医療画像に画像処理を施す医療画像処理装置にインストールされ、コンピュータに、医療画像を取得する機能と、医療画像内から注目領域を検出する機能と、検出した注目領域を強調するための強調表示を設定し、強調表示を医療画像に重畳して表示させる機能と、注目領域が検出された医療画像から取得される画像情報と、設定した強調表示とから強調表示の視認性を判定する機能と、視認性の判定結果をユーザに報知する機能とを実現させる。
　本発明によれば、ユーザが強調表示の視認性低下を認識することができる。
内視鏡システムの外観図である。 複数のLED光源を備える第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒの分光スペクトルを示すグラフである。 第１実施形態の通常光の分光スペクトルを示すグラフである。 第１実施形態の特殊光の分光スペクトルを示すグラフである。 注目領域検出モード画像処理部及び表示制御部の機能を示すブロック図である。 表示制御部が注目領域の強調表示を行う場合に設定される強調領域を示す説明図である。 視認性判定部が内視鏡画像から取得される画像情報と、強調表示の設定情報から色情報を算出し、強調表示の視認性を判定する状態を説明する説明図である。 表示制御部が注目領域の強調表示、及び報知情報の表示を行う場合の表示画面の一例である。 注目領域検出モードの一連の流れを示すフローチャートである。 表示状態を示す説明図であり、内視鏡画像から病変部を検出し（Ａ）、内視鏡画像に強調表示としての図形を重畳する（Ｂ）例を示す説明図である。 表示状態を示す説明図であり、色差が低下して視認性が低下した場合（Ａ）、報知情報を表示する（Ｂ）例を示す説明図である。 第２実施形態における表示状態を示す説明図であり、視認性が低い場合（Ａ）、視認性が高い場合（Ｂ）、識別情報をそれぞれ表示する例を示す説明図である。 第３実施形態における表示状態を示す説明図であり、視認性が低い場合（Ａ）、視認性が高い場合（Ｂ）、識別図形をそれぞれ表示する例を示す説明図である。 第４実施形態における表示の状態を示す説明図であり、１つの表示画面にメイン画像とサブ画像を表示し、サブ画像に識別図形を重畳させた例を示す説明図である。 第５実施形態における表示の状態を示す説明図であり、検出対象外の物体が図形の内側に有る場合（Ａ）、識別図形を表示する（Ｂ）例を示す説明図である。 変形例として、病変部を囲む４つのＬ字状図形から強調表示を構成する例を示す説明図である。 第６実施形態における表示の状態を示す説明図である。 第７実施形態における表示の状態を示す説明図である。
　［第１実施形態］
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。
　先端部１２ｄは、先端面に、照明窓と、観察窓と、送気・送水ノズルと、鉗子出口とを有する（いずれも図示無し）。照明窓は、照明光を観察部位に照射するためのものである。観察窓は、観察部位からの光を取り込むためのものである。送気・送水ノズルは、照明窓及び観察窓を洗浄するためのものである。鉗子出口は、鉗子と電気メス等の処置具を用いて各種処置を行うためのものである。
　また、操作部１２ｂには、アングルノブ１３ａの他、静止画像の取得操作に用いる静止画像取得部１３ｂ、観察モードの切り替え操作に用いるモード切替部１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄを設けている。静止画像取得部１３ｂは、モニタ１８に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。
　内視鏡システム１０は、観察モードとして、通常モードと、特殊モードと、注目領域検出モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Ｌｃで合波した通常光を発光する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Ｌｓで合波した特殊光を発光する。
　また、観察モードが注目領域検出モードである場合、注目領域検出モード用照明光を発光する。本実施形態では、注目領域検出モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。
　プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、注目領域（ROI : Region Of Interest）の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
　図２に示すように、光源装置１４は、観察対象の照明に用いる照明光を発する光源部２０と、光源部２０を制御する光源制御部２２とを備えている。光源部２０は、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源である。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
　第１実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤと、波長カットフィルタ２３とを有している。図３に示すように、Ｖ－ＬＥＤ２０ａは、波長帯域３８０ｎｍ～４２０ｎｍの紫色光Ｖを発する。
　Ｂ－ＬＥＤ２０ｂは、波長帯域４２０ｎｍ～５００ｎｍの青色光Ｂを発する。Ｂ－ＬＥＤ２３ｂから出射した青色光Ｂのうち少なくともピーク波長の４５０ｎｍよりも長波長側は、波長カットフィルタ２３によりカットされる。これにより、波長カットフィルタ２３を透過した後の青色光Ｂｘは、４２０～４６０nmの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ２３は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。
　Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０ｎｍ～６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ－ＬＥＤ２０ｄは、波長帯域が６００ｎｍ～６５０ｎｍに及び赤色光Ｒを発する。なお、各ＬＥＤ２０ａ～２０ｄから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
　光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部２２における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置１４の明るさ設定部又はコンソール１９等によって設定可能である。
　通常モード又は注目領域検出モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図４に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｃは、青色光Ｂｘの光強度のピークが、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は注目領域検出モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む通常モード用又は注目領域検出モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。
　特殊モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図５に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｓは、紫色光Vの光強度のピークが、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Ｂｘの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Ｖが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、４色全ての光が含まれていなくてもよく、４色のＬＥＤ２０ａ～２０ｄのうち少なくとも１色のＬＥＤからの光が含まれていればよい。また、特殊光は、４５０ｎｍ以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。
　図２に示すように、光源部２０が発した照明光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通したライトガイド２４に入射する。ライトガイド２４は、内視鏡１２及びユニバーサルコードに内蔵され、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド２４としては、マルチモードファイバを使用することができる。一例として、ライトガイド２４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３ｍｍ～φ０．５ｍｍの細径なファイバケーブルを使用することができる。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂとを設けている。照明光学系３０ａは、照明レンズ３２を有している。この照明レンズ３２を介して、ライトガイド２４を伝搬した照明光によって観察対象を照明する。撮像光学系３０ｂは、対物レンズ３４と、拡大光学系３６と、撮像センサ３８（本発明の「撮像部」に対応する）とを有している。これら対物レンズ３４及び拡大光学系３６を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ３８に入射する。これにより、撮像センサ３８に観察対象の像が結像する。
　拡大光学系３６は、観察対象を拡大するズームレンズ３６ａと、ズームレンズ３６ａを光軸方向ＣＬに移動させるレンズ駆動部３６ｂとを備えている。ズームレンズ３６ａは、レンズ駆動部３６ｂによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ３８に結像する観察対象を拡大又は縮小させる。
　撮像センサ３８は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ３８の各画素には、Ｒ（赤色）カラーフィルタ、Ｇ（緑色）カラーフィルタ、Ｂ（青色）カラーフィルタのいずれかが設けられている。撮像センサ３８は、Ｂカラーフィルタが設けられているＢ画素で紫色から青色の光を受光し、Ｇカラーフィルタが設けられているＧ画素で緑色の光を受光し、Ｒカラーフィルタが設けられているＲ画素で赤色の光を受光する。そして、各色の画素から、ＲＧＢ各色の画像信号を出力する。撮像センサ３８は、出力した画像信号を、ＣＤＳ回路４０に送信する。
　通常モード又は注目領域検出モードにおいては、撮像センサ３８は、通常光が照明された観察対象を撮像することにより、B画素からBｃ画像信号を出力し、G画素からGc画像信号を出力し、R画素からRｃ画像信号を出力する。また、特殊モードにおいては、撮像センサ３８は、特殊光が照明された観察対象を撮像することにより、B画素からBｓ画像信号を出力し、G画素からGｓ画像信号を出力し、R画素からRｓ画像信号を出力する。
　撮像センサ３８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。また、ＲＧＢの原色のカラーフィルタを設けた撮像センサ３８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
　ＣＤＳ回路４０は、撮像センサ３８から受信したアナログの画像信号に、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行う。ＣＤＳ回路４０を経た画像信号はＡＧＣ回路４２に入力される。ＡＧＣ回路４０は、入力された画像信号に対して、自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。Ａ／Ｄ（Analog to Digital）変換回路４４は、ＡＧＣ回路４２を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路４４は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置１６に入力する。
　図２に示すように、プロセッサ装置１６は、画像信号取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理部５６と、表示制御部５８とを備えている。
　プロセッサ装置１６は、医療画像処理装置としての機能を含んでおり、後述するように、画像処理部５６では、内視鏡画像を取得するとともに、内視鏡画像から観察対象内の注目領域を検出し、表示制御部５８では、内視鏡画像７５に対して注目領域を強調表示する。
　画像信号取得部５０は、内視鏡１２から、観察モードに対応したデジタル画像信号を取得する。通常モード又は注目領域検出モードの場合には、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得する。特殊モードの場合には、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。注目領域検出モードの場合には、通常光の照明時に１フレーム分のＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得し、特殊光の照明時に１フレーム分のＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。
　ＤＳＰ５２は、画像信号取得部５０が取得した画像信号に対して、欠陥補正処理、オフセット処理、ＤＳＰ用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ３８の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ＤＳＰ用ゲイン補正処理は、オフセット処理した画像信号に特定のＤＳＰ用ゲインを乗じることにより信号レベルを整える。
　リニアマトリクス処理は、ＤＳＰ用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５４は、ＤＳＰ５２でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部５６に入力される。
　画像処理部５６は、通常モード画像処理部６０と、特殊モード画像処理部６２と、注目領域検出モード画像処理部６４を備えている。通常モード画像処理部６０は、通常モードに設定されている場合に作動し、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（Look Up Table）処理などにより色変換処理を行う。
　色彩強調処理は、色変換処理済みのＲＧＢ画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のＲＧＢ画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Ｂｘ、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部５８に入力される。
　特殊モード画像処理部６２は、特殊モードに設定されている場合に作動する。特殊モード画像処理部６２では、受信したＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード画像処理部６０と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Ｂｘ、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部５８に入力される。
　注目領域検出モード画像処理部６４は、注目領域検出モード時に設定されている場合に作動する。図６に示すように、注目領域検出モード画像処理部６４は、検出用画像処理部７０と、注目領域検出部７１と、視認性判定部７２と、視認性報知制御部７３とを有している。検出用画像処理部７０は、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理など通常モード画像処理部６０と同様の画像処理により内視鏡画像７５を順次取得する。
　注目領域検出部７１は、内視鏡画像７５を画像解析し、観察対象内の注目領域を検出するための注目領域検出処理を行う。本実施形態では、注目領域検出部７１は、注目領域として観察対象内の病変部（例えば、腫瘍や炎症など）を検出する。この場合、注目領域検出部７１は、先ず内視鏡画像７５を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した内視鏡画像７５から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを認識処理する。このような認識処理としては、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムであることが好ましい。
　また、注目領域検出部７１により内視鏡画像７５から算出される特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを２以上組み合わせた値であることが好ましい。
　最後に、同じ種類と特定された、ひとかたまりの小領域を１つの病変部として抽出する。注目領域検出部７１は、抽出した病変部の位置情報、大きさ、病変の種類などの情報を検出情報７６として内視鏡画像７５に関連付ける。注目領域検出モード画像処理部６４は、検出情報７６を関連付けた内視鏡画像７５を表示制御部５８に出力する。
　表示制御部５８は、画像処理部５６からの画像やデータをモニタ１８に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部５８は、通常画像をモニタ１８に表示する制御を行う。特殊モードに設定されている場合には、表示制御部５８は、特殊画像をモニタ１８に表示する制御を行う。
　注目領域検出モードに設定されている場合には、表示制御部５８は、内視鏡画像７５に対して注目領域検出部７１により検出した注目領域を強調表示する。表示制御部５８は、注目領域を強調表示する場合、先ず、注目領域検出モード画像処理部６４から出力された内視鏡画像７５、及び内視鏡画像７５に関連付けられた検出情報７６に基づき、注目領域を強調するための強調領域を設定する。
　図７に示すように、表示制御部５８は、病変部７７の位置、大きさ、種類などの検出情報７６に基づき、病変部７７よりも面積が広く、かつ病変部７７を包含する強調領域７８を設定する。本実施形態では、強調領域７８として、正方形の領域を設定する。強調領域７８は、例えば、病変部７７の外周との間に所定の間隔を置いて設定される正方形の外周を有する。なお、強調領域７８としてはこれに限らず、病変部７７の外周と接する正方形に設定してもよい。
　表示制御部５８は、上記のように設定した強調領域７８に対して強調表示を行う。すなわち、表示制御部５８は、内視鏡画像７５内の強調領域７８の位置に強調表示としての図形を重畳表示する。本実施形態では、表示制御部５８は、病変部７７を囲む正方形枠状（枠形状）の図形７９を、強調領域７８の位置に合わせて表示する。表示制御部５８は、強調領域７８を設定した後、内視鏡画像７５内における病変部７７の変動量に応じて強調領域７８を再設定し、再設定した強調領域７８の位置に合わせて図形７９を表示する。
　また、強調表示としての図形７９は、内視鏡画像７５の他の部分とは異なる表示態様であり、表示制御部５８は、例えば、一般的に内視鏡画像に多く含まれている色とは、色相が異なる色で図形７９を表示させる。また、ユーザの入力操作に応じて図形７９の色を設定可能にしてもよい。
　表示制御部５８は、強調表示としての図形７９の設定情報８１を、画像処理部５６に出力する。設定情報８１には、内視鏡画像７５に対する図形７９の位置情報、及び色情報等が含まれる。なお、設定情報８１には、病変部７７が検出されたもとの内視鏡画像７５の情報がタグ付けされている。
　視認性判定部７２は、病変部７７が検出された内視鏡画像７５から取得される画像情報と、表示制御部５８が設定した強調表示の設定情報８１から強調表示の視認性を判定し、判定結果として数値化した指標値を算出する。本実施形態では、視認性判定部７２は、注目領域検出部７１により病変部７７が検出された内視鏡画像７５から取得される画像情報、及び強調表示の設定情報８１から色情報を算出し、これらの色情報から内視鏡画像７５と、図形７９との色差を指標値として算出する。なお、色情報とは、色相・明度・彩度など色に関する情報を示す。
　図８に示すように、視認性判定部７２は、内視鏡画像７５から取得される画像情報から色情報を算出する場合、病変部７７を含む強調表示の内側、具体的には、内視鏡画像７５における図形７９で囲まれる範囲８２内（図７も参照）の平均値を色情報として算出する。上述したように、設定情報８１には図形７９の位置情報が含まれているため、位置情報に基づき内視鏡画像７５から図形７９で囲まれる範囲８２を切り取って色情報を算出することができる。一方、強調表示の設定情報から色情報を算出する場合、図形７９の平均値を色情報として算出する。視認性判定部７２は、これらの色情報から内視鏡画像７５と、図形７９との色差を算出する。
　視認性判定部７２における色差の算出では、例えば、ＪＩＳ　Ｚ　８７３０　７．３に規定されたＣＩＥＤＥ２０００による色差式によって求められる。このように規格化された算出方法を用いることにより、人間の視覚特性に即した色差を求めることができる。なお、上記ＣＩＥＤＥ２０００による色差式を用いる場合、色差を求めるための色情報としては、明度を示すＬ成分と、赤または緑の度合いを示すａ成分と、黄または青の度合いを示すｂ成分とから構成されるＣＩＥＬａｂ色空間の情報を用いる。
　なお、色差を求める算出方法としては上記のものに限らず、人間の視覚を考慮した算出方法であればよく、例えば、ＣＩＥＬａｂ色空間におけるユークリッド距離（ＣＩＥ７６とも呼ばれる。）を用いて算出してもよい。
　視認性報知制御部７３は、視認性判定部７２が判定した判定結果をユーザに報知する。図９に示すように、視認性報知制御部７３は、上記のように算出した判定結果としての色差を報知情報８３として表示制御部５８に出力し、モニタ１８の表示画面８４上に表示させる。本実施形態では、視認性報知制御部７３は、色差が予め設定された第１の閾値以下の場合、報知情報８３としての色差の情報を表示制御部５８に出力する。
　視認性報知制御部７３では、例えば、予め設定された第１の閾値を２．０とする。上記ＪＩＳ規定によれば、色差が１前後の場合、２つの色を横に隣接して見比べた時に違いが判別できるレベルであり、色差が２～３の場合、２つの色を離して見比べた時に違いが分かるレベルであると定義されている。視認性報知制御部７３は、ＪＩＳ規定に基づき、上記のように第１の閾値を２．０と設定しているため、視認性が低くなったことを報知することができる。
　以下では、注目領域検出モードにおいて、画像処理部５６及び表示制御部５８が、強調表示の視認性を判定し、判定結果をモニタ１８の表示画面８４に表示させるプロセスについて、図１０に示すフローチャート及び図１１に示す説明図に沿って説明を行う。ユーザである医師がモード切替部１３ｃを操作して、注目領域検出モードに切り替える。これにより、観察対象に対して、注目領域検出モード用照明光が照明される。この注目領域検出モード用照明光で照明された観察対象を撮像センサ３８で撮像して内視鏡画像７５を取得する。注目領域検出モードに切り替えた場合、表示制御部５８は、内視鏡画像７５を順次取得して（Ｓ１１）、モニタ１８の表示画面８４にリアルタイム表示する。
　注目領域検出モードにおけるリアルタイム表示中に、取得した内視鏡画像７５に対して、注目領域検出部７１により観察対象内の注目領域を検出するための注目領域検出処理を行う。注目領域を検出した場合（Ｓ１２でＹ）、注目領域検出部７１による検出情報７６を内視鏡画像７５に関連付けて出力する。
　そして、図１１（Ａ）に示すように、観察対象内に注目領域としての病変部７７が検出された場合、すなわち、内視鏡画像７５に検出情報７６が関連付けされている場合、表示制御部５８は、内視鏡画像７５に関連付けされた検出情報７６、特に病変部７７の位置及び大きさの情報などを用いて強調領域７８を設定する（Ｓ１３）。
　強調領域７８の設定後、表示制御部５８は、図１１（Ｂ）に示すように、内視鏡画像７５内の強調領域７８の位置に強調表示としての図形７９を重畳表示するとともに（Ｓ１４）、図形７９の設定情報８１を画像処理部５６に出力する。なお、図７～図９、図１１、及び図１２においては、図示の都合上、内視鏡画像７５内の図形７９と他の部分との色の違いを、網掛けの有無で表現している。一方、観察対象内に病変部７７が検出されていない場合は（Ｓ１２でＮ）、当然強調表示を行わない。
　図形７９の設定情報８１には、病変部７７が検出されたもとの内視鏡画像７５の情報がタグ付けされているため、視認性判定部７２は、もとの内視鏡画像７５を読み出し、内視鏡画像７５から取得される画像情報と、図形７９の設定情報８１から色情報を算出し、強調表示の視認性を判定する（Ｓ１５）。視認性の判定としては、上記したように、色情報から算出した色差を第１の閾値と比較する。図１２（Ａ）に示すように、強調表示としての図形７９を表示させた場合、内視鏡画像７５内の被検体の色、被検体内に存在する物体の有無等に応じて、図形７９が周囲と同化したり、周囲の部分に対して目立たなくなり、視認性が低下することがある。このような場合、一般的に、内視鏡画像７５と図形７９との色差の値も低下する。
　色差が第１の閾値以下の場合（Ｓ１６でＹ）、図１２（Ｂ）に示すように、報知情報８３として色差の情報を表示制御部５８に出力する。表示制御部５８は、報知情報８３を表示画面８４に表示して視認性が低下していることを報知する（Ｓ１７）。なお、色差が第１の閾値を超えている場合（Ｓ１６でＮ）、視認性判定部７２は報知を行わない。
　以上のように、内視鏡画像７５における強調表示の視認性を判定し、強調表示の視認性が低下している場合、報知を行っているので、ユーザである医師が強調表示の視認性低下を認識することが可能であり、ユーザが病変部などの注目領域に気付かないという状態を回避することができる。
　［第２実施形態］
　上記第１実施形態では、視認性の判定結果として、色差の情報を表示画面に表示させる例を上げているが、これに限らず、判定結果としての指標値に応じて識別情報を表示させるようにしてもよい。図１３においては、判定結果としての色差に応じた識別情報８５Ａ、８５Ｂを表示画面８４に表示させた一例を示している。
　本実施形態では、内視鏡画像７５から取得される画像情報、及び強調表示の設定情報８１から色情報を算出し、これらの色情報から内視鏡画像７５と、図形７９との色差を算出し、色差と第１の閾値とを比較するまでのプロセスは、上記第１実施形態と同様である。そして、色差が第１の閾値以下の場合、視認性判定部７２は、識別情報８５Ａを表示制御部５８に出力する。表示制御部５８は、識別情報８５Ａを表示画面８４に表示して視認性が低下していることを報知する。図１３（Ａ）に示す例では、識別情報８５Ａとして「視認性低」という文字情報を表示させている。これにより、上記第１実施形態と同様に、ユーザである医師が強調表示の視認性低下を認識することができる。
　なお、本実施形態の変形例としては、色差が第１の閾値以下の場合だけではなく、色差が第１の閾値を超えている場合、すなわち、視認性が高い場合も識別情報を表示させてもよい。図１３（Ｂ）に示すように、色差が第１の閾値を超えている場合、視認性判定部７２は、識別情報８５Ｂを表示制御部５８に出力する。表示制御部５８は、識別情報８５Ｂを表示画面８４に表示して視認性が高いことを報知する。図１３（Ｂ）に示す例では、識別情報８５Ｂとして「視認性高」という文字情報を表示させている。
　また、色差に応じて識別情報を表示させる設定としては、第１の閾値以下の場合、又は第１の閾値を超えている場合という２段階の設定に限らず、３段階以上に設定してもよい。視認性判定部７２は、例えば、色差が２．０以下、２．０より大きく且つ４．０以下、４．０より大きいという３段階の数値が予め設定されており、この設定に基づき判定を行う。そして、色差が２．０以下の場合は視認性が低い、色差が２．０より大きく４．０以下の場合は視認性が中位、色差が４．０より大きい場合は視認性が高いことを識別情報として表示画面８４に表示させる。この場合、識別情報としては、色差の段階に応じて例えば「視認性低」、「視認性中」、「視認性高」という文字情報を表示させることが好ましい。
　［第３実施形態］
　上記第２実施形態では、視認性の判定結果として、判定結果としての色差に応じた識別情報を表示させる例を上げているが、これに限らず、図１４に示す例のように、判定結果としての色差に応じた識別図形を表示させてもよい。
　本実施形態では、内視鏡画像７５から取得される画像情報、及び強調表示の設定情報８１から色情報を算出し、これらの色情報から内視鏡画像７５と、図形７９との色差を算出し、色差と第１の閾値とを比較するまでのプロセスは、上記第１及び第２実施形態と同様である。そして、色差が第１の閾値以下の場合、アイコン８６Ａの情報を表示制御部５８に出力する。表示制御部５８は、識別図形としてのアイコン８６Ａを表示画面８４に表示して視認性が低下していることを報知する。図１４（Ａ）に示す例では、アイコン８６Ａとして、危険があることを示す標識を模したマークを表示させている。これにより、上記第１及び第２実施形態と同様に、ユーザである医師が強調表示の視認性低下を認識することができる。
　なお、本実施形態の変形例としては、色差が第１の閾値以下の場合だけではなく、色差が第１の閾値を超えている場合、すなわち、視認性が高い場合も識別図形を表示させてもよい。図１４（Ｂ）に示すように、色差が第１の閾値を超えている場合、視認性判定部７２は、アイコン８６Ｂの情報を表示制御部５８に出力する。表示制御部５８は、識別図形としてのアイコン８６Ｂを表示画面８４に表示して視認性が高いことを報知する。図１４（Ｂ）に示す例では、アイコン８６Ｂとして、二重丸のマークを表示させている。
　また、色差に応じて識別情報を表示させる設定としては、上記第２実施形態と同様に、３段階以上に設定してもよい。視認性判定部７２は、例えば、上記第２実施形態と同様に３段階の数値が予め設定され、この設定に基づき判定を行う。そして、色差が２．０以下の場合は視認性が低い、色差が２．０より大きく且つ４．０以下の場合は視認性が中位、色差が４．０より大きい場合は視認性が高いことを識別図形として表示画面８４に表示させる。この場合、識別図形としては、色差の段階に応じて異なる形状のアイコンを表示させることが好ましい。
　［第４実施形態］
　上記各実施形態では、内視鏡画像に強調表示を重畳させた画像を１つの表示画面内に表示させ、内視鏡画像の非表示領域に報知情報等を表示させているが、通常の内視鏡画像を表示する表示画面とは異なる表示画面に、報知情報等を重畳させた画像を表示させてもよい。
　図１５に示す例では、１つのモニタ１８に２つの表示画面を並べて表示させており、表示領域が大きいメイン画像として通常の内視鏡画像８７を、メイン画像より表示領域が小さいサブ画像として内視鏡画像に強調表示を重畳させた画像８８を表示させている。そして、強調表示を重畳させた画像８８には、さらに、識別情報としてのアイコン８６Ａが重畳表示されている。なお、本実施形態で、通常の内視鏡画像８７というのは、上記各実施形態において、注目領域検出モード中に画像処理部５６が取得した内視鏡画像７５そのものであり、強調表示としての図形などを重畳させていない状態のものを示している。
　サブ画像として強調表示を重畳させた画像８８は、上記各実施形態と同様に内視鏡画像７５に強調表示としての図形７９などを重畳表示させたものである。そして、上記各実施形態と同様に、内視鏡画像７５から取得される画像情報、及び強調表示の設定情報８１から色情報を算出し、これらの色情報から内視鏡画像７５と、図形７９との色差を算出し、第１の閾値と比較する。そして、色差が第１の閾値以下の場合、アイコン８６Ａの情報を表示制御部５８に出力する。表示制御部５８は、強調表示を重畳させた画像８８にさらにアイコン８６Ａを重畳表示して視認性が低下していることを報知する。
　なお、視認性の判定結果として表示させる情報としては、アイコン８６Ａに限らず、上記各実施形態と同様に、指標値としての色差の情報や、色差に応じた識別情報などを表示させてもよく、色差に応じて異なる識別情報又は識別図形を表示させてもよい。また、図１５に示す例では、１つのモニタ１８に２つの表示画面を並べて表示させているが、メイン画像とサブ画像とを別々のモニタに表示させてもよい。
　なお、上記第１～第４実施形態では、視認性判定部７２は、内視鏡画像７５と、強調表示としての図形７９との色差を算出する場合、図形７９の内側から色情報を算出しているが、これに限らず、図形７９の外側、具体的には、内視鏡画像７５において、図形７９及び図形７９で囲まれる範囲８２を除く部分の平均値を色情報として算出してもよい。上述したように、設定情報８１には図形７９の位置情報が含まれているため、位置情報に基づき内視鏡画像７５から図形７９の外側を切り取って色情報を算出することができる。これにより、強調表示としての図形７９と、図形７９の外側との色差が低下しても、ユーザである医師が強調表示の視認性低下を認識することができる。
　また、上記第１～第４実施形態では、視認性判定部７２は、内視鏡画像７５と強調表示との色差を判定するために、予め設定された第１の閾値を用いているが、この判定に用いる第１の閾値は常に同じ値ではなく、強調表示の線の太さに応じて第１の閾値に重み付けをしてもよい。
　例えば、表示制御部５８は、注目領域の大きさに応じて強調表示としての図形７９の線の太さを変更可能とし、あるいは、ユーザの入力操作に応じて図形７９の線の太さを変更可能とする。このように図形７９の線の太さを変更可能とする場合、視認性判定部７２は、強調表示の設定情報を取得した際、図形７９の線の太さに応じて第１の閾値に重み付けをする。第１の閾値に対する重み付けとしては、図形７９の線の太さに反比例して第１の閾値を小さく設定する。
　例えば、図形７９の線の太さが初期設定の場合、第１の閾値は２．０とし、図形７９の線の太さが初期設定よりも太い場合は、第１の閾値を２．０よりも小さく、図形７９の線の太さが初期設定よりも細い場合は、第１の閾値を２．０より大きくする。強調表示の視認性は、図形７９の線の太さが太い程、視認性が高くなるため、図形７９の線の太さに応じて第１の閾値を小さく設定しても、上記各実施形態と同様に、ユーザである医師が強調表示の視認性低下を認識することができる。
　［第５実施形態］
　上記各実施形態では、視認性判定部７２は、視認性の判定として、内視鏡画像７５の画像情報及び強調表示の設定情報から算出した色差を指標値として用いているが、これに限らず、強調表示の内側に存在する検出対象外の物体の有無で視認性の判定を行ってもよい。この場合、例えば、図１６（Ａ）に示すように、内視鏡画像７５において、検出対象外の物体８９又は現象として、例えば、水、ハレーション、泡、色素等、病変部７７以外のものが強調表示としての図形７９の内側に進入する場合がある。これらの検出対象外の物体８９又は現象が内視鏡画像７５に映り込んだ部分は、色情報を取得した場合、一般的に明度又は輝度が高い。このため、本実施形態では、内視鏡画像から取得する色情報として明度の値を用いる。なお、これに限らず、内視鏡画像から取得する色情報として輝度の値を用いてもよい。
　視認性判定部７２は、検出対象外の物体８９又は現象が図形７９の内側に存在していることを検出するために、図形７９で囲まれる範囲８２内の各画素の明度を第２の閾値と比較する。この第２の閾値は、水、ハレーション、泡等を想定して明度が高い値に設定している。よって、明度が第２の閾値以上の場合は、検出対象外の物体８９又は現象が映り込んでいる可能性が高い。
　視認性判定部７２は、さらに図形７９で囲まれる範囲８２に対して、明度が第２の閾値以上の部分の面積比（範囲８２の面積に対する明度が第２の閾値以上の部分の面積の比率）と、第３の閾値とを比較する。第３の閾値は、範囲８２に対して明度が高い部分が多いことを想定しており、例えば５０％の面積比に設定している。
　そして、視認性判定部７２は、明度が第２の閾値以上の部分の面積比が第３の閾値以上の場合、検出対象外の物体８９又は現象が図形７９の内側に有る状態、すなわち視認性が低下していると判断して、アイコン８６Ａの情報を表示制御部５８に出力する。表示制御部５８は、内視鏡画像７５にアイコン８６Ａを重畳表示して視認性が低下していることを報知する。なお、視認性の判定結果として表示させる情報としては、アイコン８６Ａに限らず、明度が第２の閾値以上の部分の面積比の情報や、面積比に応じた識別情報などを表示させてもよく、面積比に応じて異なる識別情報又は識別図形を表示させてもよい。
　なお、上記各実施形態においては、強調表示としての図形は正方形枠状であるが、これに限らず、矩形（四角形）以外の多角形、円、楕円など、注目領域を囲むことができる枠形状であればよい。
　また、強調表示としての図形は、注目領域を囲む１つの枠形状に限らず、複数の形状から構成してもよい。図１７に示す例では、表示制御部５８は、強調表示として、病変部７７を囲む４つのＬ字状図形９１Ａ～９１Ｄを強調領域７８の各コーナー上に配置している。なお、図１７では、２点鎖線は、Ｌ字状図形９１Ａ～９１Ｄの配置を説明する都合上図示したものであり、実際には表示しない。
　図１７に示す例において、上記第１～第４実施形態のように、視認性の判定として、内視鏡画像７５の画像情報及び強調表示の設定情報から算出した色差を指標値として用いる場合、視認性判定部７２は、４つのＬ字状図形９１Ａ～９１Ｄの平均値を色情報として算出し、内視鏡画像７５の色情報と、Ｌ字状図形９１Ａ～９１Ｄの平均値の色情報とから色差を算出し、第１の閾値と比較することが好ましい。
　なお、これに限らず、視認性判定部７２は、４つのＬ字状図形９１Ａ～９１Ｄについてそれぞれ色情報を算出し、内視鏡画像７５の色情報と、Ｌ字状図形９１Ａ～９１Ｄのそれぞれの色情報とから計４つの色差を算出し、第１の閾値と比較する。この場合、例えば、４つの色差のうち、いずれか１つでも第１の閾値以下であれば、視認性が低いと判定する。そして、色差が第１の閾値以下の場合、色差の報知情報８３、識別情報、識別図形等の情報を表示制御部５８に出力する。以降は、上記各実施形態と同様に報知を行う。
　また、内視鏡画像７５の画像情報及び強調表示の設定情報から算出した色差などの指標値が予め設定された第１の閾値以下の場合、あるいは、強調表示の内側において明度又は輝度が第２の閾値以上の部分の面積比が第３の閾値以上の場合、画像処理部５６は、視認性が低いと判断し、上記各実施形態と同様に報知を行うとともに、注目領域が検出された内視鏡画像を自動で保存してもよい。これにより、注目領域が検出されていながら、視認性が低下していた内視鏡画像について後から確認することができるため、ユーザが病変部などの注目領域に気付かないという状態を確実に回避することができる。なお、上記のように視認性が低いと判断し、注目領域が検出された内視鏡画像を保存する保存先としては、例えばプロセッサ装置１６に設けた記憶装置、あるいはクラウドなどのサーバに保存してもよい。
　また、上記のように視認性が低いと判断した場合、画像処理部５６は、ユーザに報知するだけではなく、音を発したり、インジケータの発光、あるいは、画面の一部を点滅させるなどの警告を行ってもよい。
　［第６実施形態］
　上記各実施形態では、視認性判定部７２は、色差の情報、又は検出対象外の物体の有無などで視認性の判定を行っているが、これに限らず、注目領域に対する強調表示の線の太さから判定してもよい。図１８は、視認性判定部７２が注目領域に対する強調表示の線の太さから強調表示の視認性を判断する場合の表示画面の一例である。
　本実施形態では、視認性判定部７２は、注目領域検出部７１により内視鏡画像７５から検出された病変部７７の最大寸法ＬＭに対する図形７９の線の太さＴ１の比率を指標値として算出する。なお、病変部７７の最大寸法ＬＭとは、例えば、内視鏡画像７５のＸ軸方向及びＹ軸方向のいずれか一方において病変部７７の最も大きい部分の寸法を使用し、図１８に示す例では、Ｘ軸方向において病変部７７の最も大きい部分の寸法を最大寸法ＬＭとしている。
　視認性判定部７２は、視認性の判定としては、上述した病変部７７の最大寸法ＬＭに対する図形７９の線の太さＴ１の比率を閾値と比較し、比率が閾値以下の場合、視認性が低いと判定する。そして、上記各実施形態と同様に、報知情報、識別情報、識別図形等の情報を表示制御部５８に出力する。以降は、上記各実施形態と同様に報知を行う。図１８に示す例では、識別情報９２として「視認性低」という文字情報を表示させている。注目領域に対する図形の線の太さの比率が小さくなるほど、視認性が低くなるため、上記各実施形態と同様に、ユーザである医師が強調表示の視認性低下を認識することができる。
　［第７実施形態］
　上記第６形態では、視認性判定部７２は、注目領域に対する強調表示の線の太さから視認性の判定を行っているが、これに限らず、強調表示として注目領域を囲む枠形状の図形を表示し、注目領域に対する枠形状の類似度から視認性を判定してもよい。図１９は、注目領域に対する枠形状の類似度から強調表示の視認性を判断する場合の表示画面の一例である。
　本実施形態では、視認性判定部７２は、注目領域検出部７１により内視鏡画像７５から検出された病変部７７の形状と、病変部７７を囲む枠形状の図形９３の類似度を解析する。なお、図形９３は、病変部７７を囲み、かつ病変部７７の外周の複数箇所と接する円形枠状の図形である。視認性判定部７２は、類似度から視認性を判定する場合、例えば、周知のテンプレートマッチングなどの手法により、病変部７７の輪郭形状と、図形９３の内周形状との類似度を解析し、この類似度を閾値と比較し、類似度が閾値以上の場合、視認性が低いと判定する。そして、上記各実施形態と同様に、報知情報、識別情報、識別図形等の情報を表示制御部５８に出力する。以降は、上記各実施形態と同様に報知を行う。図１９に示す例では、識別情報９２として「視認性低」という文字情報を表示させている。注目領域に対する枠形状の類似度が高くなるほど、視認性が低くなるため、上記各実施形態と同様に、ユーザである医師が強調表示の視認性低下を認識することができる。
　上記各実施形態では、表示制御部５８は、強調領域の位置に枠形状の図形を重畳表示させているが、これに限るものではなく、強調表示として強調領域の色を変更してもよい。この場合、注目領域としての病変部７７を検出し、強調領域を設定した場合、表示制御部５８は、強調表示として強調領域を本来の色とは異なる色、例えば、内視鏡画像７５に多く含まれている色を抽出し、強調領域を内視鏡画像７５の他の部分と異なる色に変更してもよい。なお、ここでいう異なる色とは、例えば、色相が異なる色のことである。
　なお、強調領域の強調表示としては、上記のものに限らず、彩度変化処理、コントラスト処理、ネガポジ反転処理、フィルタリング処理など、周囲に対して視覚的に区別することができる画像処理であればよい。あるいは、強調領域の画像処理による強調表示と、上記各実施形態における病変部を囲む図形による強調表示を組み合わせてもよい。
　上記各実施形態では、４色のＬＥＤ２０ａ～２０ｄを用いて観察対象の照明を行っているが、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。また、上記各実施形態では、４色のＬＥＤ２０ａ～２０ｄを用いて観察対象の照明を行っているが、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ３８に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。
　なお、上記実施形態では、医療画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医療画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医療画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像などを取得する各種医療画像装置に対しても、本発明の医療画像処理装置の適用は可能である。
　上記実施形態において、画像処理部５６、表示制御部５８のような各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１３ａ　アングルノブ
１３ｂ　静止画像取得部
１３ｃ　モード切替部
１３ｄ　ズーム操作部
１４　光源装置
１６　プロセッサ装置
１８　モニタ
１９　コンソール
２０　光源部
２０ａ　V-LED
２０ｂ　B-LED
２０ｃ　G-LED
２０ｄ　R-LED
２２　光源制御部
２３　波長カットフィルタ
２４　ライトガイド
３０ａ　照明光学系
３０ｂ　撮像光学系
３２　照明レンズ
３４　対物レンズ
３６　拡大光学系
３６ａ　ズームレンズ
３６ｂ　レンズ駆動部
３８　撮像センサ
４０　ＣＤＳ回路
４２　ＡＧＣ回路
４４　Ａ／Ｄ変換回路
５０　画像信号取得部
５２　DSP
５４　ノイズ低減部
５６　画像処理部
５８　表示制御部
６０　通常モード画像処理部
６２　特殊モード画像処理部
６４　注目領域検出モード画像処理部
７０　検出用画像処理部
７１　注目領域検出部
７２　視認性判定部
７３　視認性報知制御部
７５　内視鏡画像
７６　検出情報
７７　病変部
７８　強調領域
７９　図形
８１　設定情報
８２　範囲
８３　報知情報
８４　表示画面
８５Ａ　識別情報
８５Ｂ　識別情報
８６Ａ　アイコン
８６Ｂ　アイコン
８７　通常の内視鏡画像
８８　強調表示を重畳させた画像
８９　検出対象外の物体
９１Ａ～９１Ｄ　Ｌ字状図形

Claims (20)

  1. 　プロセッサを備える医療画像処理装置であって、
    　前記プロセッサは、
    　医療画像を取得し、
    　前記医療画像内から注目領域を検出し、
    　前記検出した前記注目領域を強調するための強調表示を設定し、前記強調表示を前記医療画像に重畳して表示させ、
    　前記注目領域が検出された前記医療画像から取得される画像情報と、前記設定した前記強調表示とから強調表示の視認性を判定し、
    　前記視認性の判定結果をユーザに報知する医療画像処理装置。
  2. 　前記プロセッサは、前記医療画像における前記強調表示の内側から前記画像情報を取得する請求項１記載の医療画像処理装置。
  3. 　前記プロセッサは、前記医療画像における前記強調表示の外側から前記画像情報を取得する請求項１の医療画像処理装置。
  4. 　前記プロセッサは、前記画像情報から算出した色情報と、前記強調表示から算出した色情報とから、前記医療画像と前記強調表示との色差を取得し、前記色差から前記視認性を判定する請求項１ないし３のいずれか１項記載の医療画像処理装置。
  5. 　前記プロセッサは、前記画像情報から算出した平均値を前記色情報として算出する請求項１ないし４のいずれか１項記載の医療画像処理装置。
  6. 　前記プロセッサは、前記強調表示として、前記注目領域を囲む枠形状の図形を表示し、前記注目領域に対する前記枠形状の線の太さから前記視認性を判定する請求項１ないし３のいずれか１項記載の医療画像処理装置。
  7. 　前記プロセッサは、前記強調表示として、前記注目領域を囲む枠形状の図形を表示し、前記注目領域に対する前記枠形状の類似度から前記視認性を判定する請求項１ないし３のいずれか１項記載の医療画像処理装置。
  8. 　前記プロセッサは、前記判定結果を表示画面上に表示させる請求項１ないし７のいずれか１項記載の医療画像処理装置。
  9. 　前記プロセッサは、前記視認性の判定結果として、数値化した指標値を算出し、表示画面上に表示させる請求項１ないし８のいずれか１項記載の医療画像処理装置。
  10. 　前記プロセッサは、前記指標値が予め設定された閾値以下の場合、前記報知として前記指標値の表示を行う請求項９記載の医療画像処理装置。
  11. 　前記プロセッサは、前記画像情報及び前記強調表示から算出した色差を前記指標値として用いる請求項９又は１０記載の医療画像処理装置。
  12. 　前記プロセッサは、前記視認性の判定結果を数値化した指標値を算出し、前記指標値に応じた識別情報又は識別図形を表示させる請求項１ないし１１のいずれか１項記載の医療画像処理装置。
  13. 　前記プロセッサは、前記強調表示の内側に存在する検出対象外の物体の有無で前記視認性の判定を行う請求項１記載の医療画像処理装置。
  14. 　前記プロセッサは、前記医療画像における前記強調表示の内側の範囲に対して、前記強調表示の内側の明度又は輝度が第２の閾値以上である部分の面積比が第３の閾値以上の場合、前記検出対象外の物体が有ると判定する請求項１２記載の医療画像処理装置。
  15. 　前記プロセッサは、前記医療画像を表示させる表示画面とは異なる表示画面に前記判定結果を表示させる請求項８記載の医療画像処理装置。
  16. 　前記プロセッサは、前記指標値が予め設定された第１の閾値以下の場合、前記注目領域が検出された前記医療画像を自動で保存する請求項９記載の医療画像処理装置。
  17. 　前記プロセッサは、前記指標値が予め設定された第１の閾値以下の場合、ユーザに警告をする請求項９記載の医療画像処理装置。
  18. 　観察対象を照明するための照明光を発する光源装置と、
    　前記照明光で照明された観察対象を撮像する撮像センサを有する内視鏡と、
    　プロセッサと、
    　前記撮像センサが出力する画像信号を信号処理した医療画像を表示するモニタとを備え、
    　前記プロセッサは、
    　前記医療画像を取得し、
    　前記医療画像内から注目領域を検出し、
    　前記検出した前記注目領域を強調するための強調表示を設定し、前記強調表示を前記医療画像に重畳して前記モニタに表示させ、
    　前記注目領域が検出された前記医療画像から取得される画像情報と、前記設定した前記強調表示とから強調表示の視認性を判定し、
    　前記視認性の判定結果をユーザに報知する内視鏡システム。
  19. 　医療画像を取得するステップと、
    　前記取得した前記医療画像内から注目領域を検出するステップと、
    　前記検出した前記注目領域を強調するための強調表示を設定し、前記強調表示を前記医療画像に重畳して表示させるステップと、
    　前記注目領域が検出された前記医療画像から取得される画像情報と、前記設定した前記強調表示とから強調表示の視認性を判定するステップと、
    　前記視認性の判定結果をユーザに報知するステップとを含む医療画像処理装置の作動方法。
  20. 　医療画像を取得するとともに、医療画像に画像処理を施す医療画像処理装置にインストールされる医療画像処理装置用プログラムにおいて、
    　コンピュータに、
    　前記医療画像を取得する機能と、
    　前記医療画像内から注目領域を検出する機能と、
    　前記検出した前記注目領域を強調するための強調表示を設定し、前記強調表示を前記医療画像に重畳して表示させる機能と、
    　前記注目領域が検出された前記医療画像から取得される画像情報と、前記設定した前記強調表示とから強調表示の視認性を判定する機能と、
    　前記視認性の判定結果をユーザに報知する機能とを実現させるための医療画像処理装置用プログラム。
PCT/JP2021/014299 2020-04-03 2021-04-02 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム WO2021201272A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21780377.4A EP4129152A4 (en) 2020-04-03 2021-04-02 MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, OPERATING METHOD FOR MEDICAL IMAGE PROCESSING APPARATUS, AND PROGRAM FOR MEDICAL IMAGE PROCESSING APPARATUS
JP2022511157A JPWO2021201272A1 (ja) 2020-04-03 2021-04-02
CN202180026610.7A CN115361898A (zh) 2020-04-03 2021-04-02 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、以及医疗图像处理装置用程序
US17/937,290 US20230027950A1 (en) 2020-04-03 2022-09-30 Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020067362 2020-04-03
JP2020-067362 2020-04-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/937,290 Continuation US20230027950A1 (en) 2020-04-03 2022-09-30 Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
WO2021201272A1 true WO2021201272A1 (ja) 2021-10-07

Family

ID=77927224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014299 WO2021201272A1 (ja) 2020-04-03 2021-04-02 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム

Country Status (5)

Country Link
US (1) US20230027950A1 (ja)
EP (1) EP4129152A4 (ja)
JP (1) JPWO2021201272A1 (ja)
CN (1) CN115361898A (ja)
WO (1) WO2021201272A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7148625B2 (ja) * 2018-09-18 2022-10-05 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
CN117392449B (zh) * 2023-10-24 2024-09-24 青岛美迪康数字工程有限公司 基于进镜图像特征的肠镜部位识别方法、装置和设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017081976A1 (ja) 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018198161A1 (ja) 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
WO2019146077A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
WO2019244255A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡画像処理装置および内視鏡画像処理方法
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
WO2020054541A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7282796B2 (ja) * 2018-09-28 2023-05-29 富士フイルム株式会社 医用画像処理装置、医用画像処理装置の作動方法、及びプログラム、診断支援装置並びに内視鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017081976A1 (ja) 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018198161A1 (ja) 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
WO2019146077A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
WO2019244255A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡画像処理装置および内視鏡画像処理方法
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
WO2020054541A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム

Also Published As

Publication number Publication date
EP4129152A4 (en) 2023-09-20
EP4129152A1 (en) 2023-02-08
JPWO2021201272A1 (ja) 2021-10-07
CN115361898A (zh) 2022-11-18
US20230027950A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
US11033175B2 (en) Endoscope system and operation method therefor
US12029384B2 (en) Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP2020065685A (ja) 内視鏡システム
US20230029239A1 (en) Medical image processing system and method for operating medical image processing system
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21780377

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511157

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021780377

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021780377

Country of ref document: EP

Effective date: 20221103

NENP Non-entry into the national phase

Ref country code: DE