WO2020066941A1 - 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 - Google Patents
医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 Download PDFInfo
- Publication number
- WO2020066941A1 WO2020066941A1 PCT/JP2019/037100 JP2019037100W WO2020066941A1 WO 2020066941 A1 WO2020066941 A1 WO 2020066941A1 JP 2019037100 W JP2019037100 W JP 2019037100W WO 2020066941 A1 WO2020066941 A1 WO 2020066941A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- area
- medical image
- control unit
- display control
- display
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 230000008859 change Effects 0.000 claims abstract description 29
- 238000005286 illumination Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000002265 prevention Effects 0.000 abstract 1
- 230000003902 lesion Effects 0.000 description 68
- 230000008569 process Effects 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 17
- 239000003086 colorant Substances 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 210000004204 blood vessel Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000004907 gland Anatomy 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
- G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Definitions
- the present invention relates to a medical image processing device and an endoscope system for detecting a region of interest such as a lesion, and an operation method of the medical image processing device.
- medical diagnosis such as endoscopic images, X-ray images, CT (Computed Tomography) images, and MR (Magnetic Resonanse) images are used to perform image diagnosis such as diagnosis of disease states and follow-up observations of patients. ing. Based on such image diagnosis, doctors and the like make decisions on treatment policies and the like.
- a medical image is analyzed to automatically detect a region of interest to be observed carefully, such as a lesion or a tumor in an organ.
- machine learning such as deep learning
- Patent Document 1 describes a medical image processing apparatus that performs image processing based on a detection result when a region of interest such as a lesion is detected from a medical image.
- a region including a pixel in which a region of interest is detected is set as an emphasized region, and the display mode of the emphasized region is changed.
- the attention area is emphasized by performing color conversion processing or the like for converting the color of the pixel in the emphasis area into the target color. If the position and size of the detected region of interest change, the highlight region also changes and the position and size of the highlighted display in the medical image change.
- Patent Document 2 discloses that when a region of interest such as a lesion is detected from any of the regions into which a medical image is divided into four, a partial display around the region is performed for the four divided regions in which the region of interest is detected.
- a medical image processing apparatus for displaying a frame is described.
- Patent Literature 1 if the position and size of the region of interest in the medical image change, the position and size of the highlighted display change accordingly, so that the display screen flickers. It is easy to occur and hinders doctor's observation.
- the object of the present invention is to provide a medical image processing apparatus, an endoscope system, and a method of operating a medical image processing apparatus that can recognize an accurate position of a region of interest and can prevent flicker on a display screen.
- the medical image processing device of the present invention includes a medical image acquisition unit, a region of interest detection unit, and a display control unit.
- the medical image acquisition unit captures an observation target and acquires a medical image.
- the attention area detection unit detects an attention area in the observation target with respect to the medical image acquired by the medical image acquisition unit.
- the display control unit is a display control unit that sets an emphasized area that is larger in area than the attention area and encompasses the attention area, and highlights the emphasized area on the medical image. It is determined whether or not to change the setting of the emphasized area according to the amount of change.
- the display control unit sets a reference area outside the attention area and inside the enhancement area when setting the enhancement area, and when at least a part of the attention area is shifted outside the reference area, the enhancement area and the reference It is preferable to reset the area.
- the display control unit may move the position of the highlight display after the reset with respect to the position of the highlight display before the reset. Is preferred.
- the display control unit sets the emphasized area and the reference area after setting the emphasized area and the reference area, it is preferable that the emphasized display after the reset is enlarged with respect to the emphasized display before the reset.
- the display control unit When the enlargement rate of the area of the attention area exceeds the first threshold after setting the emphasis area, the display control unit resets the emphasis area to reset the emphasis display before the reset. It is preferable to enlarge the later highlighting.
- the display control unit sets the area of the graphic to be superimposed and displayed on the medical image as the emphasized display when the enlargement ratio of the area of the region of interest exceeds the second threshold larger than the first threshold after setting the emphasized region. It is preferred to make decreasing changes.
- the display control unit determines the representative coordinates from the attention area detected by the attention area detection unit, and resets the position of the emphasized area when the position of the representative coordinates moves by the threshold or more.
- the display control unit displays a frame-shaped figure superimposed on the highlighted area as the highlighted display.
- the display control unit changes the color of the emphasized area to a color different from the other parts of the medical image as the highlighted display.
- the display control unit preferably displays an icon or a band-shaped figure outside the observation region in the medical image as highlighting.
- the endoscope system of the present invention includes a light source device, an endoscope, a medical image acquisition unit, a region of interest detection unit, a display control unit, and a display unit.
- the light source device emits illumination light for illuminating an observation target.
- the endoscope includes an imaging unit that captures an image of an observation target illuminated with illumination light.
- the medical image acquisition unit acquires a medical image obtained by imaging the observation target with the imaging unit.
- the display unit displays the medical image and the highlighted display.
- An operation method of the medical image processing apparatus includes a step of acquiring a medical image by capturing an observation target with an imaging unit by the medical image acquisition unit, and a method of acquiring the medical image acquired by the attention area detection unit by the medical image acquisition unit.
- the method includes a step of highlighting the emphasized area and a step of the display control unit determining whether or not to change the setting of the emphasized area in accordance with the variation amount of the attention area in the medical image.
- FIG. 4 is a block diagram illustrating functions of an attention area detection mode image processing unit and a display control unit.
- FIG. 9 is an explanatory diagram illustrating an emphasized area and a reference area set when the display control unit performs highlighted display of the attention area.
- the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18 (display unit), and a console 19.
- the endoscope 12 is optically connected to the light source device 14 and is electrically connected to the processor device 16.
- the endoscope 12 has an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a base end portion of the insertion portion 12a, and a bending portion 12c and a tip portion 12d provided at a distal end side of the insertion portion 12a. doing.
- the angle knob 13a of the operation section 12b By operating the angle knob 13a of the operation section 12b, the bending section 12c performs a bending operation. By this bending operation, the tip 12d is directed in a desired direction.
- the distal end portion 12d has an illumination window, an observation window, an air / water nozzle, and a forceps outlet (all not shown) on the distal end surface.
- the illumination window is for irradiating illumination light to an observation site.
- the observation window is for taking in light from the observation site.
- the air supply / water supply nozzle is for cleaning the illumination window and the observation window.
- the forceps outlet is for performing various treatments using forceps and a treatment tool such as an electric scalpel.
- the operation unit 12b includes, in addition to the angle knob 13a, a still image acquisition unit 13b used for a still image acquisition operation, a mode switching unit 13c used for an observation mode switching operation, and a zoom operation unit 13d used for a zoom magnification change operation. Is provided.
- the still image acquisition unit 13b can perform a freeze operation of displaying a still image to be observed on the monitor 18 and a release operation of saving a still image in a storage.
- the endoscope system 10 has a normal mode, a special mode, and an attention area detection mode as observation modes.
- the observation mode is the normal mode
- the light of a plurality of colors is combined with the light amount ratio Lc for the normal mode to emit normal light.
- the observation mode is the special mode
- special light is generated by combining light of a plurality of colors at the light amount ratio Ls for the special mode.
- the illumination light for the attention area detection mode is emitted.
- the normal light is emitted as the illumination light for the attention area detection mode, but a special light may be emitted.
- the processor device 16 is electrically connected to the monitor 18 and the console 19.
- the monitor 18 outputs and displays an image of the observation target, information accompanying the image, and the like.
- the console 19 functions as a user interface for receiving an input operation such as designation of a region of interest (ROI: ⁇ Region ⁇ Of ⁇ Interest) and function setting.
- ROI region of interest
- the light source device 14 includes a light source unit 20 that emits illumination light used for illumination of an observation target, and a light source control unit 22 that controls the light source unit 20.
- the light source unit 20 is a semiconductor light source such as an LED (Light Emitting Diode) of a plurality of colors.
- the light source control unit 22 controls the amount of emitted illumination light by turning on / off an LED or the like and adjusting a drive current or a drive voltage of the LED or the like.
- the light source control unit 22 controls the wavelength band of the illumination light by changing an optical filter or the like.
- the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red). It has four color LEDs (Light Emitting Diode) 20d and a wavelength cut filter 23. As shown in FIG. 3, the V-LED 20a emits violet light V in a wavelength band of 380 nm to 420 nm.
- the B-LED 20b emits blue light B having a wavelength band of 420 nm to 500 nm.
- the blue light B emitted from the B-LED 23b at least a wavelength longer than 450 nm of the peak wavelength is cut by the wavelength cut filter 23.
- the blue light Bx transmitted through the wavelength cut filter 23 has a wavelength range of 420 to 460 nm.
- the light in the wavelength range longer than 460 nm is cut off because the light in the wavelength range longer than 460 nm lowers the blood vessel contrast of the blood vessel to be observed. Because there is.
- the wavelength cut filter 23 may reduce light in a wavelength range longer than 460 nm instead of cutting light in a wavelength range longer than 460 nm.
- the G-LED 20c emits green light G whose wavelength band extends from 480 nm to 600 nm.
- the R-LED 20d emits red light R having a wavelength band ranging from 600 nm to 650 nm.
- the light emitted from each of the LEDs 20a to 20d may have the same center wavelength and the same peak wavelength, or may have different center wavelengths and peak wavelengths.
- the light source control unit 22 adjusts the light emission timing, the light emission period, the light amount, and the spectrum of the illumination light by independently controlling the lighting and extinguishing of each of the LEDs 20a to 20d and the light emission amount at the time of lighting.
- the control of turning on and off the light in the light source control unit 22 differs for each observation mode.
- the reference brightness can be set by the brightness setting unit of the light source device 14, the console 19, or the like.
- the light source control unit 22 turns on all of the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d.
- the light intensity ratio Lc among the violet light V, the blue light B, the green light G, and the red light R is such that the peak of the light intensity of the blue light Bx is the violet light V, the green light G , And the red light R are set to be larger than the peak of the light intensity.
- the multi-color light for the normal mode or the attention area detection mode including the violet light V, the blue light Bx, the green light G, and the red light R is normally emitted from the light source device 14.
- Light is emitted as light.
- the normal light has a certain intensity or more from the blue band to the red band, and is almost white.
- the light source control unit 22 turns on all of the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d.
- the light intensity ratio Ls among the violet light V, the blue light B, the green light G, and the red light R is such that the peak of the light intensity of the violet light V is blue light Bx, green light G , And the red light R are set to be larger than the peak of the light intensity. Further, the peaks of the light intensity of the green light G and the red light R are set to be smaller than the peaks of the light intensity of the violet light V and the blue light Bx.
- the light source device 14 emits the special mode polychromatic light including the violet light V, the blue light Bx, the green light G, and the red light R as the special light.
- the special light is bluish light because the ratio of the purple light V is large.
- the special light does not need to include all four colors of light, as long as it includes light from at least one of the four colors of LEDs 20a to 20d.
- the special light preferably has a main wavelength range of 450 nm or less, for example, a peak wavelength or a center wavelength.
- the illumination light emitted by the light source unit 20 enters the light guide 24 inserted into the insertion unit 12a via an optical path coupling unit (not shown) formed by a mirror, a lens, and the like.
- the light guide 24 is built in the endoscope 12 and the universal cord, and transmits the illumination light to the distal end 12 d of the endoscope 12.
- the universal cord is a cord that connects the endoscope 12, the light source device 14, and the processor device 16. Note that a multi-mode fiber can be used as the light guide 24.
- a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of 0.3 mm to 0.5 mm including a protective layer serving as an outer cover can be used for the light guide 24.
- An illumination optical system 30a and an imaging optical system 30b are provided at the distal end 12d of the endoscope 12.
- the illumination optical system 30a has an illumination lens 32. Through this illumination lens 32, the observation target is illuminated by the illumination light that has propagated through the light guide 24.
- the imaging optical system 30b includes an objective lens 34, an enlargement optical system 36, and an imaging sensor 38 (corresponding to the “imaging unit” of the present invention).
- Various lights such as reflected light, scattered light, and fluorescent light from the observation target enter the image sensor 38 via the objective lens 34 and the magnifying optical system 36. As a result, an image of the observation target is formed on the image sensor 38.
- the enlargement optical system 36 includes a zoom lens 36a for enlarging an observation target, and a lens driving unit 36b for moving the zoom lens 36a in the optical axis direction CL.
- the zoom lens 36a enlarges or reduces the observation object formed on the image sensor 38 by freely moving between the telephoto end and the wide end in accordance with zoom control by the lens driving unit 36b.
- the imaging sensor 38 is a color imaging sensor that captures an image of the observation target irradiated with the illumination light.
- Each pixel of the image sensor 38 is provided with one of an R (red) color filter, a G (green) color filter, and a B (blue) color filter.
- the image sensor 38 receives violet to blue light at a B pixel provided with a B color filter, receives green light at a G pixel provided with a G color filter, and has an R color filter.
- the red light is received by the existing R pixel.
- the image signal of each color of RGB is output from the pixel of each color.
- the image sensor 38 transmits the output image signal to the CDS circuit 40.
- the image sensor 38 In the normal mode or the attention area detection mode, the image sensor 38 outputs a Bc image signal from a B pixel, outputs a Gc image signal from a G pixel, and outputs a Rc image by capturing an image of an observation target illuminated with normal light. An Rc image signal is output from the pixel.
- the image sensor 38 In the special mode, the image sensor 38 outputs a Bs image signal from the B pixel, outputs a Gs image signal from the G pixel, and outputs Rs from the R pixel by imaging the observation target illuminated with the special light. Outputs an image signal.
- a CCD (Charge Coupled Device) imaging sensor, a CMOS (Complementary Metal-Oxide Semiconductor) imaging sensor, or the like can be used.
- a complementary color image sensor having complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used. good.
- image signals of four colors of CMYG are output. For this reason, by converting the image signals of four colors of CMYG into the image signals of three colors of RGB by the complementary color-primary color conversion, it is possible to obtain the image signals of each color of RGB similar to the image sensor 38.
- a monochrome sensor having no color filter may be used.
- the CDS circuit 40 performs correlated double sampling (CDS) on the analog image signal received from the image sensor 38.
- the image signal that has passed through the CDS circuit 40 is input to the AGC circuit 42.
- the AGC circuit 40 performs automatic gain control (AGC: Automatic Gain Control) on the input image signal.
- An A / D (Analog to Digital) conversion circuit 44 converts the analog image signal passed through the AGC circuit 42 into a digital image signal.
- the A / D conversion circuit 44 inputs the digital image signal after the A / D conversion to the processor device 16.
- the processor device 16 includes an image signal acquisition unit 50 (corresponding to the “medical image acquisition unit” of the present invention), a DSP (Digital Signal Processor) 52, a noise reduction unit 54, and an image processing unit. And a display control unit 58.
- an image signal acquisition unit 50 corresponding to the “medical image acquisition unit” of the present invention
- DSP Digital Signal Processor
- the image signal acquisition unit 50 acquires a digital image signal corresponding to the observation mode from the endoscope 12.
- a Bc image signal, a Gc image signal, and an Rc image signal are obtained.
- a Bs image signal, a Gs image signal, and an Rs image signal are obtained.
- a Bc image signal, a Gc image signal, and an Rc image signal for one frame are acquired at the time of normal light illumination, and the Bs image signal, the Gs image signal for one frame are acquired at the time of special light illumination. Obtain an Rs image signal.
- the DSP 52 performs various signal processing such as a defect correction process, an offset process, a DSP gain correction process, a linear matrix process, a gamma conversion process, and a demosaic process on the image signal acquired by the image signal acquisition unit 50.
- the defect correction processing corrects a signal of a defective pixel of the image sensor 38.
- the offset processing removes dark current components from the image signal subjected to the defect correction processing, and sets an accurate zero level.
- the DSP gain correction process adjusts the signal level by multiplying the offset-processed image signal by a specific DSP gain.
- the linear matrix processing enhances the color reproducibility of the image signal subjected to the DSP gain correction processing.
- the gamma conversion process adjusts the brightness and saturation of the image signal subjected to the linear matrix process.
- a demosaic process also called an isotropic process or a synchronizing process
- the noise reduction unit 54 performs a noise reduction process such as a moving average method or a median filter method on the image signal subjected to the demosaic processing or the like by the DSP 52 to reduce noise.
- the image signal after the noise reduction is input to the image processing unit 56.
- the image processing unit 56 includes a normal mode image processing unit 60, a special mode image processing unit 62, and an attention area detection mode image processing unit 64.
- the normal mode image processing unit 60 operates when the normal mode is set, and performs a color conversion process, a color enhancement process, and a structure enhancement process on the received Bc image signal, Gc image signal, and Rc image signal. Do.
- the color conversion processing is performed on the RGB image signal by 3 ⁇ 3 matrix processing, gradation conversion processing, three-dimensional LUT (Look Up Table) processing, or the like.
- the color emphasis process is performed on the RGB image signal after the color conversion process.
- the structure enhancement process is a process for enhancing the structure of the observation target, and is performed on the RGB image signal after the color enhancement process.
- a normal image can be obtained by performing various image processing as described above.
- the normal image is an image obtained based on the normal light in which the violet light V, the blue light Bx, the green light G, and the red light R are emitted in a well-balanced manner, and thus has a natural color image.
- the normal image is input to the display control unit 58.
- the special mode image processing section 62 operates when the special mode is set.
- the special mode image processing unit 62 performs color conversion processing, color enhancement processing, and structure enhancement processing on the received Bs image signal, Gs image signal, and Rs image signal.
- the processing contents of the color conversion processing, the color enhancement processing, and the structure enhancement processing are the same as those of the normal mode image processing unit 60.
- a special image can be obtained by performing various image processing as described above.
- the special image is an image obtained based on the special light in which the violet light V having a high absorption coefficient of hemoglobin of a blood vessel has a larger light emission amount than the blue light Bx, green light G, and red light R of other colors. Therefore, the resolution of the blood vessel structure and the duct structure is higher than other structures.
- the special image is input to the display control unit 58.
- the attention area detection mode image processing unit 64 operates when it is set in the attention area detection mode. As shown in FIG. 6, the attention area detection mode image processing section 64 includes a detection image processing section 70 and an attention area detection section 71.
- the detection image processing unit 70 sequentially obtains an endoscope image of the received Bc image signal, Gc image signal, and Rc image signal by performing image processing such as color conversion processing similar to that of the normal mode image processing unit 60.
- the attention area detection unit 71 performs an image analysis of the endoscope image and performs an attention area detection process for detecting an attention area in the observation target.
- the attention area detection unit 71 detects a lesion (for example, tumor or inflammation) in the observation target as the attention area.
- the attention area detection unit 71 first divides the endoscope image into a plurality of small areas, for example, a square area of several pixels. Next, an image-like feature amount is calculated from the divided endoscope images. Subsequently, based on the calculated feature amount, a recognition process is performed to determine whether each small region is a lesion.
- a recognition process is preferably a machine learning algorithm such as a convolutional neural network (Convolutional Neural Network) or a deep learning (Deep Learning).
- the feature amount calculated from the endoscope image by the attention area detection unit 71 is an index value obtained from the shape, color, or the shape or color of a predetermined portion in the observation target.
- the characteristic amount the blood vessel density, the blood vessel shape, the number of blood vessel branches, the blood vessel thickness, the blood vessel length, the blood vessel meandering degree, the blood vessel depth, the gland duct shape, the gland duct opening shape, the gland duct
- the value is at least one of the length, the degree of meandering of the gland duct, and the color information, or a value obtained by combining two or more thereof.
- the attention area detection unit 71 associates information such as the position, size, and type of the extracted lesion with the endoscope image as a detection result.
- the attention area detection mode image processing unit 64 outputs an endoscope image associated with the detection result to the display control unit 58.
- the display control unit 58 performs display control for displaying images and data from the image processing unit 56 on the monitor 18.
- the display control unit 58 performs control to display a normal image on the monitor 18.
- the display control unit 58 controls to display a special image on the monitor 18.
- the display control unit 58 highlights the attention area detected by the attention area detection unit 71 on the endoscope image.
- the display control unit 58 first determines the attention area based on the endoscope image output from the attention area detection mode image processing unit 64 and the detection result associated with the endoscope image. Set an emphasis area for emphasis.
- the display control unit 58 sets an emphasized area that has a larger area than the lesioned part 76 as the attention area and includes the lesioned part 76.
- a square area is set as the emphasis area 75.
- the emphasized area 75 has, for example, a square outer periphery set at a distance of a predetermined dimension A or more from the outer periphery of the lesion 76.
- the display control unit 58 sets the reference region 77 outside the lesioned part 76 and inside the emphasized region 75 when setting the emphasized region 75 or after setting the emphasized region 75.
- a square area smaller than the emphasized area 75 and including the lesion 76 is set as the reference area 77.
- the reference region 77 has, for example, a square outer periphery that is set at an interval equal to or larger than a predetermined dimension B (dimension B is smaller than dimension A) between the outer periphery of the lesion 76 and the reference area 77.
- the display control unit 58 highlights the highlighted area 75 set as described above. That is, the display control unit 58 superimposes and displays a graphic as an emphasized display at the position of the emphasized area 75 in the endoscope image. In the present embodiment, the display control unit 58 displays a square frame-shaped (frame-shaped) figure 78 surrounding the lesioned part 76 in accordance with the position of the highlight area 75.
- the reference region 77 is shown by a broken line for convenience of explanation, the broken line indicating the reference region 77 may not be displayed in an actual endoscope image.
- the graphic 78 as the highlighted display has a display mode different from that of the other part of the endoscope image, and the display control unit 58 extracts, for example, a color that is often included in the endoscope image and extracts the color.
- the graphic 78 is displayed in a color having a different hue from the selected color.
- the display control unit 58 determines whether to change the setting of the emphasized area 75 according to the amount of change of the lesion 76 in the endoscope image. Specifically, when at least a portion of the lesion 76 has moved outside the reference region 77, the display control unit 58 resets the enhancement region 75 and the reference region 77.
- the display control unit 58 resets the emphasis area 75 and the reference area 77 in the attention area detection mode will be described with reference to the flowchart shown in FIG. 8 and the explanatory diagram shown in FIG.
- the doctor operates the mode switching unit 13c to switch to the attention area detection mode (S11).
- the observation target is illuminated with the illumination light for the attention area detection mode.
- the observation target illuminated with the illumination light for the attention area detection mode is imaged by the imaging sensor 38 to obtain an endoscope image.
- the display control unit 58 sequentially acquires the endoscope images and displays them on the display screen 81 of the monitor 18 in real time. (S12).
- attention area detection processing for detecting the attention area in the observation target by the attention area detection unit 71 is performed on the acquired endoscope image (S13).
- the detection result by the attention area detection unit 71 is output in association with the endoscope image.
- the display control unit 58 Sets the emphasis area 75 and the reference area 77 using the detection result associated with the endoscope image 79, particularly, information on the position and size of the lesion 76 (S15).
- the display control unit 58 After setting the emphasis area 75 and the reference area 77, the display control unit 58 superimposes a graphic 78 as emphasis display at the position of the emphasis area 75 in the endoscope image 79 (S16).
- a graphic 78 As emphasis display at the position of the emphasis area 75 in the endoscope image 79 (S16).
- the difference in color between the other part of the endoscope image 79 and the figure 78 is represented by the presence or absence of shading.
- the lesion 76 is not detected in the observation target (N in S14)
- the highlighting is not naturally performed.
- the display control unit 58 displays the graphic 78 as the highlight display (S16), and monitors whether the lesion 76 moves outside the reference area 77. Then, when at least a part of the lesion 76 has moved to the outside of the reference area 77 (Y in S17), the display control unit 58 resets the emphasis area 75 and the reference area 77 (S18).
- the position of the lesion 76 in the endoscope image 79 is changed from the inside of the reference area 77 (the state shown in FIG. 9B) to the outside of the reference area 77 (the state shown in FIG. 9C). ), The positions of the emphasized area 75 and the reference area 77 that are reset using the information on the position and size of the lesion 76 naturally move.
- the display control unit 58 superimposes and displays a graphic 78 as a highlight at the position of the reset highlight area 75 (S19).
- the figure 78 moves from the position before resetting indicated by the two-dot chain line to the position after resetting indicated by the solid line.
- the display control unit 58 does not reset the emphasized area 75 and the reference area 77. maintain.
- the doctor can easily recognize the accurate position of the lesion 76.
- the graphic 78 as the highlighted display maintains the same state. Since the figure 78 moves only when at least a part of the lesion 76 comes out of the area 77, the time required for the figure 78 to change is short and the flicker on the display screen 81 is small. Therefore, the doctor can concentrate on observing the lesion 76 without being disturbed by the display of the graphic 78.
- the graphic 78 as the highlighting is displayed. Is a change in which only the position is moved in accordance with the displacement of the lesion 76, but is not limited thereto, and the size of the figure 78 may be changed in accordance with the displacement of the lesion 76.
- FIG. 10 shows an example in which the lesion 76 detected from the endoscope image 79 is enlarged due to a change in the zoom magnification of the endoscope 12 or the like.
- the lesion 76 in the endoscope image 79 shifts, and the lesion 76 moves from inside the reference region 77 (the state shown in FIG. 10B) to outside the reference region 77 (the state shown in FIG. 10C). 76 expands.
- the display control unit 58 resets the emphasis area 75 and the reference area 77.
- the size of the emphasized region 75 and the reference region 77 that are reset using information on the position and size of the lesion 76 are naturally enlarged.
- the display control unit 58 superimposes and displays a graphic 78 as an emphasized display at the position of the emphasized area 75 reset. Thereby, as shown in FIG. 10D, the figure 78 is enlarged from the size of the emphasized area 75 before resetting indicated by the two-dot chain line to the size of the emphasized area 75 after resetting indicated by the solid line. .
- the graphic 78 as the highlighted display maintains the same state.
- the figure 78 is enlarged only when at least a part of the lesion 76 comes out of the reference area 77.
- the changing time of the graphic 78 is short, and the flicker on the display screen 81 is small.
- the display control unit 58 sets two threshold values in advance, a first threshold value ⁇ 1 and a second threshold value ⁇ 2 larger than the first threshold value ⁇ 1, and When the threshold value ⁇ 1 exceeds the threshold ⁇ 1, the graphic 78 as the highlighting is also enlarged according to the lesion 76 as in the second embodiment. When the threshold value ⁇ 2 is exceeded, the display area of an icon or the like is displayed. To a smaller highlighting.
- the display control unit 58 monitors the enlargement ratio E of the area of the lesion 76. Specifically, the enlargement ratio E is compared with a preset first threshold value ⁇ 1 and second threshold value ⁇ 2. The enlargement ratio E is currently displayed with respect to the area of the lesion 76 when the lesion 76 is first detected after the acquisition of the endoscope image 79 is started (that is, when the enhancement area 75 is set). This is the ratio of the area of the lesion 76.
- an emphasis area 75 and a reference area 77 are set, and when at least a part of the lesion 76 moves outside the reference area 77, The display control unit 58 may reset the highlight area 75 and the reference area 77.
- the display control unit 58 sets the emphasis area 75 Is not set again, and the highlighting is changed (hereinafter, for convenience of explanation, it is referred to as a second-stage highlighting).
- the frame-shaped graphic 78 is not displayed as in the first-stage highlighting, and the outside of the observation region of the endoscope image 79 and the lesion 76 are displayed.
- the icon 85 is superimposed and displayed in the vicinity.
- the icon 85 as the highlighting is a square figure, but is not limited thereto, and may be another figure.
- the area of the icon 85 is smaller than that of the graphic 78 before the change of the highlighting.
- the graphic 78 remains in the same state until the enlargement ratio E exceeds the first threshold ⁇ 1, and the enlargement ratio E Is larger than the first threshold value ⁇ 1 and exceeds the second threshold value ⁇ 2, the figure 78 is enlarged. Then, after the enlargement ratio E exceeds the second threshold value ⁇ 2, the icon 85 having a smaller area than that of the graphic 78 is displayed by changing the highlighting, so that the display screen 81 has little change and little flicker. Further, in the present embodiment, since the square frame-shaped graphic 78 is changed to the square icon 85, it is easy to recognize that the display is highlighted.
- the icon is not limited to the icon 85 as shown in FIG. 11, and it is sufficient that the area is smaller than that of the graphic 78 before the highlighting is changed.
- a band-shaped figure 86 may be displayed around the endoscope image 79 and along the display screen 81.
- a coordinate axis X may be set around the endoscope image 79, and the display mode of only the portion 87 corresponding to the lesion 76 may be changed on the coordinate axis X.
- FIG. 12 in the case of the second-stage highlighting, a band-shaped figure 86 may be displayed around the endoscope image 79 and along the display screen 81.
- a coordinate axis X may be set around the endoscope image 79, and the display mode of only the portion 87 corresponding to the lesion 76 may be changed on the coordinate axis X.
- the emphasis area and the reference area are set using the information of the attention area detected from the endoscope image and the like, and it is determined whether to change the setting of the emphasis area.
- the reference coordinates are not set, and the representative coordinates of the lesion are set, and when the position of the representative coordinates moves beyond the threshold value, it is determined whether to change the setting of the emphasized region. Is also good.
- the display control unit 58 sets the representative coordinates 91 of the lesion 76, and resets the position of the emphasized area 75 when the position of the representative coordinates 91 moves beyond the threshold. I do.
- the display control unit 58 uses, for example, the coordinates of the position of the center of gravity of the lesion 76 as the representative coordinates 91.
- the center of the area of the lesion 76 is calculated as the position of the center of gravity.
- the display control unit 58 After setting the emphasis area 75 and the representative coordinates 91, the display control unit 58 superimposes a graphic 78 as emphasis display at the position of the emphasis area 75 in the endoscope image 79.
- a graphic 78 is displayed at the position of the representative coordinate 91, but the present invention is not limited to this, and the figure may not be displayed at the position of the representative coordinate 91.
- the display control unit 58 monitors the moving amount of the representative coordinates 91. Specifically, the lesion currently displayed from the initial position of the representative coordinates 91 when the lesion 76 is first detected after the acquisition of the endoscope image 79 is started (that is, when the emphasized area 75 is set). This is the amount of movement to the representative coordinates 91 in the unit 76.
- the lesion 76 moves in the endoscope image 79, and the representative coordinates 91 move together with the lesion 76.
- the symbol M indicates the amount of movement of the representative coordinates 91.
- the display control unit 58 resets the emphasized area 75.
- the position of the emphasized area 75 that is reset using information on the position and size of the lesion 76 naturally also moves.
- the display control unit 58 superimposes and displays a graphic 78 as an emphasized display at the position of the emphasized area 75 reset. As shown in FIG. 14D, the figure 78 moves from a position before resetting indicated by a two-dot chain line to a position after resetting indicated by a solid line. On the other hand, when the movement amount M of the representative coordinates 91 does not exceed the threshold value ⁇ , the display control unit 58 does not reset the emphasis area 75, and thus the graphic 78 as the emphasis display maintains the same state.
- the graphic 78 as the highlighted display maintains the same state. Since the figure 78 moves only when the movement amount M of the representative coordinates 91 exceeds the threshold value, the change of the figure 78 is small and the flicker on the display screen 81 is small.
- the graphic as the highlighting is a square frame except for the highlighting at the second stage in the third embodiment.
- the present invention is not limited to this, and a polygon other than a rectangle (quadrangle) may be used. Any frame shape, such as a circle or an ellipse, which can surround the attention area may be used.
- the display control unit 58 superimposes and displays a frame-shaped figure at the position of the emphasis area as the emphasis display, except for the second stage emphasis display of the third embodiment, but is not limited thereto.
- the color of the highlighted area may be changed as the highlighted display.
- the display control unit 58 includes the emphasis area as an emphasis display in a color different from the original color, for example, many in the endoscope image.
- a highlighted color may be extracted, and the emphasized area may be changed to a color different from other parts of the endoscope image.
- the different colors here are, for example, colors having different hues.
- the highlighting of the emphasized area is not limited to the above, and any image processing that can be visually distinguished from the surroundings, such as saturation change processing, contrast processing, negative / positive inversion processing, and filtering processing. Good.
- the highlighting by the image processing of the highlighting region and the highlighting by the graphic surrounding the lesion in each of the above embodiments may be combined.
- the observation target is illuminated using the four-color LEDs 20a to 20d, but the observation target may be illuminated using a laser light source and a phosphor. In each of the above embodiments, the observation target is illuminated using the four-color LEDs 20a to 20d. However, the observation target may be illuminated using a white light source such as a xenon lamp and a rotating filter. Further, instead of the color image sensor 38, a monochrome image sensor may be used to image the observation target.
- the medical image processing apparatus of the present invention is applied to an endoscope system that acquires an endoscope image as a medical image.
- various endoscopes such as a capsule endoscope are used.
- the medical image processing apparatus of the present invention can be applied to various medical image apparatuses.
- the hardware structure of the processing unit (processing unit) that executes various types of processing is the following various types of processors.
- the various processors include a general-purpose processor (Central Processing Unit), a GPU (Graphical Processing Unit), an FPGA (Field Programmable Gate Array), which is a general-purpose processor that executes software (programs) and functions as various processing units.
- a programmable logic device Programmable Logic Device: PLD
- PLD programmable Logic Device
- One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a CPU And a combination of a GPU and the like. Further, a plurality of processing units may be configured by one processor. As an example in which a plurality of processing units are configured by one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
- SoC System-On-Chip
- SoC System-On-Chip
- the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
注目領域の正確な位置を認識可能とし、表示画面のちらつきを防止できる医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供する。 プロセッサ装置(16)は、画像信号取得部(50)と、画像処理部(56)と、表示制御部(58)とを備えている。画像信号取得部(50)は、内視鏡(12)から、観察モードに対応したデジタル画像信号を取得する。画像処理部(56)は、注目領域検出モード画像処理部(64)を備えている。表示制御部(58)は、注目領域よりも面積が広く、かつ注目領域を包含する強調領域を設定し、強調領域を強調表示し、注目領域の変動量に応じて、強調領域の設定を変更するか否かを判断する。
Description
本発明は、病変部などの注目領域を検出するための医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法に関する。
医療分野においては、内視鏡画像、X線画像、CT(Computed Tomography)画像、MR(Magnetic Resonanse)画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。
近年、医用画像を用いた画像診断においては、医用画像を解析して臓器内の病変や腫瘍など注意して観察すべき注目領域を自動的に検出することが行われつつある。特に、ディープラーニングなどの機械学習を行うことによって、注目領域を検出する精度が飛躍的に向上している。
特許文献1には、医用画像から病変部などの注目領域を検出した場合、検出結果に基づいて画像処理を行う医用画像処理装置が記載されている。この特許文献1記載の医用画像処理装置では、注目領域が検出された画素を含む領域を強調領域として設定し、強調領域の表示態様を異ならせる。例えば、強調領域の画素の色をターゲット色に変換する色変換加工などを行って注目領域を強調する。そして、検出された注目領域の位置、大きさが変移すれば、強調領域も同時に変移して医用画像内の強調表示の位置、大きさが変動する。
特許文献2には、医用画像を4分割した領域のいずれかから病変部などの注目領域を検出した場合、この注目領域が検出された4分割領域に対して、領域の周囲に部分的な表示枠を表示させる医用画像処理装置が記載されている。
しかしながら、特許文献1記載の医用画像処理装置では、医用画像内の注目領域の位置、大きさが変移すれば、それに追従して強調表示の位置、大きさも変移するため、表示画面内にちらつきが発生しやすく、医師の観察の妨げとなる。
また、特許文献2記載の医用画像処理装置では、注目領域が検出された場合、表示画面の周囲に表示枠を表示しているため、表示画面内には、ちらつきが発生することはないが、注目領域の大まかな位置しか表さないため、正確な位置が分からない。
本発明は、注目領域の正確な位置を認識可能とし、表示画面のちらつきを防止できる医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供することを目的とする。
本発明の医用画像処理装置は、医用画像取得部と、注目領域検出部と、表示制御部とを有する。医用画像取得部は、観察対象を撮像して医用画像を取得する。注目領域検出部は、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出する。表示制御部は、注目領域よりも面積が広く、かつ注目領域を包含する強調領域を設定し、医用画像に対して強調領域を強調表示する表示制御部であって、医用画像内における注目領域の変動量に応じて、強調領域の設定を変更するか否かを判断する。
表示制御部は、強調領域を設定する際、注目領域よりも外側かつ強調領域よりも内側に基準領域を設定し、基準領域の外側に注目領域の少なくとも一部が変移した場合、強調領域および基準領域を再設定することが好ましい。
表示制御部は、強調領域および基準領域を設定した後、強調領域および基準領域を再設定する場合、再設定前の強調表示の位置に対して、再設定後の強調表示の位置を移動することが好ましい。
表示制御部は、強調領域および基準領域を設定した後、強調領域および基準領域を再設定する場合、再設定前の強調表示に対して、再設定後の強調表示を拡大することが好ましい。
表示制御部は、強調領域を設定した後、注目領域の面積の拡大率が、第1の閾値を超えた場合、強調領域を再設定することにより再設定前の強調表示に対して、再設定後の強調表示を拡大することが好ましい。
表示制御部は、強調領域を設定した後、注目領域の面積の拡大率が、第1の閾値よりも大きい第2の閾値を超えた場合、強調表示として医用画像と重畳表示する図形の面積を減少する変更を行うことが好ましい。
表示制御部は、注目領域検出部により検出した注目領域から代表座標を決定し、代表座標の位置が閾値以上移動した場合、強調領域の位置を再設定することが好ましい。
表示制御部は、強調表示として、強調領域に重畳させた枠形状の図形を表示させることが好ましい。
表示制御部は、強調表示として、強調領域の色を医用画像の他の部分と異なる色に変更することが好ましい。
表示制御部は、拡大率が第2の閾値を超えた場合、強調表示として医用画像内の観察領域の外側にアイコンまたは帯状の図形を表示させることが好ましい。
本発明の内視鏡システムは、光源装置と、内視鏡と、医用画像取得部と、注目領域検出部と、表示制御部と、表示部とを備える。光源装置は、観察対象を照明するための照明光を発する。内視鏡は、照明光で照明された観察対象を撮像する撮像部を有する。医用画像取得部は、撮像部で観察対象を撮像して得られる医用画像を取得する。表示部は、医用画像及び強調表示を表示する。
本発明の医療用画像処理装置の作動方法は、医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、注目領域検出部が、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出するステップと、表示制御部が、注目領域よりも面積が広く、かつ注目領域を包含する強調領域を設定ステップと、表示制御部が、医用画像に対して強調領域を強調表示するステップと、表示制御部が、医用画像内における注目領域の変動量に応じて、強調領域の設定を変更するか否かを判断するステップとを含んでいる。
本発明によれば、注目領域の正確な位置を認識可能とし、表示画面のちらつきを防止することができる。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
先端部12dは、先端面に、照明窓と、観察窓と、送気・送水ノズルと、鉗子出口とを有する(いずれも図示無し)。照明窓は、照明光を観察部位に照射するためのものである。観察窓は、観察部位からの光を取り込むためのものである。送気・送水ノズルは、照明窓及び観察窓を洗浄するためのものである。鉗子出口は、鉗子と電気メス等の処置具を用いて各種処置を行うためのものである。
また、操作部12bには、アングルノブ13aの他、静止画像の取得操作に用いる静止画像取得部13b、観察モードの切り替え操作に用いるモード切替部13c、ズーム倍率の変更操作に用いるズーム操作部13dを設けている。静止画像取得部13bは、モニタ18に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。
内視鏡システム10は、観察モードとして、通常モードと、特殊モードと、注目領域検出モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Lcで合波した通常光を発光する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Lsで合波した特殊光を発光する。
また、観察モードが注目領域検出モードである場合、注目領域検出モード用照明光を発光する。本実施形態では、注目領域検出モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール19は、注目領域(ROI : Region Of Interest)の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
図2に示すように、光源装置14は、観察対象の照明に用いる照明光を発する光源部20と、光源部20を制御する光源制御部22とを備えている。光源部20は、複数色のLED(Light Emitting Diode)等の半導体光源である。光源制御部22は、LED等のオン/オフや、LED等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部22は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
第1実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを有している。図3に示すように、V-LED20aは、波長帯域380nm~420nmの紫色光Vを発する。
B-LED20bは、波長帯域420nm~500nmの青色光Bを発する。B-LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420~460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。
G-LED20cは、波長帯域が480nm~600nmに及ぶ緑色光Gを発する。R-LED20dは、波長帯域が600nm~650nmに及び赤色光Rを発する。なお、各LED20a~20dから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
光源制御部22は、各LED20a~20dの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部22における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置14の明るさ設定部又はコンソール19等によって設定可能である。
通常モード又は注目領域検出モードの場合、光源制御部22は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを全て点灯させる。その際、図4に示すように、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比Lcは、青色光Bxの光強度のピークが、紫色光V、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は注目領域検出モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む通常モード用又は注目領域検出モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。
特殊モードの場合、光源制御部22は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを全て点灯させる。その際、図5に示すように、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比Lsは、紫色光Vの光強度のピークが、青色光Bx、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Bxの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Vが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、4色全ての光が含まれていなくてもよく、4色のLED20a~20dのうち少なくとも1色のLEDからの光が含まれていればよい。また、特殊光は、450nm以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。
図2に示すように、光源部20が発した照明光は、ミラーやレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通したライトガイド24に入射する。ライトガイド24は、内視鏡12及びユニバーサルコードに内蔵され、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド24としては、マルチモードファイバを使用することができる。一例として、ライトガイド24には、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3mm~φ0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bとを設けている。照明光学系30aは、照明レンズ32を有している。この照明レンズ32を介して、ライトガイド24を伝搬した照明光によって観察対象を照明する。撮像光学系30bは、対物レンズ34と、拡大光学系36と、撮像センサ38(本発明の「撮像部」に対応する)とを有している。これら対物レンズ34及び拡大光学系36を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ38に入射する。これにより、撮像センサ38に観察対象の像が結像する。
拡大光学系36は、観察対象を拡大するズームレンズ36aと、ズームレンズ36aを光軸方向CLに移動させるレンズ駆動部36bとを備えている。ズームレンズ36aは、レンズ駆動部36bによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ38に結像する観察対象を拡大又は縮小させる。
撮像センサ38は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ38の各画素には、R(赤色)カラーフィルタ、G(緑色)カラーフィルタ、B(青色)カラーフィルタのいずれかが設けられている。撮像センサ38は、Bカラーフィルタが設けられているB画素で紫色から青色の光を受光し、Gカラーフィルタが設けられているG画素で緑色の光を受光し、Rカラーフィルタが設けられているR画素で赤色の光を受光する。そして、各色の画素から、RGB各色の画像信号を出力する。撮像センサ38は、出力した画像信号を、CDS回路40に送信する。
通常モード又は注目領域検出モードにおいては、撮像センサ38は、通常光が照明された観察対象を撮像することにより、B画素からBc画像信号を出力し、G画素からGc画像信号を出力し、R画素からRc画像信号を出力する。また、特殊モードにおいては、撮像センサ38は、特殊光が照明された観察対象を撮像することにより、B画素からBs画像信号を出力し、G画素からGs画像信号を出力し、R画素からRs画像信号を出力する。
撮像センサ38としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等を利用可能である。また、RGBの原色のカラーフィルタを設けた撮像センサ38の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号を出力する。このため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ38と同様のRGB各色の画像信号を得ることができる。また、撮像センサ38の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
CDS回路40は、撮像センサ38から受信したアナログの画像信号に、相関二重サンプリング(CDS:Correlated Double Sampling)を行う。CDS回路40を経た画像信号はAGC回路42に入力される。AGC回路40は、入力された画像信号に対して、自動利得制御(AGC:Automatic Gain Control)を行う。A/D(Analog to Digital)変換回路44は、AGC回路42を経たアナログ画像信号を、デジタルの画像信号に変換する。A/D変換回路44は、A/D変換後のデジタル画像信号を、プロセッサ装置16に入力する。
図2に示すように、プロセッサ装置16は、画像信号取得部50(本発明の「医用画像取得部」に対応する)と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理部56と、表示制御部58とを備えている。
画像信号取得部50は、内視鏡12から、観察モードに対応したデジタル画像信号を取得する。通常モード又は注目領域検出モードの場合には、Bc画像信号、Gc画像信号、Rc画像信号を取得する。特殊モードの場合には、Bs画像信号、Gs画像信号、Rs画像信号を取得する。注目領域検出モードの場合には、通常光の照明時に1フレーム分のBc画像信号、Gc画像信号、Rc画像信号を取得し、特殊光の照明時に1フレーム分のBs画像信号、Gs画像信号、Rs画像信号を取得する。
DSP52は、画像信号取得部50が取得した画像信号に対して、欠陥補正処理、オフセット処理、DSP用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ38の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。DSP用ゲイン補正処理は、オフセット処理した画像信号に特定のDSP用ゲインを乗じることにより信号レベルを整える。
リニアマトリクス処理は、DSP用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理(等方化処理、又は同時化処理とも言う)を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ低減部54は、DSP52でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部56に入力される。
画像処理部56は、通常モード画像処理部60と、特殊モード画像処理部62と、注目領域検出モード画像処理部64を備えている。通常モード画像処理部60は、通常モードに設定されている場合に作動し、受信したBc画像信号、Gc画像信号、Rc画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(Look Up Table)処理などにより色変換処理を行う。
色彩強調処理は、色変換処理済みのRGB画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のRGB画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bx、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部58に入力される。
特殊モード画像処理部62は、特殊モードに設定されている場合に作動する。特殊モード画像処理部62では、受信したBs画像信号、Gs画像信号、Rs画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード画像処理部60と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部58に入力される。
注目領域検出モード画像処理部64は、注目領域検出モード時に設定されている場合に作動する。図6に示すように、注目領域検出モード画像処理部64は、検出用画像処理部70と、注目領域検出部71とを有している。検出用画像処理部70は、受信したBc画像信号、Gc画像信号、Rc画像信号に対して、色変換処理など通常モード画像処理部60と同様の画像処理により内視鏡画像を順次取得する。
注目領域検出部71は、内視鏡画像を画像解析し、観察対象内の注目領域を検出するための注目領域検出処理を行う。本実施形態では、注目領域検出部71は、注目領域として観察対象内の病変部(例えば、腫瘍や炎症など)を検出する。この場合、注目領域検出部71は、先ず内視鏡画像を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した内視鏡画像から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを認識処理する。このような認識処理としては、畳み込みニューラルネットワーク(Convolutional Neural Network)や、深層学習(Deep Learning)などの機械学習アルゴリズムであることが好ましい。
また、注目領域検出部71により内視鏡画像から算出される特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを2以上組み合わせた値であることが好ましい。
最後に、同じ種類と特定された、ひとかたまりの小領域を1つの病変部として抽出する。注目領域検出部71は、抽出した病変部の位置、大きさ、病変の種類などの情報を検出結果として内視鏡画像に関連付ける。注目領域検出モード画像処理部64は、検出結果を関連付けた内視鏡画像を表示制御部58に出力する。
表示制御部58は、画像処理部56からの画像やデータをモニタ18に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部58は、通常画像をモニタ18に表示する制御を行う。特殊モードに設定されている場合には、表示制御部58は、特殊画像をモニタ18に表示する制御を行う。
注目領域検出モードに設定されている場合には、表示制御部58は、内視鏡画像に対して注目領域検出部71により検出した注目領域を強調表示する。表示制御部58は、注目領域を強調表示する場合、先ず、注目領域検出モード画像処理部64から出力された内視鏡画像、及び内視鏡画像に関連付けられた検出結果に基づき、注目領域を強調するための強調領域を設定する。
図7に示すように、表示制御部58は、注目領域としての病変部76よりも面積が広く、かつ病変部76を包含する強調領域を設定する。本実施形態では、強調領域75として、正方形の領域を設定する。強調領域75は、例えば、病変部76の外周との間に所定の寸法A以上の間隔を置いて設定される正方形の外周を有する。
表示制御部58は、強調領域75を設定する際、または強調領域75を設定した後、病変部76よりも外側かつ強調領域75よりも内側に基準領域77を設定する。本実施形態では、基準領域77として、強調領域75より小さく、病変部76を包含する正方形の領域を設定する。基準領域77は、例えば、病変部76の外周との間に所定の寸法B以上の間隔(寸法Bは寸法Aより小さい。)を置いて設定される正方形の外周を有する。
表示制御部58は、上記のように設定した強調領域75に対して強調表示を行う。すなわち、表示制御部58は、内視鏡画像内の強調領域75の位置に強調表示としての図形を重畳表示する。本実施形態では、表示制御部58は、病変部76を囲む正方形枠状(枠形状)の図形78を、強調領域75の位置に合わせて表示する。なお、説明の都合上、基準領域77を破線で図示しているが、実際の内視鏡画像には、基準領域77を示す破線を表示しなくてもよい。
また、強調表示としての図形78は、内視鏡画像の他の部分とは異なる表示態様であり、表示制御部58は、例えば、内視鏡画像に多く含まれている色を抽出し、抽出した色と色相が異なる色で図形78を表示させる。
表示制御部58は、強調領域75及び基準領域77を設定した後、内視鏡画像内における病変部76の変動量に応じて、強調領域75の設定を変更するか否かを判断する。具体的には、表示制御部58は、基準領域77の外側に、病変部76の少なくとも一部が変移した場合、強調領域75及び基準領域77を再設定する。
以下では、注目領域検出モードにおいて、表示制御部58が強調領域75及び基準領域77を再設定するプロセスについて、図8に示すフローチャート及び図9に示す説明図に沿って説明を行う。ユーザーである医師がモード切替部13cを操作して、注目領域検出モードに切り替える(S11)。これにより、観察対象に対して、注目領域検出モード用照明光が照明される。この注目領域検出モード用照明光で照明された観察対象を撮像センサ38で撮像して内視鏡画像を取得する。注目領域検出モードに切り替えた場合、表示制御部58は、内視鏡画像を順次取得してモニタ18の表示画面81にリアルタイム表示する。(S12)。
注目領域検出モードにおけるリアルタイム表示中に、取得した内視鏡画像に対して、注目領域検出部71により観察対象内の注目領域を検出するための注目領域検出処理を行う(S13)。注目領域を検出した場合(S14でY)、注目領域検出部71による検出結果を内視鏡画像に関連付けて出力する。
そして、図9(A)に示すように、観察対象内に注目領域としての病変部76が検出された場合、すなわち、内視鏡画像79に検出結果が関連付けされている場合、表示制御部58は、内視鏡画像79に関連付けされた検出結果、特に病変部76の位置及び大きさの情報などを用いて強調領域75及び基準領域77を設定する(S15)。
強調領域75及び基準領域77の設定後、表示制御部58は、内視鏡画像79内の強調領域75の位置に強調表示としての図形78を重畳表示する(S16)。なお、図9~図11、及び図14においては、図示の都合上、内視鏡画像79の他の部分と図形78との色の違いを、網掛けの有無で表現している。一方、観察対象内に病変部76が検出されていない場合は(S14でN)、当然強調表示を行わない。
次に、表示制御部58は、強調表示としての図形78を表示させるとともに(S16)、基準領域77の外側に病変部76が変移するか否かを監視する。そして、基準領域77の外側に、病変部76の少なくとも一部が変移した場合(S17でY)、表示制御部58は、強調領域75及び基準領域77を再設定する(S18)。図9に示す例では、内視鏡画像79内における病変部76の位置が基準領域77の内側(図9(B)に示す状態)から基準領域77の外側(図9(C)に示す状態)に移動したため、病変部76の位置及び大きさの情報などを用いて再設定される強調領域75及び基準領域77の位置も当然移動する。
表示制御部58は、再設定された強調領域75の位置に強調表示としての図形78を重畳表示する(S19)。これにより、図9(D)に示すように、図形78は、2点鎖線で示す再設定前の位置から実線で示す再設定後の位置まで移動する。一方、基準領域77から外側に病変部76が変移しない場合(S17でN)、表示制御部58は、強調領域75及び基準領域77を再設定しないため、強調表示としての図形78は同じ状態を維持する。
以上のように、内視鏡画像79における病変部76を図形78により強調表示しているため、医師は、病変部76の正確な位置を容易に認識することができる。また、内視鏡画像79から検出される病変部76が変移しても、病変部76が基準領域77から外側に変移しない場合は、強調表示としての図形78は同じ状態を維持し、基準領域77から外側に病変部76の少なくとも一部が出た場合にだけ、図形78が移動するので、図形78の変化する時間が短く、表示画面81におけるちらつきが少ない。このため、医師は、図形78の表示に阻害されることなく、病変部76の観察に集中することができる。
[第2実施形態]
上記第1実施形態では、内視鏡画像79から検出される病変部76が大きさを変えずに変移している例を上げているため(図9に示す例)、強調表示としての図形78は、病変部76の変移に応じて位置が移動するだけの変化となっているが、これに限らず、病変部76の変移に応じて図形78の大きさを変えるようにしてもよい。図10においては、内視鏡12のズーム倍率の変更などにより内視鏡画像79から検出される病変部76が拡大した場合を例に上げている。
上記第1実施形態では、内視鏡画像79から検出される病変部76が大きさを変えずに変移している例を上げているため(図9に示す例)、強調表示としての図形78は、病変部76の変移に応じて位置が移動するだけの変化となっているが、これに限らず、病変部76の変移に応じて図形78の大きさを変えるようにしてもよい。図10においては、内視鏡12のズーム倍率の変更などにより内視鏡画像79から検出される病変部76が拡大した場合を例に上げている。
先ず、図10(A)に示すように、注目領域検出モード下において、観察対象内に注目領域としての病変部76が検出された場合、上記第1実施形態と同様に、表示制御部58は、強調領域75及び基準領域77を設定し、強調表示としての図形78を重畳表示する。
そして、内視鏡画像79内における病変部76が変移し、基準領域77の内側(図10(B)に示す状態)から基準領域77の外側(図10(C)に示す状態)に病変部76が拡大する。基準領域77の外側に、病変部76の少なくとも一部が変移した場合、表示制御部58は、強調領域75及び基準領域77を再設定する。図10に示す例では、病変部76が拡大しているため、病変部76の位置及び大きさの情報などを用いて再設定される強調領域75及び基準領域77の大きさも当然拡大する。
表示制御部58は、再設定された強調領域75の位置に強調表示としての図形78を重畳表示する。これにより、図10(D)に示すように、図形78は、2点鎖線で示す再設定前の強調領域75の大きさから、実線で示す再設定後の強調領域75の大きさに拡大する。
以上のように、内視鏡画像79から検出される病変部76が拡大しても、病変部76が基準領域77から外側に変移しない場合は、強調表示としての図形78は同じ状態を維持し、基準領域77から外側に病変部76の少なくとも一部が出た場合にだけ、図形78が拡大する。これにより、図形78の変化する時間が短く、表示画面81におけるちらつきが少ない。
[第3実施形態]
上記第2実施形態では、内視鏡画像79から検出される病変部76が大幅に拡大した場合、病変部76に応じて拡大した強調表示としての図形78も拡大するため、変化に応じた画面のちらつきも大きい。そこで、以下で説明する第3実施形態では、表示制御部58は、第1の閾値α1と、第1の閾値α1よりも大きい第2の閾値α2という2段階の閾値を予め設定し、第1の閾値α1を超えた場合は、上記第2実施形態と同様に、病変部76に応じて強調表示としての図形78も拡大し、第2の閾値α2を超えた場合は、アイコンなどの表示面積の小さい強調表示に変更する。
上記第2実施形態では、内視鏡画像79から検出される病変部76が大幅に拡大した場合、病変部76に応じて拡大した強調表示としての図形78も拡大するため、変化に応じた画面のちらつきも大きい。そこで、以下で説明する第3実施形態では、表示制御部58は、第1の閾値α1と、第1の閾値α1よりも大きい第2の閾値α2という2段階の閾値を予め設定し、第1の閾値α1を超えた場合は、上記第2実施形態と同様に、病変部76に応じて強調表示としての図形78も拡大し、第2の閾値α2を超えた場合は、アイコンなどの表示面積の小さい強調表示に変更する。
先ず、図11(A)に示すように、注目領域検出モード下において、観察対象内に注目領域としての病変部76が検出された場合、上記第1実施形態と同様に、表示制御部58は、強調領域75を設定し、強調表示としての図形78を重畳表示する。
表示制御部58は、強調領域75を設定した後、病変部76の面積の拡大率Eを監視する。具体的には、予め設定された第1の閾値α1及び第2の閾値α2と、拡大率Eとを比較する。なお、拡大率Eは、内視鏡画像79の取得開始後から病変部76が最初に検出された際(すなわち強調領域75が設定された際)の病変部76の面積に対する現在表示されている病変部76の面積の比率である。
そして、内視鏡画像79内において病変部76が拡大し、拡大率Eが第1の閾値α1を超えた場合、表示制御部58は、強調領域75を再設定する。拡大率Eが第1の閾値α1を超えた場合の再設定では、上記第2実施形態と同様に、強調領域75の大きさを再設定する。表示制御部58は、再設定された強調領域75の位置に強調表示としての図形78を重畳表示する(以下では、説明の都合上、第1段階の強調表示とする。)。これにより、図11(B)に示すように、図形78は、2点鎖線で示す再設定前の大きさから、実線で示す再設定後の大きさに拡大する。
なお、第1段階の強調表示においては、上記第2実施形態と同様に、強調領域75及び基準領域77を設定し、基準領域77の外側に、病変部76の少なくとも一部が変移した場合、表示制御部58が強調領域75及び基準領域77を再設定するようにしてもよい。
その後、内視鏡画像79内において病変部76がさらに拡大し、拡大率Eが第2の閾値α2を超えた場合(図11(C)に示す状態)、表示制御部58は、強調領域75を再設定せず、強調表示を変更する(以下では、説明の都合上、第2段階の強調表示とする。)。
。本実施形態では、第2段階の強調表示の場合、第1段階の強調表示のように枠形状の図形78は表示せずに、内視鏡画像79の観察領域の外側、且つ病変部76の近傍にアイコン85を重畳表示する。本実施形態では、強調表示としてのアイコン85は、正方形の図形であるが、これに限るものではなく、他の図形でもよい。なお、アイコン85の面積は、強調表示の変更前の図形78よりも面積が減少している。
。本実施形態では、第2段階の強調表示の場合、第1段階の強調表示のように枠形状の図形78は表示せずに、内視鏡画像79の観察領域の外側、且つ病変部76の近傍にアイコン85を重畳表示する。本実施形態では、強調表示としてのアイコン85は、正方形の図形であるが、これに限るものではなく、他の図形でもよい。なお、アイコン85の面積は、強調表示の変更前の図形78よりも面積が減少している。
以上のように、内視鏡画像79から検出される病変部76が大幅に拡大した場合、拡大率Eが第1の閾値α1を超えるまでは、図形78は同じ状態を維持し、拡大率Eが第1の閾値α1を超えて、第2の閾値α2を超えるまでの範囲内では、図形78が拡大する。そして、拡大率Eが第2の閾値α2を超えてからは、強調表示を変更して図形78よりも面積の小さいアイコン85が表示されるので、表示画面81の変化が少なく、ちらつきが少ない。また、本実施形態では、正方形枠状の図形78から正方形のアイコン85に変化しているので、強調表示であることが認識しやすい。
なお、第2段階の強調表示の場合、図11に示すようなアイコン85に限定するものではなく、強調表示の変更前の図形78よりも面積が減少していればよい。例えば図12に示すように、第2段階の強調表示の場合、内視鏡画像79の周囲、かつ表示画面81に沿って帯状の図形86を表示してもよい。あるいは、図13に示すように、内視鏡画像79の周囲に座標軸Xを設定し、この座標軸X上において、病変部76に対応する部分87だけ表示態様を変えてもよい。図13に示す例では、座標軸X上で病変部76に対応する帯状の部分87だけ幅が広く、且つ網掛け模様を施しているが、これに限らず、座標軸X上で病変部76に対応する部分だけ色を変更したり、輝度を変えるなど異なる表示態様であればよい。
[第4実施形態]
上記各実施形態では、内視鏡画像から検出された注目領域の情報などを用いて強調領域及び基準領域を設定し、強調領域の設定を変更するか否かを判断しているが、これに限るものではなく、基準領域を設定せずに、病変部の代表座標を設定し、この代表座標の位置が閾値を超えて移動した場合、強調領域の設定を変更するか否かを判断してもよい。以下で説明する第4実施形態では、表示制御部58は、病変部76の代表座標91を設定し、この代表座標91の位置が閾値を超えて移動した場合、強調領域75の位置を再設定する。
上記各実施形態では、内視鏡画像から検出された注目領域の情報などを用いて強調領域及び基準領域を設定し、強調領域の設定を変更するか否かを判断しているが、これに限るものではなく、基準領域を設定せずに、病変部の代表座標を設定し、この代表座標の位置が閾値を超えて移動した場合、強調領域の設定を変更するか否かを判断してもよい。以下で説明する第4実施形態では、表示制御部58は、病変部76の代表座標91を設定し、この代表座標91の位置が閾値を超えて移動した場合、強調領域75の位置を再設定する。
先ず、図14(A)に示すように、注目領域検出モード下において観察対象内に注目領域としての病変部76が検出された場合、上記第1実施形態と同様に、表示制御部58は、強調領域75を設定するとともに、代表座標91を決定する。表示制御部58は、代表座標91として、例えば、病変部76の重心位置の座標を用いる。本実施形態においては、重心位置として病変部76の面積中心を算出する。
強調領域75及び代表座標91の設定後、表示制御部58は、内視鏡画像79内の強調領域75の位置に強調表示としての図形78を重畳表示する。なお、図14においては、代表座標91の位置に円形状の図形を表示しているが、これに限らず、代表座標91の位置に図形を表示しなくてもよい。
表示制御部58は、強調領域75を設定した後、代表座標91の移動量を監視する。具体的には、内視鏡画像79の取得開始後から病変部76が最初に検出された際(すなわち強調領域75が設定された際)の代表座標91の初期位置から現在表示されている病変部76における代表座標91までの移動量である。
そして、図14(B)及び図14(C)に示すように、内視鏡画像79内において病変部76が変移し、病変部76とともに代表座標91が移動する。符号Mは、代表座標91の移動量を示す。代表座標91の移動量Mが閾値βを超えた場合、表示制御部58は、強調領域75を再設定する。図14に示す例では、病変部76の代表座標91が移動しているため、病変部76の位置及び大きさの情報などを用いて再設定される強調領域75の位置も当然移動する。
表示制御部58は、再設定された強調領域75の位置に強調表示としての図形78を重畳表示する。図14(D)に示すように、図形78は、2点鎖線で示す再設定前の位置から実線で示す再設定後の位置に移動する。一方、代表座標91の移動量Mが閾値βを超えない場合、表示制御部58は、強調領域75を再設定しないため、強調表示としての図形78は同じ状態を維持する。
以上のように、内視鏡画像79から検出される病変部76が変移しても、代表座標91の移動量Mが閾値を超えない場合は、強調表示としての図形78は同じ状態を維持し、代表座標91の移動量Mが閾値を超えた場合にだけ、図形78が移動するので、図形78の変化が少なく、表示画面81におけるちらつきが少ない。
なお、上記各実施形態においては、第3実施形態における第2段階の強調表示を除き、強調表示としての図形は正方形枠状であるが、これに限らず、矩形(四角形)以外の多角形、円、楕円など、注目領域を囲むことができる枠形状であればよい。
上記各実施形態では、表示制御部58は、第3実施形態の第2段階の強調表示を除き、強調表示として強調領域の位置に枠形状の図形を重畳表示させているが、これに限るものではなく、強調表示として強調領域の色を変更してもよい。この場合、注目領域としての病変部76を検出し、強調領域を設定した場合、表示制御部58は、強調表示として強調領域を本来の色とは異なる色、例えば、内視鏡画像に多く含まれている色を抽出し、強調領域を内視鏡画像の他の部分と異なる色に変更してもよい。なお、ここでいう異なる色とは、例えば、色相が異なる色のことである。
なお、強調領域の強調表示としては、上記のものに限らず、彩度変化処理、コントラスト処理、ネガポジ反転処理、フィルタリング処理など、周囲に対して視覚的に区別することができる画像処理であればよい。あるいは、強調領域の画像処理による強調表示と、上記各実施形態における病変部を囲む図形による強調表示を組み合わせてもよい。
上記各実施形態では、4色のLED20a~20dを用いて観察対象の照明を行っているが、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。また、上記各実施形態では、4色のLED20a~20dを用いて観察対象の照明を行っているが、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ38に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。
なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、PET(Positron Emission Tomography)画像などを取得する各種医用画像装置に対しても、本発明の医用画像処理装置の適用は可能である。
上記実施形態において、画像処理部56のような各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b 静止画像取得部
13c モード切替部
13d ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 光源制御部
23 波長カットフィルタ
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
34 対物レンズ
36 拡大光学系
36a ズームレンズ
36b レンズ駆動部
38 撮像センサ
40 CDS回路
42 AGC回路
44 A/D変換回路
50 画像信号取得部
52 DSP
54 ノイズ低減部
56 画像処理部
58 表示制御部
60 通常モード画像処理部
62 特殊モード画像処理部
64 注目領域検出モード画像処理部
70 検出用画像処理部
71 注目領域検出部
75 強調領域
76 病変部
77 基準領域
78 図形
79 内視鏡画像
81 表示画面
85 アイコン
86 図形
87 部分
91 代表座標
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b 静止画像取得部
13c モード切替部
13d ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 光源制御部
23 波長カットフィルタ
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
34 対物レンズ
36 拡大光学系
36a ズームレンズ
36b レンズ駆動部
38 撮像センサ
40 CDS回路
42 AGC回路
44 A/D変換回路
50 画像信号取得部
52 DSP
54 ノイズ低減部
56 画像処理部
58 表示制御部
60 通常モード画像処理部
62 特殊モード画像処理部
64 注目領域検出モード画像処理部
70 検出用画像処理部
71 注目領域検出部
75 強調領域
76 病変部
77 基準領域
78 図形
79 内視鏡画像
81 表示画面
85 アイコン
86 図形
87 部分
91 代表座標
Claims (12)
- 観察対象を撮像して医用画像を取得する医用画像取得部と、
前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、
前記注目領域よりも面積が広く、かつ前記注目領域を包含する強調領域を設定し、前記医用画像に対して前記強調領域を強調表示する表示制御部であって、前記医用画像内における前記注目領域の変動量に応じて、前記強調領域の設定を変更するか否かを判断する表示制御部とを有する医用画像処理装置。 - 前記表示制御部は、前記強調領域を設定する際、前記注目領域よりも外側かつ前記強調領域よりも内側に基準領域を設定し、前記基準領域の外側に前記注目領域の少なくとも一部が変移した場合、前記強調領域および前記基準領域を再設定する請求項1記載の医用画像処理装置。
- 前記表示制御部は、前記強調領域および前記基準領域を設定した後、前記強調領域および前記基準領域を再設定する場合、再設定前の前記強調表示の位置に対して、再設定後の前記強調表示の位置を移動する請求項2記載の医用画像処理装置。
- 前記表示制御部は、前記強調領域および前記基準領域を設定した後、前記強調領域および前記基準領域を再設定する場合、再設定前の前記強調表示に対して、再設定後の前記強調表示を拡大する請求項2記載の医用画像処理装置。
- 前記表示制御部は、前記強調領域を設定した後、前記注目領域の面積の拡大率が、第1の閾値を超えた場合、前記強調領域を再設定することにより、再設定前の前記強調表示に対して、再設定後の前記強調表示を拡大する請求項1記載の医用画像処理装置。
- 前記表示制御部は、前記強調領域を設定した後、前記注目領域の面積の拡大率が、前記第1の閾値よりも大きい第2の閾値を超えた場合、前記強調表示として前記医用画像と重畳表示する図形の面積を減少する変更を行う請求項5記載の医用画像処理装置。
- 前記表示制御部は、前記注目領域検出部により検出した前記注目領域から代表座標を決定し、前記代表座標の位置が閾値以上移動した場合、前記強調領域の位置を再設定する請求項1記載の医用画像処理装置。
- 前記表示制御部は、強調表示として、前記強調領域に重畳させた枠形状の図形を表示させる請求項1ないし7のいずれか1項記載の医用画像処理装置。
- 前記表示制御部は、強調表示として、前記強調領域の色を前記医用画像の他の部分と異なる色に変更する請求項1ないし6のいずれか1項記載の医用画像処理装置。
- 前記表示制御部は、前記拡大率が前記第2の閾値を超えた場合、前記強調表示として前記医用画像内の観察領域の外側にアイコンまたは帯状の図形を表示させる請求項6に記載の医用画像処理装置。
- 観察対象を照明するための照明光を発する光源装置と、
前記照明光で照明された観察対象を撮像する撮像部を有する内視鏡と、
前記撮像部で前記観察対象を撮像して得られる医用画像を取得する医用画像取得部と、
前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、
前記注目領域よりも面積が広く、かつ前記注目領域を包含する強調領域を設定し、前記医用画像に対して前記強調領域を強調表示する表示制御部であって、前記医用画像内における前記注目領域の変動量に応じて、前記強調領域の設定を変更するか否かを判断する表示制御部と、
前記医用画像及び前記強調表示を表示する表示部とを備える内視鏡システム。
内視鏡システム - 医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、
注目領域検出部が、前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出するステップと、
表示制御部が、前記注目領域よりも面積が広く、かつ前記注目領域を包含する強調領域を設定ステップと、
前記表示制御部が、前記医用画像に対して前記強調領域を強調表示するステップと、
前記表示制御部が、前記医用画像内における前記注目領域の変動量に応じて、前記強調領域の設定を変更するか否かを判断するステップとを含む医用画像処理装置の作動方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020549160A JP7047122B2 (ja) | 2018-09-26 | 2019-09-20 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
EP19866894.9A EP3858223B1 (en) | 2018-09-26 | 2019-09-20 | Medical image processing device, endoscope system, and operation method for medical image processing device |
CN201980063309.6A CN112752535B (zh) | 2018-09-26 | 2019-09-20 | 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法 |
US17/206,136 US11627864B2 (en) | 2018-09-26 | 2021-03-19 | Medical image processing apparatus, endoscope system, and method for emphasizing region of interest |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018180054 | 2018-09-26 | ||
JP2018-180054 | 2018-09-26 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/206,136 Continuation US11627864B2 (en) | 2018-09-26 | 2021-03-19 | Medical image processing apparatus, endoscope system, and method for emphasizing region of interest |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020066941A1 true WO2020066941A1 (ja) | 2020-04-02 |
Family
ID=69950602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/037100 WO2020066941A1 (ja) | 2018-09-26 | 2019-09-20 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11627864B2 (ja) |
EP (1) | EP3858223B1 (ja) |
JP (1) | JP7047122B2 (ja) |
CN (1) | CN112752535B (ja) |
WO (1) | WO2020066941A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020059526A1 (ja) * | 2018-09-18 | 2020-03-26 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム |
KR102283673B1 (ko) * | 2020-11-30 | 2021-08-03 | 주식회사 코어라인소프트 | 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS582364B2 (ja) | 1975-09-12 | 1983-01-17 | 理化学研究所 | カヘンハチヨウブンプキカンガタシキソレ−ザソウチオモチイタブンコウコウドケイ |
JPS6120762B2 (ja) | 1979-02-06 | 1986-05-23 | Nippon Steel Corp | |
JP2007222239A (ja) * | 2006-02-21 | 2007-09-06 | Fujinon Corp | 体腔内観察装置 |
JP2011254936A (ja) * | 2010-06-08 | 2011-12-22 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び追跡方法 |
WO2017203560A1 (ja) * | 2016-05-23 | 2017-11-30 | オリンパス株式会社 | 内視鏡画像処理装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100792283B1 (ko) * | 2001-08-07 | 2008-01-07 | 삼성전자주식회사 | 이동물체 자동 추적장치 및 방법 |
JP5677555B2 (ja) * | 2009-09-24 | 2015-02-25 | 富士フイルム株式会社 | 内視鏡装置 |
JP5802364B2 (ja) | 2009-11-13 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
JP5597021B2 (ja) * | 2010-04-15 | 2014-10-01 | オリンパス株式会社 | 画像処理装置及びプログラム |
JP5865606B2 (ja) * | 2011-05-27 | 2016-02-17 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
US20130218978A1 (en) * | 2012-02-17 | 2013-08-22 | Numira Biosciences | Systems and Methods for Project Collaboration in a Cloud Computing Environment |
JP6120762B2 (ja) | 2013-12-13 | 2017-04-26 | オリンパス株式会社 | 画像処理装置 |
US9947077B2 (en) * | 2013-12-31 | 2018-04-17 | Thomson Licensing | Video object tracking in traffic monitoring |
US10799302B2 (en) * | 2014-07-10 | 2020-10-13 | Transenterix Europe S.A.R.L. | Interface for laparoscopic surgeries—movement gestures |
EP3141178A4 (en) * | 2014-11-26 | 2018-02-21 | Olympus Corporation | Diagnosis assistance device and diagnosis assistance information display method |
US10835210B2 (en) * | 2015-03-30 | 2020-11-17 | Siemens Medical Solutions Usa, Inc. | Three-dimensional volume of interest in ultrasound imaging |
CN107613839B (zh) * | 2015-06-11 | 2019-10-01 | 奥林巴斯株式会社 | 内窥镜装置和内窥镜装置的工作方法 |
-
2019
- 2019-09-20 CN CN201980063309.6A patent/CN112752535B/zh active Active
- 2019-09-20 EP EP19866894.9A patent/EP3858223B1/en active Active
- 2019-09-20 WO PCT/JP2019/037100 patent/WO2020066941A1/ja unknown
- 2019-09-20 JP JP2020549160A patent/JP7047122B2/ja active Active
-
2021
- 2021-03-19 US US17/206,136 patent/US11627864B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS582364B2 (ja) | 1975-09-12 | 1983-01-17 | 理化学研究所 | カヘンハチヨウブンプキカンガタシキソレ−ザソウチオモチイタブンコウコウドケイ |
JPS6120762B2 (ja) | 1979-02-06 | 1986-05-23 | Nippon Steel Corp | |
JP2007222239A (ja) * | 2006-02-21 | 2007-09-06 | Fujinon Corp | 体腔内観察装置 |
JP2011254936A (ja) * | 2010-06-08 | 2011-12-22 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び追跡方法 |
WO2017203560A1 (ja) * | 2016-05-23 | 2017-11-30 | オリンパス株式会社 | 内視鏡画像処理装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3858223A4 |
Also Published As
Publication number | Publication date |
---|---|
US20210204794A1 (en) | 2021-07-08 |
US11627864B2 (en) | 2023-04-18 |
JPWO2020066941A1 (ja) | 2021-08-30 |
JP7047122B2 (ja) | 2022-04-04 |
EP3858223A4 (en) | 2021-11-17 |
EP3858223A1 (en) | 2021-08-04 |
EP3858223B1 (en) | 2024-04-24 |
CN112752535A (zh) | 2021-05-04 |
CN112752535B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
WO2018159363A1 (ja) | 内視鏡システム及びその作動方法 | |
JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
US12029384B2 (en) | Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus | |
US20230027950A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
US11439297B2 (en) | Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus | |
WO2022014235A1 (ja) | 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム | |
JP2020065685A (ja) | 内視鏡システム | |
US11627864B2 (en) | Medical image processing apparatus, endoscope system, and method for emphasizing region of interest | |
JP7130043B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
US20230101620A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
US20230029239A1 (en) | Medical image processing system and method for operating medical image processing system | |
US12020350B2 (en) | Image processing apparatus | |
WO2022009478A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム | |
JPWO2020121868A1 (ja) | 内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19866894 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020549160 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019866894 Country of ref document: EP Effective date: 20210426 |