WO2017057392A1 - 内視鏡システム及び内視鏡システムの作動方法 - Google Patents
内視鏡システム及び内視鏡システムの作動方法 Download PDFInfo
- Publication number
- WO2017057392A1 WO2017057392A1 PCT/JP2016/078514 JP2016078514W WO2017057392A1 WO 2017057392 A1 WO2017057392 A1 WO 2017057392A1 JP 2016078514 W JP2016078514 W JP 2016078514W WO 2017057392 A1 WO2017057392 A1 WO 2017057392A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- index value
- value
- blood vessel
- unit
- observation
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Definitions
- the present invention relates to an endoscope system that generates an image obtained by imaging an observation target in a subject, and an operation method of the endoscope system.
- an endoscope system including a light source device, an endoscope, and a processor device.
- the endoscope system irradiates illumination light emitted by the light source device to the observation target through the endoscope, and the processor device generates an image based on an image signal obtained by imaging the observation target under illumination with the illumination light. Generate an image of the observation target. By displaying this image on the monitor, the doctor can make a diagnosis while looking at the image on the monitor.
- a normal observation image an image representing an observation target in natural color shade using white illumination light
- special observation image colored according to change in blood volume and oxygen saturation as shown in Patent document 2 (hereinafter referred to as special observation image) colored according to the depth and density of the blood vessel to be observed as shown
- a diagnosis is also performed to observe information on blood vessels.
- Index values that quantify information on blood vessels such as blood vessel depth and density are useful information for diagnosis.
- a doctor makes a judgment in consideration of a plurality of index values in a comprehensive manner, and when displaying a plurality of index values with coloring as in Patent Documents 1 and 2 described above, There may be envy on judgment from the abundance. Therefore, even when diagnosis is performed using a plurality of index values, it has been required to narrow down and present the index values to be noted in diagnosis.
- An object of the present invention is to provide an endoscope system and an operation method of an endoscope system capable of narrowing down and presenting to an index value to be noted in diagnosis even when using a plurality of index values. Do.
- the endoscope system of the present invention includes an image acquisition unit, an extraction unit, an index value calculation unit, a determination unit, a color information setting unit, and an image generation unit.
- the image acquisition unit acquires an image obtained by imaging an observation target with an endoscope.
- the extraction unit extracts a structure included in the observation target from the image.
- the index value calculation unit calculates a plurality of index values based on the structure extracted by the extraction unit.
- the determination unit determines whether each of the plurality of index values is a normal value representing a normal state or an abnormal value different from the normal value.
- the color information setting unit sets color information to an abnormal index value which is an index value determined by the determination unit as an abnormal value, or a normal index value which is an index value determined by the determination unit as a normal value Set
- the image generation unit generates an emphasized image in which the structure is emphasized based on the color information set by the color information setting unit.
- the determination unit preferably determines by comparing the index value with a specific threshold value, or by referring to a lookup table storing whether the index value corresponds to a normal value or an abnormal value.
- the structure is preferably a blood vessel.
- the setting unit assigns color information having higher priority to the abnormal index value or the normal index value having higher priority among the abnormal index value or the normal index value.
- the endoscope identification unit identifies whether the endoscope is an upper observation endoscope or a lower observation endoscope, and the priority change unit is used as an observation condition for the upper observation endoscope and the lower observation. When replacement with the endoscope is performed, it is preferable to change the priority for each of the abnormality index value or the normal index value.
- the priority changing unit changes the abnormality index value or the normal index value. It is preferable to change the priority of
- the zoom operation unit is configured to change the zoom magnification of the endoscope at a first zoom magnification and a second zoom magnification different from the first zoom magnification, and the priority change unit performs the first zoom magnification as an observation condition.
- it changes to 2nd zoom magnification it is preferable to change the priority for every abnormal index value or normal index value.
- a mode operation unit which selects one of a plurality of observation modes using two or more of a plurality of index values, and sets a priority based on diagnosis for each index value used in the selected observation mode;
- the priority is determined for each of the abnormal index value or the normal index value based on the priority set for each index value, and the priority change unit uses the observation mode as the observation condition from the first observation mode.
- the priority change unit preferably changes the priority for each of the abnormality index value or the normal index value when a specific dye is dispersed as the observation condition as the observation condition.
- An image generation unit comprising: a normal index value storage unit for storing a normal index value; and a luminance information setting unit for obtaining a difference value between an abnormality index value and a normal index value and setting luminance information according to the difference value
- the enhanced image is generated based on the set color information and luminance information.
- the image acquisition unit acquires an image obtained by imaging an observation target with the endoscope
- the extraction unit includes, from the image, a structure included in the observation target A step of extracting a step, a step of the index value calculation unit calculating a plurality of index values based on the structure extracted by the extraction unit, and a normal value indicating that each of the plurality of index values has a normal state by the determination unit
- the color information setting unit sets color information to an abnormality index value, which is an index value determined by the determination unit as an abnormal value, or the determination unit is normal Setting the color information to the normal index value which is the index value determined as the value
- the image generation unit generates an emphasized image emphasizing the structure based on the color information set by the color information setting unit And step.
- the determination unit preferably determines by comparing the index value with a specific threshold value, or by referring to a lookup table storing whether the index value corresponds to a normal value or an abnormal value.
- the endoscope system and the operation method of the endoscope system of the present invention can narrow down and present to a notable index value at the time of diagnosis even when a plurality of index values are used.
- FIG. 6 is a block diagram showing the function of an endoscope system provided with a broadband light source and a rotation filter. It is a top view of a rotation filter.
- FIG. 1 is a schematic view of a capsule endoscope.
- the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a console 19.
- the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
- the endoscope 12 has an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a proximal end portion of the insertion portion 12a, and a curved portion 12c and a distal end portion 12d provided on the distal end side of the insertion portion 12a. doing.
- the bending portion 12c By operating the angle knob 13a of the operation unit 12b, the bending portion 12c performs a bending operation. By this bending operation, the tip 12d is directed in a desired direction.
- a still image acquisition unit 13b used for a still image acquisition operation, a mode switching unit 13c used for an observation mode switching operation, and a zoom operation unit used for a zoom magnification change operation in the operation unit 12b. 13 d is provided.
- the still image acquisition unit 13 b can perform a freeze operation for displaying a still image to be observed on the monitor 18 and a release operation for storing the still image in a storage.
- the endoscope system 10 has a normal mode and a special mode as observation modes.
- the observation mode is the normal mode
- the light source device 14 emits substantially white light (hereinafter, referred to as white light) as illumination light.
- the observation mode is the special mode
- the light source device 14 emits, as illumination light, light having a specific wavelength band narrower in wavelength band than white light (hereinafter referred to as narrow band light).
- the processor unit 16 is electrically connected to the monitor 18 and the console 19.
- the monitor 18 outputs and displays an image to be observed, information attached to the image, and the like.
- the console 19 functions as a user interface that receives input operations such as specification of a region of interest (ROI) and function settings.
- ROI region of interest
- the light source device 14 includes a light source 20 that emits illumination light used for illumination of an observation target, and a light source control unit 22 that controls the light source 20.
- the light source 20 is, for example, a semiconductor light source such as a light emitting diode (LED) of a plurality of colors, a combination of a laser diode and a phosphor, or a xenon lamp.
- the light source 20 also includes an optical filter or the like that adjusts the wavelength band of the light emitted by the LED or the like.
- the light source control unit 22 controls the light emission amount of the illumination light by turning on / off the LED or the like, and adjusting the drive current or the drive voltage of the LED or the like.
- the light source control unit 22 also controls the wavelength band of the illumination light by changing the optical filter or the like.
- the light source 20 includes a plurality of light sources having different wavelength ranges, and, for example, V-LED (Violet Light Emitting Diode) 20a, B-LED (Blue Light Emitting Diode) 20b, G-LED (Green Light Emitting) It is assumed to have four color LEDs: Diode) 20c and R-LED (Red Light Emitting Diode) 20d.
- V-LED 20a emits violet light V in a wavelength band of 380 nm to 420 nm.
- the B-LED 20b emits blue light B in a wavelength band of 420 nm to 500 nm.
- the G-LED 20c emits green light G having a wavelength band ranging from 480 nm to 600 nm.
- the R-LED 20d emits red light R in a wavelength band of 600 nm to 650 nm.
- the light of each color may have the same or different central wavelength and peak wavelength.
- the light source control unit 22 adjusts the light emission timing, the light emission period, the light amount, and the spectral spectrum of the illumination light by independently controlling the lighting and extinguishing of each of the LEDs 20a to 20d and the light emitting amount at the time of lighting.
- the control of lighting and extinguishing in the light source control unit 22 is different for each observation mode.
- the light source control unit 22 turns on all of the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d.
- the light source 20 emits white light including violet light V, blue light B, green light G, and red light R.
- the light source control unit 22 switches between control for lighting only the V-LED 20a and control for lighting only the B-LED 20b.
- the light source 20 sequentially emits violet light V and blue light B.
- purple light V and blue light B are used as illumination light, they can be observed from a relatively shallow position under the mucous membrane (hereinafter referred to as the surface layer) to a position shallower than the surface layer (hereinafter referred to as the electrode surface layer) is there.
- the violet light V has a short wavelength compared to the blue light B, so the depth of penetration to the observation target is small, and only the blood vessel in the extreme surface layer (hereinafter referred to as the extreme surface blood vessel) can be projected.
- the blood vessel contrast is greater than with blue light B.
- the contrast is, for example, the ratio of the amount of light reflected from the surrounding mucous membrane to the amount of light reflected from the blood vessel.
- blue light B has a long wavelength compared to purple light V, the depth of penetration to the observation target is large, and instead of projecting up to the surface blood vessel (hereinafter referred to as surface blood vessel), Is smaller than when purple light V is used.
- the illumination light emitted from the light source 20 is incident on the light guide 24 inserted into the insertion portion 12 a through an optical path coupling portion (not shown) formed by a mirror and / or a lens or the like.
- the light guide 24 is incorporated in the endoscope 12 and the universal cord, and propagates the illumination light to the distal end 12 d of the endoscope 12.
- the universal cord is a cord that connects the endoscope 12 to the light source device 14 and the processor device 16.
- a multimode fiber can be used as the light guide 24, a multimode fiber can be used.
- the light guide 24 it is possible to use a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of ⁇ 0.3 mm to ⁇ 0.5 mm including a protective layer to be an outer shell.
- the illumination optical system 30 a and an imaging optical system 30 b are provided at the distal end 12 d of the endoscope 12.
- the illumination optical system 30 a has an illumination lens 32.
- the observation target is illuminated with illumination light transmitted through the light guide 24 through the illumination lens 32.
- the imaging optical system 30 b has an objective lens 34, a zoom lens 36, and an imaging sensor 38.
- Various types of light such as reflected light, scattered light, and fluorescent light from the observation target enter the imaging sensor 38 through the objective lens 34 and the zoom lens 36. Thereby, the image of the observation object is formed on the imaging sensor 38.
- the zoom lens 36 freely moves between the tele end and the wide end by operating the zoom operation unit 13 d, and magnifies or reduces the observation target formed on the imaging sensor 38.
- the imaging sensor 38 is a color imaging sensor for imaging the observation target irradiated with the illumination light.
- Each pixel of the imaging sensor 38 is provided with one of an R (red) color filter, a G (green) color filter, and a B (blue) color filter.
- the imaging sensor 38 receives light from purple to blue at the B pixel provided with the B color filter, receives green light at the G pixel provided with the G color filter, and is provided with the R color filter. The red light is received by the R pixel. Then, an image signal of each color of RGB is output from the pixel of each color.
- the imaging sensor 38 transmits the output image signal to a correlated double sampling (CDS) / automatic gain control (AGC) circuit 40.
- CDS correlated double sampling
- AGC automatic gain control
- a CCD (Charge Coupled Device) imaging sensor, a CMOS (Complementary Metal-Oxide Semiconductor) imaging sensor, or the like can be used.
- a complementary color imaging sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used instead of the imaging sensor 38 provided with color filters of RGB primary colors. good.
- the complementary color imaging sensor outputs four color CMYG image signals. For this reason, by converting the CMYG four-color image signal into the three-color RGB image signal by complementary color-primary color conversion, it is possible to obtain the same RGB color image signal as the imaging sensor 38.
- a monochrome sensor not provided with a color filter may be used instead of the imaging sensor 38.
- the CDS / AGC circuit 40 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal received from the imaging sensor 38.
- An A / D (Analog to Digital) conversion circuit 42 converts an analog image signal passed through the CDS / AGC circuit 40 into a digital image signal.
- the A / D conversion circuit 42 inputs the digital image signal after A / D conversion to the processor unit 16.
- the processor device 16 includes an image signal acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, a memory 56, a signal processing unit 58, an image processing unit 60, and a video signal generation unit 62. Have.
- DSP Digital Signal Processor
- the image signal acquisition unit 50 acquires a digital image signal from the endoscope 12.
- the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, and demosaicing processing on the image signal acquired by the image signal acquisition unit 50.
- the defect correction process corrects the signal of the defective pixel of the imaging sensor 38.
- the offset process the dark current component is removed from the image signal subjected to the defect correction process, and an accurate zero level is set.
- the gain correction processing the signal level is adjusted by multiplying the offset-processed image signal by a specific gain.
- Linear matrix processing enhances the color reproducibility of the image signal subjected to gain correction processing.
- gamma conversion processing the brightness and saturation of the image signal subjected to linear matrix processing are adjusted.
- the image signal subjected to the gamma conversion process is subjected to a demosaicing process (also referred to as isotropization process or synchronization process) to generate a signal of a color lacking in each pixel by interpolation. By this demosaicing process, all pixels have signals of RGB colors.
- the noise reduction unit 54 reduces noise by performing noise reduction processing using, for example, a moving average method or a median filter method on the image signal that has been subjected to the demosaicing processing or the like by the DSP 52.
- the image signal subjected to the noise reduction processing is stored in the memory 56.
- the signal processing unit 58 acquires an image signal subjected to noise reduction processing from the memory 56. Then, the signal processing unit 58 performs signal processing, such as color conversion processing, color enhancement processing, and structure enhancement processing, on the acquired image signal, for example, to obtain a color endoscope image in which the observation target is captured (simply , Also called image).
- the color conversion processing is processing for performing color conversion on an image signal by 3 ⁇ 3 matrix processing, tone conversion processing, three-dimensional LUT (look-up table) processing, or the like.
- the color emphasizing process is performed on the image signal subjected to the color conversion process.
- the structure emphasizing process is, for example, a process of emphasizing a specific tissue or structure included in an observation target such as a blood vessel or a pit pattern, and is performed on the image signal after the color emphasizing process.
- the contents of color conversion processing, color enhancement processing, and structure enhancement processing performed by the signal processing unit 58 differ depending on the observation mode.
- the signal processing unit 58 performs the above-described various signal processing to generate an image (hereinafter, referred to as a normal observation image) in which an observation target of a natural color is captured as an endoscope image.
- the signal processing unit 58 carries out the above-mentioned various signal processing to at least emphasize structures such as blood vessels and lymph vessels included in the observation target, thereby emphasizing the structures (hereinafter referred to as special observation images). ) Is generated as an endoscopic image.
- the signal processing unit 58 inputs the generated endoscopic image to the image processing unit 60.
- the signal processing unit 58 stores the generated endoscopic image in the storage 64.
- the storage 64 is an external storage device connected to the processor device 16 by a LAN (Local Area Network) or the like.
- the storage 64 is, for example, a file server of a system for filing endoscopic images such as a PACS (Picture Archiving and Communication System), a NAS (Network Attached Storage), or the like.
- PACS Picture Archiving and Communication System
- NAS Network Attached Storage
- the image processing unit 60 performs a process of emphasizing structures such as blood vessels and lymph vessels on an image obtained by imaging an observation target with an endoscope. In the present embodiment, the case of emphasizing a blood vessel will be described below.
- the image processing unit 60 includes an image acquisition unit 70, an extraction unit 72, an index value calculation unit 74, a determination unit 76, a color information setting unit 78, and an image generation unit 80.
- the image acquisition unit 70 acquires an image from the signal processing unit 58. In the present embodiment, the case of the special mode will be described below. Therefore, the image acquisition unit 70 acquires the special observation image from the signal processing unit 58.
- the image acquiring unit 70 picks up an observation target under illumination with the purple light V as a special observation image.
- An obtained image hereinafter referred to as an extreme surface layer observation image
- an image obtained by imaging an observation target being illuminated with blue light B hereinafter referred to as a surface layer observation image
- the extreme surface layer observation image and the surface layer observation image in addition to the observation of the mucous membrane to be observed, the extreme surface blood vessel and the superficial blood vessel can be observed.
- the contrast of the extreme surface layer blood vessel is higher in the extreme surface layer observation image, and the contrast of the surface layer blood vessel is higher in the surface layer observation image.
- the extraction unit 72 extracts a blood vessel from the image acquired by the image acquisition unit 70 to obtain a blood vessel extraction image. Specifically, the extraction unit 72 obtains a blood vessel extraction image by taking a difference between the extreme surface layer observation image and the surface layer observation image. More specifically, for example, the extraction unit 72 logarithmically converts the signal of the extreme surface layer observation image and the signal of the surface layer observation image, and subtracts the signal of the extreme surface layer observation image from the signal of the surface layer observation image Obtain an extracted image. In the blood vessel extraction image, the pixel value of the pixel representing the superficial blood vessel is smaller than the pixel value of the pixel representing the mucous membrane.
- the pixel value of the pixel representing the extreme superficial blood vessel is a value larger than the pixel value of the pixel representing the mucous membrane. That is, in the blood vessel extraction image, the superficial blood vessel is displayed darker than the mucous membrane, and the extreme superficial blood vessel is displayed brighter than the mucous membrane. Thereby, in the blood vessel extraction image, the difference between the extreme surface blood vessel and the superficial blood vessel is more remarkable than the extreme surface layer observation image and the surface layer observation image.
- the extraction unit 72 transmits the blood vessel extraction image to the index value calculation unit 74 and the image generation unit 80.
- the index value calculation unit 74 calculates a blood vessel index value (hereinafter referred to as a blood vessel index value) based on the blood vessel extracted by the extraction unit 72.
- the blood vessel index value includes, for example, the number of blood vessels, the number of blood vessel bifurcations, the blood vessel bifurcation angle, the distance between bifurcation points, the number of blood vessel crossings, the thickness of blood vessels, the thickness of blood vessels, and the thickness of blood vessels Complexity, blood vessel length, blood vessel spacing, blood vessel depth, blood vessel height difference, blood vessel inclination, blood vessel area, blood vessel density, blood vessel contrast, blood vessel color, blood vessel color change, blood vessel Meandering degree, blood concentration of blood vessels, oxygen saturation of blood vessels, proportion of arteries, proportion of veins, concentration of administered dye, running pattern of blood vessels, blood flow of blood vessels, etc.
- the index value calculation unit 74 calculates at least the two or more blood vessel index values.
- the type of blood vessel index value calculated by the index value calculation unit 74 is set based on the input operation of the console 19.
- the type of blood vessel index value is not limited to the above-described example.
- the number of blood vessels is the number of blood vessels extracted in the entire endoscopic image or in the region of interest.
- the number of blood vessels is calculated using, for example, the number of branch points of the extracted blood vessels (the number of branches), the number of intersections with other blood vessels (the number of intersections), or the like.
- the number of branches and the number of crossings of blood vessels are calculated by analyzing the pattern of blood vessels.
- the bifurcation angle of a blood vessel is an angle which two blood vessels make at a bifurcation point.
- the distance between bifurcation points is a linear distance between any bifurcation point and its neighboring bifurcation point, or a length along a blood vessel from any bifurcation point to its neighboring bifurcation point.
- the number of crossings of blood vessels is the number of crossing points where blood vessels having different submucosal depths cross on the endoscopic image. More specifically, the number of crossings of blood vessels is the number of blood vessels at relatively shallow positions under the submucosa crossing blood vessels at deep positions.
- the thickness of the blood vessel is the distance between the boundary line of the blood vessel and the mucous membrane.
- the thickness of the blood vessel is obtained, for example, by counting the number of pixels along the short direction of the blood vessel from the edge of the extracted blood vessel through the blood vessel. Therefore, although the thickness of the blood vessel is the number of pixels, if the imaging distance and zoom magnification etc. at the time of imaging an endoscopic image are known, it is converted to a unit of length such as “ ⁇ m” as necessary. It is possible.
- the change in the thickness of the blood vessel is a blood vessel index value relating to the variation in the thickness of the blood vessel, and is also referred to as the aperture unequal degree.
- the change in thickness of the blood vessel is, for example, the rate of change in the diameter of the blood vessel (also referred to as the degree of dilation).
- the ratio of the small diameter portion or the ratio of the large diameter portion may be calculated.
- the small diameter portion is a portion whose thickness is equal to or less than a threshold.
- the large diameter portion is a portion where the thickness is larger than the threshold.
- the complexity of change in blood vessel thickness (hereinafter referred to as “complexity of change in thickness”) is a blood vessel index that indicates how complex the change in blood vessel thickness is. It is a blood vessel index value calculated by combining a plurality of blood vessel index values (that is, the change rate of the blood vessel diameter, the ratio of the small diameter portion, or the ratio of the large diameter portion) representing a change in the thickness of the blood vessel.
- the complexity of the thickness change can be determined, for example, by the product of the change rate of the blood vessel diameter and the ratio of the small diameter portion.
- the length of the blood vessel is the number of pixels counted along the longitudinal direction of the extracted blood vessel.
- the blood vessel interval is the number of pixels of pixels representing the mucous membrane between the edges of the extracted blood vessel. When one blood vessel is extracted, the blood vessel interval has no value.
- the blood vessel depth is measured relative to the mucous membrane (more specifically, the surface of the mucous membrane).
- the depth of the blood vessel relative to the mucous membrane can be calculated, for example, based on the color of the blood vessel.
- the surface blood vessels at a position close to the surface of the mucous membrane are represented by a magenta color and are distant from the mucous membrane surface (deep position in the mucous membrane) Since the mid-deep blood vessels are represented by the cyan color, the index value calculator 74 determines the blood vessel depth based on the mucous membrane based on the balance of the R, G, B color signals of the pixels extracted as the blood vessels. Is calculated for each pixel.
- the height difference of the blood vessel is the size of the difference in the depth of the blood vessel.
- the height difference of one blood vessel to be noticed is obtained by the difference between the depth (maximum depth) of the deepest part of the blood vessel and the depth (minimum depth) of the shallowest part. When the depth is constant, the height difference is zero.
- the blood vessel may be divided into a plurality of sections, and the inclination of the blood vessel may be calculated in each section.
- the area of the blood vessel is a value proportional to the number of pixels of pixels extracted as blood vessels or the number of pixels of pixels extracted as blood vessels.
- the area of the blood vessel is calculated within the region of interest, outside the region of interest, or for the entire endoscopic image.
- the density of blood vessels is the proportion of blood vessels in a unit area.
- An area for example, an area of a unit area
- An area of a specific size substantially including a pixel for calculating the density of blood vessels is cut out, and the ratio (area) of the blood vessels to all pixels in this area is calculated.
- the blood vessel contrast is the relative contrast of the blood vessel to the mucous membrane to be observed.
- the contrast of the blood vessel is calculated, for example, by “Y V / Y M ” or “(Y V ⁇ Y M ) / (Y V + Y M )” using the blood vessel brightness Y V and the mucous membrane brightness Y M Do.
- the color of a blood vessel is each value of RGB of the pixel showing a blood vessel.
- the change in blood vessel color is the difference or ratio between the maximum value and the minimum value of each of the RGB values of the pixel representing the blood vessel.
- the ratio of the maximum value to the minimum value of the B value of the pixel representing the blood vessel, the ratio of the maximum value to the minimum value of the G value, or the ratio of the maximum value to the minimum value of the R value represents a change in color of the blood vessel.
- the color change of the blood vessel and the color of the blood vessel may be calculated for each value such as cyan, magenta, yellow, and green by converting into a complementary color.
- the meandering degree of a blood vessel is a blood vessel index value representing the width of a range in which the blood vessel travels in a serpentine manner.
- the meandering degree of the blood vessel is, for example, the smallest rectangular area (number of pixels) including the blood vessel for which the meandering degree is calculated. Further, the ratio of the length of the blood vessel to the straight distance between the start point and the end point of the blood vessel may be the meander degree of the blood vessel.
- the blood concentration of a blood vessel is a blood vessel index value that is proportional to the amount of hemoglobin contained in the blood vessel. Since the ratio (G / R) of the G value to the R value of the pixel representing the blood vessel is proportional to the amount of hemoglobin, the blood concentration can be calculated for each pixel by calculating the value of G / R.
- Blood vessel oxygen saturation is the amount of oxygenated hemoglobin relative to the total amount of hemoglobin (total amount of oxygenated hemoglobin and reduced hemoglobin).
- the oxygen saturation is an endoscopic image obtained when the observation target is illuminated with light of a specific wavelength band (for example, blue light with a wavelength of about 470 ⁇ 10 nm) in which the difference in absorption coefficient between oxidized hemoglobin and reduced hemoglobin is large. It can be calculated using.
- a specific wavelength band for example, blue light with a wavelength of about 470 ⁇ 10 nm
- the B value of a pixel representing a blood vessel has a correlation with the oxygen saturation, so using a table or the like that correlates the B value to the oxygen saturation Oxygen saturation can be calculated.
- the proportion of arteries is the ratio of the number of pixels of arteries to the number of pixels of all blood vessels.
- the ratio of veins is the ratio of the number of pixels of veins to the number of pixels of all blood vessels.
- Arteries and veins can be distinguished by oxygen saturation. For example, if a blood vessel having an oxygen saturation of 70% or more is an artery and a blood vessel having an oxygen saturation of less than 70% is a vein, the extracted blood vessel can be distinguished into an artery and a vein. Can be calculated.
- the concentration of the administered dye is the concentration of the dye dispersed to the observation subject or the concentration of the dye injected into the blood vessel by intravenous injection.
- the concentration of the administered dye is calculated, for example, by the ratio of the pixel value of the dye color to the pixel value of the pixel other than the dye color. For example, when a dye that colors in blue is administered, B / G, B / R, and the like indicate the concentration of the dye fixed (or temporarily attached) to the observation target.
- the travel pattern of the blood vessel is a blood vessel index value related to the travel direction of the blood vessel.
- the traveling pattern of the blood vessel is, for example, an average angle (traveling direction) of the blood vessel with respect to a reference line set arbitrarily, dispersion of an angle formed by the blood vessel with respect to the reference line arbitrarily set (variation in traveling direction), and the like.
- Blood flow in blood vessels is the number of red blood cells per unit time.
- the Doppler shift frequency of each pixel representing the blood vessel of the endoscope image is calculated using a signal obtained by the ultrasound probe. , Can determine the blood flow of blood vessels.
- the index value calculation unit 74 calculates a blood vessel index value for each pixel of the endoscopic image.
- the blood vessel index value of one pixel is calculated using pixel data of a predetermined range (for example, a range of 99 ⁇ 99 pixels centered on the pixel for which the blood vessel index value is calculated) including the pixels for which the blood vessel index value is calculated. calculate.
- a predetermined range for example, a range of 99 ⁇ 99 pixels centered on the pixel for which the blood vessel index value is calculated
- the thickness of the blood vessel for each pixel is a statistic of the thickness of the blood vessel reflected in the predetermined range.
- the statistic is a so-called basic statistic, and is, for example, a maximum value, a minimum value, an average value, a median value, or a mode value.
- statistics other than the illustrated values may be used.
- values calculated using so-called representative values such as maximum value, minimum value, average value, median value or mode value (ratio of maximum value to minimum value, etc.), variance, standard deviation, variation coefficient, etc.
- the so-called degree of spreading can be used.
- the index value calculation unit 74 calculates a blood vessel index value within the set region of interest.
- the index value calculation unit 74 calculates the blood vessel index value for the entire endoscopic image. .
- the index value calculation unit 74 calculates the statistic of the blood vessel index value of each pixel included in the region of interest, and sets the value as the blood vessel index value of the region of interest. For example, in the case of calculating the thickness of a blood vessel as a blood vessel index value, the “thickness of blood vessel” of each pixel is calculated as described above, and when the region of interest is set, each of the regions included in the region of interest is further included. A statistic of "blood vessel thickness" of the pixel is calculated, and one "blood vessel thickness" is calculated for one set region of interest. The same applies to the case where the entire endoscopic image is set as the region of interest.
- the statistic in the case of calculating the blood vessel index value for each pixel and the statistic in the case of calculating the blood vessel index value of the region of interest may be the same statistic or may be different.
- the average value of the thicknesses of the blood vessels shown in the “predetermined range” is calculated, and then, when calculating the thickness of the blood vessel of the region of interest, The average value of the blood vessel thickness of each pixel may be calculated, or the mode of the blood vessel thickness of each pixel may be calculated.
- the relationship between the type of blood vessel index value to be calculated, the method of calculating the statistic when calculating the blood vessel index value for each pixel, and the method of calculating the statistic when calculating the blood vessel index value of the region of interest Can omit the blood vessel index value for each pixel.
- the average value of the thickness of blood vessels reflected in the region of interest can be made the thickness of blood vessels in the region of interest.
- the determination unit 76 determines whether each of the plurality of blood vessel index values calculated by the index value calculation unit 74 is a normal value representing a normal state or an abnormal value different from the normal value. Specifically, the determination unit 76 performs the determination by comparing the blood vessel index value calculated by the index value calculation unit 74 with a specific threshold value. Then, the determination unit 76 sets the blood vessel index value determined as an abnormal value as an abnormality index value, and sets the blood vessel index value determined as a normal value as a normal index value.
- the determination unit 76 determines that the density of the blood vessel is higher than the threshold as an abnormal value, and determines that the density of the blood vessel is lower than the threshold as a normal value.
- the determination unit 76 determines that the number of blood vessel branches is higher than the threshold value as an abnormal value, and determines that the number of blood vessel branches is equal to or less than the threshold value as a normal value.
- the determination unit 76 determines that the oxygen saturation is lower than the threshold as an abnormal value, and determines that the oxygen saturation is higher than the threshold as a normal value.
- the determination unit 76 may omit the determination on the blood vessel depth. For example, in the case where it is possible to emphasize the difference in blood vessel depth and to determine at which depth the abnormality index value relates to the blood vessel, the determination unit 76 omits the determination on the blood vessel depth. You may.
- the color information setting unit 78 sets color information for the abnormal index value or the normal index value.
- the color information setting unit 78 sets the color information based on the position of the abnormality index value on the plane formed by the Cb axis and the Cr axis. More specifically, if the result of the determination by the determination unit 76 shows that there is one abnormality index value, the color information setting unit 78 associates the abnormality index value with the Cb axis or the Cr axis.
- the color information setting unit 78 decreases the Cb value or the Cr value when the value of the abnormality index value is small, and increases the Cb value or the Cr value when the value of the abnormality index value is large. Thereby, the color information setting unit 78 sets color information in accordance with the position of the abnormality index value on the Cr axis or the Cb axis.
- the color information setting unit 78 associates the depth of the blood vessel with one axis, and the other The axis is associated with a blood vessel index value (abnormality index value) different from the blood vessel depth.
- the color information setting unit 78 associates one abnormality index value with the Cr axis and the other abnormality index value with the Cb axis, and each abnormality Color information may be set for each abnormal index value according to the position on the Cr axis or Cb axis of the index value. If there are three or more anomaly index values, color information may be set for each anomaly index value by changing the hue for each anomaly index value on the plane formed by the Cb axis and the Cr axis. .
- the color information setting unit 78 may set color information for any of the blood vessel index values or may not set color information. When setting color information when there is no abnormality index value, the color information setting unit 78 sets, for example, color information for the depth of a blood vessel.
- the image generation unit 80 generates an enhanced image in which the blood vessel is enhanced based on the color information set by the color information setting unit 78. Specifically, the image generation unit 80 generates an enhanced image having a plurality of output channels using the extreme surface layer observation image or the surface layer observation image and the blood vessel extraction image. More specifically, the image generation unit 80 assigns the extreme surface layer observation image or the surface layer observation image to the luminance channel Y, and assigns the blood vessel extraction image to the two color difference channels Cb and Cr. When the blood vessel extraction image is assigned to the color difference channels Cb and Cr, specific coefficients may be multiplied. And ITU-R. According to the inverse transformation of 601, an RGB enhanced image is generated from the luminance channel Y and the color difference channels Cb and Cr. In the emphasized image, the area of the abnormal index value is emphasized by coloring the pixels of the abnormal index value based on the color information.
- the region of the abnormality index value is deep by coloring according to the abnormality index value and the blood vessel depth.
- an emphasized image may be generated.
- the image generation unit 80 colors the blood vessel according to the blood vessel depth. You may generate the emphasis image which emphasized the difference.
- an image may be generated without performing coloring as described above.
- the video signal generation unit 62 converts the endoscopic image subjected to the image processing by the image processing unit 60 into a video signal that can be displayed on the monitor 18.
- the monitor 18 displays a normal observation image in the normal mode, and displays a highlighted image (special observation image) in the special mode.
- the index value calculation unit 74 uses the blood vessel extraction image obtained by the extraction unit 72 to calculate three types of blood vessel index values, such as the blood vessel density, the number of blood vessel branches, and the blood vessel depth. The following will be described.
- the extraction unit 72 extracts a blood vessel by obtaining a difference between the extreme surface layer observation image 82 and the surface layer observation image 83 to obtain a blood vessel extraction image 84.
- the mucous membrane 85 to be observed In the extreme surface layer observation image 82 and the surface layer observation image 83, the mucous membrane 85 to be observed, the extreme surface blood vessel 86 in a shallow position under the mucous membrane, and the superficial layer blood vessel 87 in a deep position under the mucous membrane It is.
- the contrast of the extreme surface layer blood vessel 86 is higher in the extreme surface layer observation image 82 and the contrast of the surface layer blood vessel 87 is higher in the surface layer observation image 83.
- the difference between the extreme surface blood vessel 86 and the superficial blood vessel 87 appears more prominently than the extreme surface layer observation image 82 and the surface layer observation image 83.
- the index value calculation unit 74 uses the blood vessel extraction image 84 obtained from the extraction unit 72 to calculate three types of blood vessel index values of the density, the number of branches, and the depth of the extreme surface blood vessel 86. .
- the determination unit 76 determines the density and the number of branches, but omits the determination of the depth. Specifically, the determination unit 76 determines that the density of the extreme superficial blood vessel 86 is higher than the threshold as an abnormal value, and determines that the density of the extreme superficial blood vessel 86 is lower than the threshold as a normal value.
- the determination unit 76 determines an abnormal value when the number of branches of the extreme superficial blood vessel 86 is higher than a threshold, and determines a normal value when the number of branches of the extreme superficial blood vessel 86 is equal to or less than a threshold. For example, the determination unit 76 determines that the density of the extreme superficial blood vessel 86 is an abnormal value.
- the color information setting unit 78 associates the density with the Cb axis and associates the depth with the Cr axis in the YCbCr space.
- the color information setting unit 78 increases the Cb value when the blood vessel density is high, and decreases the Cb value when the blood vessel density is low. Further, the color information setting unit 78 increases the Cr value when the blood vessel is deep and decreases the Cr value when the blood vessel is shallow. Thereby, the color information setting unit 78 sets color information (for example, a red color or the like) based on the position of density on the Cb axis and the position of depth on the Cr axis.
- the image generation unit 80 generates the enhanced image 94 based on the color information using the blood vessel extraction image 84. Specifically, the image generation unit 80 assigns the extreme surface layer observation image 82 to the luminance channel Y, and assigns the blood vessel extraction image 84 to the color difference channels Cb and Cr. By assigning the extreme surface layer observation image 82 to the luminance channel Y, the extreme surface layer observation image 82 is used as luminance information. Thereby, the extreme surface blood vessel 86 is emphasized more than the surface blood vessel 87. In the enhanced image 94, the density of the extreme superficial blood vessel 86 is abnormal because the density of the extreme superficial blood vessel 86 is colored in a specific color (for example, a red color etc.) based on color information. Emphasize the area of
- the image acquisition unit 70 acquires a special observation image (endoscope image) obtained by imaging the observation target by the endoscope 12 (S11). Specifically, in the special mode, since the violet light V and the blue light B are sequentially emitted, the image acquisition unit 70 obtains an extremely surface layer observation image 82 obtained by imaging the observation target during illumination with the purple light V. The surface layer observation image 83 obtained by imaging the observation target being illuminated with blue light B is acquired.
- a special observation image endoscope image
- the extraction unit 72 extracts a blood vessel by taking a difference between the extreme surface layer observation image 82 acquired by the image acquisition unit 70 and the surface layer observation image 83 (S12), and obtains a blood vessel extraction image 84.
- the difference between the extreme surface blood vessel 86 and the superficial blood vessel 87 is more remarkable than the extreme surface layer observation image 82 and the surface layer observation image 83.
- the index value calculation unit 74 uses the blood vessel extraction image 84 to calculate three types of blood vessel index values: the density, the number of branches, and the depth of the extreme surface blood vessel 86 (S13).
- the determination unit 76 determines whether the density of the extreme superficial blood vessel 86 is an abnormal value (S14). When the determination unit 76 determines that the density of the extreme superficial blood vessel 86 is an abnormal value, the determination unit 76 sets the density of the extreme superficial blood vessel 86 as an abnormality index value (S15). Similarly, the determination unit 76 determines whether or not the number of branches of the extreme superficial blood vessel 86 is an abnormal value (S14), and determines the number of branches of the extreme superficial blood vessel 86 as an abnormality index value when it is determined as an abnormal value (S14). S15). For example, as described above, only the density of the extreme superficial blood vessel 86 is determined to be an abnormal value.
- the color information setting unit 78 sets color information for the density which is the abnormality index value (S16).
- the color information setting unit 78 associates the density with the Cb axis in the YCbCr space. Color information is set by associating the depth with the Cr axis.
- the image generation unit 80 generates the enhanced image 94 based on the color information set by the determination unit 76 (S17). In the emphasized image 94, pixels having an abnormal value of density are emphasized by coloring them with a specific color (for example, a red-based color) based on color information.
- the emphasized image 94 generated by the image generation unit 80 is displayed on the monitor 18.
- the color information setting unit 78 sets, for example, color information for the depth of the blood vessel (S18).
- the generation unit 80 generates an enhanced image in which the difference in blood vessel depth is enhanced based on the color information (S17).
- each blood vessel index value is a normal value or an abnormal value, and based on color information corresponding to an abnormality index value which is a blood vessel index value determined as an abnormal value. Since the enhanced image is generated, even if a plurality of blood vessel index values are used, the blood vessel index value to be focused on is narrowed down and displayed in color, so that the doctor can support rapid judgment at the time of diagnosis. .
- the color information setting unit 78 reduces the Cb value or the Cr value when the value of the abnormality index value is small, and increases the Cb value or the Cr value when the value of the abnormality index value is large. However, conversely to this, if the value of the abnormality index value is small, the Cb value or the Cr value may be increased, and if the value of the abnormality index value is large, the Cb value or the Cr value may be decreased. Further, such setting may be performed based on the input operation of the console 19 or the like.
- the abnormality index value is associated with the Cb axis, but the abnormality index value may be associated with the Cr axis, or both the Cb axis and the Cr axis may be associated. . Further, based on the input operation of the console 19, an axis to which the abnormality index value is associated may be set. Further, color information may be set by changing the abnormality index value in the hue direction or the saturation direction.
- the color information setting unit 78 may associate the abnormality index value with the Y axis as well as the Cb axis and the Cr axis.
- the color information setting unit 78 sets color information using the YCbCr space, but may use various color spaces such as Lab, Luv, RGB, and HLS in addition to the YCbCr space. When such various color spaces are used, it is preferable to preferentially associate the abnormality index value with the axis representing the hue.
- the type of blood vessel index value calculated by the index value calculation unit 74 is selected based on the input operation of the console 19. However, in the first embodiment, the blood vessel index value calculated by the index value calculation unit 74 is selected. The type may be determined in advance. In addition, the index value calculation unit 74 may calculate all types of blood vessel index values.
- the type of the abnormal index value may be displayed on the monitor 18 together with the emphasized image 94.
- the color information setting unit 78 sets the color information for one abnormality index value, but in the second embodiment, for each of the plurality of abnormality index values, each of the abnormality index values. Set color information.
- the color information setting unit 100 shown in FIG. 6 is provided instead of the color information setting unit 78 of the first embodiment.
- symbol is attached
- the color information setting unit 100 has an abnormality index value priority table 102 and a color information priority table 104.
- the types of a plurality of abnormality index values are stored by determining the priority for each abnormality index value.
- the types of abnormality index values stored in the abnormality index value priority table 102 are set based on the input operation of the console 19 from among all the types of blood vessel index values.
- the abnormality index value priority table 102 stores “density”, “number of branches”, and “depth” as an abnormality index value.
- the priority is set based on the input operation of the console 19. For example, when expressing by "high” “medium” “low” in descending order of priority, the priority of density is "high”, the priority of branch number is “medium”, and the priority of depth is “low”. And so on.
- the color information priority table 104 stores a plurality of types of color information, with the priority set for each color information.
- the plurality of pieces of color information have at least hues different from one another. For example, the first color information of red, the second color information of cyan, and the third color information of green.
- the color information is set based on the input operation of the console 19.
- the plural pieces of color information may have different saturations.
- Priority is set to each of the first to third color information.
- the priority is set based on the input operation of the console 19. For example, when the priority is expressed as “high”, “medium”, “low” in descending order of priority, the priority of the first color information is “high”, the priority of the second color information is “medium”, and the third color information The priority of is set as "low”. The priority may be set higher for color information having higher visibility in the emphasized image.
- the color information setting unit 100 assigns the abnormality index value stored in the abnormality index value priority table 102 and the color information stored in the color information priority table 104. Specifically, the color information setting unit 100 preferentially assigns the color information with higher priority to the abnormality index value with higher priority. For example, when the density and the number of branches of the extreme superficial blood vessel 86 are abnormal index values as determined by the determination unit 76, the color information setting unit 100 determines the density of the extreme superficial blood vessel 86 whose priority is "high". In contrast, the first color information whose priority is "high” is assigned. Next, second color information having a priority of “middle” is assigned to the number of branches of the extreme surface blood vessel 86 having a priority of “medium”.
- the higher priority abnormality index value is assigned the higher priority color information, which is more useful among the blood vessel index values to be noted. Since the blood vessel index values are narrowed down and displayed in color, it is possible to support rapid diagnosis using more useful blood vessel index values.
- the abnormality index value corresponding to the blood vessel index value set based on the input operation of the console 19 is stored in the abnormality index value priority table 102, all types of blood vessels are stored.
- An anomaly index value corresponding to any one of all types of anomaly index values corresponding to the index value or all types of blood vessel index values may be stored in advance.
- the height of the priority is represented by “high”, “medium”, and “low”, but the way of expressing the height of the priority is arbitrary.
- the heights of the priorities may be represented by numbers such as “1” “2” “3”.
- the color information setting unit 78 sets the color information in accordance with the priority set in advance for the abnormality index value, but in the third embodiment, the priority for each abnormality index value is changed. And set the color information according to the changed priority.
- an image processing unit 110 shown in FIG. 7 is provided in place of the image processing unit 60 of the second embodiment.
- the image processing unit 110 has a priority changing unit 112 in addition to the components of the image processing unit 60 according to the second embodiment.
- the priority changing unit 112 changes the priority of each of the abnormality index values stored in the abnormality index value priority table 102 of the color information setting unit 100. For example, the priority changing unit 112 changes the priority of the density stored in the abnormality index value priority table 102 from “high” to “medium”, and the priority of the number of branches from “middle” to “low”. Change the depth priority from "low” to "high”.
- the priority changing unit 112 changes the priority based on the observation condition.
- the observation conditions include the type of endoscope 12, the observation distance to the observation target, the zoom magnification of the endoscope 12, the type of observation mode, the dye dispersed on the observation target, acquisition of a different observation distance from one image, Select one of the conditions.
- the function of the priority changing unit 112 will be described below for each of the observation conditions according to six embodiments of the third to third embodiments.
- the image processing unit 110 of the third embodiment has an endoscope identification unit.
- the endoscope identification unit identifies the type of endoscope 12 connected to the processor device 16. Specifically, the endoscope identification unit determines whether the type of the endoscope 12 is an upper observation endoscope used to observe the upper digestive tract or a lower observation endoscope used to observe the lower digestive tract. By discrimination, it is determined whether or not the upper observation endoscope and the lower observation endoscope have been exchanged.
- the priority changing unit 112 changes the priority as described above when the upper observation endoscope and the lower observation endoscope are exchanged as the observation condition. For example, when the priority changing unit 112 changes the upper observation endoscope to the lower observation endoscope, the priority of the density stored in the abnormality index value priority table 102 is “high”. Change from “medium” to “medium”, change the branch priority from “medium” to “low”, and change the depth priority from “low” to “high”. Thus, even if the upper gastrointestinal tract and the lower gastrointestinal tract differ in priority between the upper gastrointestinal tract and the lower gastrointestinal tract in order to change the priority when replacing the endoscope 12, the priority after the change is Color display can be performed by narrowing down to a high degree blood vessel index value.
- the priority changing unit 112 acquires an observation distance between the observation target and the observation target.
- the observation distance can be acquired by the exposure amount of the endoscope image acquired by the image acquisition unit 70, the frequency analysis of the endoscope image, or the like.
- the first observation distance is acquired based on the exposure amount of the endoscope image obtained when the change of the zoom magnification starts, and the change of the zoom magnification ends
- the second observation distance is acquired on the basis of the exposure amount of the endoscope image obtained at the time of imaging.
- the first observation distance is acquired by performing frequency analysis on the endoscopic image acquired when the change of the zoom magnification is started, and the zoom is performed.
- the second observation distance is acquired by performing frequency analysis on the endoscopic image obtained when the change of magnification is completed.
- the priority change unit 112 acquires the first observation distance and the second observation distance different from the first observation distance.
- the priority change unit 112 changes the priority as described above when the first observation distance is changed to the second observation distance as the observation condition. Some or all of the blood vessels in the endoscopic image obtained when the observation distance is short may not appear in the endoscopic image obtained when the observation distance is long. Therefore, the blood vessel index value obtained in the case of the long distance may not be more accurate than the blood vessel index value obtained in the case of the short distance. For example, although it is difficult to accurately calculate the number of branches of blood vessels in the case of long distance, it can be accurately calculated in the case of short distance. Therefore, when the second observation distance is longer than the first observation distance, the priority change unit 112 changes the first observation distance to the second observation distance, the abnormality index value priority table 102.
- the priority change unit 112 acquires the first zoom magnification and the second zoom magnification different from the first zoom magnification from the zoom operation unit 13 d. Then, the priority changing unit 112 changes the priority as described above when the first zoom magnification is changed to the second zoom magnification as the observation condition. For example, in the case where the second zoom magnification is lower than the first zoom magnification (that is, far distance), when changing from the first zoom magnification to the second zoom magnification, an endoscopic image obtained by the first zoom magnification Some or all of the blood vessels appearing on the subject may not appear in the endoscopic image obtained at the second zoom magnification.
- the blood vessel index value obtained at the second zoom magnification may not be more accurate than the blood vessel index value obtained at the first zoom magnification.
- the priority change unit 112 changes the first zoom magnification to the second zoom magnification, the priority of the number of branches stored in the abnormality index value priority table 102 is changed from "medium" to "low". change.
- the special mode includes a first special mode and a second special mode.
- the first special mode and the second special mode are modes for generating an enhanced image using two or more types of blood vessel index values, as in the above embodiments.
- the first special mode is different from the second special mode in all or part of the type of blood vessel index value used to generate the enhanced image.
- the type of blood vessel index value is set for each special mode based on the input operation of the console 19.
- the type of blood vessel index value may be set in advance in the first special mode and the second special mode.
- the special mode corresponds to the "observation mode" of the present invention. Therefore, the first special mode corresponds to the "first observation mode" of the present invention, and the second special mode corresponds to the "second observation mode" of the present invention.
- the image processing unit 110 of the third D embodiment is provided with a mode operation unit.
- the mode operation unit selects one of the first special mode and the second special mode, and sets the priority of the blood vessel index value used when generating the highlighted image in the selected special mode. Priorities are set for each blood vessel index value based on diagnostics.
- the priority for each failure index value stored in the failure index value priority table 102 is determined based on the priority set by the mode operation unit. Then, the priority changing unit 112 sets the type of the abnormality index value stored in the abnormality index value priority table 102 when the first special mode is switched to the second special mode as the observation condition. 2 Change to the type of anomaly index value used in the special mode. Further, the priority changing unit 112 changes the priority defined for each abnormality index value in the abnormality index value priority table 102 based on the priority for each blood vessel index value set in the second special mode. As described above, since the priority is changed when the special mode is switched, even if the priority of the blood vessel index value to be noticed is different in each special mode, the blood vessel index value having the higher priority after the change is used. It is possible to narrow down and display color.
- the priority changing unit 112 changes the priority as described above when a specific dye is dispersed to the observation target as the observation condition.
- a specific dye is dispersed in the observation target, almost all (for example, 3/4 or more of the endoscopic image) in the endoscopic image are displayed in a color different from the original color of the observation target. Ru.
- the priority changing unit 112 analyzes the color of the endoscopic image, and changes the priority when it recognizes that the specific dye is dispersed to the observation target based on the color.
- the priority changing unit 112 applies the dye to the abnormality index value.
- the priority for the density of blood vessels stored in the priority table 102 is changed to "medium”.
- the priority of the blood vessel index value to be noticed differs depending on the presence or absence of the dye, narrowing down to the high blood vessel index value after the change. It can be displayed in color.
- the image processing unit 110 of the third F embodiment has a distance acquisition unit.
- the distance acquisition unit acquires, from the endoscopic image acquired by the image acquisition unit 70, a first observation distance, which is an observation distance to the observation target, and a second observation distance different from the first observation distance.
- the distance acquisition unit divides the endoscopic image 114 illustrated in FIG. 9 into a first area 116 and a second area 117.
- the endoscope image 114 is an image captured in a state where the endoscope 12 is inclined with respect to an axis orthogonal to the surface of the observation target, and the depth of the observation target appears.
- the mucous membrane 85 to be observed, the extreme surface blood vessel 86, and the superficial blood vessel 87 can be observed.
- a dark portion 118 exists in the depth direction. In the dark portion 118, the exposure amount becomes equal to or less than the threshold.
- the distance acquisition unit obtains the average observation distance of the first area 116 by obtaining the average exposure amount of the first area 116.
- the distance acquisition unit acquires the average observation distance of the first area 116 obtained as the first observation distance.
- the distance acquisition unit obtains the average observation distance of the second area 117 by obtaining the average exposure amount of the second area 117.
- the distance acquisition unit acquires the obtained average observation distance of the second area 117 as a second observation distance.
- the distance acquisition unit can estimate the angle of the endoscope 12 based on the distribution of the exposure amount in the endoscope image.
- the priority change unit 112 changes the priority as described above. For example, in the first area 116, the priority changing unit 112 changes the priority for the density of blood vessels stored in the abnormality index value priority table 102 from “high” to "low", and the second area 117 Then, the priority for the blood vessel depth stored in the abnormality index value priority table 102 is changed from “low” to “high”. As described above, in order to change the priority when different observation distances are obtained in the endoscopic image, even if the priority of the blood vessel index value to be noticed differs depending on the observation distance, the changed priority Color display can be performed by narrowing down to a high degree blood vessel index value.
- the extreme surface layer observation image 82 or the surface layer observation image 83 is used as the luminance information of the enhanced image, but a difference value between a blood vessel index value of a normal value and a blood vessel index value of an abnormal value is used. good.
- a difference value between a blood vessel index value of a normal value and a blood vessel index value of an abnormal value is used as luminance information.
- an image processing unit 120 shown in FIG. 10 is provided instead of the image processing unit 60 of the first embodiment.
- the image processing unit 120 includes a normal index value storage unit 122 and a luminance information setting unit 124 in addition to the components of the image processing unit 60 according to the first embodiment.
- the normal index value storage unit 122 stores a normal index value.
- the normal index value is a blood vessel index value of a normal value representing a normal state with respect to the abnormal index value.
- the luminance information setting unit 124 divides the endoscopic image into a plurality of areas, and obtains a difference value between the abnormality index value and the normal index value for each of the divided areas. Specifically, the abnormality index value of each pixel in the area is averaged, and the difference value between the averaged abnormality index value and the normal index value is obtained. As the difference value is larger, the abnormal index value is more distant from the normal index value, so that the deterioration of the lesion is serious in the area.
- the endoscopic image may be divided based on the console 19.
- the luminance information setting unit 124 sets luminance information according to the obtained difference value.
- the luminance information setting unit 124 sets luminance information, for example, based on the position of the difference value on the Y axis in the YCbCr space. Specifically, the luminance information setting unit 124 associates the difference value with the Y axis, determines the position on the Y axis based on the difference value, and sets the Y value at this position as luminance information. Further, the luminance information setting unit 124 sets the luminance higher as the difference value becomes larger.
- the image generation unit 80 generates an emphasized image based on the color information set by the color information setting unit 78 and the luminance information set by the luminance information setting unit 124.
- the pixels of the abnormality index value are not only colored in the color based on the color information, but also represented by the luminance based on the difference value between the abnormality index value and the normal index value. For this reason, the enhanced image is dark when the deterioration of the lesion is relatively minor, and bright when the deterioration of the lesion is serious.
- the blood vessel index values to be noted since the blood vessel index value having a large difference from the normal value is displayed in high brightness, more useful blood vessel index values can be presented.
- the color information setting unit 78 sets the color information for the abnormality index value using the YCbCr space, but the color information is referred to with reference to the two-dimensional LUT 126 shown in FIG. You may set it.
- the vertical axis of the two-dimensional LUT 126 is a weighting factor
- the horizontal axis is a blood vessel index value.
- the weighting factor is, for example, a numerical value greater than 0 and less than or equal to 1.
- the value of the weighting coefficient changes more than in the case where the blood vessel index value is less than the threshold Th.
- the image generation unit 80 multiplies the color information setting unit 78 by a weighting coefficient based on the two-dimensional LUT 126. At the time of this allocation, it may be further multiplied by a specific coefficient. As a result, even when using a plurality of blood vessel index values, the blood vessel index value to be focused on is narrowed down and displayed in color, so that it is possible to support the doctor to make a judgment promptly at the time of diagnosis.
- the image generation unit 80 may not change the color of the blood vessel.
- the two-dimensional LUT may be one in which the value of the weighting factor increases in proportion to the value of the blood vessel index value.
- the determination unit 76 determines whether the blood vessel index value is a normal value or an abnormal value using a specific threshold, but instead, a determination lookup table is used instead. You may make a decision.
- the look-up table for determination stores whether the blood vessel index value corresponds to a normal value or an abnormal value. For example, in the look-up table for determination, it is stored whether the density of the blood vessel corresponds to the normal value or the abnormal value. Then, the determination unit 76 determines whether the density of the blood vessel calculated by the index value calculation unit 74 is a normal value or an abnormal value with reference to the look-up table for determination.
- the determination unit 76 may perform the determination using a two-dimensional map including two axes.
- the determination unit 76 associates the density of the blood vessel with one axis, and associates the number of branches of the blood vessel with the other axis.
- the determination unit 76 determines whether each of the blood vessel density and the number of branches is a normal value or an abnormal value according to the region to which the blood vessel density and the branch number belong calculated by the index value calculation unit 74.
- the determination may be made using a three-dimensional map consisting of three axes. In the case of this three-dimensional map, three different blood vessel index values can be associated with each axis.
- the image generation unit 80 performs the process of emphasizing the area of the abnormality index value, but instead, by performing the process of suppressing the area other than the area of the abnormality index value.
- the regions of the anomaly index values may be relatively emphasized.
- the color information setting unit sets the color information for the abnormality index value.
- the color information setting unit may set the color information for the normal index value.
- the image generation unit does not color the pixels of the abnormality index value, and colors the pixels of the blood vessel index value determined as the normal value by the determination unit based on the color information. May be generated.
- the image processing unit emphasizes the blood vessel, but in addition to or instead of this, the lymphatic vessel may be emphasized. Lymphatic vessels are spread throughout the body along blood vessels. For this reason, when a cancer cell invades into a lymphatic vessel, there is a possibility that it metastasizes to a lymph node or another organ through the lymphatic vessel. Therefore, by emphasizing not only blood vessels but also lymphatic vessels, a doctor can judge the metastasis of cancer. In addition, you may emphasize other tubular structures etc. not only in blood vessels and lymph vessels.
- the observation target may be illuminated using a broadband light source such as a xenon lamp and a rotary filter instead of the four color LEDs 20a to 20d.
- a broadband light source such as a xenon lamp and a rotary filter
- an imaging target may be imaged by a monochrome imaging sensor. The other respects are the same as in the first embodiment.
- a broadband light source 202 In the endoscope system 200 shown in FIG. 12, in the light source device 14, a broadband light source 202, a rotation filter 204, and a filter switching unit 206 are provided in place of the LEDs 20 a to 20 d of the endoscope system 10. . Further, in the imaging optical system 30b, instead of the color imaging sensor 38, a monochrome imaging sensor 208 provided with no color filter is provided.
- the broadband light source 202 is a xenon lamp, a white LED, or the like, and emits white light whose wavelength range extends from blue to red.
- the rotary filter 204 includes a normal mode filter 210 provided on the inner side near the rotation axis and a special mode filter 212 provided on the outer side far from the rotation axis (see FIG. 13).
- the filter switching unit 206 moves the rotary filter 204 in the radial direction. Specifically, the filter switching unit 206 inserts the filter 210 for the normal mode of the rotary filter 204 into the optical path of the white light when the mode switching unit 13c is set to the normal mode, and sets the filter 210 in the special mode.
- the special mode filter 212 of the rotary filter 204 is inserted into the optical path of the white light.
- the normal mode filter 210 is provided with a B filter 210a, a G filter 210b, and an R filter 210c along the circumferential direction.
- the B filter 210a transmits blue light of white light.
- the G filter 210b transmits green light of white light.
- the R filter 210c transmits red light of white light. Therefore, in the normal mode, the rotation filter 204 is rotated to illuminate the observation target alternately with blue light, green light, and red light.
- the special mode filter 212 is provided with at least a filter that transmits narrow band light of a specific wavelength band of white light along the circumferential direction.
- the special mode filter 212 is provided with a Bn filter 212a, a G filter 212b, and an R filter 212c.
- the Bn filter 212a transmits blue narrow band light of a specific wavelength band in white light.
- the G filter 212 b transmits green light of white light.
- the R filter 212c transmits red light of white light. Therefore, in the special mode, the rotary filter 204 is rotated to illuminate the observation target alternately with the blue narrow band light, the green light and the red light.
- the special mode filter 212 may be provided with a V filter transmitting violet light in white light, a B filter transmitting blue light in white light, and the like, in addition to the filters 212a to 212c. As in the first embodiment, when the violet light V and the blue light B are sequentially emitted in the special mode, the special mode filter 212 is provided with the V filter and the B filter.
- the observation target in the normal mode, whenever the observation target is illuminated with blue light, green light, and red light, the observation target is imaged by the monochrome imaging sensor 208. Thereby, image signals of three colors of RGB can be obtained. Then, based on the RGB color image signals, a normal observation image is generated in the same manner as in the first embodiment.
- the observation target is illuminated with blue narrow band light, green light, and red light
- the observation target is imaged by the monochrome imaging sensor 208.
- a Bn image signal, a G image signal, and an R image signal can be obtained.
- a special observation image is generated in the same manner as in the first embodiment.
- the endoscope system 200 extracts a blood vessel to be observed from the special observation image, calculates a plurality of blood vessel index values for the extracted blood vessel, and determines whether each of the blood vessel index values is a normal value or an abnormal value.
- the color information is set to the abnormal index value which is the blood vessel index value determined as the value, or the color information is set to the normal index value which is the blood vessel index value determined to be the normal value. Generate an image.
- the present invention is implemented by the endoscope systems 10 and 200 that perform observation by inserting the endoscope 12 provided with the imaging sensor 38 into a subject, but the capsule endoscope system
- the present invention may be practiced in
- the capsule endoscope system at least includes, for example, a capsule endoscope 300 shown in FIG. 14 and a processor (not shown).
- the capsule endoscope 300 includes a light source 302, a light source control unit 303, an imaging sensor 304, an image signal acquisition processing unit 306, and a transmitting and receiving antenna 308.
- the light source 302 is configured in the same manner as the light source 20 of the endoscope system 10, and emits illumination light under the control of the light source control unit 303.
- the image signal acquisition processing unit 306 functions as an image signal acquisition unit 50, a DSP 52, a noise reduction unit 54, and a signal processing unit 58.
- the processor device of the capsule endoscope system is configured in the same manner as the processor device 16 of the endoscope system 10, and also functions as an image processing unit 60.
- the endoscope image generated by the image signal acquisition processing unit 306 is transmitted to the processor device via the transmission / reception antenna 308. Then, the processor device extracts a blood vessel to be observed from the received endoscopic image, calculates a plurality of blood vessel index values for the extracted blood vessel, and determines whether each of the blood vessel index values is a normal value or an abnormal value. Color information is set to the abnormal index value which is a blood vessel index value determined to be an abnormal value, or color information is set to a normal index value which is a blood vessel index value determined to be a normal value. To generate an enhanced image.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
Abstract
複数の指標値を用いる場合であっても、診断に際して注目すべき指標値に絞り込んで提示することができる内視鏡システム及び内視鏡システムの作動方法を提供する。 画像処理部(60)は、画像取得部(70)、抽出部(72)、指標値算出部(74)、判定部(76)、色情報設定部(78)、及び画像生成部(80)を備える。画像取得部(70)は、内視鏡(12)が撮影した画像を取得する。抽出部(72)は、観察対象の血管を抽出する。指標値算出部(74)は、血管に基き複数の血管指標値を算出する。判定部(76)は、複数の血管指標値のそれぞれが正常値か異常値かを判定する。色情報設定部(78)は、判定部(76)が異常値と判定した血管指標値である異常指標値に対し色情報を設定、又は判定部(76)が正常値と判定した血管指標値である正常指標値に対し色情報を設定する。画像生成部(80)は、色情報に基づき血管を強調した強調画像を生成する。
Description
本発明は、被検体内の観察対象を撮像して得られた画像を生成する内視鏡システム及び内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、光源装置が発する照明光を、内視鏡を介して観察対象に照射し、その照明光で照明中の観察対象を撮像して得た画像信号に基づいて、プロセッサ装置が観察対象の画像を生成する。この画像をモニタに表示することにより、医師は、モニタ上の画像を見ながら診断を行うことができる。
また、内視鏡システムを用いた診断では、白色の照明光を用いて観察対象を自然な色合いで表した画像(以下、通常観察画像という)をモニタに表示する他、例えば、特許文献1に示すような観察対象の血管の深さや密度に応じて色付けした画像(以下、特殊観察画像という)や、特許文献2に示すように血液量や酸素飽和度の変化に応じて色付けした特殊観察画像をモニタに表示して、血管に関する情報を観察する診断も行われている。
血管の深さや密度等の血管に関する情報を数値化した指標値は、診断に有用な情報である。しかしながら、医師は、複数の指標値を総合的に考慮して判断をすることが多く、複数の指標値について上記特許文献1,2のような色付けをして表示する場合には、その情報の多さから判断に躊躇いが生じることがある。したがって、複数の指標値を用いて診断を行う場合であっても、診断に際して注目すべき指標値に絞り込んで提示することが求められていた。
本発明は、複数の指標値を用いる場合であっても、診断に際して注目すべき指標値に絞り込んで提示することができる内視鏡システム及び内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、画像取得部と、抽出部と、指標値算出部と、判定部と、色情報設定部と、画像生成部とを備える。画像取得部は、内視鏡によって観察対象を撮像して得た画像を取得する。抽出部は、画像から、観察対象に含まれる構造物を抽出する。指標値算出部は、抽出部で抽出した構造物に基づいて複数の指標値を算出する。判定部は、複数の指標値のそれぞれが、正常状態を表す正常値か、正常値とは異なる異常値かの判定をする。色情報設定部は、判定部が異常値と判定した指標値である異常指標値に対して色情報を設定、又は判定部が正常値と判定した指標値である正常指標値に対して色情報を設定する。画像生成部は、色情報設定部が設定した色情報に基づいて、構造物を強調した強調画像を生成する。
判定部は、指標値と特定の閾値とを比較して判定し、又は、指標値が正常値又は異常値のいずれに該当するかを記憶するルックアップテーブルを参照して判定することが好ましい。
構造物とは、血管であることが好ましい。
色情報は複数あり、且つ色情報ごとに優先度が定められており、異常指標値又は正常指標値は複数あり、且つ異常指標値又は正常指標値ごとに優先度が定められており、色情報設定部は、異常指標値又は正常指標値のうち、優先度が高い異常指標値又は正常指標値ほど、優先度が高い色情報の割り当てを行うことが好ましい。
観察条件に基づいて、異常指標値又は正常指標値ごとに定められた優先度を変更する優先度変更部を有し、色情報設定部は、変更後の優先度に従って割り当てを行うことが好ましい。
内視鏡が上部観察用内視鏡か下部観察用内視鏡かを識別する内視鏡識別部を有し、優先度変更部は、観察条件として、上部観察用内視鏡と下部観察用内視鏡との交換が行われた場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
優先度変更部は、観察条件として、観察対象との間の観察距離が、第1観察距離から、第1観察距離とは異なる第2観察距離に変化した場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
内視鏡のズーム倍率を、第1ズーム倍率と、第1ズーム倍率とは異なる第2ズーム倍率とで変化させるズーム操作部を有し、優先度変更部は、観察条件として、第1ズーム倍率から第2ズーム倍率に変化した場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
複数の指標値のうち2以上を用いる複数の観察モードからいずれかの観察モードを選択し、且つ選択した観察モードで用いる指標値ごとに、診断学に基づいて優先度を設定するモード操作部を有し、指標値ごとに設定された優先度に基づいて、異常指標値又は正常指標値ごとに優先度が定められ、優先度変更部は、観察条件として、観察モードが、第1観察モードから、第1観察モードとは異なる第2観察モードに切り替えられた場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
優先度変更部は、観察条件として、観察対象に特定の色素が散布された場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
正常指標値を記憶する正常指標値記憶部と、異常指標値と正常指標値との差分値を求め、且つ差分値に応じて輝度情報を設定する輝度情報設定部とを有し、画像生成部は、設定された色情報及び輝度情報に基づいて強調画像を生成することが好ましい。
本発明の内視鏡システムの作動方法は、画像取得部が、内視鏡によって観察対象を撮像して得た画像を取得するステップと、抽出部が、画像から、観察対象に含まれる構造物を抽出するステップと、指標値算出部が、抽出部が抽出した構造物に基づいて複数の指標値を算出するステップと、判定部が、複数の指標値のそれぞれが、正常状態を表す正常値か、正常値とは異なる異常値かを判定するステップと、色情報設定部が、判定部が異常値と判定した指標値である異常指標値に対して色情報を設定、又は判定部が正常値と判定した指標値である正常指標値に対して色情報を設定するステップと、画像生成部が、色情報設定部が設定した色情報に基づいて、構造物を強調した強調画像を生成するステップとを備える。
判定部は、指標値と特定の閾値とを比較して判定し、又は、指標値が正常値又は異常値のいずれに該当するかを記憶するルックアップテーブルを参照して判定することが好ましい。
本発明の内視鏡システム及び内視鏡システムの作動方法は、複数の指標値を用いる場合であっても、診断に際して注目すべき指標値に絞り込んで提示することができる。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲動作する。この湾曲動作によって、先端部12dを所望の方向に向ける。
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲動作する。この湾曲動作によって、先端部12dを所望の方向に向ける。
また、操作部12bには、アングルノブ13aの他、静止画像の取得操作に用いる静止画像取得部13b、観察モードの切り替え操作に用いるモード切替部13c、及びズーム倍率の変更操作に用いるズーム操作部13dを設けている。静止画像取得部13bは、モニタ18に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。
内視鏡システム10は、観察モードとして、通常モードと、特殊モードとを有している。観察モードが通常モードである場合、光源装置14は、照明光として、ほぼ白色の光(以下、白色光という)を発する。観察モードが特殊モードである場合、光源装置14は、照明光として、白色光よりも波長帯域が狭い特定の波長帯域を有する光(以下、狭帯域光という)を発する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール19は、関心領域(ROI : Region Of Interest)の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
図2に示すように、光源装置14は、観察対象の照明に用いる照明光を発する光源20と、光源20を制御する光源制御部22とを備えている。光源20は、例えば、複数色のLED(Light Emitting Diode)等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、又はキセノンランプ等である。また、光源20には、LED等が発光した光の波長帯域を調整する光学フィルタ等が含まれる。光源制御部22は、LED等のオン/オフや、LED等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部22は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
本実施形態では、光源20は、波長域の異なる複数の光源からなり、例えば、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有するものとする。V-LED20aは、波長帯域380nm~420nmの紫色光Vを発する。B-LED20bは、波長帯域420nm~500nmの青色光Bを発する。G-LED20cは、波長帯域が480nm~600nmに及ぶ緑色光Gを発する。R-LED20dは、波長帯域が600nm~650nmに及び赤色光Rを発する。なお、各色の光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
光源制御部22は、各LED20a~20dの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部22における点灯及び消灯の制御は、観察モードごとに異なっている。通常モードの場合、光源制御部22は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを全て点灯させる。このため、通常モードでは、光源20は、紫色光V、青色光B、緑色光G、及び赤色光Rを含む白色光を発する。
特殊モードの場合、光源制御部22は、V-LED20aだけを点灯する制御と、B-LED20bだけを点灯する制御とを切り替える。このため、特殊モードでは、光源20は、紫色光Vと青色光Bとを順次に発する。紫色光Vと青色光Bは、これらを照明光として用いると、粘膜下の比較的浅い位置(以下、表層という)から、表層よりも更に浅い位置(以下、極表層という)までを観察可能である。紫色光Vは、青色光Bと比較して波長が短いので、観察対象への深達度が小さく、極表層にある血管(以下、極表層血管という)しか写し出せない代わりに、この極表層血管のコントラストが青色光Bを用いる場合よりも大きい。なお、コントラストとは、例えば、血管からの反射光量に対する、周辺の粘膜からの反射光量の比である。一方、青色光Bは紫色光Vと比較して波長が長いので、観察対象への深達度が大きく、表層にある血管(以下、表層血管という)まで写し出せる代わりに、極表層血管のコントラストが紫色光Vを用いる場合よりも小さい。
光源20が発した照明光は、ミラー及び/又はレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通したライトガイド24に入射する。ライトガイド24は、内視鏡12及びユニバーサルコードに内蔵しており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド24としては、マルチモードファイバを使用することができる。一例として、ライトガイド24には、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3mm~φ0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bとを設けている。照明光学系30aは、照明レンズ32を有している。この照明レンズ32を介して、ライトガイド24を伝搬した照明光によって観察対象を照明する。撮像光学系30bは、対物レンズ34と、ズームレンズ36と、撮像センサ38とを有している。これら対物レンズ34及びズームレンズ36を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ38に入射する。これにより、撮像センサ38に観察対象の像が結像する。ズームレンズ36は、ズーム操作部13dを操作することでテレ端とワイド端の間で自在に移動し、撮像センサ38に結像する観察対象を拡大又は縮小する。
撮像センサ38は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ38の各画素には、R(赤色)カラーフィルタ、G(緑色)カラーフィルタ、B(青色)カラーフィルタのいずれかを設けている。撮像センサ38は、Bカラーフィルタが設けられているB画素で紫色から青色の光を受光し、Gカラーフィルタが設けられているG画素で緑色の光を受光し、Rカラーフィルタが設けられているR画素で赤色の光を受光する。そして、各色の画素から、RGB各色の画像信号を出力する。撮像センサ38は、出力した画像信号を、CDS(Correlated Double Sampling)/AGC(Automatic Gain Control)回路40に送信する。
撮像センサ38としては、CCD(Charge Coupled Device)撮像センサとCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等が利用可能である。また、RGBの原色のカラーフィルタを設けた撮像センサ38の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサは、CMYGの4色の画像信号を出力する。このため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ38と同様のRGB各色の画像信号を得ることができる。また、撮像センサ38の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
CDS/AGC回路40は、撮像センサ38から受信したアナログの画像信号に、相関二重サンプリング(CDS)と自動利得制御(AGC)を行う。A/D(Analog to Digital)変換回路42は、CDS/AGC回路40を経たアナログ画像信号を、デジタルの画像信号に変換する。A/D変換回路42は、A/D変換後のデジタル画像信号を、プロセッサ装置16に入力する。
プロセッサ装置16は、画像信号取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、メモリ56と、信号処理部58と、画像処理部60と、映像信号生成部62とを備えている。
画像信号取得部50は、内視鏡12からデジタル画像信号を取得する。DSP52は、画像信号取得部50が取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ38の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理は、オフセット処理した画像信号に特定のゲインを乗じることにより信号レベルを整える。
リニアマトリクス処理は、ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理(等方化処理、又は同時化処理とも言う)を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ低減部54は、DSP52でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減処理した画像信号は、メモリ56に記憶する。
信号処理部58は、メモリ56からノイズ低減処理した画像信号を取得する。そして、信号処理部58は、取得した画像信号に対して、例えば、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像(単に、画像ともいう)を生成する。色変換処理は、画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理等により色の変換を行う処理である。色彩強調処理は、色変換処理した画像信号に対して行う。構造強調処理は、例えば、血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。
信号処理部58が行う色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常モードの場合、信号処理部58は、上記各種信号処理を行うことによって、自然な色合いの観察対象が写った画像(以下、通常観察画像という)を内視鏡画像として生成する。特殊モードの場合、信号処理部58は、観察対象に含まれる血管やリンパ管等の構造物を少なくとも強調する上記各種信号処理を行うことによって、構造物を強調した画像(以下、特殊観察画像という)を内視鏡画像として生成する。信号処理部58は、生成した内視鏡画像を画像処理部60に入力する。
また、信号処理部58は、静止画像取得部13bによりレリーズ操作が行われると、生成した内視鏡画像をストレージ64に保存する。ストレージ64は、プロセッサ装置16にLAN(Local Area Network)等で接続した外部記憶装置である。ストレージ64は、例えば、PACS(Picture Archiving and Communication System)等の内視鏡画像をファイリングするシステムのファイルサーバや、NAS(Network Attached Storage)等である。なお、ストレージ64には、静止画像取得部13bの操作に関係なく、内視鏡画像の動画をモニタ18に表示する場合に、この内視鏡画像の動画を保存しても良い。
画像処理部60は、内視鏡によって観察対象を撮像して得た画像に対して、血管やリンパ管等の構造物を強調する処理を行う。本実施形態では、血管を強調する場合について、以下説明を行う。画像処理部60は、画像取得部70と、抽出部72と、指標値算出部74と、判定部76と、色情報設定部78と、画像生成部80とを備える。
画像取得部70は、信号処理部58から画像を取得する。本実施形態では、特殊モードの場合について、以下説明をする。したがって、画像取得部70は、信号処理部58から特殊観察画像を取得する。
具体的には、特殊モードでは、光源20が紫色光Vと青色光Bとを順次に発するので、画像取得部70は、特殊観察画像として、紫色光Vで照明中の観察対象を撮像して得た画像(以下、極表層観察画像という)と、青色光Bで照明中の観察対象を撮像して得た画像(以下、表層観察画像という)とを取得する。極表層観察画像と表層観察画像とでは、観察対象の粘膜が観察できる他、極表層血管と、表層血管とが観察可能である。極表層観察画像と表層観察画像とを比較すると、極表層観察画像の方が極表層血管のコントラストが高く、表層観察画像の方が表層血管のコントラストが高い。
抽出部72は、画像取得部70が取得した画像から、血管を抽出して、血管抽出画像を得る。具体的には、抽出部72は、極表層観察画像と表層観察画像との間で差分をとることによって血管抽出画像を得る。より具体的には、例えば、抽出部72は、極表層観察画像の信号及び表層観察画像の信号を対数変換し、表層観察画像の信号から極表層観察画像の信号を減算した信号に基づいて血管抽出画像を得る。血管抽出画像では、表層血管を表す画素の画素値が、粘膜を表す画素の画素値よりも小さい値になる。また、血管抽出画像では、極表層血管を表す画素の画素値が、粘膜を表す画素の画素値よりも大きい値になる。すなわち、血管抽出画像では、表層血管が粘膜よりも暗く表示され、極表層血管が粘膜よりも明るく表示される。これにより、血管抽出画像は、極表層血管と表層血管との違いが極表層観察画像及び表層観察画像よりも顕著である。抽出部72は、血管抽出画像を指標値算出部74と画像生成部80に送信する。
指標値算出部74は、抽出部72により抽出した血管に基づいて、血管の指標値(以下、血管指標値という)を算出する。血管指標値とは、例えば、血管の本数、血管の分岐数、血管の分岐角度、分岐点間距離、血管の交差数、血管の太さ、血管の太さの変化、血管の太さの変化の複雑度、血管の長さ、血管の間隔、血管の深さ、血管の高低差、血管の傾き、血管の面積、血管の密度、血管のコントラスト、血管の色、血管の色の変化、血管の蛇行度、血管の血液濃度、血管の酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、血管の走行パターン、及び血管の血流量等である。指標値算出部74は、少なくとも上記2以上の血管指標値を算出する。指標値算出部74で算出する血管指標値の種類は、コンソール19の入力操作に基づいて設定する。血管指標値の種類は、上記した例のみに限定されない。
血管の本数とは、内視鏡画像全体又は関心領域内で抽出した血管の数である。血管の本数は、例えば、抽出した血管の分岐点の個数(分岐数)や他の血管との交差点の個数(交差数)等を用いて算出する。血管の分岐数や交差数は、血管のパターンを解析して算出する。血管の分岐角度は、2本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、又は、任意の分岐点とその隣の分岐点までの血管に沿った長さである。
血管の交差数とは、粘膜下の深さが異なる血管が内視鏡画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。
血管の太さ(血管径)とは、血管と粘膜の境界線間の距離である。血管の太さは、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数して得る。したがって、血管の太さは画素数であるが、内視鏡画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μm」等の長さの単位に換算可能である。
血管の太さの変化とは、血管の太さのばらつきに関する血管指標値であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率(拡張度ともいう)である。血管径の変化率は、血管の最も細い部分の太さ(最小径)と血管の最も太い部分の太さ(最大径)を用いて、「血管経の変化率(%)=最小径/最大径×100」で求める。
なお、過去の検査で観察対象を撮影して得た内視鏡画像と、その後の新たな検査で同じ観察対象を撮影して得た内視鏡画像と、を用いる場合、過去の検査で得た内視鏡画像から抽出した血管の太さに対して、その後の新たな検査で得た内視鏡画像から抽出した同じ血管の太さの時間的な変化を、血管の太さの変化としてもよい。
また、血管の太さの変化として、細径部の割合、又は太径部の割合を算出しても良い。細径部とは、太さが閾値以下の部分である。太径部とは、太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合(%)=細径部の長さ/血管の長さ×100」で求める。同様に、太径部の割合は、「太径部の割合(%)=太径部の長さ/血管の長さ×100」で求める。
血管の太さの変化の複雑度(以下、「太さ変化の複雑度」という)とは、血管の太さが変化している場合に、その変化がどの程度複雑であるかを表す血管指標値であり、血管の太さの変化を表す血管指標値(すなわち、血管径の変化率、細径部の割合、又は太径部の割合)を複数組み合わせて算出する血管指標値である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。
血管の長さとは、抽出した血管を長手方向に沿って計数した画素数である。
血管の間隔とは、抽出した血管のエッジ間にある粘膜を表す画素の画素数である。抽出した血管が1本の場合、血管の間隔は値を持たない。
血管の深さは、粘膜(より具体的には粘膜の表面)を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特殊観察画像の場合、例えば、粘膜の表面に近い位置(粘膜下の浅い位置)にある表層血管をマゼンタ系の色で表しており、粘膜の表面から遠い位置(粘膜下の深い位置)にある中深層血管をシアン系の色で表しているので、指標値算出部74は、血管として抽出した画素のR,G,B各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。
血管の高低差とは、血管の深さの差の大きさである。例えば、注目する1本の血管の高低差は、この血管の最も深い箇所の深さ(最大深さ)と、最も浅い箇所の深さ(最小深さ)の差で求める。深さが一定の場合、高低差は零である。
血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き=血管の深さ/血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。
血管の面積は、血管として抽出した画素の画素数、又は、血管として抽出した画素の画素数に比例する値である。血管の面積は、関心領域内、関心領域外、又は、内視鏡画像全体について算出する。
血管の密度は、単位面積中にある血管の割合である。血管の密度を算出する画素を概ね中心に含む特定の大きさの領域(例えば、単位面積の領域)を切り出し、この領域内の全画素に占める血管の割合(面積)を算出する。これを関心領域又は内視鏡画像全体の全画素に対して行うことで、各画素の血管の密度を算出することができる。
血管のコントラストとは、観察対象の粘膜に対する血管の相対的なコントラストである。血管のコントラストは、血管の輝度YVと、粘膜の輝度YMと、を用いて、例えば「YV/YM」又は「(YV-YM)/(YV+YM)」で算出する。
血管の色とは、血管を表す画素のRGBの各値である。そして、血管の色の変化とは、血管を表す画素のRGB各値の各々の最大値と最小値の差又は比である。例えば、血管を表す画素のB値の最大値と最小値の比、G値の最大値と最小値の比、又はR値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。
血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管指標値である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積(画素数)である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。
血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管指標値である。血管を表す画素のR値に対するG値の比(G/R)はヘモグロビンの量に比例するので、G/Rの値を算出することで、画素ごとに血液濃度を算出することができる。
血管の酸素飽和度とは、ヘモグロビンの総量(酸化ヘモグロビン及び還元ヘモグロビンの総量)に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の違いが大きい特定の波長帯域の光(例えば、波長470±10nm程度の青色光)で観察対象を照明した際に得た内視鏡画像を用いて算出することができる。波長470±10nm程度の青色光を用いる場合、血管を表す画素のB値は酸素飽和度と相関があるので、B値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。
動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が70%以上の血管を動脈とし、酸素飽和度が70%未満の血管を静脈とすれば、抽出した血管を動脈と静脈に区別できるので、上記動脈の割合及び静脈の割合を算出するするこができる。
投与した色素の濃度とは、観察対象に対して散布した色素、又は静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、B/GやB/R等が、観察対象に定着(あるいは一時的に付着)した色素の濃度を表す。
血管の走行パターンとは、血管の走行方向に関する血管指標値である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度(走行方向)や、任意に設定する基準線に対して血管がなす角度の分散(走行方向のばらつき)等である。
血管の血流量(血流速度ともいう)は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡12の鉗子チャネル等を介して併用する場合等に、内視鏡画像の血管を表す各画素のドップラーシフト周波数を、超音波プローブで得る信号を用いて算出することによって、血管の血流量を求めるができる。
指標値算出部74は、内視鏡画像の画素毎に血管指標値を算出する。例えば、血管指標値を算出する画素を含む予め定めた範囲(例えば血管指標値を算出する画素を中心とする99×99画素の範囲)の画素のデータを用いて1つの画素の血管指標値を算出する。例えば、血管指標値として血管の太さを算出する場合、画素毎の「血管の太さ」は、上記予め定めた範囲に写る血管の太さの統計量である。統計量とは、いわゆる基本統計量であり、例えば、最大値、最小値、平均値、中央値、または最頻値である。また、例示した値以外の統計量を使用しても良い。例えば、最大値、最小値、平均値、中央値、または最頻値等のいわゆる代表値を用いて演算した値(最大値と最小値の比等)や、分散や標準偏差、変動係数等のいわゆる散布度を使用することができる。
指標値算出部74は、コンソール19の操作によって内視鏡画像の一部に関心領域を設定した場合には、設定した関心領域内で血管指標値を算出する。関心領域を設定していない場合や、内視鏡画像の全部を関心領域に設定している場合には、指標値算出部74は、内視鏡画像の全体に対して血管指標値を算出する。
関心領域を設定する場合には、指標値算出部74は、関心領域に含まれる各画素の血管指標値の統計量を算出し、その値を関心領域の血管指標値とする。例えば、血管指標値として血管の太さを算出する場合、上記のように各画素の「血管の太さ」を算出し、関心領域を設定している場合には、さらに関心領域に含まれる各画素の「血管の太さ」の統計量を算出し、設定した1つの関心領域に対して1つの「血管の太さ」を算出する。内視鏡画像の全体を関心領域に設定する場合も同様である。
なお、画素毎の血管指標値を算出する場合の統計量と、関心領域の血管指標値を算出する場合の統計量は、同じ統計量であっても良いし、異なっていても良い。例えば、画素毎の血管の太さを算出する場合には「予め定めた範囲」に写る血管の太さの平均値を算出し、その後、関心領域の血管の太さを算出する場合にも、各画素の血管の太さの平均値を算出してもよいし、各画素の血管の太さの最頻値を算出しても良い。
また、算出する血管指標値の種類や、画素毎の血管指標値を算出する場合の統計量の計算の仕方と関心領域の血管指標値を算出する場合の統計量の計算の仕方の関係等によっては、画素毎の血管指標値を省略することができる。例えば、「血管の太さ」であれば、関心領域に写る血管の太さの平均値を、関心領域の血管の太さにすることができる。
判定部76は、指標値算出部74が算出した複数の血管指標値のそれぞれが、正常状態を表す正常値か、正常値とは異なる異常値かを判定する。具体的には、判定部76は、指標値算出部74が算出した血管指標値と特定の閾値とを比較して判定をする。そして、判定部76は、異常値と判定した血管指標値を異常指標値とし、正常値と判定した血管指標値を正常指標値とする。
例えば、がん等の病変の可能性がある部位では、正常状態の部位よりも血管の密度が高くなることが知られている。このため、判定部76は、血管の密度が閾値より高い場合は異常値と判定し、血管の密度が閾値以下の場合は正常値と判定する。
また、病変の可能性がある部位では、1本の血管が複数本に分岐して、血管の形状が複雑化することが知られている。このため、判定部76は、血管の分岐数が閾値より高い場合は異常値と判定し、血管の分岐数が閾値以下の場合は正常値と判定する。
また、病変の可能性がある部位では、正常状態の部位よりも血管の酸素飽和度が低くなることが知られている。このため、判定部76は、酸素飽和度が閾値より低い場合は異常値と判定し、酸素飽和度が閾値以上の場合は正常値と判定する。
なお、血管の深さの違いを強調した強調画像を生成する(詳しくは後で説明する)場合は、判定部76は、血管の深さについての判定を省略しても良い。例えば、血管の深さの違いを強調して、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とする場合、判定部76は、血管の深さについての判定を省略しても良い。
色情報設定部78は、異常指標値又は正常指標値に対して色情報を設定する。本実施形態では、異常指標値に対して色情報を設定する場合について、以下説明をする。具体的には、色情報設定部78は、例えばYCbCr空間において、Cb軸とCr軸とがなす平面上の異常指標値の位置に基づいて、色情報を設定する。より具体的には、判定部76による判定の結果、異常指標値が1つであった場合、色情報設定部78は、その異常指標値をCb軸又はCr軸に対応付けする。色情報設定部78は、例えば、異常指標値の値が小さい場合はCb値又はCr値を小さくし、異常指標値の値が大きい場合はCb値又はCr値を大きくする。これにより、色情報設定部78は、Cr軸又はCb軸上における異常指標値の位置に応じて色情報を設定する。なお、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とする場合には、色情報設定部78は、一方の軸に、血管の深さを対応付けし、他方の軸に、血管の深さとは異なる血管指標値(異常指標値)を対応付けする。
なお、異常指標値が2つであった場合には、色情報設定部78は、一方の異常指標値をCr軸に対応付けし、他方の異常指標値をCb軸対応付けして、各異常指標値のCr軸上またはCb軸上の位置に応じて、異常指標値ごとに色情報を設定しても良い。異常指標値が3つ以上であった場合には、Cb軸とCr軸とがなす平面上で異常指標値ごとに色相を異ならせることによって、異常指標値ごとに色情報を設定しても良い。
異常指標値がない場合には、色情報設定部78は、上記血管指標値のうちのいずれかに対して色情報を設定しても良いし、色情報を設定しなくても良い。異常指標値がない場合に色情報の設定を行う場合には、色情報設定部78は、例えば、血管の深さに対して色情報を設定する。
画像生成部80は、色情報設定部78が設定した色情報に基づいて、血管を強調した強調画像を生成する。具体的には、画像生成部80は、極表層観察画像または表層観察画像と、血管抽出画像とを用いて、複数の出力チャンネルを有する強調画像を生成する。より具体的には、画像生成部80は、極表層観察画像または表層観察画像を輝度チャンネルYに割り当て、血管抽出画像を二つの色差チャンネルCb,Crに割り当てる。なお、血管抽出画像を色差チャンネルCb,Crに割り当てる場合には、それぞれ特定の係数を乗じても良い。そして、ITU-R.601の逆変換にしたがって、輝度チャンネルY及び色差チャンネルCb,CrからRGBの強調画像を生成する。強調画像では、色情報に基づいて、異常指標値の画素を着色することによって、異常指標値の領域を強調している。
なお、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とする場合には、異常指標値及び血管の深さに応じて着色することによって、異常指標値の領域を深さごとに強調した強調画像を生成しても良い。また、異常指標値がない場合(すなわち、全ての血管指標値が正常値であった場合)には、画像生成部80は、血管の深さに応じて着色することによって、血管の深さの違いを強調した強調画像を生成しても良い。また、異常指標値がなく且つ色情報設定部78により色情報を設定しなかった場合には、上記のような着色を行わずに画像を生成しても良い。
映像信号生成部62は、画像処理部60が画像処理した内視鏡画像を、モニタ18で出力表示が可能な映像信号に変換する。モニタ18は、通常モードの場合に通常観察画像を表示し、特殊モードの場合に強調画像(特殊観察画像)を表示する。
本実施形態では、抽出部72が得た血管抽出画像を用いて、指標値算出部74が血管の密度と血管の分岐数と血管の深さの3種類の血管指標値を算出する場合について、以下説明を行う。
図3に示すように、抽出部72は、極表層観察画像82と表層観察画像83との間で差分をとることによって、血管を抽出して、血管抽出画像84を得る。極表層観察画像82及び表層観察画像83は、観察対象の粘膜85、粘膜下の浅い位置にある極表層血管86、及び極表層血管86よりも粘膜下の深い位置にある表層血管87が観察可能である。極表層観察画像82と表層観察画像83とを比較すると、極表層観察画像82の方が極表層血管86のコントラストが高く、表層観察画像83の方が表層血管87のコントラストが高い。血管抽出画像84は、極表層観察画像82及び表層観察画像83よりも、極表層血管86と表層血管87との違いが顕著に表れている。
図4に示すように、指標値算出部74は、抽出部72から得た血管抽出画像84を用いて、極表層血管86の密度と分岐数と深さの3種類の血管指標値を算出する。本例では、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とする場合について説明をする。したがって、判定部76は、密度と分岐数について判定をするが、深さについては判定を省略する。具体的には、判定部76は、極表層血管86の密度が閾値より高い場合は異常値と判定し、極表層血管86の密度が閾値以下の場合は正常値と判定する。同様に、判定部76は、極表層血管86の分岐数が閾値より高い場合に異常値と判定し、極表層血管86の分岐数が閾値以下の場合は正常値と判定する。判定部76は、例えば極表層血管86の密度を異常値と判定する。
色情報設定部78は、YCbCr空間において、Cb軸に密度を対応付けし、Cr軸に深さを対応付けする。色情報設定部78は、血管の密度が高い場合はCb値を大きくし、血管の密度が低い場合はCb値を小さくする。また、色情報設定部78は、血管が深い場合はCr値を大きくし、血管が浅い場合はCr値を小さくする。これにより、色情報設定部78は、Cb軸上の密度の位置とCr軸上の深さの位置とに基づいて色情報(例えば、赤系の色等)を設定する。
画像生成部80は、血管抽出画像84を用いて、色情報に基づいて強調画像94を生成する。具体的には、画像生成部80は、極表層観察画像82を輝度チャンネルYに割り当てて、血管抽出画像84を色差チャンネルCb,Crに割り当てる。極表層観察画像82を輝度チャンネルYに割り当てることによって、極表層観察画像82を輝度情報として用いている。これにより、極表層血管86を表層血管87よりも強調している。強調画像94は、極表層血管86の密度が異常値の画素を、色情報に基づいた特定の色(例えば、赤系の色等)で着色したことによって、極表層血管86の密度が異常値の領域を強調している。
次に、特殊モードにおける内視鏡システム10の動作について、図5のフローチャートに沿って説明する。
画像取得部70は、内視鏡12が観察対象を撮像して得た特殊観察画像(内視鏡画像)を取得する(S11)。具体的には、特殊モードでは、紫色光Vと青色光Bとを順次に発するので、画像取得部70は、紫色光Vで照明中の観察対象を撮像して得た極表層観察画像82と、青色光Bで照明中の観察対象を撮像して得た表層観察画像83とを取得する。
抽出部72は、画像取得部70が取得した極表層観察画像82と表層観察画像83との間で差分をとることによって、血管を抽出し(S12)、血管抽出画像84を得る。血管抽出画像84では、極表層血管86と表層血管87との違いが、極表層観察画像82及び表層観察画像83よりも顕著である。抽出部72が血管を抽出すると、指標値算出部74は、血管抽出画像84を用いて、極表層血管86の密度と分岐数と深さとの3種類の血管指標値を算出する(S13)。
判定部76では、極表層血管86の密度が異常値か否かを判定する(S14)。判定部76は、極表層血管86の密度を異常値と判定した場合、極表層血管86の密度を異常指標値とする(S15)。同様に、判定部76では、極表層血管86の分岐数が異常値か否かを判定し(S14)、異常値と判定した場合に、極表層血管86の分岐数を異常指標値とする(S15)。例えば、上記のように、極表層血管86の密度のみを異常値と判定する。
色情報設定部78は、異常指標値である密度に対して色情報を設定する(S16)。本例では、上記のように、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とするので、色情報設定部78は、YCbCr空間において、Cb軸に密度を対応付けし、Cr軸に深さを対応付けすることによって色情報を設定する。画像生成部80では、判定部76が設定した色情報に基づいて、強調画像94を生成する(S17)。この強調画像94では、密度が異常値の画素を、色情報に基づく特定の色(例えば、赤系の色)で着色して強調している。画像生成部80が生成した強調画像94は、モニタ18に表示する。なお、判定部76の判定の結果、異常指標値がなかった場合には(S14でNO)、色情報設定部78は、例えば血管の深さに対して色情報を設定し(S18)、画像生成部80では、色情報に基づいて、血管の深さの違いを強調した強調画像を生成する(S17)。
以上のように、複数の血管指標値を算出し、各血管指標値について正常値か異常値かを判定し、異常値と判定した血管指標値である異常指標値に応じた色情報に基づいて強調画像を生成するので、複数の血管指標値を用いる場合であっても、注目すべき血管指標値に絞り込んで色表示するため、診断に際して医師が判断を迅速に行うことを支援することができる。
なお、上記第1実施形態では、色情報設定部78は、異常指標値の値が小さい場合はCb値又はCr値を小さくし、異常指標値の値が大きい場合はCb値又はCr値を大きくしているが、これとは逆に、異常指標値の値が小さい場合はCb値又はCr値を大きくし、異常指標値の値が大きい場合はCb値又はCr値を小さくしても良い。また、このような設定を、コンソール19等の入力操作に基づいて行うようにしても良い。
なお、上記第1実施形態では、異常指標値をCb軸に対応付けているが、異常指標値をCr軸に対応付けても良いし、Cb軸とCr軸との両方に対応付けても良い。また、コンソール19の入力操作に基づいて、異常指標値を対応付けする軸を設定しても良い。また、異常指標値に対して、色相方向または彩度方向に変化させて色情報を設定しても良い。
なお、色情報設定部78は、Cb軸とCr軸だけでなく、Y軸にも異常指標値を対応付けしても良い。
また、色情報設定部78は、YCbCr空間を用いて色情報を設定しているが、YCbCr空間の他に、Lab、Luv、RGB、HLS等の各種色空間を用いても良い。このような各種色空間を用いる場合は、異常指標値を、色相を表す軸に優先的に対応付けすることが好ましい。
なお、上記第1実施形態では、コンソール19の入力操作に基づいて、指標値算出部74が算出する血管指標値の種類を選択しているが、指標値算出部74が算出する血管指標値の種類を予め決定しておいても良い。また、指標値算出部74は、全種類の血管指標値を算出しても良い。
なお、モニタ18には、強調画像94とともに、異常指標値の種類を表示しても良い。
[第2実施形態]
なお、上記第1実施形態では、色情報設定部78は、1つの異常指標値について色情報の設定を行っているが、第2実施形態では、複数の異常指標値について、異常指標値ごとに色情報の設定を行う。この場合、上記第1実施形態の色情報設定部78に代えて、図6に示す色情報設定部100を備える。以下では、第1実施形態と同じ部材については、同じ符号を付し、説明を省略する。
なお、上記第1実施形態では、色情報設定部78は、1つの異常指標値について色情報の設定を行っているが、第2実施形態では、複数の異常指標値について、異常指標値ごとに色情報の設定を行う。この場合、上記第1実施形態の色情報設定部78に代えて、図6に示す色情報設定部100を備える。以下では、第1実施形態と同じ部材については、同じ符号を付し、説明を省略する。
図6に示すように、色情報設定部100は、異常指標値用優先度テーブル102と、色情報用優先度テーブル104とを有している。異常指標値用優先度テーブル102には、複数の異常指標値の種類を、異常指標値ごとに優先度を定めて記憶している。異常指標値用優先度テーブル102に記憶する異常指標値の種類は、上記全種類の血管指標値のなかから、コンソール19の入力操作に基づいて設定する。例えば、異常指標値用優先度テーブル102は、異常指標値として、「密度」と「分岐数」と「深さ」とを記憶する。優先度は、コンソール19の入力操作に基づいて設定する。例えば、優先度が高い順に「高」「中」「低」で表わす場合には、密度の優先度を「高」、分岐数の優先度を「中」、深さの優先度を「低」というように設定する。
色情報用優先度テーブル104には、複数の色情報の種類を、色情報ごとに優先度を定めて記憶している。複数の色情報は、少なくとも色相が互いに異なっている。例えば、赤系の色の第1色情報、シアン系の色の第2色情報、緑系の色の第3色情報である。これらの色情報は、コンソール19の入力操作に基づいて設定する。なお、複数の色情報は、彩度を互いに異ならせても良い。
第1~第3色情報のそれぞれには、優先度が設定されている。優先度は、コンソール19の入力操作に基づいて設定する。例えば、優先度を高い順に「高」「中」「低」で表わす場合には、第1色情報の優先度を「高」、第2色情報の優先度を「中」、第3色情報の優先度を「低」というように設定する。なお、優先度は、強調画像内での視認性が高い色情報ほど高く設定するようにしても良い。
そして、色情報設定部100では、異常指標値用優先度テーブル102に記憶している異常指標値と、色情報用優先度テーブル104に記憶している色情報との割り当てを行う。具体的には、色情報設定部100は、優先度が高い異常指標値ほど、優先度が高い色情報の割り当てを優先的に行う。例えば、判定部76の判定により、極表層血管86の密度と分岐数とが異常指標値であった場合、色情報設定部100は、優先度が「高」である極表層血管86の密度に対して、優先度が「高」である第1色情報を割り当てる。次に、優先度が「中」である極表層血管86の分岐数に対して、優先度が「中」である第2色情報を割り当てる。
以上のように、異常指標値が複数ある場合には、優先度の高い異常指標値ほど、優先度の高い色情報の割り当てを行うことにより、注目すべき血管指標値のなかから、より有用な血管指標値に絞り込んで色表示するため、より有用な血管指標値を用いて診断を迅速に行うことを支援することができる。
なお、上記第2実施形態では、異常指標値用優先度テーブル102には、コンソール19の入力操作に基づいて設定した血管指標値に対応する異常指標値を記憶しているが、全種類の血管指標値に対応する全種類の異常指標値、または全種類の血管指標値のうちのいずれかに対応する異常指標値を、予め記憶しておいても良い。また、本例では、優先度の高さを「高」「中」「低」で表わしているが、優先度の高さの表し方は任意である。例えば、優先度の高さを「1」「2」「3」というように数字で表しても良い。
[第3実施形態]
上記第2実施形態では、色情報設定部78は、異常指標値に予め定めている優先度に従って色情報の設定を行っているが、第3実施形態では、異常指標値ごとの優先度を変更し、変更後の優先度に従って色情報の設定を行う。この場合、上記第2実施形態の画像処理部60に代えて、図7に示す画像処理部110を備える。画像処理部110は、上記第2実施形態の画像処理部60の各構成に加え、優先度変更部112を有する。
上記第2実施形態では、色情報設定部78は、異常指標値に予め定めている優先度に従って色情報の設定を行っているが、第3実施形態では、異常指標値ごとの優先度を変更し、変更後の優先度に従って色情報の設定を行う。この場合、上記第2実施形態の画像処理部60に代えて、図7に示す画像処理部110を備える。画像処理部110は、上記第2実施形態の画像処理部60の各構成に加え、優先度変更部112を有する。
図8に示すように、優先度変更部112は、色情報設定部100の異常指標値用優先度テーブル102に記憶している異常指標値ごとの優先度を変更する。例えば、優先度変更部112は、異常指標値用優先度テーブル102に記憶している密度の優先度を「高」から「中」に変更し、分岐数の優先度を「中」から「低」に変更し、深さの優先度を「低」から「高」に変更する。
優先度変更部112は、上記優先度の変更を、観察条件に基づいて行う。観察条件は、内視鏡12の種類、観察対象との間の観察距離、内視鏡12のズーム倍率、観察モードの種類、観察対象に散布した色素、1つの画像から異なる観察距離の取得、という条件のなかからいずれかを選択する。
以下、第3A実施形態~第3F実施形態の6つの実施形態によって、優先度変更部112の機能を上記観察条件ごとに説明する。
[第3A実施形態]
第3A実施形態の画像処理部110は、内視鏡識別部を有している。内視鏡識別部は、プロセッサ装置16に接続している内視鏡12の種類を識別する。具体的には、内視鏡識別部は、内視鏡12の種類が、上部消化管の観察に用いる上部観察用内視鏡か、下部消化管の観察に用いる下部観察用内視鏡かを識別することによって、上部観察用内視鏡と下部観察用内視鏡との交換が行われたか否か判定する。
第3A実施形態の画像処理部110は、内視鏡識別部を有している。内視鏡識別部は、プロセッサ装置16に接続している内視鏡12の種類を識別する。具体的には、内視鏡識別部は、内視鏡12の種類が、上部消化管の観察に用いる上部観察用内視鏡か、下部消化管の観察に用いる下部観察用内視鏡かを識別することによって、上部観察用内視鏡と下部観察用内視鏡との交換が行われたか否か判定する。
優先度変更部112は、観察条件として、上部観察用内視鏡と下部観察用内視鏡との交換が行われた場合に、上記のように優先度の変更を行う。例えば、優先度変更部112は、上部観察用内視鏡から下部観察用内視鏡に交換した場合には、異常指標値用優先度テーブル102に記憶している密度の優先度を「高」から「中」に変更し、分岐数の優先度を「中」から「低」に変更し、深さの優先度を「低」から「高」に変更する。このように、内視鏡12を交換した場合に優先度を変更するため、注目すべき血管指標値の優先度が上部消化管と下部消化管とで異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3B実施形態]
第3B実施形態では、優先度変更部112は、観察対象との間の観察距離を取得する。観察距離は、画像取得部70が取得した内視鏡画像の露光量や、内視鏡画像の周波数解析等で取得できる。観察距離を内視鏡画像の露光量から取得する場合、ズーム倍率の変更が開始した際に得た内視鏡画像の露光量に基づいて第1観察距離を取得し、ズーム倍率の変更が終了した際に得た内視鏡画像の露光量に基づいて第2観察距離を取得する。また、観察距離を内視鏡画像の周波数解析によって取得する場合、ズーム倍率の変更が開始した際に得た内視鏡画像に対して周波数解析を行うことによって第1観察距離を取得し、ズーム倍率の変更が終了した際に得た内視鏡画像に対して周波数解析を行うことによって第2観察距離を取得する。このように、優先度変更部112は、第1観察距離と、第1観察距離とは異なる第2観察距離とを取得する。
第3B実施形態では、優先度変更部112は、観察対象との間の観察距離を取得する。観察距離は、画像取得部70が取得した内視鏡画像の露光量や、内視鏡画像の周波数解析等で取得できる。観察距離を内視鏡画像の露光量から取得する場合、ズーム倍率の変更が開始した際に得た内視鏡画像の露光量に基づいて第1観察距離を取得し、ズーム倍率の変更が終了した際に得た内視鏡画像の露光量に基づいて第2観察距離を取得する。また、観察距離を内視鏡画像の周波数解析によって取得する場合、ズーム倍率の変更が開始した際に得た内視鏡画像に対して周波数解析を行うことによって第1観察距離を取得し、ズーム倍率の変更が終了した際に得た内視鏡画像に対して周波数解析を行うことによって第2観察距離を取得する。このように、優先度変更部112は、第1観察距離と、第1観察距離とは異なる第2観察距離とを取得する。
優先度変更部112は、観察条件として、第1観察距離から第2観察距離に変化した場合に、上記のように優先度の変更を行う。観察距離が近距離の場合に得た内視鏡画像に写る血管の一部または全部は、観察距離が遠距離の場合に得た内視鏡画像内に写らないことがある。このため、遠距離の場合に得た血管指標値は、近距離の場合に得た血管指標値よりも正確でない可能性がある。例えば、血管の分岐数は、遠距離の場合には正確に算出することが難しいが、近距離の場合には正確に算出することができる。このため、優先度変更部112は、第1観察距離よりも第2観察距離の方が遠距離の場合に、第1観察距離から第2観察距離に変化すると、異常指標値用優先度テーブル102に記憶している分岐数の優先度を「中」から「低」に変更する。このように、観察距離が変化した場合に優先度を変更するため、注目すべき血管指標値の優先度が観察距離で異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3C実施形態]
第3C実施形態では、優先度変更部112は、ズーム操作部13dから、第1ズーム倍率と、第1ズーム倍率とは異なる第2ズーム倍率とを取得する。そして、優先度変更部112は、観察条件として、第1ズーム倍率から第2ズーム倍率に変化した場合に、上記のように優先度の変更を行う。例えば、第1ズーム倍率よりも第2ズーム倍率の方が低倍率(すなわち、遠距離)の場合、第1ズーム倍率から第2ズーム倍率に変化すると、第1ズーム倍率で得た内視鏡画像に写る血管の一部または全部が、第2ズーム倍率で得た内視鏡画像内に写らないことがある。このため、第2ズーム倍率で得た血管指標値は、第1ズーム倍率で得た血管指標値よりも正確でない可能性がある。例えば、血管の分岐数は、遠距離の第2ズーム倍率では正確に算出することが難しいが、近距離の第1ズーム倍率では正確に算出することができる。このため、優先度変更部112は、第1ズーム倍率から第2ズーム倍率に変化すると、異常指標値用優先度テーブル102に記憶している分岐数の優先度を「中」から「低」に変更する。このように、ズーム倍率が変化した場合に優先度を変更するため、注目すべき血管指標値の優先度がズーム倍率で異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
第3C実施形態では、優先度変更部112は、ズーム操作部13dから、第1ズーム倍率と、第1ズーム倍率とは異なる第2ズーム倍率とを取得する。そして、優先度変更部112は、観察条件として、第1ズーム倍率から第2ズーム倍率に変化した場合に、上記のように優先度の変更を行う。例えば、第1ズーム倍率よりも第2ズーム倍率の方が低倍率(すなわち、遠距離)の場合、第1ズーム倍率から第2ズーム倍率に変化すると、第1ズーム倍率で得た内視鏡画像に写る血管の一部または全部が、第2ズーム倍率で得た内視鏡画像内に写らないことがある。このため、第2ズーム倍率で得た血管指標値は、第1ズーム倍率で得た血管指標値よりも正確でない可能性がある。例えば、血管の分岐数は、遠距離の第2ズーム倍率では正確に算出することが難しいが、近距離の第1ズーム倍率では正確に算出することができる。このため、優先度変更部112は、第1ズーム倍率から第2ズーム倍率に変化すると、異常指標値用優先度テーブル102に記憶している分岐数の優先度を「中」から「低」に変更する。このように、ズーム倍率が変化した場合に優先度を変更するため、注目すべき血管指標値の優先度がズーム倍率で異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3D実施形態]
第3D実施形態では、特殊モードに第1特殊モードと第2特殊モードとが含まれている。第1特殊モードと第2特殊モードは、上記各実施形態と同様に、2種類以上の血管指標値を用いて強調画像を生成するモードである。第1特殊モードは、強調画像の生成に用いる血管指標値の種類の全部または一部が、第2特殊モードとは異なっている。血管指標値の種類は、コンソール19の入力操作に基づいて、特殊モードごとに設定する。なお、第1特殊モード及び第2特殊モードには、血管指標値の種類を予め設定しておいても良い。特殊モードは、本発明の「観察モード」に対応している。したがって、第1特殊モードは、本発明の「第1観察モード」に対応し、第2特殊モードは、本発明の「第2観察モード」に対応している。
第3D実施形態では、特殊モードに第1特殊モードと第2特殊モードとが含まれている。第1特殊モードと第2特殊モードは、上記各実施形態と同様に、2種類以上の血管指標値を用いて強調画像を生成するモードである。第1特殊モードは、強調画像の生成に用いる血管指標値の種類の全部または一部が、第2特殊モードとは異なっている。血管指標値の種類は、コンソール19の入力操作に基づいて、特殊モードごとに設定する。なお、第1特殊モード及び第2特殊モードには、血管指標値の種類を予め設定しておいても良い。特殊モードは、本発明の「観察モード」に対応している。したがって、第1特殊モードは、本発明の「第1観察モード」に対応し、第2特殊モードは、本発明の「第2観察モード」に対応している。
第3D実施形態の画像処理部110には、モード操作部が設けられている。モード操作部は、第1特殊モードと第2特殊モードとのうちいずれかの特殊モードを選択し、選択した特殊モードで強調画像を生成する際に用いる血管指標値の優先度を設定する。優先度の設定は、診断学に基づいて、血管指標値ごとに行う。
第3D実施形態では、異常指標値用優先度テーブル102に記憶している異常指標値ごとの優先度は、モード操作部で設定した優先度に基づいて定められている。そして、優先度変更部112は、観察条件として、第1特殊モードから第2特殊モードに切り替えられた場合に、異常指標値用優先度テーブル102に記憶している異常指標値の種類を、第2特殊モードで用いる異常指標値の種類に変更する。また、優先度変更部112は、異常指標値用優先度テーブル102に異常指標値ごとに定めている優先度を、第2特殊モードで設定した血管指標値ごとの優先度に基づいて変更する。このように、特殊モードを切り替えた場合に優先度を変更するため、注目すべき血管指標値の優先度が特殊モードごとに異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3E実施形態]
第3E実施形態では、優先度変更部112は、観察条件として、観察対象に特定の色素が散布された場合に、上記のように優先度の変更を行う。観察対象に特定の色素が散布された場合は、内視鏡画像内のほぼ全て(例えば、内視鏡画像の3/4以上等)が、観察対象の本来の色とは異なる色で表される。このため、優先度変更部112は、内視鏡画像の色を解析し、その色に基づいて観察対象に特定の色素が散布されたと認識した場合に、優先度を変更する。例えば、色素散布前において、異常指標値用優先度テーブル102に記憶している血管の密度に対する優先度を「高」とすると、優先度変更部112は、色素を散布した場合に、異常指標値用優先度テーブル102に記憶している血管の密度に対する優先度を「中」に変更する。なお、コンソール19の入力操作に基づいて、観察対象に特定の色素を散布したか否かを認識可能にしても良い。このように、色素を散布した場合に優先度を変更するため、注目すべき血管指標値の優先度が色素の有無で異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
第3E実施形態では、優先度変更部112は、観察条件として、観察対象に特定の色素が散布された場合に、上記のように優先度の変更を行う。観察対象に特定の色素が散布された場合は、内視鏡画像内のほぼ全て(例えば、内視鏡画像の3/4以上等)が、観察対象の本来の色とは異なる色で表される。このため、優先度変更部112は、内視鏡画像の色を解析し、その色に基づいて観察対象に特定の色素が散布されたと認識した場合に、優先度を変更する。例えば、色素散布前において、異常指標値用優先度テーブル102に記憶している血管の密度に対する優先度を「高」とすると、優先度変更部112は、色素を散布した場合に、異常指標値用優先度テーブル102に記憶している血管の密度に対する優先度を「中」に変更する。なお、コンソール19の入力操作に基づいて、観察対象に特定の色素を散布したか否かを認識可能にしても良い。このように、色素を散布した場合に優先度を変更するため、注目すべき血管指標値の優先度が色素の有無で異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3F実施形態]
第3F実施形態の画像処理部110は、距離取得部を有している。距離取得部は、画像取得部70が取得した内視鏡画像から、観察対象との間の観察距離である第1観察距離と、第1観察距離とは異なる第2観察距離とを取得する。
第3F実施形態の画像処理部110は、距離取得部を有している。距離取得部は、画像取得部70が取得した内視鏡画像から、観察対象との間の観察距離である第1観察距離と、第1観察距離とは異なる第2観察距離とを取得する。
具体的には、距離取得部は、図9に示す内視鏡画像114を、第1エリア116と、第2エリア117とに2分割する。内視鏡画像114は、観察対象の表面に直交する軸に対して内視鏡12が傾いた状態で撮影した画像であり、観察対象の奥行きが表れている。内視鏡画像114は、観察対象の粘膜85、極表層血管86、表層血管87が観察可能である。第1エリア116では、奥行き方向に暗部118が存在している。暗部118では、露光量が閾値以下となる。
距離取得部は、第1エリア116の平均の露光量を求めることによって、第1エリア116の平均の観察距離を求める。距離取得部は、求めた第1エリア116の平均の観察距離を第1観察距離として取得する。同様に、距離取得部は、第2エリア117の平均の露光量を求めることによって、第2エリア117の平均の観察距離を求める。距離取得部は、求めた第2エリア117の平均の観察距離を第2観察距離として取得する。暗部118を含む第1エリア116では、第2エリア117よりも平均の露光量が小さい。したがって、第1観察距離は、第2観察距離よりも遠距離である。このため、距離取得部は、内視鏡画像内の露光量の分布に基づいて、内視鏡12の角度を推定することができる。
優先度変更部112は、観察条件として、距離取得部が第1観察距離と第2観察距離とを取得した場合に、上記のように優先度の変更を行う。例えば、第1エリア116では、優先度変更部112は、異常指標値用優先度テーブル102に記憶している血管の密度に対する優先度を「高」から「低」に変更し、第2エリア117では、異常指標値用優先度テーブル102に記憶している血管の深さに対する優先度を「低」から「高」に変更する。このように、内視鏡画像内で異なる観察距離を得た場合に優先度を変更するため、注目すべき血管指標値の優先度が観察距離ごとに異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第4実施形態]
上記各実施形態では、強調画像の輝度情報として、極表層観察画像82または表層観察画像83を用いているが、正常値の血管指標値と異常値の血管指標値との差分値を用いても良い。以下、輝度情報として正常値の血管指標値と異常値の血管指標値との差分値を用いる場合について説明する。
上記各実施形態では、強調画像の輝度情報として、極表層観察画像82または表層観察画像83を用いているが、正常値の血管指標値と異常値の血管指標値との差分値を用いても良い。以下、輝度情報として正常値の血管指標値と異常値の血管指標値との差分値を用いる場合について説明する。
第4実施形態では、上記第1実施形態の画像処理部60に代えて、図10に示す画像処理部120を備える。
画像処理部120には、上記第1実施形態の画像処理部60の各構成に加え、正常指標値記憶部122と、輝度情報設定部124とを有する。正常指標値記憶部122は、正常指標値を記憶する。正常指標値は、異常指標値に対して、正常状態を表す正常値の血管指標値である。
輝度情報設定部124は、内視鏡画像を複数の領域に分割し、分割した領域ごとに、異常指標値と正常指標値との差分値を求める。具体的には、領域内の各画素の異常指標値を平均し、その平均した異常指標値と正常指標値との差分値を求める。差分値が大きいほど、異常指標値が正常指標値から離間しているので、その領域は病変の悪化が深刻である。なお、内視鏡画像の分割は、コンソール19に基づいて行っても良い。
輝度情報設定部124は、求めた差分値に応じて輝度情報を設定する。輝度情報設定部124は、例えば、YCbCr空間において、Y軸上の差分値の位置に基づいて、輝度情報を設定する。具体的には、輝度情報設定部124は、差分値をY軸に対応付けて、差分値に基づくY軸上の位置を判定し、この位置におけるY値を輝度情報として設定する。また、輝度情報設定部124は、差分値が大きくなるほど、輝度を高く設定する。
画像生成部80は、色情報設定部78が設定した色情報と、輝度情報設定部124が設定した輝度情報とに基づいて、強調画像を生成する。この場合の強調画像は、異常指標値の画素が、色情報に基づいた色で着色されているだけでなく、異常指標値と正常指標値との差分値に基づいた輝度で表されている。このため、強調画像は、病変の悪化が比較的軽微である場合は暗くなり、病変の悪化が深刻な場合は明るくなっている。このように、注目すべき血管指標値のうち、正常値との差が大きい血管指標値を高輝度表示するため、より有用な血管指標値を提示することができる。
なお、上記各実施形態では、色情報設定部78は、YCbCr空間を用いて、異常指標値に対して色情報を設定しているが、図11に示す2次元LUT126を参照して、色情報を設定しても良い。2次元LUT126は、例えば縦軸が重み付け係数で、横軸が血管指標値で表される。重み付け係数は、例えば0より大きく且つ1以下の数値である。また、2次元LUT126は、例えば血管指標値が閾値Th以上となると、血管指標値が閾値Th未満の場合よりも重み付け係数の値が大きく変化するものとする。そして、画像生成部80は、血管抽出画像84を色差チャンネルCb,Crに割り当てる際に、色情報設定部78から2次元LUT126に基づいた重み付け係数を乗じる。この割り当ての際には、さらに、特定の係数を乗じても良い。これにより、複数の血管指標値を用いる場合であっても、注目すべき血管指標値に絞り込んで色表示するため、診断に際して医師が判断を迅速に行うことを支援することができる。
なお、2次元LUT126において血管指標値が閾値Th未満の場合、画像生成部80は、血管の色を変化させなくても良い。また、2次元LUTは、重み付け係数の値が血管指標値の値と比例して増加するものでも良い。
なお、上記各実施形態では、判定部76は、特定の閾値を用いて血管指標値が正常値か異常値かを判定しているが、これに代えて、判定用のルックアップテーブルを用いて判定をしても良い。判定用のルックアップテーブルは、血管指標値が正常値又は異常値のいずれに該当するかを記憶する。例えば、判定用のルックアップテーブルには、血管の密度が、正常値又は異常値のいずれに該当するかを記憶している。そして、判定部76は、この判定用のルックアップテーブルを参照して、指標値算出部74が算出した血管の密度が、正常値か異常値かを判定する。
また、判定部76は、特定の閾値や判定用のルックアップテーブルを用いて判定をする他、2つの軸からなる2次元のマップを用いて判定をしても良い。判定部76は、2次元のマップにおいて、例えば、一方の軸に血管の密度を対応付けし、他方の軸に血管の分岐数を対応付けする。2次元のマップ上には、正常値の密度と正常値の分岐数が属する領域と、異常値の密度と異常値の分岐数が属する領域と、正常値の密度と異常値の分岐数が属する領域と、異常値の密度と正常値の分岐数が属する領域とが設定されている。そして、判定部76は、指標値算出部74が算出した血管の密度と分岐数が属する領域に応じて、血管の密度と分岐数とのそれぞれが正常値か異常値かを判定する。なお、3つの軸からなる3次元のマップを用いて判定をしても良い。この3次元のマップの場合には、各軸に、互いに異なる3つの血管指標値をそれぞれ対応付けすることができる。
なお、上記各実施形態では、画像生成部80は、異常指標値の領域を強調する処理を行っているが、これに代えて、異常指標値の領域以外の領域を抑制する処理を行うことにより、異常指標値の領域を相対的に強調しても良い。
なお、上記各実施形態では、色情報設定部は、異常指標値に対して色情報を設定しているが、これに代えて、正常指標値に対して色情報を設定しても良い。正常指標値に対して色情報を設定する場合は、異常指標値に対して色情報を設定する場合と同様の方法を用いることができるので、詳しい説明は省略する。なお、この場合には、画像生成部は、例えば、異常指標値の画素を着色せずに、判定部が正常値と判定した血管指標値の画素を色情報に基づいて着色することによって強調画像を生成しても良い。
なお、上記各実施形態では、画像処理部は、血管を強調しているが、これに加えて又は代えて、リンパ管を強調しても良い。リンパ管は、血管に沿って全身に張り巡らされている。このため、リンパ管にがん細胞が侵入した場合には、リンパ管を通して、リンパ節や他の臓器等に転移するおそれがある。したがって、血管だけでなく、リンパ管を強調することにより、医師は、がんの転移を判断することができる。なお、血管やリンパ管に限らず、その他の管状の構造物等を強調しても良い。
上記実施形態では4色のLED20a~20dを用いているが、4色のLED20a~20dの代わりに、キセノンランプ等の広帯域光源と回転フィルタを用いて観察対象の照明を行っても良い。また、カラーの撮像センサ38に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。それ以外については、第1実施形態と同様である。
図12に示す内視鏡システム200では、光源装置14において、内視鏡システム10の各LED20a~20dに代えて、広帯域光源202と、回転フィルタ204と、フィルタ切替部206とが設けられている。また、撮像光学系30bには、カラーの撮像センサ38の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ208が設けられている。
広帯域光源202はキセノンランプや白色LED等であり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、回転軸に近い内側に設けた通常モード用フィルタ210と、回転軸から遠い外側に設けた特殊モード用フィルタ212とを備えている(図13参照)。フィルタ切替部206は、回転フィルタ204を径方向に移動する。具体的には、フィルタ切替部206は、モード切替部13cにより通常モードにセットした場合に、回転フィルタ204の通常モード用フィルタ210を白色光の光路に挿入し、特殊モードにセットした場合に、回転フィルタ204の特殊モード用フィルタ212を白色光の光路に挿入する。
図13に示すように、通常モード用フィルタ210には、周方向に沿って、Bフィルタ210aと、Gフィルタ210bと、Rフィルタ210cとが設けられている。Bフィルタ210aは、白色光のうち青色光を透過する。Gフィルタ210bは、白色光のうち緑色光を透過する。Rフィルタ210cは、白色光のうち赤色光を透過する。したがって、通常モード時には、回転フィルタ204が回転することで、青色光、緑色光、赤色光により交互に観察対象を照明する。
特殊モード用フィルタ212には、周方向に沿って、白色光のうち特定の波長帯域の狭帯域光を透過するフィルタが少なくとも設けられている。例えば、特殊モード用フィルタ212には、Bnフィルタ212aと、Gフィルタ212bと、Rフィルタ212cとが設けられている。Bnフィルタ212aは、白色光のうち特定の波長帯域の青色狭帯域光を透過する。Gフィルタ212bは、白色光のうち緑色光を透過する。Rフィルタ212cは、白色光のうち赤色光を透過する。したがって、特殊モード時には、回転フィルタ204が回転することで、青色狭帯域光、緑色光、赤色光により交互に観察対象を照明する。
なお、特殊モード用フィルタ212には、上記各フィルタ212a~212cの他、白色光のうち紫色光を透過するVフィルタや白色光のうち青色光を透過するBフィルタ等を設けても良い。上記第1実施形態のように、特殊モードで紫色光Vと青色光Bとを順次に発する場合には、特殊モード用フィルタ212には、Vフィルタ及びBフィルタを設ける。
内視鏡システム200では、通常モード時には、青色光、緑色光、赤色光で観察対象を照明する毎にモノクロの撮像センサ208で観察対象を撮像する。これにより、RGBの3色の画像信号を得ることができる。そして、RGB色の画像信号に基づいて、上記第1実施形態と同様の方法で、通常観察画像を生成する。
一方、特殊モード時には、青色狭帯域光、緑色光、赤色光で観察対象を照明する毎にモノクロの撮像センサ208で観察対象を撮像する。これにより、Bn画像信号と、G画像信号、R画像信号を得ることができる。そして、Bn画像信号と、G画像信号、R画像信号に基づいて、第1実施形態と同様の方法で、特殊観察画像を生成する。内視鏡システム200では、特殊観察画像から、観察対象の血管を抽出し、抽出した血管について複数の血管指標値を算出し、血管指標値のそれぞれが正常値か異常値かを判定し、異常値と判定した血管指標値である異常指標値に対して色情報を設定、又は正常値と判定した血管指標値である正常指標値に対して色情報を設定し、その色情報に基づいて強調画像を生成する。
上記各実施形態では、撮像センサ38が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10、200によって本発明を実施しているが、カプセル内視鏡システムにおいて本発明を実施しても良い。カプセル内視鏡システムは、例えば、図14に示すカプセル内視鏡300と、プロセッサ装置(図示しない)とを少なくとも有する。カプセル内視鏡300は、光源302と、光源制御部303と、撮像センサ304と、画像信号取得処理部306と、送受信アンテナ308とを備えている。光源302は、内視鏡システム10の光源20と同様に構成され、光源制御部303の制御によって、照明光を発光する。画像信号取得処理部306は、画像信号取得部50、DSP52、ノイズ低減部54、及び信号処理部58として機能する。カプセル内視鏡システムのプロセッサ装置は、内視鏡システム10のプロセッサ装置16と同様に構成され、画像処理部60としても機能する。画像信号取得処理部306が生成する内視鏡画像は、送受信アンテナ308を介してプロセッサ装置に送信される。そして、プロセッサ装置では、受信した内視鏡画像から、観察対象の血管を抽出し、抽出した血管について複数の血管指標値を算出し、血管指標値のそれぞれが正常値か異常値かを判定し、異常値と判定した血管指標値である異常指標値に対して色情報を設定、又は正常値と判定した血管指標値である正常指標値に対して色情報を設定し、その色情報に基づいて強調画像を生成する。
10、200 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b 静止画像取得部
13c モード切替部
13d ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源
20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 光源制御部
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
34 対物レンズ
36 ズームレンズ
38 撮像センサ
40 CDS/AGC回路
42 A/D変換回路
50 画像信号取得部
52 DSP
54 ノイズ低減部
56 メモリ
58 信号処理部
60、110、120 画像処理部
62 映像信号生成部
64 ストレージ
70 画像取得部
72 抽出部
74 指標値算出部
76 判定部
78、100 色情報設定部
80 画像生成部
82 極表層観察画像
83 表層観察画像
84 血管抽出画像
85 粘膜
86 極表層血管
87 表層血管
94 強調画像
102 異常指標値用優先度テーブル
104 色情報用優先度テーブル
112 優先度変更部
114 内視鏡画像
116 第1エリア
117 第2エリア
118 暗部
122 正常指標値記憶部
124 輝度情報設定部
126 2次元LUT
202 広帯域光源
204 回転フィルタ
206 フィルタ切替部
208 モノクロの撮像センサ
210 通常モード用フィルタ
210a Bフィルタ
210b Gフィルタ
210c Rフィルタ
212 特殊モード用フィルタ
212a Bnフィルタ
212b Gフィルタ
212c Rフィルタ
300 カプセル内視鏡
302 光源
303 光源制御部
304 撮像センサ
306 画像信号取得処理部
308 送受信アンテナ
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b 静止画像取得部
13c モード切替部
13d ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源
20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 光源制御部
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
34 対物レンズ
36 ズームレンズ
38 撮像センサ
40 CDS/AGC回路
42 A/D変換回路
50 画像信号取得部
52 DSP
54 ノイズ低減部
56 メモリ
58 信号処理部
60、110、120 画像処理部
62 映像信号生成部
64 ストレージ
70 画像取得部
72 抽出部
74 指標値算出部
76 判定部
78、100 色情報設定部
80 画像生成部
82 極表層観察画像
83 表層観察画像
84 血管抽出画像
85 粘膜
86 極表層血管
87 表層血管
94 強調画像
102 異常指標値用優先度テーブル
104 色情報用優先度テーブル
112 優先度変更部
114 内視鏡画像
116 第1エリア
117 第2エリア
118 暗部
122 正常指標値記憶部
124 輝度情報設定部
126 2次元LUT
202 広帯域光源
204 回転フィルタ
206 フィルタ切替部
208 モノクロの撮像センサ
210 通常モード用フィルタ
210a Bフィルタ
210b Gフィルタ
210c Rフィルタ
212 特殊モード用フィルタ
212a Bnフィルタ
212b Gフィルタ
212c Rフィルタ
300 カプセル内視鏡
302 光源
303 光源制御部
304 撮像センサ
306 画像信号取得処理部
308 送受信アンテナ
Claims (13)
- 内視鏡によって観察対象を撮像して得た画像を取得する画像取得部と、
前記画像から、前記観察対象に含まれる構造物を抽出する抽出部と、
前記抽出部で抽出した構造物に基づいて複数の指標値を算出する指標値算出部と、
複数の前記指標値のそれぞれが、正常状態を表す正常値か、前記正常値とは異なる異常値かの判定をする判定部と、
前記判定部が前記異常値と判定した前記指標値である異常指標値に対して色情報を設定、又は前記判定部が前記正常値と判定した前記指標値である正常指標値に対して色情報を設定する色情報設定部と、
前記色情報設定部が設定した前記色情報に基づいて、前記構造物を強調した強調画像を生成する画像生成部とを備える内視鏡システム。 - 前記判定部は、前記指標値と特定の閾値とを比較して判定し、
又は、前記指標値が前記正常値又は前記異常値のいずれに該当するかを記憶するルックアップテーブルを参照して判定する請求項1に記載の内視鏡システム。 - 前記構造物とは、血管である請求項1または2に記載の内視鏡システム。
- 前記色情報は複数あり、且つ前記色情報ごとに優先度が定められており、
前記異常指標値又は前記正常指標値は複数あり、且つ前記異常指標値又は前記正常指標値ごとに優先度が定められており、
前記色情報設定部は、前記異常指標値又は前記正常指標値のうち、優先度が高い前記異常指標値又は前記正常指標値ほど、優先度が高い前記色情報の割り当てを行う請求項1~3のいずれか1項に記載の内視鏡システム。 - 観察条件に基づいて、前記異常指標値又は前記正常指標値ごとに定められた優先度を変更する優先度変更部を有し、
前記色情報設定部は、変更後の優先度に従って前記割り当てを行う請求項4に記載の内視鏡システム。 - 前記内視鏡が上部観察用内視鏡か下部観察用内視鏡かを識別する内視鏡識別部を有し、
前記優先度変更部は、前記観察条件として、前記上部観察用内視鏡と前記下部観察用内視鏡との交換が行われた場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。 - 前記優先度変更部は、前記観察条件として、前記観察対象との間の観察距離が、第1観察距離から、前記第1観察距離とは異なる第2観察距離に変化した場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。
- 前記内視鏡のズーム倍率を、第1ズーム倍率と、前記第1ズーム倍率とは異なる第2ズーム倍率とで変化させるズーム操作部を有し、
前記優先度変更部は、前記観察条件として、前記第1ズーム倍率から前記第2ズーム倍率に変化した場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。 - 複数の前記指標値のうち2以上を用いる複数の観察モードからいずれかの観察モードを選択し、且つ選択した前記観察モードで用いる前記指標値ごとに、診断学に基づいて優先度を設定するモード操作部を有し、
前記指標値ごとに設定された優先度に基づいて、前記異常指標値又は前記正常指標値ごとに優先度が定められ、
前記優先度変更部は、前記観察条件として、前記観察モードが、第1観察モードから、前記第1観察モードとは異なる第2観察モードに切り替えられた場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。 - 前記優先度変更部は、前記観察条件として、前記観察対象に特定の色素が散布された場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。
- 前記正常指標値を記憶する正常指標値記憶部と、
前記異常指標値と前記正常指標値との差分値を求め、且つ前記差分値に応じて輝度情報を設定する輝度情報設定部とを有し、
前記画像生成部は、設定された前記色情報及び前記輝度情報に基づいて前記強調画像を生成する請求項1~10のいずれか1項に記載の内視鏡システム。 - 画像取得部が、内視鏡によって観察対象を撮像して得た画像を取得するステップと、
抽出部が、前記画像から、前記観察対象に含まれる構造物を抽出するステップと、
指標値算出部が、前記抽出部が抽出した構造物に基づいて複数の指標値を算出するステップと、
判定部が、複数の前記指標値のそれぞれが、正常状態を表す正常値か、前記正常値とは異なる異常値かの判定をするステップと、
色情報設定部が、前記判定部が前記異常値と判定した前記指標値である異常指標値に対して色情報を設定、又は前記判定部が前記正常値と判定した指標値である正常指標値に対して色情報を設定するステップと、
画像生成部が、前記色情報設定部が設定した前記色情報に基づいて、前記構造物を強調した強調画像を生成するステップとを備える内視鏡システムの作動方法。 - 前記判定部は、前記指標値と特定の閾値とを比較して判定し、
又は、前記指標値が前記正常値又は前記異常値のいずれに該当するかを記憶するルックアップテーブルを参照して判定する請求項12に記載の内視鏡システムの作動方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16851563.3A EP3357402B1 (en) | 2015-09-28 | 2016-09-27 | Endoscope system and operation method for endoscope system |
JP2017543448A JP6513209B2 (ja) | 2015-09-28 | 2016-09-27 | 内視鏡システム及び内視鏡システムの作動方法 |
US15/936,466 US10959606B2 (en) | 2015-09-28 | 2018-03-27 | Endoscope system and generating emphasized image based on color information |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015190150 | 2015-09-28 | ||
JP2015-190150 | 2015-09-28 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/936,466 Continuation US10959606B2 (en) | 2015-09-28 | 2018-03-27 | Endoscope system and generating emphasized image based on color information |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017057392A1 true WO2017057392A1 (ja) | 2017-04-06 |
Family
ID=58427510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/078514 WO2017057392A1 (ja) | 2015-09-28 | 2016-09-27 | 内視鏡システム及び内視鏡システムの作動方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10959606B2 (ja) |
EP (1) | EP3357402B1 (ja) |
JP (2) | JP6513209B2 (ja) |
WO (1) | WO2017057392A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018061434A1 (ja) * | 2016-09-30 | 2018-04-05 | 富士フイルム株式会社 | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 |
WO2019130072A3 (en) * | 2017-12-28 | 2019-10-10 | Ethicon Llc | Use of laser light and red-green-blue coloration to determine properties of back scattered light |
WO2019208011A1 (ja) * | 2018-04-24 | 2019-10-31 | オリンパス株式会社 | 内視鏡システム |
JPWO2019093355A1 (ja) * | 2017-11-13 | 2020-11-19 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN111989025A (zh) * | 2018-03-30 | 2020-11-24 | 奥林巴斯株式会社 | 诊断辅助装置、诊断辅助方法和诊断辅助程序 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6581923B2 (ja) * | 2016-03-03 | 2019-09-25 | 富士フイルム株式会社 | 画像処理装置とその作動方法および作動プログラム |
CN109310272B (zh) * | 2016-05-30 | 2021-05-28 | 奥林巴斯株式会社 | 处理装置、设定方法以及存储介质 |
JP6392486B1 (ja) * | 2017-02-01 | 2018-09-19 | オリンパス株式会社 | 内視鏡システム |
US10334687B2 (en) * | 2017-04-20 | 2019-06-25 | Ngok Wing Jimmy Kwok | Multispectral switch fiber optic lighting laryngoscope |
WO2018203435A1 (ja) * | 2017-05-02 | 2018-11-08 | オリンパス株式会社 | 内視鏡システム |
US11406255B2 (en) * | 2018-01-03 | 2022-08-09 | Koninklijke Philips N.V. | System and method for detecting abnormal tissue using vascular features |
JPWO2020036121A1 (ja) * | 2018-08-17 | 2021-08-26 | 富士フイルム株式会社 | 内視鏡システム |
WO2021081215A1 (en) * | 2019-10-23 | 2021-04-29 | The Johns Hopkins University | Offset illumination capillaroscope |
US20220104806A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Surgical instrument with adaptive configuration control |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011217798A (ja) * | 2010-04-05 | 2011-11-04 | Fujifilm Corp | 電子内視鏡システム |
JP2013116353A (ja) * | 2013-03-06 | 2013-06-13 | Fujifilm Corp | 画像処理装置および内視鏡システム |
JP2014230647A (ja) * | 2013-05-29 | 2014-12-11 | Hoya株式会社 | 表示装置、表示方法および表示プログラム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2761238B2 (ja) | 1989-04-20 | 1998-06-04 | オリンパス光学工業株式会社 | 内視鏡装置 |
GB9909966D0 (en) * | 1999-04-29 | 1999-06-30 | Torsana Diabetes Diagnostics A | Analysis of fundus images |
US6993170B2 (en) * | 1999-06-23 | 2006-01-31 | Icoria, Inc. | Method for quantitative analysis of blood vessel structure |
US6993175B2 (en) * | 2001-09-07 | 2006-01-31 | Quest Diagnostics Investments Incorporated | Methods for measuring microvascular density in tumors |
US7324675B2 (en) * | 2002-11-27 | 2008-01-29 | The Board Of Trustees Of The Leland Stanford Junior University | Quantification of aortoiliac endoluminal irregularity |
DE10319546A1 (de) * | 2003-04-30 | 2004-11-25 | Siemens Ag | Verfahren und Vorrichtung zur automatischen Detektion von Anomalien in Gefäßstrukturen |
EP1639546B1 (en) * | 2003-06-17 | 2011-05-04 | Brown University | Method and apparatus for model-based detection of structure in projection data |
EP1877980A2 (en) * | 2004-12-22 | 2008-01-16 | Bio-Tree Systems, Inc. | Medical imaging methods and apparatus for diagnosis and monitoring of diseases and uses therefor |
JP5536450B2 (ja) * | 2006-06-28 | 2014-07-02 | バイオ−ツリー システムズ, インコーポレイテッド | ビン方式微小血管密度法、およびその装置 |
JP4994737B2 (ja) * | 2006-07-27 | 2012-08-08 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置及び医療用画像処理方法 |
JP5280026B2 (ja) | 2007-09-14 | 2013-09-04 | 富士フイルム株式会社 | 画像処理装置および内視鏡システム |
US8428327B2 (en) * | 2008-05-08 | 2013-04-23 | Oslo Universitetssykehus Hf | Vessel segmentation in DCE MR imaging |
JP2010268961A (ja) | 2009-05-21 | 2010-12-02 | Hoya Corp | 医療用観察システム |
JP5389742B2 (ja) | 2009-09-30 | 2014-01-15 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
US8668636B2 (en) * | 2009-09-30 | 2014-03-11 | Fujifilm Corporation | Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information |
JP5541914B2 (ja) | 2009-12-28 | 2014-07-09 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法 |
JP5457247B2 (ja) * | 2010-03-26 | 2014-04-02 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
JP5460488B2 (ja) * | 2010-06-29 | 2014-04-02 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法 |
JP2012075702A (ja) * | 2010-10-01 | 2012-04-19 | Fujifilm Corp | 管状構造物内画像再構成装置、管状構造物内画像再構成方法および管状構造物内画像再構成プログラム |
JP5502812B2 (ja) * | 2011-07-14 | 2014-05-28 | 富士フイルム株式会社 | 生体情報取得システムおよび生体情報取得システムの作動方法 |
KR102043133B1 (ko) * | 2012-11-16 | 2019-11-12 | 삼성전자주식회사 | 컴퓨터 보조 진단 지원 장치 및 방법 |
JP6103959B2 (ja) | 2013-01-29 | 2017-03-29 | オリンパス株式会社 | 光源装置及び被検体観察装置並びに光源制御方法 |
JP6049518B2 (ja) | 2013-03-27 | 2016-12-21 | オリンパス株式会社 | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 |
JP6405138B2 (ja) * | 2014-07-15 | 2018-10-17 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US20170100029A1 (en) * | 2015-10-13 | 2017-04-13 | The University Of North Carolina At Chapel Hill | Compositions and Methods for Analyzing Collateral Density |
-
2016
- 2016-09-27 JP JP2017543448A patent/JP6513209B2/ja active Active
- 2016-09-27 WO PCT/JP2016/078514 patent/WO2017057392A1/ja active Application Filing
- 2016-09-27 EP EP16851563.3A patent/EP3357402B1/en active Active
-
2018
- 2018-03-27 US US15/936,466 patent/US10959606B2/en active Active
-
2019
- 2019-04-09 JP JP2019073900A patent/JP6768871B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011217798A (ja) * | 2010-04-05 | 2011-11-04 | Fujifilm Corp | 電子内視鏡システム |
JP2013116353A (ja) * | 2013-03-06 | 2013-06-13 | Fujifilm Corp | 画像処理装置および内視鏡システム |
JP2014230647A (ja) * | 2013-05-29 | 2014-12-11 | Hoya株式会社 | 表示装置、表示方法および表示プログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3357402A4 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018061434A1 (ja) * | 2016-09-30 | 2018-04-05 | 富士フイルム株式会社 | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 |
JP2018051128A (ja) * | 2016-09-30 | 2018-04-05 | 富士フイルム株式会社 | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 |
JPWO2019093355A1 (ja) * | 2017-11-13 | 2020-11-19 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
US11523733B2 (en) | 2017-11-13 | 2022-12-13 | Fujifilm Corporation | Endoscope system and method of operating the same |
WO2019130072A3 (en) * | 2017-12-28 | 2019-10-10 | Ethicon Llc | Use of laser light and red-green-blue coloration to determine properties of back scattered light |
CN111542893A (zh) * | 2017-12-28 | 2020-08-14 | 爱惜康有限责任公司 | 使用激光和红绿蓝着色确定背散射光的特性 |
CN111989025A (zh) * | 2018-03-30 | 2020-11-24 | 奥林巴斯株式会社 | 诊断辅助装置、诊断辅助方法和诊断辅助程序 |
WO2019208011A1 (ja) * | 2018-04-24 | 2019-10-31 | オリンパス株式会社 | 内視鏡システム |
JPWO2019208011A1 (ja) * | 2018-04-24 | 2021-02-25 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムの制御方法 |
JP7105300B2 (ja) | 2018-04-24 | 2022-07-22 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
US11915413B2 (en) | 2018-04-24 | 2024-02-27 | Olympus Corporation | Endoscope system and method of controlling endoscope system |
Also Published As
Publication number | Publication date |
---|---|
JP6513209B2 (ja) | 2019-05-15 |
JPWO2017057392A1 (ja) | 2018-07-12 |
JP6768871B2 (ja) | 2020-10-14 |
US10959606B2 (en) | 2021-03-30 |
EP3357402A4 (en) | 2018-10-03 |
EP3357402A1 (en) | 2018-08-08 |
JP2019111410A (ja) | 2019-07-11 |
EP3357402B1 (en) | 2020-06-17 |
US20180214009A1 (en) | 2018-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6513209B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP6577088B2 (ja) | 内視鏡システム | |
WO2017057574A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
US10426318B2 (en) | Image processing apparatus, endoscope system, and image processing method | |
JP6234350B2 (ja) | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 | |
JP6522539B2 (ja) | 内視鏡システム及びその作動方法 | |
JP6469558B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP6538634B2 (ja) | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 | |
US20180218499A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
JP6823072B2 (ja) | プロセッサ装置及び内視鏡システム | |
WO2017057414A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP6196598B2 (ja) | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 | |
JP6461760B2 (ja) | 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム | |
WO2019065111A1 (ja) | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 | |
US20190246874A1 (en) | Processor device, endoscope system, and method of operating processor device | |
WO2016121811A1 (ja) | 画像処理装置及び画像処理方法、並びに内視鏡システム | |
JP6153913B2 (ja) | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 | |
JP6153912B2 (ja) | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16851563 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017543448 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2016851563 Country of ref document: EP |