WO2021059889A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2021059889A1
WO2021059889A1 PCT/JP2020/033030 JP2020033030W WO2021059889A1 WO 2021059889 A1 WO2021059889 A1 WO 2021059889A1 JP 2020033030 W JP2020033030 W JP 2020033030W WO 2021059889 A1 WO2021059889 A1 WO 2021059889A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blood vessel
light
shallow
deep
Prior art date
Application number
PCT/JP2020/033030
Other languages
English (en)
French (fr)
Inventor
貴雄 牧野
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to JP2021548728A priority Critical patent/JP7200393B2/ja
Priority to US17/436,742 priority patent/US20220192470A1/en
Priority to DE112020004617.6T priority patent/DE112020004617T5/de
Priority to CN202080018450.7A priority patent/CN113556968B/zh
Publication of WO2021059889A1 publication Critical patent/WO2021059889A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an endoscopic system that evaluates the severity of lesions in living tissue using images of living tissue in the body cavity.
  • ulcerative colitis ulcerative colitis
  • the endoscopic system provides an evaluation result in which the degree of lesion in the lesion is objectively quantified.
  • an endoscopy system that can suppress fluctuations in the evaluation value of the inflamed area due to the brightness of the image, perform stable evaluation value calculation, and reduce the processing load of the evaluation value calculation is known. (Patent Document 1).
  • a light source device that irradiates the subject with illumination light and an image acquisition unit that captures the reflected light from the subject with an image pickup device and acquires a color image containing at least three or more color components.
  • an evaluation unit has pixel correspondence points in the color plane of each pixel constituting the color image acquired by the image acquisition unit in the color plane defined by at least two color components out of at least three or more color components.
  • the evaluation result regarding the target disease of each pixel is obtained based on the angle formed by the line segment connecting the image and the predetermined reference point set in the color plane and the reference axis having a correlation with the target disease.
  • the reference axis is set so as to pass through a predetermined reference point.
  • the reference axis is at least one of an axis having a correlation with a target disease having an inflammation degree of a predetermined value or less and an axis having a correlation with a target disease having an inflammation degree of a predetermined value or more in the color plane. According to such a configuration, it is possible to suppress the fluctuation of the evaluation value due to the brightness of the image, perform stable calculation of the evaluation value, and suppress the processing load of the calculation of the evaluation value.
  • the evaluation value required by the above endoscopic system is the evaluation value of the entire living tissue including the blood vessel image.
  • the blood vessel image that appears as a subject may change depending on the degree of progression of the lesion. For example, as the lesion progresses, the number of blood vessels visible on the surface of living tissue decreases, and many blood vessels may concentrate inside.
  • the above-mentioned evaluation value for evaluating the entire image does not sufficiently correspond to the subjective evaluation result or the histological evaluation result by the doctor.
  • the endoscopic system cannot evaluate the severity of a lesion by distinguishing a blood vessel image appearing as a subject from an image of a living tissue other than the blood vessel and calculating the feature amount of the blood vessel.
  • the characteristic amount of the blood vessel is calculated by distinguishing the blood vessel image appearing in the image of the subject from the image of the living tissue other than the blood vessel. It is an object of the present invention to provide an endoscopic system capable of accurately evaluating the severity of a lesion.
  • the endoscope system is A light source device configured to emit illumination light, An electronic endoscope configured to image a living tissue including blood vessels in a body cavity illuminated by the illumination light, and an electronic endoscope.
  • a processor including an image processing unit configured to calculate the severity of a lesion in a lesion portion of the living tissue from an image of the living tissue obtained by the electronic endoscope using the information of the image. It comprises a monitor configured to display the severity information.
  • the light source device is configured to emit at least the first light and the second light having a wavelength band on the shorter wavelength side than the wavelength band of the first light as the illumination light.
  • the image processing unit is Using the features of the blood vessel portion that are identifiable with respect to the non-vascular portion, a first blood vessel detection image including an enhanced blood vessel image is generated from the first captured image obtained by the illumination of the first light, and further.
  • a detection unit configured to generate a second blood vessel detection image including an emphasized blood vessel image from the second captured image obtained by the illumination of the second light. From the first blood vessel detection image and the second blood vessel detection image, the blood vessel image in the first blood vessel detection image and the second blood vessel detection image is used as a blood vessel image having a different depth position from the surface of the biological tissue.
  • a separation part configured to separate and take out a shallow blood vessel image and a deep blood vessel image
  • a feature amount calculation unit configured to calculate a shallow blood vessel feature amount related to the shallow blood vessel image and a deep blood vessel feature amount related to the deep blood vessel image.
  • An evaluation unit configured to calculate the severity of a lesion in a living tissue by using at least the shallow blood vessel feature amount and the deep blood vessel feature amount. To be equipped.
  • the separation unit detects the region of the blood vessel image in the second blood vessel detection image as the region of the shallow blood vessel image, and the detected region of the shallow blood vessel image is the region of the blood vessel image in the first blood vessel detection image. It is preferable that the shallow blood vessel image and the deep blood vessel image are detected by detecting the region of the deep blood vessel image by removing from the blood vessel image.
  • the separation unit is equal to or higher than a preset first threshold value for each pixel value of the average image whose pixel value is the average value of the pixel values of the corresponding pixels of the first captured image and the second captured image.
  • the region of the shallow blood vessel image is detected depending on whether or not it is, and the region of the shallow blood vessel image is detected depending on whether or not it is equal to or more than a second threshold value set in advance for each pixel value of the first captured image.
  • the mixed region including the deep blood vessel image region is detected, and the deep blood vessel image region is detected by removing the detected shallow blood vessel image region from the detected mixed region. Is preferable.
  • the separation unit obtains the pixel value of the corresponding region of the second captured image corresponding to the region of the shallow blood vessel image as the pixel value of the shallow blood vessel image, and the first imaging corresponding to the region of the deep blood vessel image. It is configured to obtain the pixel value of the corresponding region of the image as the pixel value of the deep blood vessel image.
  • the feature amount calculation unit is configured to calculate the shallow blood vessel feature amount and the deep blood vessel feature amount by using the obtained pixel value of the shallow blood vessel image and the pixel value of the deep blood vessel image. Is preferable.
  • the endoscope system is A light source device configured to emit illumination light, An electronic endoscope that images living tissue including blood vessels in the body cavity illuminated by the illumination light, and A processor including an image processing unit configured to calculate the severity of a lesion in a lesion portion of the living tissue from an image of the living tissue obtained by the electronic endoscope using the information of the image. It comprises a monitor configured to display the severity information.
  • the light source device is configured to emit at least the first light and the second light having a wavelength band on the shorter wavelength side than the wavelength band of the first light as the illumination light.
  • the image processing unit is From the first captured image obtained by the illumination of the first light and the second captured image obtained by the illumination of the second light, a shallow blood vessel image and a deep blood vessel image having different depth positions from the surface of the biological tissue Among them, a separation portion configured to separate and take out the first image portion including the shallow blood vessel image as a part image and the second image portion including the deep blood vessel image as a part image. It was configured to generate the shallow blood vessel image and the deep blood vessel image from the first image portion and the second image portion by using the characteristics of the blood vessel portion that can be identified with respect to the non-vascular portion.
  • a feature amount calculation unit configured to calculate a value of a shallow blood vessel feature amount related to the shallow blood vessel image and a value of a deep blood vessel feature amount related to the deep blood vessel image.
  • An evaluation unit configured to calculate the severity of a lesion in a living tissue by using at least the value of the shallow blood vessel feature and the value of the deep blood vessel feature. To be equipped.
  • the separation unit is equal to or higher than a preset first threshold value for each pixel value of the average image whose pixel value is the average value of the pixel values of the corresponding pixels of the first captured image and the second captured image.
  • the first image portion is created depending on whether or not the image is, and the shallow blood vessel image and the deep image are determined by whether or not the first image portion is equal to or higher than a preset second threshold value for each pixel value of the first captured image.
  • the second image portion is created by detecting a mixed image including a blood vessel image as a part of the image and removing the created first image portion from the detected mixed image. Is preferable.
  • the detection unit is configured to detect a blood vessel image emphasized by template matching using the characteristic shape of the blood vessel in which the blood vessel extends linearly.
  • the evaluation unit is configured to calculate the severity by adding or subtracting a value obtained by multiplying the value of the shallow blood vessel feature amount by a coefficient and a value obtained by multiplying the value of the deep blood vessel feature amount by a coefficient. It is preferable that it is.
  • the evaluation unit includes information on the evaluation of each of a plurality of reference images whose severity is determined in advance, the shallow vascular feature amount calculated from the reference image using the image processing unit, and the above.
  • the deep vascular features as machine learning data
  • a prediction model in which the correspondence between the shallow vascular features and the deep vascular features and the evaluation of the severity of the lesion of the living tissue was machine-learned was used. It is preferable that the severity is predicted and evaluated from the value of the shallow vascular feature in the living tissue and the value of the deep vascular feature calculated by the feature calculation unit. ..
  • the light source device is configured to emit one light containing each of the first light and the second light as an optical component as the illumination light. It is preferable that the electronic endoscope is configured to separate a subject image of a living tissue into the first captured image and the second captured image by using an optical filter.
  • the first light includes the first absorption peak wavelength of the plurality of absorption peak wavelengths of hemoglobin in the wavelength band. It is preferable that the second light includes the second absorption peak wavelength on the shorter wavelength side than the first absorption peak wavelength among the plurality of absorption peaks in the wavelength band.
  • the wavelength band of at least one of the first light and the second light does not include any absorption peak wavelength of the plurality of absorption peak wavelengths of hemoglobin.
  • the second light wavelength band preferably includes a wavelength having a hemoglobin absorption coefficient larger than the maximum value of the hemoglobin absorption coefficient in the first light wavelength band.
  • the light source device is configured to emit a third light having a wavelength band on the longer wavelength side than the wavelength band of the first light.
  • the severity of a lesion can be accurately evaluated by distinguishing the blood vessel image appearing in the subject image from the image of living tissue other than the blood vessel image and calculating the feature amount of the blood vessel. Can be done.
  • FIG. 1 It is a block diagram which shows an example of the structure of the endoscope system of one Embodiment. It is a figure explaining a part example of the structure of the image processing part included in the endoscope system of one Embodiment. It is a figure explaining an example of the flow of the detection of a blood vessel image, and the separation of a deep blood vessel image and a shallow blood vessel image performed by the image processing unit included in the endoscope system of one embodiment. It is a figure which shows an example of the detection method of the blood vessel image performed by the image processing unit provided in the endoscope system of one Embodiment. It is a figure which shows an example of the filter coefficient of the spatial filter used by the image processing unit provided in the endoscope system of one Embodiment. (A) to (c) are diagrams illustrating an example of separation of blood vessel images performed by the endoscopic system of one embodiment.
  • the living tissue changes variously depending on the progression of the lesion in the living tissue.
  • the feature amount of the lesion part is calculated using the pixel value of the image taken by using the white light as the illumination light, and the severity of the lesion part is evaluated.
  • the blood vessel image is also used integrally with the image of the lesion portion other than the blood vessel image of the biological tissue for the evaluation of the severity.
  • evaluation results may not sufficiently correspond to the evaluation results by doctors or histological evaluation results. Therefore, the endoscopic system of one embodiment detects a blood vessel image and evaluates the severity of the lesion using the blood vessel image.
  • the blood vessels to be imaged also differ depending on the wavelength band of the illumination light.
  • illumination light having a short wavelength band blood vessels near the surface of living tissue are imaged
  • illumination light having a long wavelength band blood vessels near the surface of living tissue and near the surface are to some extent compared to those near the surface. Blood vessels in deep positions are imaged. Therefore, the illumination light is divided into a long-wavelength band illumination light and a short-wavelength band illumination light, or an illumination light containing a long-wavelength band optical component and a long-wavelength band optical component is used to make a living tissue.
  • the first captured image of the biological tissue illuminated by the illumination light in the long wavelength band or the first captured image of the biological tissue in the wavelength band corresponding to the optical component in the long wavelength band is acquired, and a second captured image of a living tissue illuminated with illumination light in a short wavelength band or a second captured image of a living tissue in a wavelength band corresponding to an optical component in the short wavelength band is acquired.
  • the light source device that emits the illumination light emits the first light and the second light having a wavelength band on the shorter wavelength side than the wavelength band of the first light.
  • the wavelength band of the illumination light or the wavelength band of the optical component of the illumination light is the light absorption peak of the hemoglobin. It is preferable to include a wavelength. Therefore, in this case, as the illumination light, the first light having the first absorption peak wavelength of the plurality of absorption peak wavelengths of hemoglobin in the wavelength band, and the wavelength shorter than the first peak wavelength of the plurality of absorption peaks of hemoglobin. A second light having a second absorption peak wavelength on the side in the wavelength band is used.
  • the wavelength band of the first light does not include the second absorption peak wavelength
  • the wavelength band of the second light does not include the first absorption peak wavelength.
  • the endoscope system can obtain a first captured image and a second captured image by using each of the first light and the second light as illumination light. Further, in the endoscopic system, a subject image of a living tissue obtained by illuminating each of the first light and the second light with illumination light having each of the light components as an optical component is separated by using an optical filter, and the second light is used. One captured image and the second captured image can be obtained.
  • the wavelength band of at least one of the first light and the second light does not include any of the multiple absorption peak wavelengths of hemoglobin.
  • the wavelength band of the second light has a hemoglobin absorption coefficient larger than the maximum value of the hemoglobin absorption coefficient in the wavelength band of the first light. Including wavelength.
  • the endoscopy system produces a first blood vessel detection image, including an emphasized blood vessel image, from two first and second captured images, using features that are identifiable for the non-vascular portion of the blood vessel portion. It is generated, and further, a second blood vessel detection image including an enhanced blood vessel image is generated from the second captured image. Further, the endoscopic system obtains the blood vessel image in the first blood vessel detection image and the blood vessel image in the second blood vessel detection image from the first blood vessel detection image and the second blood vessel detection image at a depth from the surface of the living tissue. The blood vessel images at different positions are separated into a shallow blood vessel image and a deep blood vessel image.
  • the endoscopic system calculates the shallow vascular features for the separated shallow vascular image and the deep vascular features for the deep vascular image, and uses at least the shallow vascular features and the deep vascular features. Calculate the severity of lesions in living tissue.
  • the blood vessel image is separated into a shallow blood vessel image and a deep blood vessel image.
  • the shallow blood vessel image and the deep blood vessel image are detected by detecting the emphasized blood vessel image from the separated image part. You can also get.
  • the endoscopic system uses the first light and the second light having different wavelength bands to produce a shallow blood vessel image and a deep blood vessel image as a blood vessel image having a different depth position from the surface of the living tissue. Since the superficial vascular features and deep vascular features calculated from these vascular images are used to calculate the severity of lesions in living tissues, evaluation is performed using only white illumination light as in the past. It is possible to evaluate the severity of the lesion in the lesion area more accurately than in the case of. The severity evaluated in this way corresponds well with the subjective evaluation result by a doctor (for example, MAYO endoscopic subscore) or the histological evaluation result.
  • FIG. 1 is a block diagram showing an example of the configuration of the endoscope system 1 according to the embodiment of the present invention.
  • the endoscope system 1 includes an electronic scope 100, an electronic endoscope processor 200, a monitor 300, and a printer 400.
  • the electronic endoscope processor 200 includes a system controller 202 and a timing controller 206.
  • the system controller 202 executes various programs stored in the memory 204 and controls the entire endoscope system 1 in an integrated manner. Further, the system controller 202 changes various settings of the endoscope system 1 according to an instruction by a user (operator or assistant) input to the operation panel 208.
  • the timing controller 206 outputs a clock pulse for adjusting the operation timing of each part to each circuit in the endoscope system 1.
  • the electronic endoscope processor 200 includes a light source unit (light source device) 230 that supplies illumination light to the electronic scope 100.
  • the light source unit 230 includes, for example, a high-intensity lamp that emits white illumination light by receiving drive power from a lamp power source, for example, a xenon lamp, a metal halide lamp, a mercury lamp, or a halogen lamp.
  • the illumination light emitted from the high-brightness lamp is emitted by alternately generating the first light and the second light having different wavelength bands by an optical filter (not shown), and is collected by a condensing lens (not shown).
  • the light source unit 230 is configured so as to be incident on the incident end of the LCB (Light Carrying Bundle) 102, which is a bundle of optical fibers of the electronic scope 100, via a dimming device (not shown).
  • the light source unit 230 includes a light emitting diode that emits first light and second light having different wavelength bands. The first light and the second light are alternately emitted from the light emitting diode, or the first light and the second light emitted from the light emitting diode are one illumination light using an optical element such as a dichroic mirror. It is synthesized as and ejected.
  • the light source unit 230 is configured so that the emitted first light and the second light are collected by a condenser lens (not shown) and then incident on the incident end of the LCB (Light Carrying Bundle) 102 of the electron scope 100. Will be done.
  • a laser diode may be used instead of the light emitting diode. Since the light emitting diode and the laser diode have features such as low power consumption and low heat generation amount as compared with other light sources, they have an advantage that a bright image can be acquired while suppressing power consumption and heat generation amount.
  • the light source unit 230 is built in the electronic endoscope processor 200, but is provided in the endoscope system 1 as a device separate from the electronic endoscope processor 200. May be done. Further, the light source unit 230 may be provided at the tip end portion of the electronic scope 100, which will be described later. In this case, the LCB 102 that guides the illumination light is unnecessary.
  • the illumination light incident on the LCB 102 from the incident end propagates in the LCB 102 and is emitted from the emission end of the LCB 102 arranged in the tip of the electron scope 100, and is irradiated to the subject through the light distribution lens 104.
  • the reflected light from the subject forms an optical image on the light receiving surface of the image sensor 108 via the objective lens 106.
  • the image sensor 108 is, for example, a single-plate color CCD (Charge-Coupled Device) image sensor in which various filters of an IR (InfraRed) cut filter 108a and a Bayer-arranged color filter 108b are arranged on a light receiving surface, and is on the light receiving surface. Each primary color signal of R (Red), G (Green), and B (Blue) corresponding to the optical image imaged in is generated.
  • a single-plate color CCD image sensor a single-plate color CMOS (Complementary Metal Oxide Semiconductor) image sensor can also be used. In this way, the electron scope 100 uses the image sensor 108 to image the biological tissue in the body cavity.
  • CCD Charge-Coupled Device
  • a driver signal processing circuit 112 is provided in the connection portion of the electronic scope 100.
  • the driver signal processing circuit 112 generates an image signal (luminance signal Y, color difference signal Cb, Cr) by performing predetermined signal processing such as color interpolation and matrix calculation on the primary color signal input from the image pickup element 108. Further, the driver signal processing circuit 112 outputs the generated image signal to the image processing unit 220 of the electronic endoscope processor 200. Further, the driver signal processing circuit 112 accesses the memory 114 and reads out the unique information of the electronic scope 100.
  • the unique information of the electronic scope 100 recorded in the memory 114 includes, for example, the number of pixels and sensitivity of the image sensor 108, the frame rate that can be operated, the model number, and the like.
  • the driver signal processing circuit 112 outputs the unique information read from the memory 114 to the system controller 202.
  • the system controller 202 in the electronic endoscope processor 200 performs various calculations based on the information stored in the memory 204 and the unique information sent from the electronic scope 100, and generates a control signal.
  • the system controller 202 uses the generated control signal to operate each circuit in the electronic endoscope processor 200 so that processing suitable for the electronic scope 100 connected to the electronic endoscope processor 200 is performed. And control the timing.
  • the timing controller 206 supplies clock pulses to the driver signal processing circuit 112, the image processing unit 220, and the light source unit 230 according to the timing control by the system controller 202.
  • the image pickup element 108 drives the image pickup element 108 at a timing synchronized with the frame rate of the image processed on the electronic endoscope processor 200 side according to the clock pulse supplied from the timing controller 206 via the driver signal processing circuit 112. Be controlled.
  • the image processing unit 220 Under the control of the system controller 202, the image processing unit 220 generates a video signal for displaying an endoscopic image or the like on a monitor based on the image signal input from the driver signal processing circuit 112, and outputs the video signal to the monitor 300. Further, the image processing unit 220 obtains the severity indicating the degree of the lesion of the living tissue numerically from the captured image of the living tissue obtained by the electron scope 100. In addition, the image processing unit 220 generates a blood vessel detection image or a captured image obtained when performing a numerical processing for determining the severity. The image processing unit 220 generates video signals for displaying the severity information and the blood vessel detection image or the captured image on the monitor, and outputs the video signal to the monitor 300. Thereby, the operator can obtain information on the severity of the lesion of the living tissue of interest through the image displayed on the display screen of the monitor 300. The image processing unit 220 outputs a color map image and severity information to the printer 400 as needed.
  • the electronic endoscope processor 200 is connected to the server 600 via a NIC (Network Interface Card) 210 and a network 500.
  • the electronic endoscopy processor 200 can download information related to endoscopy (for example, patient electronic medical record information and operator information) from the server 600.
  • the downloaded information is displayed, for example, on the display screen of the monitor 300 or the operation panel 208.
  • the electronic endoscope processor 200 uploads the endoscopic examination results (endoscopic image data, examination conditions, image analysis results, operator's findings, etc.) to the server 600 and saves them in the server 600. Can be done.
  • FIG. 2 is a diagram showing a partial example of the configuration of the image processing unit 220 included in the endoscope system 1 of the embodiment.
  • the component portion of the image processing unit 220 shown in FIG. 2 relates to a portion that is subjected to a numerical processing that numerically indicates the degree of the lesion in order to calculate the severity of the lesion in the living tissue.
  • the image processing unit 220 includes a processing main body unit that performs image processing for generating a video signal for displaying an endoscopic image or the like on a monitor and outputting the video signal to the monitor 300.
  • the image processing unit 220 includes at least a detection unit 220a, a separation unit 220b, a feature amount calculation unit 220c, and an evaluation unit 220d.
  • the detection unit 220a generates a first blood vessel detection image in which a blood vessel image is detected from a first captured image obtained by illumination of the first light by using a feature of the blood vessel portion that can be identified with respect to a non-blood vessel portion. .. Further, the detection unit 220a generates a second blood vessel detection image in which the blood vessel image is detected from the second captured image obtained by the illumination of the second light. The detection method by the detection unit 220a will be described later.
  • the separation unit 220b uses the blood vessel images in the first blood vessel detection image and the second blood vessel detection image as blood vessel images having different depth positions from the surface of the living tissue. Separately take out a shallow blood vessel image and a deep blood vessel image. The separation method by the separation unit 220b will be described later.
  • the feature amount calculation unit 220c calculates a shallow blood vessel feature amount related to a shallow blood vessel image and a deep blood vessel feature amount related to a deep blood vessel image.
  • the shallow blood vessel features and the deep blood vessel features will be described later.
  • the evaluation unit 220d calculates the severity of the lesion of the living tissue by using at least the superficial vascular feature and the deep vascular feature. The calculation of severity will be described later.
  • FIG. 3 is a diagram illustrating an example of a flow of detecting a blood vessel image and separating a deep blood vessel image and a shallow blood vessel image performed by the image processing unit 220.
  • the detection of the blood vessel image performed by the detection unit 220a is performed using the first captured image obtained by the illumination of the first light and the second captured image obtained by the illumination of the second light.
  • the second light has a wavelength band on the shorter wavelength side than the wavelength band of the first light.
  • the wavelength band of the first light includes, for example, the first absorption peak wavelength of the plurality of absorption peak wavelengths of hemoglobin in the wavelength band, and the wavelength band of the second light is, for example, more than the first peak wavelength.
  • the wavelength band includes the second absorption peak wavelength on the short wavelength side.
  • the first light and the second light are narrow band light.
  • hemoglobin has a large absorption peak at 400 to 450 nm (Soret absorption band of the porphyrin ring), and further has an absorption peak at 520 to 590 nm (Q band of the porphyrin ring). Therefore, the wavelength band of the first light includes a wavelength of 520 to 590 nm, and the wavelength band of the second light includes a wavelength of 400 to 450 nm.
  • the wavelength band of the first light does not include the wavelength of 400 to 450 nm
  • the wavelength band of the second light does not include the wavelength of 520 to 590 nm.
  • the first captured image IM 1 obtained by the illumination of the first light is a blood vessel image IM s in the vicinity of the surface of the living tissue and a blood vessel image in a portion deeper than the vicinity of the surface. Includes IM d.
  • the second captured image IM 2 obtained by the illumination of the second light includes only the blood vessel image IM s near the surface of the living tissue. From such a first captured image IM 1 and a second captured image IM 2 , the detection unit 220a detects the first blood vessel detection image IM 1 * and the second blood vessel detection image IM 2 * .
  • the wavelength band of the second light includes a wavelength having a hemoglobin absorption coefficient larger than the maximum value of the hemoglobin absorption coefficient in the wavelength band of the first light.
  • the wavelength band of the first light is, for example, 520 to 590 nm
  • the wavelength band of the second light is, for example, 4330 to 470 nm.
  • the wavelength band of at least one of the first light and the second light does not include any absorption peak wavelength of the plurality of absorption peak wavelengths of hemoglobin.
  • the wavelength band of the first light is, for example, 590 to 610 nm
  • the wavelength band of the second light is, for example, 450 to 470 nm.
  • neither the wavelength band of the first light nor the wavelength band of the second light includes the absorption peak wavelength. In this way, the first light and the second light can set various wavelength bands.
  • FIG. 4 is a diagram showing an example of a method for detecting a blood vessel image. Detection of the vascular image is performed using features that are identifiable for the non-vascular portion of the vascular portion.
  • the detection unit 220a obtains, for example, a degree of matching indicating the degree of correlation between the shape of a part of the inspection target area AR of the image of the living tissue and the linear shapes of the plurality of templates TP1 to TP4. Further, the detection unit 220a obtains the highest matching degree value among the matching degrees corresponding to each of the plurality of templates TP1 to TP4 as the certainty of the blood vessel region in the inspection target area AR.
  • the templates TP1 to TP4 are composed of pixels, and the templates TP1 to TP4 have a plurality of linear shapes in which the extending directions of the straight lines are different from each other.
  • each pixel has a pixel value according to each linear shape.
  • the pixel evaluation value of the image in the inspection target area AR corresponds to each of the templates TP1 to TP4.
  • the degree of correlation with the value of the pixel to be used is obtained.
  • the templates TP1 to TP4 include four linear shapes in which straight lines are extended in four different extending directions as shapes that characterize blood vessels.
  • the matching degree is a correlation coefficient between the pixel values of the templates TP1 to TP4 and the corresponding pixel evaluation values of the inspection target area AR. Further, according to one embodiment, the matching degree is obtained by multiplying each of the filter coefficients by the image evaluation value of the corresponding pixel of the inspection target area AR, using the value for each pixel of the templates TP1 to TP4 as the filter coefficient of the spatial filter. It may be the total value.
  • the highest matching degree which is the highest value among the matching degrees calculated for each of the templates TP1 to TP4, is given to the central pixel of the inspection target area AR as a value indicating the certainty of the blood vessel region.
  • FIG. 5 is a diagram showing an example of a filter coefficient when the template TP1 is used as a spatial filter.
  • the template TP1 has a shape in which a straight line extends in the vertical direction in the drawing.
  • the template TP1 constitutes a spatial filter of 5 ⁇ 5 pixels.
  • 1/5 is given as a filter coefficient to the pixel of the portion extending in a straight line
  • -1/20 is given as a filter coefficient to the other pixels.
  • the matching factor is calculated by multiplying each of the filter coefficients by the same image evaluation value of the corresponding pixel of the inspection target area AR, all the pixel evaluation values of the inspection target area AR are the same value. In that case, the matching degree becomes zero.
  • the degree of matching increases. It can be said that the larger the value of the matching degree, the more the image closer to the template TP1 is included. Therefore, the matching degree is calculated for each of the templates TP1 to TP4, and the highest matching degree having the highest value among the calculated matching degrees is given to the central pixel of the inspection target region AR as the certainty of the blood vessel region. That is, the value of the certainty of the blood vessel region is given to the central pixel of the inspection target area AR. In this way, the first blood vessel detection image IM 1 * and the second blood vessel detection image IM 2 * including the blood vessel image emphasized by the certainty value of the blood vessel region can be obtained.
  • the blood vessel image detection unit 220a uses the features of the blood vessel portion that can be identified with respect to the non-blood vessel portion, and the first captured image IM 1 and the first captured image IM 1 obtained by illumination of the first light and the second light. from the second captured image IM 2 to obtain a first blood vessel detected image IM 1 * and the second blood vessel detection image IM 2 *.
  • the blood vessel image detection unit 220a uses the first blood vessel detection image IM 1 * and the second blood vessel detection image IM 2 A mask image is created by giving 1 to a pixel value whose pixel value of * is equal to or greater than a predetermined threshold value and 0 to a pixel value of other regions.
  • the blood vessel image detection unit 220a calculates the product of each pixel value of the mask image and the corresponding pixels of the first captured image IM 1 and the second captured image IM 2 , so that the first blood vessel detection image IM 1 * And the pixel value of the blood vessel image in the second blood vessel detection image IM 2 * can be obtained.
  • template matching using the characteristic shape of the blood vessel is used, but the blood vessel detection is not limited to template matching using the characteristic shape of the blood vessel.
  • a blood vessel detection method using a bandpass filter or a line segment detection method based on vector concentration can also be used.
  • a blood vessel can be detected by applying a bandpass filter to a color component image in a green region to generate an edge image of the blood vessel.
  • the edge extraction method using a bandpass filter is a known technique.
  • Blood vessels can also be detected using vector concentration ratios as described in WO 2012/002012.
  • the blood vessel images emphasized in the first blood vessel detection image IM 1 * and the second blood vessel detection image IM 2 * generated by the detection unit 220a are the deep blood vessel image IM d * and the shallow blood vessel image IM s in the separation unit 220b. Separated into *.
  • FIG. 6A is diagrams illustrating an example of separation of blood vessel images performed by the endoscopic system of one embodiment.
  • the separation portion 220b is generated from the second image IM 2 in which shallow blood vessels near the surface of the living tissue are imaged, and the second blood vessel detection image IM 2 in which the blood vessel image is emphasized is generated.
  • the pixel value of * is equal to or higher than the predetermined threshold value TH2
  • the value 1 is given to this pixel
  • the value 0 is given to the other pixels.
  • the separation unit 220b obtains the region of the pixel value of the value 1 of the binarized image as the region of the shallow blood vessel image IM s * .
  • the first blood vessel detection image IM 1 generated from the first image captured image IM 1 in which shallow blood vessels near the surface of the living tissue and deep blood vessels located at a certain depth compared to the vicinity of the surface are imaged, and the blood vessel image is emphasized.
  • the pixel value of * is equal to or higher than the predetermined threshold TH1
  • a value 1 is given to this pixel
  • a value 0 is given to the other pixels.
  • the separation unit 220b removes the region of the shallow blood vessel image IM s * obtained earlier from the region of the pixel value of the value 1 of the binarized image, that is, the region of the blood vessel image, and removes the region of the deep blood vessel. Obtained as the area of the image IM d *.
  • the separation unit 220b has an average detection image in which the pixel value of the second blood vessel detection image IM 2 * and the pixel value of the first blood vessel detection image IM 1 * are the pixel values.
  • the pixel value of the second blood vessel detection image IM 2 * is an image generated from the second captured image IM 2 in which shallow blood vessels near the surface of the living tissue are imaged, and the blood vessel image is emphasized, and is a first blood vessel detection image.
  • IM 1 * is an image generated from the first captured image IM 1 in which shallow blood vessels near the surface of living tissue and deep blood vessels located at a certain depth compared to the vicinity of the surface are imaged, and the blood vessel image is emphasized.
  • the separation unit 220b determines whether or not each pixel value of the average detection image IM A * is equal to or higher than a preset threshold value TH4 (first threshold value), and sets a region of the pixel value of the threshold value TH4 or higher. , Detected as region IM s * of shallow blood vessel image. Further, the separation unit 220b has a shallow blood vessel image IM s * region and a deep blood vessel depending on whether or not it is equal to or higher than a preset threshold value TH3 (second threshold value) for each pixel value of the first captured image IM 1. A mixed region including the region of the image IM d * is detected, and the region of the shallow blood vessel image previously detected is removed from the detected mixed region.
  • a preset threshold value TH4 first threshold value
  • the separation unit 220b detects a region of the deep blood vessel image IM d *. That is, the separation unit 220b detects the remaining region obtained by removing the previously detected region of the shallow blood vessel image from the mixed region as the region of the deep blood vessel image IM d * .
  • the separation portion 220b is formed on the pixel value of the second image IM 2 in which the shallow blood vessels near the surface of the living tissue are imaged, and the shallow blood vessels near the surface of the living tissue and the vicinity of the surface.
  • An average image IM A is created in which the average value of the pixel values of the first captured image IM 1 in which a deep blood vessel located at a certain depth is taken as the pixel value.
  • Separation section 220b for each pixel value of the average image IM A, it is determined whether a predetermined threshold value TH6 (first threshold value) or more, the area of the threshold value TH6 or more pixel values, shallow creating a first image portion IM B containing blood vessel image as a part of an image. Moreover, the separation unit 220b determines for each pixel value of the average image IM A, (the threshold TH5, the value is lower than the threshold TH6) threshold TH5, which is set in advance to or greater than.
  • TH6 first threshold value
  • the separation unit 220b detects a mixed image including a shallow blood vessel image and a deep blood vessel image as a part of a region having a pixel value equal to or higher than the threshold TH5 (second threshold), and creates the mixed image first from the detected mixed image.
  • a deep blood vessel image is obtained. creating a second image portion IM C containing as an image parts.
  • the first image portion IM B and the second image portion IM C thus created have a shallow blood vessel image IM s * and a shallow blood vessel image IM s * in the detection unit 220a by using a feature that can be identified with respect to the non-blood vessel portion of the blood vessel portion. It is used to generate a deep blood vessel image IM d *. That is, the example shown in FIG. 6C is a method in which a shallow blood vessel image and a deep blood vessel image are separated, and then the blood vessel image is emphasized by using a feature that can be distinguished from the non-blood vessel portion of the blood vessel portion. Used. In the case of the example shown in FIG.
  • the separation unit 220b of the image processing unit 220 includes a shallow blood vessel image IM s * as a part of the first captured image IM 1 and the second captured image IM 2.
  • the first image portion IM B and the second image portion IM C including the deep blood vessel image IM d * as a part of the image are separated. Since the first image part IM B and the second image part IM C include an image of a non-blood vessel part in addition to a shallow blood vessel image and a deep blood vessel image, they can be identified with respect to the non-blood vessel part of the blood vessel part.
  • the vascular image is detected by removing the image of the non-vascular part using possible features. That is, the detection unit 220a detects a shallow blood vessel image IM s * and a deep blood vessel image IM d * from the first image portion IM B and the second image portion IM C by using the characteristics of blood vessels.
  • the first blood vessel detection image IM 1 * and the second blood vessel detection image IM 2 * including the blood vessel image emphasized by using the characteristics of the blood vessels are illuminated. Utilizing the fact that the blood vessel image to be imaged differs depending on the wavelength band of light (deep blood vessels are more difficult to be imaged on the short wavelength side than on the long wavelength side). Thereby, the emphasized blood vessel image in the first blood vessel detection image IM 1 * and the second blood vessel detection image IM 2 * is separated into a shallow blood vessel image IM s * region and a deep blood vessel image IM d * region. Can be done. Further, in the separation shown in FIG.
  • second image IM 2 shallow near the surface of the living tissue vessels have been captured, and somewhat deeper than the shallow vessel and near the surface of the surface vicinity of the body tissue
  • the shallow blood vessel image IM s in which the blood vessel image is finally emphasized is used. * area and the blood vessel image can be separated into enhanced deep vessel image IM d * of the regions.
  • the feature amount calculation unit 220c calculates the shallow blood vessel feature amount for the shallow blood vessel image IM s * and the deep blood vessel feature amount for the deep blood vessel image IM d * .
  • the shallow blood vessel feature amount is the total value of the pixel values of the second captured image IM 2 or a representative value of the pixel values in the region of the shallow blood vessel image IM s *
  • the deep blood vessel feature amount is, for example, a deep blood vessel. It is the total value or the representative value of the pixel values of the first captured image IM 1 in the region of the image IM d *. Representative values include mean and median values.
  • the shallow blood vessel feature amount and the deep blood vessel feature amount may be the sum of the number of pixels in the shallow blood vessel image IM s * region and the deep blood vessel image IM d * region.
  • the separation part 220b is the corresponding region of the second captured image IM 2 corresponding to the region of the shallow blood vessel image IM s *.
  • the pixel value is obtained as the pixel value of the shallow blood vessel image IM s * .
  • the collection calculation unit 220c calculates the shallow blood vessel feature amount and the deep blood vessel feature amount using the obtained pixel value of the shallow blood vessel image IM s * and the pixel value of the deep blood vessel image IM d *. Thereby, the severity can be evaluated by using the shallow blood vessel feature amount and the deep blood vessel feature amount in consideration of the pixel value.
  • the calculation of the severity performed by the evaluation unit 220d is not particularly limited as long as it is calculated using at least the shallow blood vessel feature amount and the deep blood vessel feature amount.
  • the severity value may be, for example, a value obtained by adding or subtracting a value obtained by multiplying the shallow blood vessel feature amount by a predetermined coefficient and a value obtained by multiplying the deep blood vessel feature amount by a predetermined coefficient.
  • reference images of a plurality of biological tissues whose severity is known by a doctor or the like are prepared in advance, and information on shallow blood vessel features and deep blood vessel features obtained from these reference images, and evaluation information.
  • the above coefficient may be calculated and obtained in advance by regression analysis using and.
  • the evaluation unit 220d uses a set of values of the shallow blood vessel feature amount and the deep blood vessel feature amount obtained from the reference image as a sample.
  • the cluster is analyzed and divided into multiple clusters, and the level that best matches the multiple samples in this cluster is assigned in advance.
  • the evaluation unit 220d may determine which cluster the calculated values of the shallow blood vessel feature amount and the deep blood vessel feature amount belong to, and evaluate the severity as one of a plurality of levels.
  • the severity may be evaluated by including the feature amount that quantifies the feature appearing as a lesion of a living tissue.
  • the feature amount that quantifies the degree of red component that appears due to inflammation of living tissue in the captured image using white light as illumination light is used as the shallow blood vessel feature amount and deep blood vessel feature amount. Severity may be evaluated using both the feature amount.
  • the evaluation unit 220d calculates the evaluation information of each of the plurality of reference images for which the evaluation regarding the severity prepared in advance is determined, and the image processing unit 220 from the reference images.
  • the superficial vascular features and deep vascular features as machine learning data, we used a prediction model that machine-learned the correspondence between the superficial vascular features and deep vascular features and the evaluation of the severity of lesions in living tissues. You may.
  • the evaluation unit 220d may predict and evaluate the severity from the value of the shallow blood vessel feature amount in the living tissue and the value of the deep blood vessel feature amount calculated by the feature amount calculation unit 220c.
  • machine learning of the prediction model for example, deep learning by a neural network is used.
  • a random forest using a tree structure can be used.
  • a known model such as a convolutional neural network or a stagged autoencoder can be used. By using the prediction model machine-learned in this way, it is possible to evaluate the severity with high accuracy.
  • the separation portion 220b of the image processing unit 220 includes a first image portion including a shallow blood vessel image IM s * having a different depth position from the surface of the living tissue as a part image, and a deep blood vessel image IM d *. Is separated into a second image portion including a part of the image.
  • the detection unit 220a generates a shallow blood vessel image IM s * and a deep blood vessel image IM d * from the first image portion and the second image portion by using template matching using the characteristic shape of the blood vessel.
  • the detection unit 220a detects and emphasizes the blood vessel image by template matching using the characteristic shape of the blood vessel in which the blood vessel extends linearly. Since the shape of the blood vessel can be approximated as a straight line shape extending in one direction, as shown in FIG. 4, templates having different directions of extending the line can be prepared. Therefore, the blood vessel image can be accurately detected and emphasized.
  • the light source device 230 uses the first light and the second light as the illumination light, but may emit three or more lights as the illumination light.
  • the third light which is the third light, has a wavelength band on the longer wavelength side than the wavelength band of the first light.
  • the wavelength band of the first light is, for example, 520 nm to 590 nm or 590 nm to 610 nm
  • the wavelength band of the second light is, for example, 430 nm to 470 nm or 450 nm to 470 nm
  • the wavelength band of the third light is For example, it is 620 to 650 nm.
  • the third captured image obtained by the third light contains a deeper blood vessel image than the first captured image obtained by the first light, blood vessels at three different positions in the depth direction are included. It becomes possible to distinguish and separate the blood vessel images of. In this way, by using three or more lights having different wavelength bands as illumination light, it is possible to distinguish and separate blood vessel images of blood vessels at different positions having three or more depths.
  • the endoscope system of the present invention has been described in detail above, the endoscope system of the present invention is not limited to the above-described embodiment, and various improvements and changes have been made without departing from the gist of the present invention. Of course, it is also good.
  • Electroscope 102 LCB 104
  • Light distribution lens 106
  • Objective lens 108
  • Image sensor 108a
  • IR cut filter 108b
  • Color filter 112
  • Driver signal processing circuit 114
  • Memory 200
  • Electronic endoscope processor 202
  • System controller 204
  • Memory 206
  • Timing controller 208
  • Operation panel 210
  • NIC 220 Image processing unit 220a
  • Detection unit 220b Separation unit 220c Feature calculation unit 220d Evaluation unit
  • Memory 230

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

病変部における病変の程度を精度よく評価する内視鏡システムの光源装置は、ヘモグロビンの複数の吸収ピーク波長を含む長波波長の第１の光と短波長の第２の光を、照明光として射出する。プロセッサ内の画像処理ユニットは、血管の特徴形状を用いたテンプレートマッチングを用いて、前記第１の光の照明によって得られる第１撮像画像から血管像を強調して含む第１血管検出画像を生成し、前記第２の光の照明によって得られる第２撮像画像から血管像を強調して含む第２血管検出画像を生成する検出部と、前記第１血管検出画像及び前記第２血管検出画像から、浅い血管像と深い血管像に分離する分離部と、前記浅い血管像に関する浅部血管特徴量と、前記深い血管像に関する深部血管特徴量とを算出する特徴量算出部と、前記浅部血管特徴量と前記深部血管特徴量を用いて、生体組織の病変の重症度を算出する評価部と、を備える。

Description

内視鏡システム
　本発明は、体腔内の生体組織の画像を用いて生体組織の病変の重症度を評価する内視鏡システムに関する。
　生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎（ＵＣ）の病変の潰瘍部位では、白苔や膿様粘液を含み白色になり、また、炎症部位では、浮腫や易出血性を含んで赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。
　しかし、術者が内視鏡の画像内に含まれる色の相違によって正常部と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の程度を客観的に数値化した評価結果を提供することが好ましい。
　これに対して、画像の明るさによる炎症部位の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている（特許文献１）。
国際公開第２０１７／０５７６８０号
　上述の内視鏡システムでは、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により撮像し、少なくとも３つ以上の色成分を含むカラー画像を取得する画像取得部と、評価部と、を備える。評価部は、少なくとも３つ以上の色成分のうちの少なくとも２つの色成分によって定義される色平面内において、画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点と色平面内に設定された所定の基準点とを結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める。基準軸は、所定の基準点を通るように設定される。基準軸は、色平面内において炎症度が所定値以下の対象疾患と相関を有する軸及び炎症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方である。
　このような構成によれば、画像の明るさによる評価値の変動を抑えて、安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることができる。
　しかし、上記内視鏡システムが求める評価値は、血管像を含んだ生体組織全体の評価値である。病変の種類によっては、病変の進行の程度に応じて被写体として現れる血管像が変化する場合がある。例えば、病変の進行に応じて、生体組織の表面に見える血管が少なくなり、内部に多くの血管が集中する場合がある。しかし、このような場合、画像全体を評価する上記評価値は、医師による主観評価結果あるいは組織学的な評価結果と十分に対応しない。上記内視鏡システムは、被写体として現れる血管像を血管以外の生体組織の像と区別して血管の特徴量を算出して、病変の重症度を評価することはできない。
　そこで、本発明は、体腔内の生体組織の画像を用いて病変の重症度を評価する際、被写体の像に現れる血管像を血管以外の生体組織の像と区別して血管の特徴量を算出することにより、病変部の重症度を精度よく評価することができる内視鏡システムを提供することを目的とする。
　本発明の一態様は、内視鏡システムである。当該内視鏡システムは、
　照明光を射出するように構成された光源装置と、
　前記照明光で照明された体腔内の血管を含む生体組織を撮像するように構成された電子内視鏡と、
　前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
　前記重症度の情報を表示するように構成されたモニタと、を備える。
　前記光源装置は、第１の光、及び前記第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を、少なくとも前記照明光として射出するように構成される。
　前記画像処理ユニットは、
　血管部分の、非血管部分に対して識別可能な特徴を用いて、前記第１の光の照明によって得られる第１撮像画像から、強調した血管像を含む第１血管検出画像を生成し、さらに、前記第２の光の照明によって得られる第２撮像画像から、強調した血管像を含む第２血管検出画像を生成するように構成された検出部と、
　前記第１血管検出画像及び前記第２血管検出画像から、前記第１血管検出画像像及び前記第２血管検出画像内の血管像を、前記生体組織の表面からの深さ位置が異なる血管像として浅い血管像と深い血管像とに分離して取り出すように構成された分離部と、
　前記浅い血管像に関する浅部血管特徴量と、前記深い血管像に関する深部血管特徴量とを算出するように構成された特徴量算出部と、
　前記浅部血管特徴量と前記深部血管特徴量を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
　を備える。
　前記分離部は、前記第２血管検出画像内の血管像の領域を前記浅い血管像の領域として検出し、検出した前記浅い血管像の領域を、前記第１血管検出画像内の血管像の領域から除去することにより前記深い血管像の領域を検出することにより、前記浅い血管像と、前記深い血管像を検出するように構成されている、ことが好ましい。
　前記分離部は、前記第１撮像画像と前記第２撮像画像の対応する画素の画素値同士の平均値を画素値とする平均画像の各画素値に対して、予め設定された第１閾値以上であるか否かによって、前記浅い血管像の領域を検出し、前記第１撮像画像の各画素値に対して予め設定された第２閾値以上であるか否かによって、前記浅い血管像の領域及び前記深い血管像の領域を含む混合領域を検出し、検出した前記混合領域から、検出した前記浅い血管像の領域を除去することにより、前記深い血管像の領域を検出するように構成されている、ことが好ましい。
　前記分離部は、前記浅い血管像の領域に対応する前記第２撮像画像の対応領域の画素値を、前記浅い血管像の画素値として求め、前記深い血管像の領域に対応する前記第１撮像画像の対応領域の画素値を、前記深い血管像の画素値として求めるように構成され、
　前記特徴量算出部は、求めた前記浅い血管像の画素値および前記深い血管像の画素値を用いて、前記浅部血管特徴量及び前記深部血管特徴量を算出するように構成されている、ことが好ましい。
　本発明の一態様も、内視鏡システムである。当該内視鏡システムは、
　照明光を射出するように構成された光源装置と、
　前記照明光で照明された体腔内の血管を含む生体組織を撮像する電子内視鏡と、
　前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
　前記重症度の情報を表示するように構成されたモニタと、を備える。
　前記光源装置は、第１の光、及び前記第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を、少なくとも前記照明光として射出するように構成される。
　前記画像処理ユニットは、
　前記第１の光の照明によって得られる第１撮像画像及び前記第２の光の照明によって得られる第２撮像画像から前記生体組織の表面からの深さ位置が異なる浅い血管像と深い血管像のうち、前記浅い血管像を一部の像として含む第１画像部分と、前記深い血管像を一部の像として含む第２画像部分とを分離して取り出すように構成された分離部と、
　前記第１画像部分及び前記第２画像部分から、血管部分の、非血管部分に対して識別可能な特徴を用いて、前記浅い血管像と、前記深い血管像とを生成するように構成された検出部と、
　前記浅い血管像に関する浅部血管特徴量の値と、前記深い血管像に関する深部血管特徴量の値とを算出するように構成された特徴量算出部と、
　前記浅部血管特徴量の値と前記深部血管特徴量の値を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
　を備える。
　前記分離部は、前記第１撮像画像と前記第２撮像画像の対応する画素の画素値同士の平均値を画素値とする平均画像の各画素値に対して、予め設定された第１閾値以上であるか否かによって、前記第１画像部分を作成し、前記第１撮像画像の各画素値に対して予め設定された第２閾値以上であるか否かによって、前記浅い血管像及び前記深い血管像を一部の像として含む混合画像を検出し、検出した前記混合画像から、作成した前記第１画像部分を除去することにより、前記第２画像部分を作成するように構成されている、ことが好ましい。
　前記検出部は、血管が直線状に延びる血管の特徴形状を用いたテンプレートマッチングにより強調した血管像を検出するように構成されている、ことが好ましい。
　前記評価部は、前記浅部血管特徴量の値に係数をかけた値と、前記深部血管特徴量の値に係数をかけた値とを加減算することにより、前記重症度を算出するように構成されている、ことが好ましい。
　前記評価部は、予め用意した重症度に関する評価が定まっている複数の参照画像のそれぞれの前記評価の情報と、前記参照画像から前記画像処理ユニットを用いて算出した前記浅部血管特徴量及び前記深部血管特徴量とを機械学習データとして、前記浅部血管特徴量及び前記深部血管特徴量と、前記生体組織の病変の重症度に関する前記評価との対応関係を機械学習した予測モデルを用いて、前記特徴量算出部で算出した、前記生体組織における前記浅部血管特徴量の値と、前記深部血管特徴量の値とから、前記重症度に関して予測評価するように構成されている、ことが好ましい。
　前記光源装置は、前記第１の光及び前記第２の光のそれぞれを光成分として含む１つの光を前記照明光として射出するように構成され、
　前記電子内視鏡は、生体組織の被写体像を、光フィルタを用いて前記第１撮像画像及び前記第２撮像画像に分離するように構成されている、ことが好ましい。
　前記第１の光は、ヘモグロビンの複数の吸収ピーク波長のうち第１吸収ピーク波長を波長帯域に含み、
　前記第２の光は、前記複数の吸収ピークのうち前記第１吸収ピーク波長よりも短波長側の第２吸収ピーク波長を波長帯域に含む、ことが好ましい。
　前記第１の光及び前記第２の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない、ことも好ましい。
　前記第２の光の波長帯域は、前記第１の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む、ことが好ましい。
　前記光源装置は、前記第１の光の波長帯域よりも長波長側に波長帯域を有する第３の光を射出するように構成されている、ことが好ましい。
　上述の内視鏡システムによれば、被写体の像に現れる血管像を血管像以外の生体組織の像と区別して血管の特徴量を算出することにより、病変部の重症度を精度よく評価することができる。
一実施形態の内視鏡システムの構成の一例を示すブロック図である。 一実施形態の内視鏡システムが備える画像処理部の構成の一部の例を説明する図である。 一実施形態の内視鏡システムが備える画像処理部が行う、血管像の検出、及び深い血管像及び浅い血管像の分離の流れの一例を説明する図である。 一実施形態の内視鏡システムが備える画像処理ユニットが行う、血管像の検出方法の一例を示す図である。 一実施形態の内視鏡システムが備える画像処理ユニットが用いる空間フィルタのフィルタ係数の一例を示す図である。 （ａ）～（ｃ）は、一実施形態の内視鏡システムで行われる血管像の分離の例を説明する図である。
　以下、本発明の一実施形態の内視鏡システムについて図面を参照しながら説明する前に、内視鏡システムの概念を説明する。
　生体組織における病変の進行によって、生体組織は種々変化する。従来の内視鏡システムは、白色光を照明光として用いて撮像された画像の画素値を用いて病変部の特徴量を算出して、病変部の重症度を評価する。上述したように、生体組織を撮像した時の撮像画像には血管像も含まれるので、血管像も生体組織の血管像以外の病変部の像とともに一体的に重症度の評価に用いられる。このような評価結果は、医師による評価結果あるいは組織学的な評価結果と十分に対応しない場合があった。このため、一実施形態の内視鏡システムは、血管像を検出し、この血管像を用いて病変部の重症度の評価を行う。このとき、照明光の波長帯域によって、撮像される血管も異なる。例えば、短波長の波長帯域を有する照明光では、生体組織の表面近傍の血管が撮像され、長波長の波長帯域を有する照明光では、生体組織の表面近傍の血管、及び表面近傍に比べてある程度深い位置にある血管が撮像される。このため、照明光を、長波長帯域の照明光、及び短波長域の照明光に分けて、あるいは、長波長帯域の光成分及び長波長帯域の光成分を含む照明光を用いて、生体組織を撮像する。したがって、一実施形態の内視鏡システムでは、長波長帯域の照明光で照明した生体組織の第１撮像画像、あるいは、長波長帯域の光成分に対応した波長帯域の生体組織の第１撮像画像を取得し、短波長帯域の照明光で照明した生体組織の第２撮像画像、あるいは、短波長帯域の光成分に対応した波長帯域の生体組織の第２撮像画像を取得する。この場合、照明光を射出する光源装置は、第１の光、及び第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を射出する。
　照明光は、血管内の血液中のヘモグロビンの光吸収により、血管像が鮮明に得られることから、一例として、照明光の波長帯域あるいは照明光の光成分の波長帯域は、ヘモグロビンの光吸収ピーク波長を含むことが好ましい。したがって、この場合、照明光として、ヘモグロビンの複数の吸収ピーク波長のうち第１吸収ピーク波長を波長帯域に含む第１の光、及びヘモグロビンの複数の吸収ピークのうち第１ピーク波長よりも短波長側の第２吸収ピーク波長を波長帯域に含む第２の光が用いられる。例えば、第１の光の波長帯域は、第２吸収ピーク波長を含まず、第２の光の波長帯域は、第１吸収ピーク波長を含まない。内視鏡システムは、第１の光及び第２の光のそれぞれを照明光として用いて第１撮像画像及び第２撮像画像を得ることができる。また、内視鏡システムは、第１の光及び第２の光のそれぞれを光成分とする照明光で照明することにより得られる生体組織の被写体像を、光フィルタを用いて分離して、第１撮像画像及び第２撮像画像を得ることができる。
　また、第１の光及び第２の光に関する別の一例では、生体組織の表面からの深さ位置が異なる浅い血管像と深い血管像が第１撮像画像と第２撮像画像から分離できる限りにおいて、第１の光及び第２の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない。
　また、第１の光及び第２の光に関する別の一例では、第２の光の波長帯域は、第１の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む。これにより、第１撮像画像と第２撮像画像から浅い血管像と深い血管像を確実に分離することができる。
　内視鏡システムは、２つの第１撮像画像及び第２撮像画像から、血管部分の、非血管部分に対して識別可能な特徴を用いて、強調された血管像を含む第１血管検出画像を生成し、さらに、第２撮像画像から強調された血管像を含む第２血管検出画像を生成する。
　さらに、内視鏡システムは、第１血管検出画像及び第２血管検出画像から、第１血管検出画像内の血管像及び第２血管検出画像内の血管像を、生体組織の表面からの深さ位置が異なる血管像として、浅い血管像と深い血管像に分離する。
　さらに、内視鏡システムは、分離した浅い血管像に関する浅部血管特徴量と、深い血管像に関する深部血管特徴量とを算出し、この浅部血管特徴量と深部血管特徴量をすくなくとも用いて、生体組織の病変の重症度を算出する。
　なお、第１撮像画像及び第２撮像画像から強調された血管像を検出した後に、浅い血管像と深い血管像に分離するが、第１撮像画像及び第２撮像画像から、浅い血管像を一部の像として含む画像部分と深い血管像を一部の像として含む画像部分とに分離した後、この分離した画像部分から強調された血管像を検出することにより、浅い血管像と深い血管像を得ることもできる。
　このように、内視鏡システムは、波長帯域の異なる第１の光及び第２の光を用いて、生体組織の表面からの深さ位置が異なる血管像として、浅い血管像と深い血管像を得、これらの血管像から算出される浅部血管特徴量と深部血管特徴量を、生体組織の病変の重症度の算出に用いるので、従来のように、白色光の照明光のみを用いて評価する場合に比べて病変部の病変の重症度を精度よく評価することができる。こうして評価した重症度は、医師による主観評価結果（例えば、MAYO endoscopic subscore）、あるいは組織学的な評価結果と良好に対応する。
　図１は、本発明の一実施形態の内視鏡システム１の構成の一例を示すブロック図である。図１に示されるように、内視鏡システム１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。
　電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを内視鏡システム１内の各回路に出力する。
　電子内視鏡用プロセッサ２００は、電子スコープ１００に照明光を供給する光源部（光源装置）２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない光学フィルタにより、波長帯域が互いに異なる第１の光及び第２の光を交互に生成して射出し、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ１００の光ファイバの束であるＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
　あるいは、光源部２３０は、波長帯域が互いに異なる第１の光及び第２の光を射出する発光ダイオードを備える。第１の光及び第２の光は、発光ダイオードから交互に射出し、あるいは、発光ダイオードから射出した第１の光及び第２の光は、ダイクロイックミラー等の光学素子を用いて１つの照明光として合成されて射出する。射出した第１の光及び第２の光は、図示されない集光レンズにより集光された後、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。
　なお、図１に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子スコープ１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。
　入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して撮像素子１０８の受光面上で光学像を結ぶ。
　撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列のカラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。このように、電子スコープ１００は、撮像素子１０８を用いて、体腔内の生体組織を撮像する。
　電子スコープ１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成する。さらに、ドライバ信号処理回路１１２は、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。
　電子内視鏡用プロセッサ２００内のシステムコントローラ２０２は、メモリ２０４に記憶された情報及び電子スコープ１００から送られる固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。
　タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。撮像素子１０８は、ドライバ信号処理回路１１２を介してタイミングコントローラ２０６から供給されるクロックパルスに従って、撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御される。
　画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、電子スコープ１００で得られた生体組織の撮像画像から、生体組織の病変の程度を数値で示す重症度を求める。また、画像処理ユニット２２０は、重症度を求めるための数値化処理を行う際に得られる血管検出画像や撮像画像を生成する。画像処理ユニット２２０は、重症度の情報及び血管検出画像や撮像画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて注目する生体組織の病変の重症度の情報を入手することができる。画像処理ユニット２２０は、必要に応じてプリンタ４００にカラーマップ画像及び重症度の情報を出力する。
　電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、サーバ６００に保存することができる。
　図２は、一実施形態の内視鏡システム１が備える画像処理ユニット２２０の構成の一部の例を示す図である。図２に示す画像処理ユニット２２０の構成部分は、生体組織の病変の重症度を計算するために、病変の程度を数値で示す数値化処理を行う部分に関する。画像処理ユニット２２０は、図示されないが、内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力するための画像処理を行う処理本体部を含む。
　画像処理ユニット２２０は、図２に示すように、少なくとも、検出部２２０ａ、分離部２２０ｂ、特徴量算出部２２０ｃ、及び評価部２２０ｄを備える。
　検出部２２０ａは、血管部分の、非血管部分に対して識別可能な特徴を用いて、第１の光の照明によって得られる第１撮像画像から血管像を検出した第１血管検出画像を生成する。さらに、検出部２２０ａは、第２の光の照明によって得られる第２撮像画像から血管像を検出した第２血管検出画像を生成する。検出部２２０ａによる検出方法については後述する。
　分離部２２０ｂは、第１血管検出画像及び第２血管検出画像から、第１血管検出画像及び第２血管検出画像内の血管像を、生体組織の表面からの深さ位置が異なる血管像として、浅い血管像と深い血管像に分離して取り出す。分離部２２０ｂによる分離方法については後述する。
　特徴量算出部２２０ｃは、浅い血管像に関する浅部血管特徴量と、深い血管像に関する深部血管特徴量とを算出する。浅部血管特徴量及び深部血管特徴量については後述する。
　評価部２２０ｄは、浅部血管特徴量と深部血管特徴量を少なくとも用いて、生体組織の病変の重症度を算出する。重症度の算出については、後述する。
　図３は、画像処理ユニット２２０が行う、血管像の検出、及び深い血管像及び浅い血管像の分離の流れの一例を説明する図である。
　検出部２２０ａが行う血管像の検出は、第１の光の照明によって得られる第１撮像画像と第２の光の照明によって得られる第２撮像画像を用いて行われる。このとき、第２の光は、第１の光の波長帯域よりも短波長側に波長帯域を有する。第１の光の波長帯域は、一例として、ヘモグロビンの複数の吸収ピーク波長のうち第１吸収ピーク波長を波長帯域に含み、第２の光の波長帯域は、一例として、第１ピーク波長よりも短波長側の第２吸収ピーク波長を波長帯域に含む。すなわち、第１の光及び第２の光は、狭帯域光である。例えば、ヘモグロビンは、４００～４５０ｎｍに大きな吸収ピークを有し（ポルフィリン環のソーレー吸収帯）、さらに、５２０～５９０ｎｍにも吸収ピークを有している（ポルフィリン環のＱ帯）。したがって、第１の光の波長帯域は、５２０～５９０ｎｍの波長を含み、第２の光の波長帯域は、４００～４５０ｎｍの波長を含む。例えば、第１の光の波長帯域は４００～４５０ｎｍの波長を含まず、第２の光の波長帯域は５２０～５９０ｎｍの波長を含まない。波長４００～４５０ｎｍの光は、青色領域の光であり、波長５２０～５９０ｎｍの光は、緑色領域の光である。
　したがって、図３に示すように、第１の光の照明により得られる第１撮像画像ＩＭ１は、生体組織の表面近傍にある血管像ＩＭｓと表面近傍に比べてある程度深い部分にある血管像ＩＭｄとを含む。第２の光の照明により得られる第２撮像画像ＩＭ２は、生体組織の表面近傍にある血管像ＩＭｓのみを含む。
　このような第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２から、検出部２２０ａで、第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊が検出される。
　なお、照明光の他の一例として、第２の光の波長帯域は、第１の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む。この場合、第１の光の波長帯域は、例えば５２０～５９０ｎｍであり、第２の光の波長帯域は、例えば４３３０～４７０ｎｍである。
　照明光の他の一例として、第１の光及び第２の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない。第１の光の波長帯域は、例えば５９０～６１０ｎｍであり、第２の光の波長帯域は、例えば４５０～４７０ｎｍである。この場合、第１の光の波長帯域及び第２の光の波長帯域はいずれも吸収ピーク波長も含まない。
　このように、第１の光及び第２の光は種々波長帯域を設定することができる。
　図４は、血管像の検出方法の一例を示す図である。血管像の検出は、血管部分の、非血管部分に対して識別可能な特徴を用いて行われる。
　検出部２２０ａは、例えば、生体組織の画像の一部の検査対象エリアＡＲの形状と複数のテンプレートＴＰ１～ＴＰ４の直線形状それぞれとの相関の程度を表すマッチング度を求める。さらに、検出部２２０ａは、複数のテンプレートＴＰ１～ＴＰ４それぞれに対応するマッチング度の中で、最も高い最高マッチング度の値を検査対象エリアＡＲにおける血管領域の確からしさとして求める。テンプレートＴＰ１～ＴＰ４は、画素で構成され、テンプレートＴＰ１～ＴＰ４は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートＴＰ１～ＴＰ４は、それぞれの直線形状に合わせて各画素は画素値を有する。図４に示すように、画像の端から矢印に沿って順番に検査対象エリアＡＲをオーバーラップさせながら移動させることにより、検査対象エリアＡＲ内の画像の画素評価値とテンプレートＴＰ１～ＴＰ４それぞれの対応する画素の値との相関度が求められる。一実施形態によれば、テンプレートＴＰ１～ＴＰ４は、血管を特徴付ける形状として、直線を４つの異なる延在方向に延ばした４つの直線形状を備える。テンプレートＴＰ１～ＴＰ４は、図４に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素の値と、検査対象領域ＡＲの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の画像評価値を乗算して合計した値であってもよい。
　テンプレートＴＰ１～ＴＰ４のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアＡＲの中心画素に与えられる。
　図５は、テンプレートＴＰ１を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートＴＰ１は、図５に示すように、図中の上下方向に直線が延びる形状を有する。図５では、一例として、テンプレートＴＰ１は、５×５画素の空間フィルタを構成している。この場合、直線に延びる部分の画素には、フィルタ係数として１／５が与えられ、それ以外の画素には、フィルタ係数として－１／２０が与えられている。
　フィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアＡＲのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアＡＲに上下方向に線状に延びる血管像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートＴＰ１に近似する像を含んでいるといえる。したがって、テンプレートＴＰ１～ＴＰ４のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域の確からしさとして、検査対象領域ＡＲの中心画素に与える。すなわち、血管領域の確からしさの値は、検査対象エリアＡＲの中心画素に与えられる。こうして血管領域の確からしさの値により強調された血管像を含む第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊を得ることができる。
　このように、血管像検出部２２０ａは、血管部分の、非血管部分に対して識別可能な特徴を用いて、第１の光及び第２の光の照明によって得られる第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２から第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊を得る。第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊における血管像の画素値を求める場合、血管像検出部２２０ａは、第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊の画素値が予め定めた閾値以上の画素値に１を与え、それ以外の領域の画素値に０を与えてマスク画像を作成する。さらに、血管像検出部２２０ａは、このマスク画像の各画素値と、第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２の対応画素との積を演算することにより、第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊における血管像の画素値を求めることができる。
　なお、上述した図４，５に示す血管検出の例では、血管の特徴形状を用いたテンプレートマッチングを用いて行うが、血管検出は、血管の特徴形状を用いたテンプレートマッチングに限定されない。例えば、バンドパスフィルタを用いた血管検出方法やベクトル集中度による線分検出手法を用いることもできる。例えば、緑色領域の色成分画像に対してバンドパスフィルタを適用して血管のエッジ画像を生成することにより、血管を検出することができる。なお、バンドパスフィルタによるエッジ抽出手法は公知の技術である。また、国際公開第２０１２／００２０１２号に記載されるようなベクトル集中度を用いて、血管を検出することもできる。
　検出部２２０ａで生成された第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊内で強調された血管像は、分離部２２０ｂで、深い血管像ＩＭｄ ＊及び浅い血管像ＩＭｓ ＊に分離される。
　図６（ａ）～（ｃ）は、一実施形態の内視鏡システムで行われる血管像の分離の例を説明する図である。
　図６（ａ）に示す分離では、分離部２２０ｂは、生体組織の表面近傍の浅い血管が撮像された第２撮像画像ＩＭ２から生成され、血管像が強調された第２血管検出画像ＩＭ２ ＊の画素値が予め定めた閾値ＴＨ２以上である場合、この画素に値１を与え、それ以外の画素に値０を与える。これにより、分離部２２０ｂは、二値化した画像の値１の画素値の領域を、浅い血管像ＩＭｓ ＊の領域として求める。さらに、生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第１撮像画像ＩＭ１から生成され、血管像が強調された第１血管検出画像ＩＭ１ ＊の画素値が予め定めた閾値ＴＨ１以上である場合、この画素に値１を与え、それ以外の画素に値０を与える。これにより、分離部２２０ｂは、二値化した画像の値１の画素値の領域、すなわち血管像の領域から、先に求めた浅い血管像ＩＭｓ ＊の領域を除去した残りの領域を深い血管像ＩＭｄ ＊の領域として求める。
　図６（ｂ）に示す分離では、分離部２２０ｂは、第２血管検出画像ＩＭ２ ＊の画素値と、第１血管検出画像ＩＭ１ ＊の画素値の平均値を画素値とする平均検出画像ＩＭＡ ＊を作成する。第２血管検出画像ＩＭ２ ＊の画素値は、生体組織の表面近傍の浅い血管が撮像された第２撮像画像ＩＭ２から生成され、血管像が強調された画像であり、第１血管検出画像ＩＭ１ ＊は、生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第１撮像画像ＩＭ１から生成され、血管像が強調された画像である。分離部２２０ｂは、この平均検出画像ＩＭＡ ＊の各画素値に対して、予め設定された閾値ＴＨ４（第１閾値）以上であるか否かを判定し、閾値ＴＨ４以上の画素値の領域を、浅い血管像の領域ＩＭｓ ＊として検出する。
　さらに、分離部２２０ｂは、第１撮像画像ＩＭ１の各画素値に対して予め設定された閾値ＴＨ３（第２閾値）以上であるか否かによって、浅い血管像ＩＭｓ ＊の領域及び深い血管像ＩＭｄ ＊の領域を含む混合領域を検出し、検出した混合領域から、先に検出した浅い血管像の領域を除去する。これにより、分離部２２０ｂは、深い血管像ＩＭｄ ＊の領域を検出する。すなわち、分離部２２０ｂは、混合領域から、先に検出した浅い血管像の領域を除去した残りの領域を、深い血管像ＩＭｄ ＊の領域として検出する。
　図６（ｃ）に示す分離では、分離部２２０ｂは、生体組織の表面近傍の浅い血管が撮像された第２撮像画像ＩＭ２の画素値と、生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第１撮像画像ＩＭ１の画素値の平均値を画素値とする平均画像ＩＭＡを作成する。分離部２２０ｂは、この平均画像ＩＭＡの各画素値に対して、予め設定された閾値ＴＨ６（第１閾値）以上であるか否かを判定し、閾値ＴＨ６以上の画素値の領域を、浅い血管像を一部の像として含む第１画像部分ＩＭＢを作成する。
　さらに、分離部２２０ｂは、平均画像ＩＭＡの各画素値に対して、予め設定された閾値ＴＨ５（閾値ＴＨ５は、閾値ＴＨ６よりも値が低い）以上であるか否かを判定する。分離部２２０ｂは、閾値ＴＨ５（第２閾値）以上の画素値の領域を、浅い血管像及び深い血管像を一部の像として含む混合画像を検出し、検出した混合画像から先に作成した第１画像部分ＩＭＢを除去することにより（具体的には、上記混合画像の画素値から、先に作成した第１画像部分ＩＭＢの対応する画素値を差し引くことにより）、深い血管像を一部の像として含む第２画像部分ＩＭＣを作成する。
　こうして作成された第１画像部分ＩＭＢ及び第２画像部分ＩＭＣは、検出部２２０ａにおいて、血管部分の、非血管部分に対して識別可能な特徴を用いて、浅い血管像ＩＭｓ ＊と、深い血管像ＩＭｄ ＊とを生成するために用いられる。すなわち、図６（ｃ）に示す例は、浅い血管像と深い血管像の分離を行った後、血管部分の、非血管部分に対して識別可能な特徴を用いて血管像を強調する方法に用いられる。
　図６（ｃ）に示す例の場合、画像処理ユニット２２０の分離部２２０ｂが、第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２から、浅い血管像ＩＭｓ ＊を一部の像として含む第１画像部分ＩＭＢと、深い血管像ＩＭｄ ＊を一部の像として含む第２画像部分ＩＭＣとに分離する。第１画像部分ＩＭＢ及び第２画像部分ＩＭＣには、浅い血管像及び深い血管像の他に、非血管の部分の像も含んでいるため、血管部分の、非血管部分に対して識別可能な特徴を用いて、非血管の部分の像を除去して血管像を検出する。すなわち、検出部２２０ａは、第１画像部分ＩＭＢ及び第２画像部分ＩＭＣから、血管の特徴を用いて、浅い血管像ＩＭｓ ＊と、深い血管像ＩＭｄ ＊を検出する。
　このように、図６（ａ），（ｂ）に示す分離では、血管の特徴を用いて強調した血管像を含む第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊から、照明光の波長帯域によって撮像される血管像が異なること（波長帯域が短波長側では、長波長側に比べて、深い血管が撮像され難くなること）を利用する。これにより、第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊内の強調された血管像を、浅い血管像ＩＭｓ ＊の領域と深い血管像ＩＭｄ ＊の領域に分離することができる。
　また、図６（ｃ）に示す分離では、生体組織の表面近傍の浅い血管が撮像された第２撮像画像ＩＭ２、及び生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第１撮像画像ＩＭ１から、照明光の波長帯域によって撮像される血管像が異なることを利用することにより、最終的に、血管像が強調された浅い血管像ＩＭｓ ＊の領域と血管像が強調された深い血管像ＩＭｄ ＊の領域に分離することができる。
　特徴量算出部２２０ｃは、浅い血管像ＩＭｓ ＊に関する浅部血管特徴量と、深い血管像ＩＭｄ ＊に関する深部血管特徴量とを算出する。例えば、浅部血管特徴量は、浅い血管像ＩＭｓ ＊の領域における、第２撮像画像ＩＭ２の画素値の合計値あるいは画素値の代表値であり、深部血管特徴量は、例えば、深い血管像ＩＭｄ ＊の領域における、第１撮像画像ＩＭ１の画素値の合計値あるいは代表値である。代表値は、平均値及び中央値を含む。また、浅部血管特徴量、深部血管特徴量は、浅い血管像ＩＭｓ ＊の領域、深い血管像ＩＭｄ ＊の領域における画素数の総和であってもよい。
　浅部血管特徴量及び深部血管特徴量が、画素値の合計値あるいは代表値である場合、分離部２２０ｂは、浅い血管像ＩＭｓ ＊の領域に対応する第２撮像画像ＩＭ２の対応領域の画素値を、浅い血管像ＩＭｓ ＊の画素値として求める。さらに、深い血管像ＩＭｄ ＊の領域に対応する第１撮像画像ＩＭ１の対応領域の画素値を、深い血管像ＩＭｄ ＊の画素値として求める。徴量算出部２２０ｃは、求めた浅い血管像ＩＭｓ ＊の画素値および深い血管像ＩＭｄ ＊の画素値を用いて、浅部血管特徴量及び深部血管特徴量を算出する。これにより、画素値を考慮した浅部血管特徴量及び深部血管特徴量を用いて、重症度を評価することができる。
　評価部２２０ｄが行う重症度の算出は、浅部血管特徴量と深部血管特徴量を少なくとも用いて算出する限りは特に制限されない。重症度の値は、例えば、浅部血管特徴量に予め定めた係数かけた値と深部血管特徴量に予め定めた係数をかけた値とを加減算した値であってもよい。この場合、医師等による重症度に関する評価が既知の複数の生体組織の参照画像を予め用意しておき、この参照画像から得られる浅部血管特徴量と深部血管特徴量の情報と、評価の情報とを用いて回帰分析により、上記係数を算出して予め得ておいてもよい。
　また、上述した参照画像の評価が複数段階のレベルの１つに設定されている場合、評価部２２０ｄは、参照画像から得られる浅部血管特徴量と深部血管特徴量の値の組をサンプルとしてクラスタ分析して複数のクラスタにわけ、このクラスタ内の複数のサンプルに最も良く一致するレベルを事前に付与しておく。評価部２２０ｄは、算出した浅部血管特徴量と深部血管特徴量の値がどのクラスタに属するかを判定して、重症度を複数段階のレベルの１つに評価してもよい。
　一実施形態によれば、浅部血管特徴量及び深部血管特徴量の他に、生体組織の病変として現れる特徴を数値化した特徴量を含めて、重症度の評価を行ってもよい。例えば、潰瘍性大腸炎のような炎症が生じる場合、白色光を照明光として撮像画像内で生体組織の炎症によって現れる赤色成分の程度を数値化した特徴量を、浅部血管特徴量及び深部血管特徴量ともに用いて重症度の評価を行ってもよい。
　また、一実施形態によれば、評価部２２０ｄは、予め用意した重症度に関する評価が定まっている複数の参照画像のそれぞれの評価の情報と、この参照画像から画像処理ユニット２２０を用いて算出した浅部血管特徴量及び深部血管特徴量とを機械学習データとして、浅部血管特徴量及び深部血管特徴量と、生体組織の病変の重症度に関する評価との対応関係を機械学習した予測モデルを用いてもよい。この場合、評価部２２０ｄは、特徴量算出部２２０ｃで算出した、生体組織における浅部血管特徴量の値と、深部血管特徴量の値とから、重症度に関して予測評価してもよい。予測モデルの機械学習として、例えば、ニューラルネットワークによる深層学習（ディープラーニング）が用いられる。また、木構造を利用したランダムフォレストを用いることができる。モデルは、畳み込むニューラルネットワーク、スタッグドオートエンコーダ等、公知のモデルを用いることができる。このように機械学習した予測モデルを用いることで、精度の高い重症度の評価を行うことができる。
　この場合、画像処理ユニット２２０の分離部２２０ｂが、生体組織の表面からの深さ位置が異なる、浅い血管像ＩＭｓ ＊を一部の像として含む第１画像部分と、深い血管像ＩＭｄ ＊を一部の像として含む第２画像部分とに分離する。
　検出部２２０ａは、第１画像部分及び第２画像部分から、血管の特徴形状を用いたテンプレートマッチングを用いて、浅い血管像ＩＭｓ ＊と、深い血管像ＩＭｄ ＊を生成する。
　一実施形態によれば、検出部２２０ａは、図４に示すように、血管が直線状に延びる血管の特徴形状を用いたテンプレートマッチングにより血管像を検出して強調することが好ましい。血管の形状は、一方向に延びる直線形状として近似できるので、図４に示すように、線の延びる方向が異なるテンプレートを用意することができる。このため、血管像を精度よく検出して強調することができる。
　なお、上述の実施形態では、光源装置２３０は、第１の光と第２の光を照明光としたが、３つ以上の光を照明光として射出することもできる。３つの光を用いる場合、３つ目の光である第３の光は、第１の光の波長帯域よりも長波長側に波長帯域を有することが好ましい。第１の光の波長帯域は、例えば５２０ｎｍ～５９０ｎｍや５９０ｎｍ～６１０ｎｍであり、第２の光の波長帯域は、例えば４３０ｎｍ～４７０ｎｍや４５０ｎｍ～４７０ｎｍである場合、第３の光の波長帯域は、例えば６２０～６５０ｎｍである。第３の光により得られる第３撮像画像には、第１の光により得られる第１の撮像画像よりも、より深い血管像が含まれるので、深さ方向に３段階の異なる位置にある血管の血管像を区別して分離することが可能になる。このように、波長帯域が異なる３つ以上の光を照明光として用いることで、深さが３段階以上の異なる位置にある血管の血管像を区別して分離することが可能になる。
　以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
１　内視鏡システム
１００　電子スコープ
１０２　ＬＣＢ
１０４　配光レンズ
１０６　対物レンズ
１０８　撮像素子
１０８ａ　ＩＲカットフィルタ
１０８ｂ　カラーフィルタ
１１２　ドライバ信号処理回路
１１４　メモリ
２００　電子内視鏡用プロセッサ
２０２　システムコントローラ
２０４　メモリ
２０６　タイミングコントローラ
２０８　操作パネル
２１０　ＮＩＣ
２２０　画像処理ユニット
２２０ａ　検出部
２２０ｂ　分離部
２２０ｃ　特徴量算出部
２２０ｄ　評価部
２２４　メモリ
２３０　光源部
３００　モニタ
４００　プリンタ
６００　サーバ

Claims (14)

  1. 　照明光を射出するように構成された光源装置と、
    　前記照明光で照明された体腔内の血管を含む生体組織を撮像するように構成された電子内視鏡と、
    　前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
    　前記重症度の情報を表示するように構成されたモニタと、を備え、
    　前記光源装置は、第１の光、及び前記第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を、少なくとも前記照明光として射出するよう構成され、
    　前記画像処理ユニットは、
    　血管部分の、非血管部分に対して識別可能な特徴を用いて、前記第１の光の照明によって得られる第１撮像画像から、強調した血管像を含む第１血管検出画像を生成し、さらに、前記第２の光の照明によって得られる第２撮像画像から、強調した血管像を含む第２血管検出画像を生成するように構成された検出部と、
    　前記第１血管検出画像及び前記第２血管検出画像から、前記第１血管検出画像像及び前記第２血管検出画像内の血管像を、前記生体組織の表面からの深さ位置が異なる血管像として浅い血管像と深い血管像とに分離するように構成された分離部と、
    　前記浅い血管像に関する浅部血管特徴量と、前記深い血管像に関する深部血管特徴量とを算出するように構成された特徴量算出部と、
    　前記浅部血管特徴量と前記深部血管特徴量を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
    　を備えることを特徴とする内視鏡システム。
  2. 　前記分離部は、前記第２血管検出画像内の血管像の領域を前記浅い血管像の領域として検出し、検出した前記浅い血管像の領域を、前記第１血管検出画像内の血管像の領域から除去することにより前記深い血管像の領域を検出することにより、前記浅い血管像と、前記深い血管像を検出するように構成されている、請求項１に記載の内視鏡システム。
  3. 　前記分離部は、前記第１血管検出画像と前記第２血管検出画像の対応する画素の画素値同士の平均値を画素値とする平均検出画像の各画素値に対して、予め設定された第１閾値以上であるか否かによって、前記浅い血管像の領域を検出し、前記第１撮像画像の各画素値に対して予め設定された第２閾値以上であるか否かによって、前記浅い血管像の領域及び前記深い血管像の領域を含む混合領域を検出し、検出した前記混合領域から、検出した前記浅い血管像の領域を除去することにより、前記深い血管像の領域を検出する、ように構成されている、請求項１に記載の内視鏡システム。
  4. 　前記分離部は、前記浅い血管像の領域に対応する前記第２撮像画像の対応領域の画素値を、前記浅い血管像の画素値として求め、前記深い血管像の領域に対応する前記第１撮像画像の対応領域の画素値を、前記深い血管像の画素値として求めるように構成され、
    　前記特徴量算出部は、求めた前記浅い血管像の画素値および前記深い血管像の画素値を用いて、前記浅部血管特徴量及び前記深部血管特徴量を算出するように構成されている、請求項２または３に記載の内視鏡システム。
  5. 　照明光を射出するように構成された光源装置と、
    　前記照明光で照明された体腔内の血管を含む生体組織を撮像するように構成された電子内視鏡と、
    　前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
    　前記重症度の情報を表示するように構成されたモニタと、を備え、
    　前記光源装置は、第１の光、及び前記第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を、少なくとも前記照明光として射出するように構成され、
    　前記画像処理ユニットは、
    　前記第１の光の照明によって得られる第１撮像画像及び前記第２の光の照明によって得られる第２撮像画像から前記生体組織の表面からの深さ位置が異なる浅い血管像と深い血管像のうち、前記浅い血管像を一部の像として含む第１画像部分と、前記深い血管像を一部の像として含む第２画像部分とに分離して取り出すように構成された分離部と、
    　前記第１画像部分及び前記第２画像部分から、血管部分の、非血管部分に対して識別可能な特徴を用いて、前記浅い血管像と、前記深い血管像とを生成するように構成された検出部と、
    　前記浅い血管像に関する浅部血管特徴量の値と、前記深い血管像に関する深部血管特徴量の値とを算出するように構成された特徴量算出部と、
    　前記浅部血管特徴量の値と前記深部血管特徴量の値を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
    　を備えることを特徴とする内視鏡システム。
  6. 　前記分離部は、前記第１撮像画像と前記第２撮像画像の対応する画素の画素値同士の平均値を画素値とする平均画像の各画素値に対して、予め設定された第１閾値以上であるか否かによって、前記第１画像部分を作成し、前記第１撮像画像の各画素値に対して予め設定された第２閾値以上であるか否かによって、前記浅い血管像及び前記深い血管像を一部の像として含む混合画像を検出し、検出した前記混合画像から、作成した前記第１画像部分を除去することにより、前記第２画像部分を作成するように構成されている、請求項５に記載の内視鏡システム。
  7. 　前記検出部は、血管が直線状に延びる血管の特徴形状を用いたテンプレートマッチングにより強調した血管像を検出するように構成された、請求項１～６のいずれか１項に記載の内視鏡システム。
  8. 　前記評価部は、前記浅部血管特徴量の値に係数をかけた値と、前記深部血管特徴量の値に係数をかけた値とを加減算することにより、前記重症度を算出するように構成されている、請求項１～７のいずれか１項に記載の内視鏡システム。
  9. 　前記評価部は、予め用意した重症度に関する評価が定まっている複数の参照画像のそれぞれの前記評価の情報と、前記参照画像から前記画像処理ユニットを用いて算出した前記浅部血管特徴量及び前記深部血管特徴量とを機械学習データとして、前記浅部血管特徴量及び前記深部血管特徴量と、前記生体組織の病変の重症度に関する前記評価との対応関係を機械学習した予測モデルを用いて、前記特徴量算出部で算出した、前記生体組織における前記浅部血管特徴量の値と、前記深部血管特徴量の値とから、前記重症度に関して予測評価するように構成されている、請求項１～７のいずれか１項に記載の内視鏡システム。
  10. 　前記光源装置は、前記第１の光及び前記第２の光のそれぞれを光成分として含む１つの光を前記照明光として射出するように構成され、
    　前記電子内視鏡は、生体組織の被写体像を、光フィルタを用いて前記第１撮像画像及び前記第２撮像画像に分離するように構成されている、請求項１～９のいずれか１項に記載の内視鏡システム。
  11. 　前記第１の光は、ヘモグロビンの複数の吸収ピーク波長のうち第１吸収ピーク波長を波長帯域に含み、
    　前記第２の光は、前記複数の吸収ピークのうち前記第１吸収ピーク波長よりも短波長側の第２吸収ピーク波長を波長帯域に含む、請求項１～１０のいずれか１項に記載の内視鏡システム。
  12. 　前記第１の光及び前記第２の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない、請求項１～１０のいずれか１項に記載の内視鏡システム。
  13. 　前記第２の光の波長帯域は、前記第１の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む、請求項１～１２のいずれか１項に記載の内視鏡システム。
  14. 　前記光源装置は、前記第１の光の波長帯域よりも長波長側に波長帯域を有する第３の光を射出するように構成されている、請求項１～１３のいずれか１項に記載の内視鏡システム。
PCT/JP2020/033030 2019-09-27 2020-09-01 内視鏡システム WO2021059889A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021548728A JP7200393B2 (ja) 2019-09-27 2020-09-01 内視鏡システム
US17/436,742 US20220192470A1 (en) 2019-09-27 2020-09-01 Endoscope system
DE112020004617.6T DE112020004617T5 (de) 2019-09-27 2020-09-01 Endoskopsystem
CN202080018450.7A CN113556968B (zh) 2019-09-27 2020-09-01 内窥镜系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019177859 2019-09-27
JP2019-177859 2019-09-27

Publications (1)

Publication Number Publication Date
WO2021059889A1 true WO2021059889A1 (ja) 2021-04-01

Family

ID=75166614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033030 WO2021059889A1 (ja) 2019-09-27 2020-09-01 内視鏡システム

Country Status (5)

Country Link
US (1) US20220192470A1 (ja)
JP (1) JP7200393B2 (ja)
CN (1) CN113556968B (ja)
DE (1) DE112020004617T5 (ja)
WO (1) WO2021059889A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234815A1 (ja) * 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181096A (ja) * 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017057573A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057572A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7892169B2 (en) * 2000-07-21 2011-02-22 Olympus Corporation Endoscope apparatus
JP5389612B2 (ja) * 2009-11-06 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5393554B2 (ja) * 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
CN102740756B (zh) 2010-06-30 2014-12-31 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
JP5334952B2 (ja) * 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
JP5496075B2 (ja) * 2010-12-27 2014-05-21 富士フイルム株式会社 内視鏡診断装置
JP5550574B2 (ja) * 2011-01-27 2014-07-16 富士フイルム株式会社 電子内視鏡システム
JP5667917B2 (ja) * 2011-04-01 2015-02-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2013035532A1 (ja) * 2011-09-05 2013-03-14 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに画像作成方法
US10052015B2 (en) * 2014-09-30 2018-08-21 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
JP6125740B1 (ja) 2015-09-30 2017-05-10 Hoya株式会社 内視鏡システム及び評価値計算装置
JP6525918B2 (ja) * 2016-04-20 2019-06-05 富士フイルム株式会社 内視鏡システム、画像処理装置、及び画像処理装置の作動方法
JP6533180B2 (ja) * 2016-04-21 2019-06-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181096A (ja) * 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017057573A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057572A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム

Also Published As

Publication number Publication date
DE112020004617T5 (de) 2022-06-09
CN113556968B (zh) 2023-12-22
JP7200393B2 (ja) 2023-01-06
CN113556968A (zh) 2021-10-26
JPWO2021059889A1 (ja) 2021-12-23
US20220192470A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
JP6204314B2 (ja) 電子内視鏡システム
JPWO2018159363A1 (ja) 内視鏡システム及びその作動方法
JP7289296B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
JP7041318B2 (ja) 内視鏡システム
JP7068487B2 (ja) 電子内視鏡システム
JP7009636B2 (ja) 内視鏡システム
JP6210962B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
US11944261B2 (en) Electronic endoscope system and data processing device
JP7287969B2 (ja) 内視鏡システム、および内視鏡システム作動方法
JP6615369B2 (ja) 内視鏡システム
JP6912608B2 (ja) 内視鏡システム
JPWO2020189213A1 (ja) 内視鏡システム
WO2021059889A1 (ja) 内視鏡システム
CN113631076B (zh) 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质
JP6184928B2 (ja) 内視鏡システム、プロセッサ装置
US12029385B2 (en) Electronic endoscope system
JP7455717B2 (ja) 内視鏡用プロセッサ及び内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20867055

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021548728

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20867055

Country of ref document: EP

Kind code of ref document: A1